基于深度学习的流水线冷启动优化系统及方法

  • 国民经济行业:信息传输、软件和信息技术服务业/互联网和相关服务/互联网信息服务
  • 学科类别:计算机科学技术/计算机系统结构/分布式处理系统
  • 权利人:上海交通大学

知识产权简介

本发明解决的技术问题:通过分割提高无服务平台中的深度学习推理服务的冷启动延迟。发明了一种考虑推理请求量和空闲容器关键模式的预测方法,能够评估请求量和空闲容器数量的供需关系,并进一步基于容器内运行时和模型的相似度将空闲容器复用以提高了资源效率并避免了冷启动。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作