基于深度学习的流水线冷启动优化系统及方法
知识产权简介
本发明解决的技术问题:通过分割提高无服务平台中的深度学习推理服务的冷启动延迟。发明了一种考虑推理请求量和空闲容器关键模式的预测方法,能够评估请求量和空闲容器数量的供需关系,并进一步基于容器内运行时和模型的相似度将空闲容器复用以提高了资源效率并避免了冷启动。
本发明解决的技术问题:通过分割提高无服务平台中的深度学习推理服务的冷启动延迟。发明了一种考虑推理请求量和空闲容器关键模式的预测方法,能够评估请求量和空闲容器数量的供需关系,并进一步基于容器内运行时和模型的相似度将空闲容器复用以提高了资源效率并避免了冷启动。