支持快速自动扩容的模型推理服务系统

  • 国民经济行业:信息传输、软件和信息技术服务业
  • 学科类别:信息科学与系统科学
  • 权利人:上海交通大学

知识产权简介

本软件系统针对大规模深度学习模型服务场景中的弹性扩容与高效推理难题,构建了支持百GB级模型秒级扩容的智能服务平台,提供从请求调度到资源管理的全栈解决方案,支持主流大模型的弹性部署。

转化前景

近年来,深度学习模型尤其是大语言模型在图文理解、智能助手、代码生成等领域得到广泛应用,基于模型即服务(MaaS)的系统通过动态分配GPU实例支撑海量模型服务。然而,现有系统在应对突发请求时面临两大核心挑战:实例扩容速度不足导致服务超时(SLO违规),以及大规模模型参数加载效率低下。传统方案采用多级缓存机制,但受限于内存容量与固态硬盘带宽,模型加载仍需数秒级延迟,且缓存命中率仅40%-75%,难以满足大语言模型等百GB参数级模型的秒级扩容需求。 为此,本系统提出两大创新技术:基于计算网络的免缓存加速多播与分层协作的实时扩容机制。首先,利用GPU集群的高带宽计算网络(如400Gbps RDMA)构建全局参数池,通过动态多播技术实现模型参数的跨节点高效传输。相比传统SSD加载耗时数秒至数十秒,该方法借助网络带宽优势将参数加载速度提升10倍以上,且仅需单节点缓存即可支撑全集群扩容,彻底消除冗余缓存导致的大量存储消耗。其次,本系统提出模型分层细粒度扩容机制,以层为单位组织参数传输,并根据已加载层数动态协作推理,使新实例无需加载完整参数即可参与计算。结合动态负载感知的快速任务切换调度,在扩容过程中实时路由请求至加载部分参数的新实例,打破传统"全加载后服务"的限制,实现新加入机器推理与扩容过程重叠,将突发请求的尾部延迟降低50%。 本系统通过优化自动扩容技术缓解了大规模模型服务中服务质量与资源利用率的核心矛盾,支持在1秒内完成百GB级模型的实例扩容,并使服务吞吐量提升30%-80%,为AI应用的弹性部署提供关键技术支撑。本系统已适配Llama2、Llama3等主流大模型,并通过开源促进技术生态发展。

基本信息

权利人 上海交通大学
知识产权类型 软件
意向合作模式
预估金额
联系合作