基于动态跳层与无状态层分区的大语言模型弹性推理系统

• 国民经济行业：信息传输、软件和信息技术服务业／软件和信息技术服务业／软件开发
• 学科类别：信息科学与系统科学／信息科学与系统科学基础学科／系统论
• 权利人：上海交通大学

知识产权简介

一种基于动态跳层与无状态层分区的大语言模型弹性推理系统，包括：层分区部署模块、无状态协调模块、动态跳层模块、GPU 租约调度模块、弹性状态管理模块和跳层感知扩缩容模块。

转化前景

本专利涉及一种基于动态跳层与无状态层分区的大语言模型弹性推理系统，包括：层分区部署模块、无状态协调模块、动态跳层模块、GPU 租约调度模块、弹性状态管理模块和跳层感知扩缩容模块。能够支撑大模型的微服务化，并且保证其微服务化之后端到端推理性能；最终支持在极端边缘场景下，比如卫星计算场景、海底计算等场景的灵活部署和动态扩展。