一种应用于边缘设备的大语言模型流水线推理架构

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/信息系统集成服务
  • 学科类别:计算机科学技术/计算机系统结构/并行处理
  • 权利人:上海交通大学

知识产权简介

本发明公开了一种应用于边缘设备的大语言模型流水线推理框架。本发明提出了一种内存高效的流水线执行机制(PIPELOAD),通过结合了动态内存管理机制减少大语言模型推理时的内存占用,采用并行模型加载机制降低了推理延迟;并基于该机制引入了一个包含了三个主要组件的综合框架(HERMES)以提高性能并减少大型模型推理在边缘计算环境中内存使用。本发明针对大模型在边缘设备上的推理过程,创新性地提出了HERMES综合框架,减少了推理时的内存占用,减少了流水线阻塞的情况。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作