一种应用于边缘设备的大语言模型流水线推理架构
知识产权简介
本发明公开了一种应用于边缘设备的大语言模型流水线推理框架。本发明提出了一种内存高效的流水线执行机制(PIPELOAD),通过结合了动态内存管理机制减少大语言模型推理时的内存占用,采用并行模型加载机制降低了推理延迟;并基于该机制引入了一个包含了三个主要组件的综合框架(HERMES)以提高性能并减少大型模型推理在边缘计算环境中内存使用。本发明针对大模型在边缘设备上的推理过程,创新性地提出了HERMES综合框架,减少了推理时的内存占用,减少了流水线阻塞的情况。