GPU存算一体预填充解码分离大模型推理加速方法及系统
知识产权简介
本发明提出一种GPU-数字式存算一体混合的、预填充-解码分离的深度学习大模型推理加速方法。针对现有大模型推理中 KV 缓存内存占用高、卸载开销大以及解码阶段 GPU 利用率低的问题,本技术立足于可重构ReRAM存内计算技术和预填充-解码分离方法,提出使用GPU-PIM异构推理加速的方法,充分挖掘阵列内并行性与设备间并行性,提升端到端推理速率、吞吐量和能效。
转化前景
本发明提出一种GPU-数字式存算一体混合的、预填充-解码分离的深度学习大模型推理加速方法,达到了以下技术效果:该方法通过预填充-解码分离策略,将推理任务拆分到GPU和PIM设备上运行,并在不同设备上分别采用不同的批次处理策略。预填充阶段大批次打包大幅提升GPU计算单元资源利用率和有效计算吞吐量。解码阶段连续批处理以及优先级调度使设备维持高占用率,同时显著降低高优先级请求尾延迟。该方法通过KV缓存分页管理显著减少内存碎片,同时通过非易失ReRAM支持KV缓存持久化,GPU显存占用减少30%-80%。