基于近存计算的大语言模型思维链推理加速方法、系统、介质、终端及程序产品
知识产权简介
本发明公开了一种基于近存计算架构的大语言模型推理加速方法及系统。针对大语言模型在执行复杂推理任务（如思维树搜索）时面临的计算冗余大、内存带宽瓶颈以及模型间串行依赖导致流水线停顿等问题，本发明提出了一种软硬件协同设计方案。在算法层面，采用“近乎全解码”策略，通过复用交互间键值缓存（KV Cache）消除了绝大部分节点的预填充计算，并结合基于预测的推测执行机制打破了生成模型与奖励模型间的依赖。在硬件层面，设计了包含Rank级与Bank级计算单元的异构近存架构，并配备分数感知的动态缓存管理单元，根据推理路径评分动态优化片上缓存驻留。本发明显著提升了内存带宽利用率和计算并行度，大幅降低了推理延迟。
转化前景
本专利对应产品为一种集成智能计算单元的近存计算模组（如智能DIMM）及其配套的软硬件协同推理加速系统。该技术通过“近乎全解码”算法与异构近存硬件架构，有效降低大模型复杂推理中的“内存墙”与串行依赖瓶颈。该方案无需大幅改变现有物理架构，具备低成本、高能效的显著优势，可广泛应用于数据中心的高性能AI推理服务器及边缘智能设备，为数学求解、代码生成等深度逻辑推理业务提供关键算力支撑。