基于稠密-稀疏并行计算的混合专家模型多词元预测方法、装置、介质、程序产品及终端
知识产权简介
MTPMoE 是一种无需微调即可高效融合多词预测(MTP)与混合专家(MoE)架构的无损计算框架。传统基于“草稿-验证”的 MTP 方法在 MoE 模型中因多批次输入激活大量不同专家,导致专家计算被迫串行化,反而显著增加延迟(最高达 64%)。MTPMoE 利用 MoE 中专家激活分布高度偏斜的特性,将高频激活专家动态聚合成密集计算块,实现稠密-稀疏并行执行。其核心技术包括:(1)并行驱动的稀疏正则化——通过结构化填充消除非结构化稀疏带来的控制流与内存访问开销,利用 Tensor Core 与 CUDA Core 并行加速,最高提速 4.71 倍;(2)硬件感知的稠密-稀疏划分阈值——根据每批输入的激活集中度和硬件算力动态调整划分点,提升并行效率,获得 1.13 倍加速;(3)在 MTPMoE+ 中进一步引入频率与权重引导的专家剪枝,跳过低频低权专家计算,在精度损失低于 0.2% 的前提下再提速 1.21 倍。实验表明,在 NVIDIA A800 GPU 上,MTPMoE+ 相比 HuggingFace 原生实现最高加速可达 4.53×。
转化前景
与现有技术相比,本发明提出的 MTPMoE 与 MTPMoE+ 框架具有以下显著的有益效果: 1. 高效融合 MTP 与 MoE,显著提升推理速度:通过稠密-稀疏协同调度机制,解决了二者结合时因专家激活碎片化导致的硬件利用率低下问题,相比直接结合MTP与MoE,在 NVIDIA A800 上实现最高 6.81 倍端到端加速。 2. 无需微调原始模型,降低部署成本:完全避免对主 MoE 模型的结构修改或额外训练,仅通过运行时优化即可实现高性能推理,适用于无法修改模型的生产场景。 3. 精度损失极小,保障生成质量:基于激活频率与门控权重的动态剪枝策略,在获得显著加速的同时,模型精度下降控制在 0.2% 以内。