混合专家大语言模型的量化方法、系统、介质及设备
知识产权简介
本申请提供一种混合专家大语言模型的量化方法、系统、介质及设备,方法包括:待量化的混合专家大语言模型进行前向传播,确定每一层的激活值;根据每一层的激活值,确定每一专家权重的Fisher信息;根据每一专家权重的Fisher信息,对每一专家权重进行加权融合,确定共享基础权重;将每一专家权重和共享基础权重的差值,作为每一专家的残差权重;采用预设的交替精炼二值化策略对共享基础权重进行权重二值化处理,采用符号矩阵与缩放因子结合的方式对每一专家的残差权重进行权重二值化处理,确定经过量化的混合专家大语言模型。通过本申请,实现专家共性与个性信息的有效分离与压缩,有效平衡压缩精度与压缩率,降低计算成本和部署成本。
转化前景
本发明的有益效果是: 1)Fisher信息引导的专家融合可提取高质量共享主干,提高1-bit压缩的初始质量。 2)残差结构设计充分保留专家个性表达能力,避免传统剪枝或合并方法带来的性能退化。 3)分层自适应二值化策略有效平衡精度与压缩率,提升MoE模型在边缘设备上的部署效率。 4)交替精炼框架优化基础权重二值化质量,显著提升压缩后模型的性能保持能力。 5)全流程无需再训练,具备即插即用的部署优势,降低部署成本,提高产业应用可行性。