适用于混合专家架构的视觉语言模型压缩系统V1.0
知识产权简介
旨在提供一种混合专家架构视觉语言模型的高效量化代码框架,减小量化带来的性能损失。
转化前景
本软件面向混合专家架构(MoE)视觉语言大模型,提供一站式轻量化量化解决方案。主要功能包括:多模态激活特征提取,自动区分视觉与文本Token的专家路由偏好;专家感知差异化量化,根据专家重要度动态分配量化权重;基于路由亲和度增强的Hessian矩阵优化,实现模型权重的低比特(4bit/3bit)高保真压缩;采用多模态特征解耦分析技术,独创模态感知的专家路由亲和度加权增强型Hessian矩阵量化算法,实现了MoE架构的专家独立量化与自适应误差补偿,解决了稀疏大模型在低比特压缩下推理思考能力衰退的难题。