基于迭代参数优化的大语言模型三值量化及文本生成方法

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/人工智能/人工智能理论
  • 权利人:上海交通大学

知识产权简介

本申请提供一种基于迭代参数优化的大语言模型三值量化方法,包括:将样例文本输入预训练大语言模型,运行前向推理过程,利用回调函数收集各量化层的激活值;对每个待量化的权重矩阵,引入缩放因子和偏置,构建由缩放因子、三值矩阵和偏置构成的近似权重;设计判断阈值,根据判断阈值初始化三值矩阵,其中三值矩阵的元素取自 {-1, 0, 1};初始化缩放因子和偏置;基于校准数据构建激活感知误差函数,以最小化激活感知误差为目标,迭代更新缩放因子、偏置和三值矩阵;利用优化后的缩放因子、偏置和三值矩阵生成量化权重,得到量化后的大语言模型。本申请使量化后的权重尽可能接近原始权重分布,从而在无需梯度训练的条件下实现高精度三值化。

转化前景

本方法的有益效果是: 1)因采用了非对称三值初始化和迭代更新,可以在无训练条件下为三值化提供合理的参数起点,并通过多轮更新逐步减小量化误差,使三值权重更加贴近原始权重分布,从而提升极低比特量化下的精度与稳定性。 2)因采用了权重矩阵结构重排,降低了量化块内不同通道权重分布差异带来的不利影响,减小了量化误差。 3)本方法在多种主流大语言模型骨干上均取得了显著效果提升。在LLaMA系列模型上,我们的方法在同配置情况下,均优于现有的GPTQ,PB-LLM,SLim-LLM等方法。在Qwen3-14B模型上,本方法在零样本任务上的准确度,也超过了其他对比方法。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 入股,许可,转让
预估金额
联系合作