基于离群值分离激活值混合量化的神经网络优化方法

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/计算机应用
  • 权利人:上海交通大学

知识产权简介

随着Transformer网络模型的提出,标志着NLP领域迎来的一次重大革新,它摒弃了之前广泛使用的循环神经网络(RNN)和卷积神经网络(CNN),转而使用了基于注意力机制的架构。Transformer架构的核心在于其注意力机制,这一机制使得模型能够在处理长序列数据时,关注序列中不同部分的重要性,使得模型能够在不依赖序列数据的顺序的情况下,捕捉数据内部的复杂依赖关系。在模型训练也面临着一些挑战,其中显存墙问题是大预言模型在训练过程中经常会遇到的问题。随着神经网络规模和训练批处理大小的增大,模型训练过程中的激活值会占用大量显存。本发明提出了一种大模型训练过程中的激活值压缩训练方法,在前向传播中将激活值显存进行量化压缩,在反向传播中进行反量化减小训练过程中的激活值显存占用,并根据激活值分布特征提出提取激活值中的离群值部分和正常值部分,分别采用不同的量化比特在减小模型训练显存的情况下,尽可能减小压缩解压缩引起的精度损失。

转化前景

本专利可以使用在大语言模型训练过程中,减小训练过程中的激活值显存占用并减小压缩方法带来的精度降低。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作