一种自适应精度神经网络训练方法、系统及图像分类方法

  • 国民经济行业:信息传输、软件和信息技术服务业/互联网和相关服务/互联网信息服务
  • 学科类别:计算机科学技术/人工智能/计算机神经网络
  • 权利人:上海交通大学

知识产权简介

本发明提供一种自适应精度神经网络训练方法和系统,包括:计算模型训练过程中的权重、激活和梯度对模型损失的敏感度度量,衡量各个层量化的影响;基于所述敏感度度量,设计权重、激活和梯度的位宽分配方案,在训练过程每经过一定的训练时间,根据所述敏感度度量对位宽逐层进行动态调整;各个层根据权重、激活和梯度调整后的当前位宽,选择对应的低位整数矩阵计算算子,替换掉原有的浮点计算算子。本发明能够在保证网络训练后的性能的前提下,降低网络训练过程中的计算量,减少神经网络训练在实际场景下的开销。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 入股,许可,转让
预估金额
联系合作