一种自适应精度神经网络训练方法、系统及图像分类方法
知识产权简介
本发明提供一种自适应精度神经网络训练方法和系统,包括:计算模型训练过程中的权重、激活和梯度对模型损失的敏感度度量,衡量各个层量化的影响;基于所述敏感度度量,设计权重、激活和梯度的位宽分配方案,在训练过程每经过一定的训练时间,根据所述敏感度度量对位宽逐层进行动态调整;各个层根据权重、激活和梯度调整后的当前位宽,选择对应的低位整数矩阵计算算子,替换掉原有的浮点计算算子。本发明能够在保证网络训练后的性能的前提下,降低网络训练过程中的计算量,减少神经网络训练在实际场景下的开销。