卷积神经网络训练8位张量表示方法及系统
知识产权简介
本发明面向人工智能领域卷积神经网络训练时卷积层的前向传播与反向传播运算,利用张量各通道数值阶码的局部性,针对特征梯度量化时各通道数值范围相差较大的特性,设计了按通道分配共享阶码的张量8位表示方法,用以降低卷积神经网络训练时的存储开销与计算开销。
本发明面向人工智能领域卷积神经网络训练时卷积层的前向传播与反向传播运算,利用张量各通道数值阶码的局部性,针对特征梯度量化时各通道数值范围相差较大的特性,设计了按通道分配共享阶码的张量8位表示方法,用以降低卷积神经网络训练时的存储开销与计算开销。