基于重排列量化的一体化图像生成与理解方法及系统
知识产权简介
目前主流的降低线性层激活值量化误差的方法是平滑和旋转。平滑方法通常是逐通道对输入的激活值进行处理,无法充分利用分组量化中不同组之间相互隔离的特点来降低量化误差。旋转方法通常会引入额外的计算开销,因而影响到量化后模型的推理速度。
转化前景
本发明的有益效果是: 1)因采用了基于通道最大绝对值的重排列,可以实现将分布接近的通道放在同一组中量化,将分布差距较大的通道放在不同的组中量化,解决了平滑方法不能充分利用分组量化中不同组之间相互隔离的特点来降低量化误差的问题; 2)因采用了融合归一化层与重排列的技术,可以实现不引入额外计算开销的重排列,解决旋转方法会引入额外计算开销的问题; 综上,本发明因为采用了上述技术1、2的结合,可以实现在不引入额外计算开销的前提下,将分布接近的通道放在同一组中量化,将分布差距较大的通道放在不同的组中量化,从而减少量化误差,克服了现有技术存在的不能充分利用分组量化中不同组之间相互隔离的特点来降低量化误差以及会引入额外计算开销的问题。