基于帕累托搜索与解耦算子的扩散模型量化方法及系统
知识产权简介
本申请提供一种基于帕累托搜索与解耦算子的扩散模型量化方法及系统，方法包括对预训练的扩散模型进行全时序的敏感度分析，得到扩散模型中各网络层在每个时间步的敏感度权重；基于位宽和算子配置构建解耦候选集合；获取解耦候选集合的真实推理延迟，构建延迟查找表；基于敏感度权重和延迟查找表，对解耦候选集合执行帕累托搜索，得到全时序的最优量化策略路径；基于全时序的最优量化策略路径对预训练的扩散模型进行量化处理，得到经过量化的扩散模型。本申请的量化扩散模型可有效支撑图像、视频等数据的生成类任务，避免资源浪费，最大限度降低数据传输与生成过程中的结构崩塌。
转化前景
本发明的有益效果是： 1）因采用了基于全时序敏感度画像的动态资源分配技术，可以实现计算资源在时间轴上的按需分配，解决现有静态量化方法中“关键步骤精度不足、冗余步骤算力浪费”导致性能天花板受限的问题； 2）因采用了位宽与旋转算子解耦的候选策略空间构建技术，可以实现量化算子强弱与时间步敏感度的最佳耦合（如早期用强算子保结构，晚期关旋转换速度），解决传统混合精度搜索仅调节位宽而忽略算子开销、无法挖掘硬件极致加速潜力的问题； 3）因采用了基于真实延迟查表（LUT）与轨迹误差补偿的帕累托搜索技术，可以实现在极低平均比特（如W3A3）下画质与推理速度的帕累托最优，解决理论计算量（Bit-ops）不能反映真实加速比以及Teacher Forcing模式下忽略误差累积导致生成轨迹偏离的问题。 综上，本发明因为采用了上述技术的结合，可以实现扩散模型在极低比特下的高保真、高速度自适应推理（总的技术目的），克服了现有技术存在的静态量化策略僵化、搜索目标与硬件脱节以及低比特下生成结构崩塌等问题（总的技术问题）。