基于时序敏感的扩散模型权重校准方法及内容生成方法
知识产权简介
本申请提供一种基于时序敏感的扩散模型权重校准方法和系统，方法包括：利用若干校准数据，计算扩散模型各层在不同时间步t的敏感度指标；对全时间步的所述敏感度进行归一化处理，得到归一化时序重要性分数；基于所述归一化时序重要性分数，将所述权重量化问题建模为加权最小二乘法问题；对所述加权最小二乘法问题求解，得到量化权重；将所述量化权重部署到扩散模型中。本申请采用基于Fisher信息的时序重要性评估与归一化技术，可以实现对生成轨迹中关键阶段的精准定位与加权，解决传统均值校准方法中关键时间步的拟合需求被非关键时间步稀释的问题。
转化前景
本发明的有益效果是： 1）因采用了基于Fisher信息的时序重要性评估与归一化技术，可以实现对生成轨迹中关键阶段（如构图期）的精准定位与加权，解决传统均值校准方法中关键时间步的拟合需求被非关键时间步稀释的问题； 2）因采用了时序加权海森矩阵（Time-Weighted Hessian）构建技术，可以实现静态权重对动态生成轨迹的优先拟合，解决静态参数无法同时适配高噪输入与低噪输入，导致低比特下生成结构崩塌的问题； 3）因采用了输入重缩放（Input Rescaling）与标准二阶求解器（GPTQ）结合的技术，可以实现低成本、高效率的轨迹感知权重校准，解决引入时序依赖通常需要昂贵的非线性优化或重训练（Retraining）带来的计算成本过高的问题。 综上，本发明因为采用了上述技术 1-3 的结合，可以实现扩散模型静态权重在全时序上的鲁棒性校准（总的技术目的），克服了现有技术存在的独立同分布假设失效、低比特量化丢失构图能力以及校准过程计算开销大等问题（总的技术问题）。