基于树状搜索的扩散模型时空混合精度量化方法及系统

• 国民经济行业：信息传输、软件和信息技术服务业／软件和信息技术服务业／软件开发
• 学科类别：计算机科学技术／人工智能／人工智能理论
• 权利人：上海交通大学

知识产权简介

本发明涉及深度学习模型压缩与自动化机器学习（AutoML）技术领域，尤其涉及一种针对扩散变换器（Diffusion Transformer, DiT）生成模型，在空间（网络）和时间（步数）两个维度上均采用树状帕累托剪枝策略的高效量化配置搜索方法。

转化前景

本发明提出一种时空同构（Spatiotemporal Isomorphic）的双重树状搜索框架，具体解决： 1.时空算法统一：创新性地提出将“时间步序列”视为与“网络层序列”同构的线性结构，在时间维度上也采用树状帕累托聚合与剪枝策略，实现算法逻辑的高度统一。 2.全局帕累托最优：通过在时间和空间两个维度分别构建帕累托前沿（Pareto Frontier），确保最终生成的时空调度方案在严格满足硬件约束（如平均比特数）的前提下，实现理论上的失真最小化。 3.部署友好性：采用“权重静态、激活动态”的策略，结合时间维度的分段聚合，既利用了时间冗余，又避免了频繁切换权重带来的IO开销。