基于全局校正后验采样的图像处理方法及系统

  • 国民经济行业:科学研究和技术服务业/研究和试验发展/自然科学研究和试验发展
  • 学科类别:计算机科学技术/人工智能/人工智能理论
  • 权利人:上海交通大学

知识产权简介

本发明涉及人工智能与计算机视觉技术领域,尤其涉及一种基于扩散模型先验、后验采样、全局校正以及任务约束构造的统一图像处理方法、装置及计算机可读存储介质。该方法可用于图像重建、图像编辑、超分辨率重建以及去模糊等多种图像处理场景。

转化前景

本发明采用统一的后验采样框架与预训练扩散模型先验,无需针对每一类图像处理任务重新训练专用网络,即可在零样本条件下支持图像重建、图像编辑、超分辨率和去模糊等多类任务,实现了更强的通用性和更低的部署成本;解决了如何在不重新训练基础模型的情况下,同时支持图像重建、图像编辑、超分辨率和去模糊等多类图像处理任务的问题。 本发明采用基于输入特征注入、观测一致性和随机动力学的全局校正策略,可以在采样过程中直接修正历史累积误差,降低由无条件分支引起的背景漂移和语义偏移,实现源图像关键特征保持与目标约束满足之间的更优平衡;解决了如何在抑制扩散采样过程中由无条件分支和逐步局部修正造成的误差积累,提升结果对源图像关键特征的保持能力的问题。 本发明针对高度不适定逆问题设计了任务特定约束,其中包括面向图像编辑的掩膜观测机制、面向超分辨率的数据一致性与零空间约束机制以及面向去模糊的图像—模糊核联合优化机制,因此能够提升复杂退化条件下的恢复质量、结构稳定性和鲁棒性;解决了如何在低层逆问题场景下引入适合任务的约束机制,使结果同时满足观测一致性、细节恢复和结构稳定性的问题。 本发明采用单步加噪替代多步反演,并结合少步求解器与全局校正更新,本发明在保持较高质量的同时具有较好的推理效率,适合在科研、工业图像增强、内容生产和人机交互式图像编辑等场景中部署;解决了如何以统一的推理范式,提高免训练图像处理方法的效率、鲁棒性和工程可部署性的问题。 本发明通过统一免训练框架、全局校正和任务特定约束的组合,能够解决现有技术中训练成本高、局部误差累积严重、对复杂逆问题适应性不足的问题。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作