基于多条件控制扩散模型的图像生成方法和电子设备

  • 国民经济行业:信息传输、软件和信息技术服务业
  • 学科类别:计算机科学技术
  • 权利人:上海交通大学

知识产权简介

本申请针对多个输入条件下,模型的稳定性与效率不理想的问题,提 供了一种基于多条件控制扩散模型的图像生成方法和系统,其中,在 多条件控制扩散模型的训练过程中,针对每个条件设置一个可学习的 掩码,基于掩码和条件特征实现变分自编码器的训练,此后采用 Unet 架构,使用交叉注意力机制注入控制条件,实现对多条件控制扩散模 型的训练。

转化前景

本申请当新加入条件时,只需要训练条件对应的掩码,而 无需训练其他部分,包括变分自编码器以及生成模型。当条件发生冲 突时,只需要按照用户预先设置的优先级,合理处理冲突的通道,既 可解决条件之间的冲突。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作