基于多条件控制扩散模型的图像生成方法和电子设备
知识产权简介
本申请针对多个输入条件下,模型的稳定性与效率不理想的问题,提 供了一种基于多条件控制扩散模型的图像生成方法和系统,其中,在 多条件控制扩散模型的训练过程中,针对每个条件设置一个可学习的 掩码,基于掩码和条件特征实现变分自编码器的训练,此后采用 Unet 架构,使用交叉注意力机制注入控制条件,实现对多条件控制扩散模 型的训练。
转化前景
本申请当新加入条件时,只需要训练条件对应的掩码,而 无需训练其他部分,包括变分自编码器以及生成模型。当条件发生冲 突时,只需要按照用户预先设置的优先级,合理处理冲突的通道,既 可解决条件之间的冲突。