图像上色方法、系统、终端及介质

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业
  • 学科类别:电子、通信与自动控制技术/信息处理技术
  • 权利人:上海交通大学

知识产权简介

本发明提供一种图像上色方法及系统,其中方法包括:提供一图像上色模型,所述图像上色模型包括:预训练的文本编码器、实例掩码多层感知机、实例拼接多层感知机、预训练的视觉编码器、自注意力模型、视觉文本交叉注意力模型、条件图像引导网络模型、条件交叉注意力模型以及预训练的视觉解码器;提供一训练数据集,所述训练数据集包括:实例文本、实例掩码、彩色图像、整体文本以及黑白图像;利用所述训练数据对所述图像上色模型进行训练,得到训练后的图像上色模型;利用所述训练后的图像上色模型,进行图像上色。本发明使用输入的实例掩码和实例文本,允许使用者自定义图像中每个物体的颜色,改善了颜色绑定的问题。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作