基于掩码自动编码器自监督预训练的图像处理方法及系统

• 国民经济行业：信息传输、软件和信息技术服务业／软件和信息技术服务业／软件开发
• 学科类别：计算机科学技术／人工智能／计算机神经网络
• 权利人：上海交通大学

知识产权简介

本申请提供一种基于掩码自动编码器自监督预训练的图像处理方法及系统，方法包括：将训练集退化图像输入预设的掩码自动编码器进行随机掩码，确定掩码图像；将掩码图像输入预设的SCformer模型，确定重建的训练集退化图像，对预设的SCformer模型进行预训练，确定经过训练的SCformer模型；根据重建的训练集退化图像和训练集退化图像，采用预设的Charbonnier 损失函数优化预设的SCformer模型的参数；将待处理退化图像输入经过优化的SCformer模型，确定重建的图像。通过本申请，采用掩码自动编码器自监督预训练预设的SCformer模型，有效执行低视觉任务，实现高质量的图像重建。

转化前景

本申请基于掩码自动编码器自监督预训练的图像处理方法方法，采用掩码自动编码器 中的CSformer 模型执行图像处理任务，同时考虑通道注意力和基于移位窗口的自注意力， 有效执行低级视觉任务，实现高质量的全图像重建，在高斯去噪、真实图像去噪、单图像 运动模糊去除、散焦模糊去除和图像去雨任务中表现优异，同时，两阶段的预训练方法， 节省训练时间；因此，具有良好的应用前景。