免标定的多相机可见光-热图像超分辨与融合方法和系统
知识产权简介
本申请提供一种免标定的多相机可见光-热图像超分辨与融合方法，包括在未进行相机几何标定与时间同步的条件下，采集低分辨率热图像和高分辨率参考RGB图像； 通过变分自编码器VAE将所述热图像和所述RGB图像分别编码至共享潜空间，得到热图像潜特征和RGB图像潜特征；将所述热图像潜特征与所述RGB图像潜特征输入至核心网络为UNet的单步潜空间扩散模型，利用预训练扩散模型的自然图像先验，在潜空间中进行去噪并恢复高频结构与纹理信息，得到重建后的热图像或融合图像潜空间表征； 通过VAE解码器将重建后的热图像或融合图像潜空间表征解码至像素空间，输出高分辨率热图像或RGB-热图像融合图像。本申请实现了高质量重建和融合。
转化前景
本专利的产业化前景主要体现在通过“算法补偿硬件”的跨尺度计算方式，突破了红外成像领域的硬件瓶颈。长期以来，高分辨率红外探测器受限于感光材料和制造工艺，不可避免地面临体积庞大、成本高昂的问题。而本专利利用生成式技术实现了低配硬件的高质量成像，这意味着未来的终端设备只需搭载廉价、小尺寸的低分辨率红外传感器，配合普通的可见光镜头，即可输出媲美高端双光硬件的融合画面。这不仅能够成倍降低多模态感知设备的硬件制造成本，还能显著缩减光电模组的物理体积，使其能够轻松集成到对重量和体积要求极苛刻的微型无人机、便携式设备以及日常安防系统中，极大地拓宽了双光融合技术的实际应用场景。