基于定制化参数生成的开放词汇语义分割方法
知识产权简介
一种基于定制化参数生成的开放词汇语义分割方法，包括：构建包含图像编码器和文本编码器的开放场景语义分割模型；引入定制化参数生成器，利用图像编码器提取的局部视觉特征作为条件，结合随机噪声，生成针对当前输入图像的动态低秩权重参数；引入正交适配机制，通过构建与预训练参数空间近似正交的子空间，将生成的低秩权重映射为文本编码器的参数增量；在保持预训练参数固定的情况下，将参数增量注入文本编码器进行微调训练。本申请通过定制化参数生成器实现了模型参数随输入图像内容的动态调整，并利用正交适配策略确保参数更新方向不干扰预训练模型的通用知识，在显著提升像素级语义分割精度的同时，有效保留了模型在开放场景下的泛化能力。
转化前景
本专利对应的产品为一种定制化参数生成的开放词汇语义分割系统。该系统构建包含图像编码器和文本编码器的开放场景语义分割模型；引入定制化参数生成器，利用图像编码器提取的局部视觉特征作为条件，结合随机噪声，生成针对当前输入图像的动态低秩权重参数；引入正交适配机制，通过构建与预训练参数空间近似正交的子空间，将生成的低秩权重映射为文本编码器的参数增量；在保持预训练参数固定的情况下，将参数增量注入文本编码器进行微调训练，为显著提升自动驾驶、智能安防、医学影像分析、遥感图像解译等高精度视觉任务提供了新思路。此外，其轻量化设计和低资源消耗特性使其能够部署于边缘设备，满足实时性需求。本专利的技术突破不仅推动了开放场景语义分割领域的发展，还为相关产业的智能化升级提供了强有力的技术支持，具有广阔的产业化应用前景和显著的经济效益