一种基于重申-交织的指代图像分割方法及系统
知识产权简介
本发明提供了一种指代图像分割方法及系统，包括：使用视觉特征提取器将场景图片编码为视觉特征；使用文本特征提取器将描述文本编码为文字特征；将视觉特征和文字特征一起送入模态交织网络，得到分割概率图，使用阈值法将其转换为分割结果；计算预测的分割结果和真实分割掩码的损失，利用梯度下降法进行训练；使用训练好的模型，对测试场景图像和测试描述文本进行推理，得到测试图像分割结果。本发明提出重申-交织的策略，大幅提升了指代分割的准确性。
转化前景
本申请针对指代图像分割的多模态交互技术，在复杂语义理解场景中具备突破性产业化价值。其核心创新点在于"重复与交织"机制与多模态序列平衡技术，有效解决了跨模态特征失衡及复杂文本解析难题。例如，在智能医疗领域，本申请可应用于医学影像的精准语义标注，如结合放射科医生的复杂诊断描述实现病灶区域智能圈定。例如，在自动驾驶系统中，本申请可增强车载视觉系统对复杂导航指令（如"左前方变道的银色轿车"）的语义解析能力。对于智能交互设备，本申请的深度文本理解特性可支撑 AR/VR 场景中基于自然语言指令的实时物体分割。 技术优势层面，本申请通过重构多模态序列比例与建立动态交互权重，序列压缩算法使长文本处理内存消耗降低，突破传统方法在处理文本时的硬件瓶颈。产业化落地中，模块化设计支持与现有分割框架快速集成，训练数据需求量减少，显著降低企业技术迁移成本。