一种基于光流引导与目标发现的内窥镜视频分割方法及系统

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发, 信息传输、软件和信息技术服务业/软件和信息技术服务业/其他信息技术服务业, 卫生和社会工作/卫生/医院
  • 学科类别:临床医学/临床诊断学/医学影象学、电子、通信与自动控制技术/光电子学与激光技术
  • 权利人:上海交通大学

知识产权简介

本发明提供一种基于光流引导与目标发现的内窥镜视频分割方法及系统。其中方法包括:获取内窥镜手术连续视频帧序列并执行数据预处理;将预处理后的视频帧序列输入光流-外观双分支编码器,提取融合运动与外观信息的统一时空特征表示;将该特征表示输入槽注意力模块,生成一组解耦的对象中心语义槽及其对应空间注意力权重图;通过分割解码器将语义槽表示映射至像素空间,输出手术器械、解剖器官及背景环境的语义分割掩码;对所得分割掩码进行后处理优化,提升掩码的结构完整性与边界平滑度。本方法在器械遮挡、组织形变、光照突变等复杂手术场景下,仍可实现准确分割,显著提升了分割精度与处理效率,为术中导航提供高精度实时视觉感知支持。

转化前景

本发明提供了一种基于光流引导与目标发现的内窥镜视频分割方法及系统,构建“光流驱动—目标解耦—像素映射”端到端框架:以光流-外观双分支协同编码同步捕获器械运动与组织纹理,通过槽注意力将混合时空特征无监督拆分为对象中心语义槽,再由解码器将槽表示一次映射为高分辨率掩码,全程无需像素标注即可在遮挡、形变、光照突变等场景下保持分割连贯;无监督式学习,仅以视频级类别标签完成目标发现与分割,彻底摆脱像素级标注依赖,时域引导空域,利用光流运动场驱动槽注意力分配,使动态器械在特征空间获得持续高响应,掩码在帧间自然平滑、边缘锐利,为智能微创手术提供简洁高效、低标注成本的实时感知范式。