一种内窥镜手术视频时空域联合解析方法与系统
知识产权简介
本发明提出一种内窥镜手术视频时空域联合解析方法与系统。其中方法包括:获取内窥镜手术的连续视频帧序列,并对数据完成预处理;利用共享特征编码器提取预处理后视频帧的共享特征图;通过分割解码器处理共享特征图,获得手术器械、解剖器官及背景环境的分割掩码,进而生成空间注意力图,以对共享特征进行加权调制,得到任务交互特征图;将所得任务交互特征图并行输入至动作识别头与阶段分类头,同步输出分割掩码、动作分类结果及手术阶段分类结果。本发明通过时空域联合解析方法,实现了空域分割、时域动作识别与阶段分类的高效协同,并采用渐进训练策略,结合多任务损失函数与时序约束,完成端到端优化。单一网络用参数共享的编码器-解码器架构,所有任务共用同一套特征提取主干,输入视频只需经过一次前向传播即可同时获得多项任务的输出结果,实现了单一网络在推理阶段即可同步完成分割、阶段识别与动作识别,为实现精准、安全、高效的智能微创手术系统提供了关键的视觉感知基础。
转化前景
本发明提供了一种内窥镜手术视频时空域联合解析方法与系统及系统,空域分割掩码所隐含的器械-器官几何先验天然充当时序语义的高阶索引,使“空间看见”直接映射为“时序做何”;借助共享编码器主干一次性提取多尺度时空特征后,分割解码器输出的像素掩码经轻量级卷积生成空间注意力张量,对共享特征执行通道-空间联合重标定,形成任务交互特征并并行馈入动作识别与阶段分类分支,在单一前向中完成分割-动作-阶段三联估计,同时通过渐进式多任务损失实现端到端协同优化。分割引导的注意力调制在梯度层面为分类任务提供空域显著性正则,迫使网络始终聚焦操作相关区域而抑制背景噪声,配合动态权重平衡机制避免特征竞争与负迁移,从而将多任务压缩为单网络单次推理,显著降低计算链路与内存,并以空域先验持续增强关键区域表达,提升整体鲁棒性与实时性,为智能微创手术提供简洁高效、低冗余的视觉感知范式。