视频全帧对稠密轨迹估计方法、系统、终端及介质

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/人工智能/计算机感知
  • 权利人:上海交通大学

知识产权简介

本发明提供了一种视频全帧对稠密轨迹估计方法、系统、终端及介质。定义全帧对轨迹估计问题以及确定输出结果的数学形式;以视频序列为输入,基于视频序列提取每一视频帧的时空补丁特征;基于时空补丁特征,针对每一个有序帧对构造相关表示并生成帧对运动标记;沿轨迹方向对运动标记进行上下文聚合与广播修正,并回写到对应的帧对运动标记上,获得优化后的帧对运动特征;基于时空补丁特征和帧对运动特征,采用轨迹场解码器输出位移场、可见性场和置信度场,得到最终的视频全帧对稠密轨迹估计结果。本发明既能够针对每一个有序帧对建立有区分度的匹配表示,又能够沿轨迹方向聚合全局上下文,并把这种上下文重新反馈到各帧对预测之中。

转化前景

本专利可应用于视频编辑、自动驾驶、机器人视觉、智能监控及三维重建等产品与系统,作为长视频运动理解与高精度视觉感知的核心技术模块。其技术优势在于通过全帧对稠密轨迹场、共享相关库CorrBank和广播式运动混合器BMM,实现任意帧间像素级对应关系的统一建模,相比传统光流和点跟踪方法,在长时一致性、遮挡处理、大位移鲁棒性和复杂场景适应性方面具有明显优势。该方案可同时输出位移、可见性和置信度信息,兼顾精度、可靠性与工程部署效率,并支持长视频扩展,具有广阔的产业化前景,可推动智能视觉、AIGC视频处理及具身智能等领域的产品升级与商业落地。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作