基于平移光流与不确定性掩码的单目视觉四旋翼无人机高速自主避障、训练方法及部署系统

  • 国民经济行业:科学研究和技术服务业/科技推广和应用服务业/技术推广服务/其他技术推广服务
  • 学科类别:电子、通信与自动控制技术/自动控制技术/机器人控制
  • 权利人:上海交通大学

知识产权简介

本申请所要解决的技术问题是:原始光流同时混合平移与旋转分量,当飞行器存在较大旋转时,障碍物与背景产生相似光流,网络难以区分结构,导致高速避障时易碰撞或减速错误。FOE 区域光流幅值近零、信噪比低,难以通过幅值判断远近障碍;同时噪声、遮挡及场景变化会破坏光流,导致结构信息不足或误导策略。在训练中,若感知与控制模块未联合优化,策略收敛慢且易陷入次优解;现实与仿真差异亦导致迁移困难。为此,本申请提出基于平移光流与不确定性掩码的单目视觉四旋翼无人机高速自主避障方法:将光流分解为平移与旋转分量,仅保留平移光流(T-OF)作为主输入,用于障碍结构感知;引入前后向光流一致性误差计算的不确定性掩码(Uncertainty Mask)作为辅助线索;在可微物理仿真器中实现感知—控制—动力学一体化训练,使梯度能从控制目标传播至感知编码器,实现快速端到端优化;采用 offboard 离板部署,将光流估计网络置于地面站或边缘服务器实时推理,并在帧间引入旋转估计与对齐提升输入一致性与光流精度。

转化前景

本申请设计了一种基于平移光流与不确定性掩码的单目视觉四旋翼无人机高速自主避障方法及其训练与部署系统,技术优势在于:1)仅使用平移光流作为策略网络的主输入,能够提高策略在复杂运动模式下分辨背景与障碍的能力。2)引入基于前向/后向光流一致性误差计算的不确定性掩码作为辅助结构线索, 能够进一步提高成功率,在高速度下显著减少 FOE 区域导致的碰撞失败。3)在可微分物理仿真器中将感知—控制—动力学一体化训练, 使梯度能从控制目标向感知编码器传播,实现快速一阶优化,增强了策略在不同仿真/真实场景间的泛化能力。4)将计算负担较重的光流估计网络从无人机上分离出来,部署于地 面站或边缘服务器中进行实时推理。从生产实施角度考虑,本申请技术方案在普通桌面级训练平台上能在数小时内完成训练收敛;实际部署时可以实现轻量化机载负载与高精度视觉感知的兼顾,同时便于集中维护与快速算法迭代;算力优化或模型压缩后,也可进一步扩展至机载或边缘端实时推理场景。此外,将昂贵算力集中在地面或边缘服务器,可实现对多架无人机的算力共享与集中维护,降低单机硬件升级成本并缩短算法迭代周期;同时保持无人机机体轻量化、降低单机传感器动力负担,有利于竞速或轻量平台部署。综上所述,基于本申请发明创造的具体内容,本报告认为本申请技术方案具有一定的产业化应用前景。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作