基于增强现实的机器人腔内介入远程呈现方法及系统

  • 国民经济行业:科学研究和技术服务业/研究和试验发展/工程和技术研究和试验发展
  • 学科类别:电子、通信与自动控制技术/自动控制技术/机电一体化技术
  • 权利人:上海交通大学

知识产权简介

机器人远程医疗可以为地理位置偏远地区的危重患者提供及时治疗。然而,由于缺乏深度信息、遮挡和视野方向有限等问题,远程患者端到本地临床医生端的视觉反馈通常不直观,这会影响手术安全性。因此,本发明开发了一种基于增强现实的机器人腔内介入远程呈现系统及方法。一个单目相机固定于多自由度机械臂末端,并将相机和机械臂运动特性相结合以实现全向增强现实(AR)的功能。通过多目标手眼标定、迭代最近点和图像叠加算法将虚拟关键解剖结构和介入器械叠加在相机视频图像上。相机的视野方向可以通过机械臂的运动来改变,允许从不同方向观察并透视关键解剖结构和介入器械。采用Structure-from-Motion(SfM)和Multi-View Stereo(MVS)算法来重建患者端的场景,从而为机械臂的安全远程遥操作提供虚拟现实(VR)交互界面。此外,提出了一种基于虚拟ArUco码的方法来计算虚拟和现实的叠加误差。本发明所提出的方法将全向增强现实和虚拟现实与机器人远程呈现相结合,可以为临床医生提供直观的视觉反馈,从而促进机器人远程医疗的安全性。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 入股,许可,转让
预估金额
联系合作