基于增强现实的机器人腔内介入远程呈现方法及系统
知识产权简介
机器人远程医疗可以为地理位置偏远地区的危重患者提供及时治疗。然而,由于缺乏深度信息、遮挡和视野方向有限等问题,远程患者端到本地临床医生端的视觉反馈通常不直观,这会影响手术安全性。因此,本发明开发了一种基于增强现实的机器人腔内介入远程呈现系统及方法。一个单目相机固定于多自由度机械臂末端,并将相机和机械臂运动特性相结合以实现全向增强现实(AR)的功能。通过多目标手眼标定、迭代最近点和图像叠加算法将虚拟关键解剖结构和介入器械叠加在相机视频图像上。相机的视野方向可以通过机械臂的运动来改变,允许从不同方向观察并透视关键解剖结构和介入器械。采用Structure-from-Motion(SfM)和Multi-View Stereo(MVS)算法来重建患者端的场景,从而为机械臂的安全远程遥操作提供虚拟现实(VR)交互界面。此外,提出了一种基于虚拟ArUco码的方法来计算虚拟和现实的叠加误差。本发明所提出的方法将全向增强现实和虚拟现实与机器人远程呈现相结合,可以为临床医生提供直观的视觉反馈,从而促进机器人远程医疗的安全性。