基于毫米波雷达的360度三维数字人重建方法
知识产权简介
随着元宇宙和虚拟现实技术的快速发展，三维数字人重建作为描述人体三维形态和姿态的重要手段，在智能家居、人机交互和虚拟现实等应用场景中具有重要应用价值。现有三维人体重建方法多局限于单视角，容易受到视角变换、自遮挡等因素的限制。针对上述问题，本发明提出了一种基于毫米波雷达的360度三维数字人重建方法及系统。该方法利用单个商用调频连续波毫米波雷达采集人体运动回波信号，对信号在距离、多普勒及角度维度进行解析处理，构建多维雷达特征张量，用于表征人体的空间结构和运动状态。针对不同人体朝向和自遮挡条件下雷达可观测信息不一致的问题，引入视角不变特征学习机制，通过基于缩放点积的注意力融合模型，对多维特征进行自适应加权，提取与人体朝向无关的稳定特征表示。在此基础上，结合三维卷积神经网络和时间序列建模网络，对人体空间结构特征与时间运动特征进行联合建模，生成结构完整的人体骨骼关键点三维表示。进一步地，将所生成的人体骨骼作为输入，对人体参数化模型进行约束，重建对应的三维人体网格模型，实现360度三维数字人的完整建模。通过上述技术方案，本发明实现了360度三维数字人的连续重建，适用于虚拟现实、人机交互等应用场景。
转化前景
本专利可应用于基于毫米波雷达的人体三维感知与数字人重建系统产品，通过单毫米波雷达设备实现人体骨骼关键点估计与三维人体网格重建。该技术具有无需光照条件、隐私保护性强、环境适应性好和部署成本低等优势，相比传统视觉方案能够在弱光、遮挡或复杂环境下稳定工作。系统可实现人体关键点三维定位及人体网格重建，具备较高的姿态估计精度和实时处理能力。在产业化方面，该技术可广泛应用于虚拟现实与元宇宙交互、智能家居行为识别、智慧医疗康复评估、安防监测以及数字孪生等领域，具有良好的市场应用前景和产业推广价值。