基于毫米波的非侵入式 3D 面部重构方法

  • 国民经济行业:科学研究和技术服务业/研究和试验发展/工程和技术研究和试验发展
  • 学科类别:计算机科学技术/人工智能/计算机神经网络
  • 权利人:上海交通大学

知识产权简介

近年来,三维人脸重建市场迅速崛起,支持虚拟现实建模、人机交互和情感计算等应用。目前主流的基于视觉的三维人脸重建方法存在隐私保护问题,且会受到非视距场景和恶劣光照条件的影响。本文提出一种非侵入式三维人脸重建系统mm3DFace,利用COTS毫米波雷达以保护隐私和被动的方式重建连续表达面部表情的三维人脸。基于预处理后的毫米波信号,mm3DFace首先通过一个Triple-Loss-Embedding的ConvNeXt模型提取捕捉面部表情细微变化的面部几何特征。然后,mm3DFace对68个人脸特征点进行区域分割仿射变换,得到具有距离和方向鲁棒性的人脸形状;mm3DFace通过设计的区域放大方法重建人脸表情,最终生成连续表达人脸表情的三维人脸头像,实现人脸三维重建。在真实环境中对15名参与者进行的大量实验表明,mm3DFace能够以仅3.94%的归一化平均误差、2.30mm的平均绝对误差和4.10mm的3D-平均绝对误差准确跟踪68个面部特征点,在真实三维人脸重建中具有有效性和实用性。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作