以人为中心视频场景重建及分离方法、系统、介质及设备
知识产权简介
本申请提供一种以人为中心视频场景重建及分离方法、系统、介质及设备，方法包括：针对第一人称视角视频序列，基于从运动恢复结构先验，初始化覆盖背景、手部及物体的3D高斯集合；为3D高斯集合中每一高斯点增加可学习的动态类别概率向量；构建专用变形分支；根据每一高斯点的可学习的动态类别概率向量，通过预设的软-硬两阶段路由机制，将每一高斯点动态分配至对应类别的专用变形分支进行处理，确定时间感知的高斯变形量；基于时间感知的高斯变形量，对经过专用变形分支处理的高斯点进行渲染，确定4D场景重建图像以及背景、手部、物体的分解重建图像。通过本申请，实现以人为中心视频的4D场景重建以及背景、手部、物体的显式、精细分离。
转化前景
本申请的以人为中心视频场景重建及分离方法，可以应用在影视后期制作，对影视拍摄的 以人为中心的视频(如演员对手戏、动作戏)，重建 4D 场景，显式分离背景(拍摄绿幕 / 实 景)+ 手部(演员双手)+ 物体(道具)，实现精准抠像与特效融合;解决传统绿幕抠像 “手 抓道具时边缘模糊、抠不干净” 的问题(如演员拿剑、持道具互动)，方法能精准分离手与 道具边界，直接导出分层素材(背景层、手部层、道具层)，后期可单独替换背景(如绿幕换 战场)、调整道具颜色、添加手部特效(如发光、血迹);减少后期手动修图工作量，提升特 效真实度，适配动作片、科幻片的复杂交互场景。因此，本申请提出的以人为中心视频场景重建及分离方法，具有广阔的产业化应用前景， 可以应用于工业协作机器人、消费级体感交互、智能车载交互、影视后期制作技术领域，有效 实现以人为中心的视频 4D 场景中背景、手部、物体的显式、精细分离，为以人为中心的交互 视频场景理解与交互编辑提供有效工具。