一种面向生成式通信的稀疏视角空间视频生成方法及系统

  • 国民经济行业:信息传输、软件和信息技术服务业/电信、广播电视和卫星传输服务/广播电视传输服务/无线广播电视传输服务
  • 学科类别:信息科学与系统科学/系统工程
  • 权利人:上海交通大学

知识产权简介

本申请提供一种面向生成式通信的稀疏视角空间视频生成方法,方法包括针对稀疏多视角视频,获取其对应的稀疏点云和相机参数,以构建初始的高斯溅射场景表示;将初始的高斯溅射场景表示分解成静态场和动态场,对动态场进行插值处理,基于插值处理后的动态场得到稀疏渲染图像;构建生成式先验模块,采用生成式先验模块对稀疏渲染图像进行单步扩散校正,生成校正视图;执行第一阶段几何净化优化;执行第二阶段生成式知识蒸馏优化,在未观测视角采样新视点,利用生成式先验生成校正视图作为伪监督,通过混合损失函数将生成知识融入显式3D表示;在接收端基于优化后的动态3D高斯表示,对任意时刻和视角执行实时渲染,生成高保真的自由视角空间视频。

转化前景

本专利面向生成式通信范式下的空间视频生成需求,提出了一种稀疏视角驱动的三维生成方法,可广泛应用于自由视角视频、沉浸式交互、XR内容生产及数字孪生等场景,实现从少量视角采集到高保真空间视频生成与实时渲染的高效链路。相比传统依赖密集观测与长时优化的三维重建方法,本专利通过构建“生成式先验+显式三维表示”的协同框架,结合单步扩散校正与生成知识蒸馏机制,在极稀疏输入条件下实现结构一致与纹理细节兼顾的三维生成,显著降低采集成本与带宽开销。在技术优势方面,本方法通过几何净化优化有效消除浮动伪影与结构退化问题,并通过单步生成增强实现高效推理与跨视角一致性提升,突破传统扩散方法推理开销大的瓶颈;在性能上,系统可在≤4视角输入条件下实现稳定三维重建,并支持接收端百帧级实时渲染,兼顾高质量与低延迟;在应用层面,该技术可支撑移动端空间视频采集、云端生成式渲染、实时互动直播及自动驾驶仿真等场景,具备良好的工程可落地性与产业化推广潜力。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式 入股,许可,转让
预估金额
联系合作