一种面向神经绘画的高斯泼溅结构化训练加速方法及介质

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/其他信息技术服务业/数字内容服务
  • 权利人:上海交通大学

知识产权简介

近年来3D高斯泼溅技术(Gaussian Splatting)已成为新视角合成领域的代表性突破,该技术不仅渲染速度极快,更具备了顶尖的渲染质量。然而,传统3DGS技术在致密化过程中独立处理高斯基元——仅依据单个基元的梯度进行扩增,这容易导致高斯基元数量过度膨胀和表征冗余。针对这些问题,我们提出了一种基于区域八叉树结构的新型高斯溅射训练方法。该方法通过区域感知的致密化策略,利用区域平均梯度引导高斯扩增,有效抑制低梯度区域的冗余基元生成。具体而言:首先,我们设计了动态八叉树管理机制,通过轻量级操作在训练过程中随优化后的高斯基元动态更新树结构,实现高效场景划分与自适应拓扑维护;其次,我们提出区域感知致密化策略,采用八叉树节点的平均梯度作为致密化判据,仅当个体梯度与节点平均梯度同时超过阈值时才触发扩增,从而有效遏制低梯度区域的过度致密化现象。实验结果表明,本发明在实现高斯基元数量压缩的同时,显著提升了训练效率。

转化前景

对应产品:基于八叉树的结构化高斯泼溅渲染系统 该系统是一套面向实时高保真三维场景重建与渲染的软件解决方案,可集成于三维内容生成工具链、数字孪生平台、AR/VR内容引擎等。 技术优势: 1.动态八叉树空间管理 自适应细分与合并机制,根据场景复杂度动态调整空间划分,减少冗余计算与内存占用。支持大规模场景高效处理,避免均匀划分导致的计算资源浪费。 2.区域感知致密化策略 引入区域平均梯度作为致密化约束,抑制低梯度区域的无效高斯增殖。结合个体梯度与区域统计信息,实现更智能的高斯基元生长控制,提升表达效率。 3.高渲染质量与资源效率平衡 在保持视觉保真度的前提下,显著减少高斯基元数量,降低显存与计算开销。更适合实时交互应用与移动端部署。 4.兼容主流三维高斯泼溅流程 可与现有3DGS训练管线无缝集成,无需改变基础渲染架构,易于产业化落地。 性能指标: 输出质量:PSNR,SSIM,LPIPS 训练/渲染速度:训练时间,FPS,高斯数量 产业化应用前景: 1.数字孪生与智慧城市 大规模城市场景实时重建与仿真,支持低延迟交互与多细节层次渲染。 2.影视与游戏制作 高效生成高保真虚拟场景,缩短制作周期,降低硬件成本。 3.虚拟现实与增强现实 在移动设备或轻量级头显上实现高质量3D场景渲染,提升用户体验。 4.工业设计与可视化 快速构建复杂产品模型的可交互三维展示,支持设计评审与营销演示。 5.文化遗产数字化 对文物、古迹进行高精度轻量化重建,便于数字化保存与云端展示。 6.自动驾驶仿真 构建高真实度道路环境,用于传感器模拟与算法测试。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作