体积视频压缩的端到端联合优化的可变码率方法和系统
知识产权简介
本发明提供体积视频压缩的端到端联合优化的可变码率方法和系统,包括:使用三平面特征网格及3D密度网格表征体积视频;学习体积视频残差网格,完成三平面残差建模;利用熵模型学习体积视频的数据分布,估计其压缩后的大小;引入模拟量化误差,控制整体潜在表示的量化误差,使得被压缩后的大小为可变比特率;对三平面残差表述的体积视频进行渲染;利用端到端的渐进式训练方法进行动态神经辐射场的训练,优化表示和压缩;将待压缩的体积视频输入到训练好的动态神经辐射场中,进行三平面残差建模和熵编码,获得可变比特率的码流,实现流式传输。本发明通过单一模型实现了广泛的可变比特率,同时保持优越的率失真性能,以适应不同的需求。
转化前景
在现有网络和现有轻量化终端上像观看2D视频一样体验3D视频,对推动沉浸式视频的应用具有重要前景