基于三维感知VLM智能规划的物理合理视频生成方法及系统
知识产权简介
本发明提供一种基于三维感知VLM智能规划的物理合理视频生成方法，包括获取单视图初始图像和用户文本指令，进行三维场景重建与对齐获取目标网格和位姿信息；基于视觉语言模型构建智能体规划模块，处理提示词和图像生成符合物理定律的三维运动轨迹；将轨迹序列渲染为深度图序列；将该序列作为控制信号注入预设扩散模型中输出最终物理合理视频。本发明对二维视觉信息进行三维场景中的理解和计算，利用工具增强感知和代码智能体生成精准的运动轨迹，并通过深度条件控制信号进行严格的几何约束，有效提高了视频生成的物理合理性与视觉保真度。
转化前景
本项专利技术对应产品可转化为一套具备显式物理与三维几何约束的AI视频生成系统。在技术优势方面，该方案突破了现有视频生成范式过度依赖二维视觉像素数据，从而缺乏来自现实世界空间几何特征与物理定律显式约束的根本局限 ，其创新性地构建了包含工具增强感知与编程式物理推理的闭环智能体框架 。具体而言，该方法通过视觉语言模型将文本转换为运动指令，自适应推断质量、摩擦系数和恢复系数等动态材质参数，并利用代码智能体合成包含物理计算逻辑的执行脚本，以输出精确的三维轨迹 ，从而有效规避了传统显式物理引擎面临的高昂计算成本、大量人工干预需求及泛化能力受限等固有瓶颈 。在性能表现上，该技术将规划得到的三维轨迹渲染为深度图序列，并将其作为刚性几何控制信号注入预设扩散模型中 ，显著抑制了模型在处理沿深度轴复杂运动时极易诱发的透视比例错误、物体穿模、空间漂浮及几何结构坍塌等违背物理常识的异常现象 ，在确保极高视觉保真度的同时，严格维持了精确的物理动力学特性 。得益于其直接对单视图图像进行三维空间重构与场景深度理解的能力 ，该架构能够广泛适应多变的真实场景和复杂多实体交互 ，有效克服了现有视频扩散模型缺乏显式物理约束的缺点，展现出高度的产业化转化潜力与实际应用价值 。