基于图像关键帧与轨迹姿态解耦控制动作生成方法及装置
知识产权简介
本发明提供一种基于图像关键帧与轨迹姿态解耦控制的动作生成方法、装置及设备。所述动作生成方法包括：获取用户输入的包含文本和关键帧图像的初始指令，并利用多智能体系统进行解析提取，得到动作描述、关键帧姿态和轨迹信息 ；将所述轨迹信息和所述关键帧姿态作为条件输入至预设的动作扩散模型中，并在第一阶段通过扰动模块分别对轨迹和姿态进行梯度优化以精细化输入特征 ；在第二阶段，通过并行的轨迹编码器和姿态编码器对上述两类特征进行独立编码，并输入至动作控制网络（ControlNet）中处理融合数据 ；将处理后的特征引导动作扩散模型去噪，获得具有高空间和语义保真度的最终三维人体动作序列 。本发明通过解耦处理轨迹和关键帧姿态，克服了传统方法中全局处理导致的次优输出问题，同时借助多模态大语言模型（MLLM）智能体降低了普通用户手动设计3D约束的门槛，显著提高了动作生成的精准度。
转化前景
本专利涉及一种基于图像关键帧与轨迹姿态解耦控制的三维动作生成系统，其核心优势在于创新性地将轨迹路径与身体姿态特征进行并行解耦处理以消除动作畸变，并利用多智能体协作大幅降低了非专业用户的创作门槛。在性能指标上，该方法在HumanML3D和KIT-ML权威数据集上的表现全面超越现有最先进模型，轨迹误差和空间位置误差均实现了极大幅度的降低。本项技术可直接赋能计算机动画领域，在游戏开发、影视制作、虚拟角色驱动以及虚拟现实（VR）等需要高质量动作生成的场景中具备极高的产业化落地潜力。