高动态环境中执行复杂语言指令的安全飞行智能体系统
知识产权简介
本发明提供了一种具身飞行智能体在高动态环境下安全地完成语言命令的方法和系统。该方法结合视觉语言模型的场景理解以及大语言模型的规划能力,使飞行智能体能安全地完成用户输入的复杂指令。该系统包含了基于视觉语言模型的感知模块以及安全模块,基于语言大模型的规划模块和无人机控制接口。在系统运行阶段中,智能体接受来自于用户的命令,规划模块进行任务的拆分并调用相应的任务记忆和代码生成器生成相应的可执行代码,并通过调用感知的接口得到任务相关的感知信息,最终通过安全检查模块检查后,执行相应代码以完成用户的指令。该系统通过结合各个模块中高性能低帧率的大模型,高帧率的传统方法。以及使用涉及隐私,潜在风险和碰撞的安全检测模块从而达到在高动态环境中任务的安全高效执行。