基于码本压缩和信息填充的多智能体协同感知系统及方法
知识产权简介
本发明提供一个基于码本压缩和信息填充的多模态、多主体的协同感知框架,核心思想是从两个关键方面对协作消息进行优化:表示和选择。所提出的基于码本的消息表示允许传输整数码,而不是高维特征映射。提出的信息填充驱动的消息选择优化了本地消息,以集体填充每个代理的信息需求,防止多个代理之间的信息溢出。包括:使用深度卷积神经网络提取特征,对于图片输入使用几何变换将特征转换为鸟瞰视角;使用基于信息填充驱动的消息选择模块,每个智能体选择满足其他智能体信息需求的最必要的信息,避免智能体的信息需求被过度满足,即信息溢出,从而实现多智能体不同空间位置间的稀疏连接;使用基于代码本的消息表示,构建基于任务驱动的代码本,使用整数型的代码索引来替代基于浮点数的高维度的数据特征;基于此实现在不影响感知的情况下,减少通信带宽的效果;使用带空间维度的消息融合模块,逐地块地将通信模块收获的信息包与每个智能体本地的特征进行融合,以此来提升每个智能体对场景的感知效果,通过多智能体的信息补充,获得更好的特征,从而实现更高效和有效的协作感知效果。