一种面向智能体视觉控制的迁移强化学习系统
知识产权简介
本发明提供一种面向智能体视觉控制的迁移强化学习系统,方法包括:搭建由仅由卷积编码器,循环状态空间模型和卷积解码器组成的源域教师模型;使用每个源域上的离线带动作视频训练数据对教师模型进行训练;搭建由卷积编码器,循环状态空间模型,卷积解码器和行为模型组成的目标域学生模型;以由目标域学生模型与环境在线互动收集的数据作为输入对学生模型进行训练,并在此过程中利用源域教师模型进行知识迁移以辅助该训练过程;根据不同源域与目标域的相似程度对其重要性进行权衡,根据该重要性选择最为相似的源域离线数据集用于训练一个辅助动作生成模型;以学生模型的循环状态空间模型输出的特征向量和辅助动作生成模型输出的辅助动作向量作为学生行为模型的输入对其进行训练。本文通过利用已有的离线源域数据集,辅助在线目标域代理模型的学习,从而有效地缓解离线与在线间的域差异问题,使得目标域代理在解决任务时能够拥有更好的表现。