基于多粒度时空场景图与反事实推理的多模态对话生成方法和系统
知识产权简介
本发明提供了一种基于多粒度时空场景图与反事实推理的多模态对话生成方法,包括:步骤S1:对音频与视频分别进行预处理,提取视觉和听觉的多粒度语义表征,同时提取视频的多粒度时空场景图信息;步骤S2:通过音视频信息得到基于多模态信息的答案表征,同时通过对话历史得到基于文本信息的答案表征,通过多指针网络将两个答案表征进行结合,得到最终的答案表征;步骤S3:利用前两步训练初步模型,随后通过反事实推理对初步模型进行去偏;步骤S4:对于当前待回复的问句,通过自回归的模式生成答案。本发明利用多粒度场景图的显式表示实现视频信息的准确性、利用多指针网络的多向选择实现文本信息和视频信息的有效结合、利用反事实推理的因果去偏实现减少数据分布不平衡的不平衡训练,相较于其他多模态对话方法可以更有效地消除多模态对话中的幻觉。