文本引导下的视觉显著性预测方法、系统、终端及介质
知识产权简介
本发明提供了一种基于图像和文本特征融合的文本引导下的视觉显著性预测方法,首先通过深度神经网络提取图像特征和对应的文本特征,其中文本特征分为全局文本特征和局部文本特征,之后利用全局特征融合模块融合全局文本特征和图像特征,最后通过局部特征融合模块中的自注意力层和交叉注意力层将局部文本特征和图像特征进行融合,得到文本引导下视觉显著性预测图。在图像特征提取时,图像特征将转换为多尺度特征,之后局部特征融合模块利用这些特征融合得到多尺度信息。本发明可有效地预测文本引导下的视觉显著性图。