文本引导下的视觉显著性预测方法、系统、终端及介质

  • 国民经济行业:信息传输、软件和信息技术服务业/互联网和相关服务/互联网信息服务
  • 学科类别:电子、通信与自动控制技术/信息处理技术/图象处理
  • 权利人:上海交通大学

知识产权简介

本发明提供了一种基于图像和文本特征融合的文本引导下的视觉显著性预测方法,首先通过深度神经网络提取图像特征和对应的文本特征,其中文本特征分为全局文本特征和局部文本特征,之后利用全局特征融合模块融合全局文本特征和图像特征,最后通过局部特征融合模块中的自注意力层和交叉注意力层将局部文本特征和图像特征进行融合,得到文本引导下视觉显著性预测图。在图像特征提取时,图像特征将转换为多尺度特征,之后局部特征融合模块利用这些特征融合得到多尺度信息。本发明可有效地预测文本引导下的视觉显著性图。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作