一种基于声纹和文本的多模态情感识别方法

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/数据处理和存储服务
  • 学科类别:计算机科学技术/计算机应用
  • 权利人:上海声通信息科技股份有限公司

知识产权简介

音频数据在我们对世界的理解中发挥着基础而不可替代的作用。它不仅包含着词汇和语言,还蕴含着人类经历和情感的错综复杂的图景。音频数据展现出惊人多样的应用,涵盖了人类努力的整个领域。基于声纹的情感识别对于与人沟通和许多人机交互应用至关重要。在呼叫中心,员工可以通过及时反馈客户情绪来选择合适的策略,或依赖客户情绪水平进行业务评估。同时,软件应用可以通过实时监控用户情绪来调整和增强用户体验,实施适当的行为。本发明提出了一个多模态情感识别模型。自动语音识别(ASR)被采用将音频信号转换为中文文本消息。对于中文文本,我们使用预训练的中文BERT架构进行处理。此外,我们利用文本嵌入从中文文本中提取额外的情感特征。最后,采用了共注意结构来融合多模态数据特征。该模型在VCEMO上的情感识别性能显著优于先前研究的模型。

基本信息

权利人 上海声通信息科技股份有限公司
知识产权类型 专利
意向合作模式
预估金额
联系合作