基于超声波感知的交互不受限语音增强方法、系统及终端
知识产权简介
与移动设备进行语音交互已经成为主流的交互方式之一,然而现有的在移动设备上应用的语音增强算法仍有种种缺陷。基于纯音频的语音增强方法无法解决复杂的环境噪声,比如低信噪比噪声或者多说话人环境;基于多模态的语音增强方法通过引入额外的模态信息来解决复杂的噪声问题,但是由于额外模态的限制,需要用户以特定的姿势持有移动设备,限制了用户与移动设备之间的交互性。本发明提出了一种新的语音增强范式,旨在解决这些问题。本发明在基于超声波语音增强方法的基础上,设计了一个存储超声波记忆的语音增强网络,并学习音频和超声波模态之间的相互关系。在推理过程中,该语音增强网络仅需要噪声音频作为输入,并且能够从音频输入中回忆起超声波表征,以实现不需要真实超声波信号的多模态语音增强。此外,本发明在推理过程中融合了说话人特征向量,避免在信噪比较低时,记忆模块功能的退化,并进一步增强性能。本发明通过上述设计,既可以解决复杂环境噪声问题,又保证了交互性。