买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津中德应用技术大学;智赢未来教育科技有限公司;天津城建大学

摘要：本发明提供了一种多任务语音情感识别方法、装置和存储介质，涉及语音处理领域，包括：增强语音高频部分；将连续的语音信号分割成多个片段，得到分帧语音；采用加窗函数处理分帧语音，得到加窗语音；提取加窗语音的梅尔频率倒谱系数和梅尔频谱图；基于神经网络模型提取梅尔频谱图和梅尔频率倒谱系数的语音特征；在多粒度层面捕捉情感信息，得到情感信息的特征嵌入；基于信息瓶颈原理，降低多任务特征嵌入中的冗余信息；将说话人信息的特征嵌入和性别信息的特征嵌入通过感知聚合模块进行聚合，并与情感信息的特征嵌入相结合，最终输入到分类器中，以预测所述待识别语音所表达的情感。能够提升语音识别系统的情感识别能力。

主权项：1.一种多任务语音情感识别方法，其特征在于，包括：接收待识别语音，过滤噪声并增强所述待识别语音的高频部分；将连续的语音信号分割成多个片段，得到分帧语音；采用加窗函数处理所述分帧语音，得到加窗语音；提取所述加窗语音的梅尔频率倒谱系数和梅尔频谱图；基于神经网络模型提取所述梅尔频谱图和所述梅尔频率倒谱系数的语音特征，其中，所述语音特征包括说话人信息、性别信息和情感信息；基于语音中的情感信息的多粒度性，在多粒度层面捕捉情感信息，获得细粒度的情感信息，得到情感信息的特征嵌入；在语音情感识别任务中，基于信息瓶颈原理，提取到最小充分单任务特征嵌入，获取说话人信息的特征嵌入和性别信息的特征嵌入，以降低多任务特征嵌入中的冗余信息；将所述说话人信息的特征嵌入和所述性别信息的特征嵌入通过感知聚合模块进行聚合，并与所述情感信息的特征嵌入相结合，最终输入到分类器中，以预测所述待识别语音所表达的情感；所述基于语音中的情感信息的多粒度性，在多粒度层面捕捉情感信息，获得细粒度的情感信息，得到情感信息的特征嵌入的步骤，具体包括：引入自注意力机制，关注蕴含情感信息最多的帧，形成TMGA-1层，计算过程的表达式为： 其中，输入特征为XTMGA-1∈RT×F，其中T表示帧数，F表示特征维度，α为softmax激活函数，表示经过TMGA-1层后的特征；两种不同的特征映射函数被用来从XTMGA-1中获取QTMGA-1和KTMGA-1；为了学习每个时间单元的全局特征并减少所需训练参数的数量，使用可学习映射向量将每个时间单元的特征压缩成一个维数为1的向量；这一过程的公式如下所示: 式中，和表示可学习的映射向量；QTMGA-1和KTMGA-1的乘积表示情感相关性的内在度量，由于QTMGA-1和KTMGA-1的输入维度对应于1，所以尺度参数仍然为1，如下表达式所示:A＝QTMGA-1KTMGA-1式中，A∈RF×1表示权重；引入自注意力机制，通过计算不同固定长度窗口的自注意力来提取细粒度情感特征，形成TMGA-n层，计算过程的表达式为： 式中，α为softmax激活函数，sum表示对每一帧的权重求和；TMGA-n层使用具有两个不同的卷积核n的卷积层来获取XTMGA-n上的QTMGA-n和KTMGA-n，如下公式所示： 式中，和是可学习的映射矩阵；权重A计算公式如下所示： 式中，表示权重；为避免过多的参数，采用最大池化的方法从时间长度为n的特征集中获得最显著的特征，记为利用平均池化来从时间长度为n的特征集中获得短时间内特征的整体描述，表示为即: 式中，maxpool和avgpool分别表示最大池化和平均池化；所述基于信息瓶颈原理，提取到最小充分单任务特征嵌入的目标函数为： 式中，L表示变分信息瓶颈优化，I表示两个随机变量的互信息，Yt表示标签，Zt为编码后的最小充分单任务嵌入，为单任务表示； 的来源如下所示： 式中，为单任务学习网络，Uf表示每个任务的输入序列分布。

全文数据：

权利要求：

百度查询： 天津中德应用技术大学 智赢未来教育科技有限公司 天津城建大学 一种多任务语音情感识别方法、装置和存储介质