恭喜南京工业大学何震宇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜南京工业大学申请的专利一种基于注意力机制和多任务学习的语音情感识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114927144B 。
龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210546156.4,技术领域涉及:G10L25/63;该发明授权一种基于注意力机制和多任务学习的语音情感识别方法是由何震宇;刘斌设计研发完成,并于2022-05-19向国家知识产权局提交的专利申请。
本一种基于注意力机制和多任务学习的语音情感识别方法在说明书摘要公布了:本发明的一种基于注意力机制和多任务学习的语音情感识别方法,包括如下步骤:步骤1:获取用于语音情感识别的CASIA汉语情感数据集;步骤2:LSTM_att‑MTL语音情感识别模型由特征提取模块、序列建模模块和多任务学习模块组成,将步骤一中语音情感数据输入识别模型进行协同训练;步骤3:由步骤二中通过softmax分类器得到识别结果,计算识别结果与训练集标签的损失函数由此调整损失大小;步骤4:将测试集语音情感数据输入步骤三训练好的网络中,以实现对测试集语音情感数据识别。本发明构建一个LSTM_att‑MTL模型,该模型解决了传统的特征提取方法计算复杂度较高,训练过程效果不好,导致识别性能降低等问题。
本发明授权一种基于注意力机制和多任务学习的语音情感识别方法在权利要求书中公布了:1.一种基于注意力机制和多任务学习的语音情感识别方法,其特征在于:包括如下步骤:步骤1:获取语音情感数据集:获取用于语音情感识别的CASIA汉语情感数据集;步骤2:构建LSTM_att-MTL语音情感识别模型:LSTM_att-MTL语音情感识别模型由特征提取模块、序列建模模块和多任务学习模块组成,将步骤1中语音情感数据输入识别模型进行协同训练;步骤3:计算模型的损失函数:由步骤2中通过softmax分类器得到识别结果,计算识别结果与训练集标签的损失函数由此调整损失大小;步骤4:训练模型获得识别结果:将测试集语音情感数据输入步骤3训练好的模型中,以实现对测试集语音情感数据识别;步骤2所述的构建LSTM_att-MTL语音情感识别模型包括以下步骤:步骤21:首先原始语音进行预处理,包括如下操作:对语音进行分帧加窗,帧长为25ms,帧移为10ms;进行短时傅里叶变换,得到语音信号的语谱图;对语谱图进行最大-最小归一化处理,将语谱图量化为灰度图,进入步骤2;步骤22:将语谱图输入到CNN网络,卷积层通过卷积计算从语谱图中学习语音特征,选择ReLU函数作为激活函数,进入步骤3;步骤23:使用两个循环神经网络作为共享层,使用LSTM_att作为基本单元,隐藏层单元个数为128;为防止过拟合,训练过程中引入dropout,参数设置为0.5;第一层输出所有时间序列到下一层,第二层输出最后一个时间步的结果;LSTM_att注意门的输出attt:attt=σVatt×tanhWatt×ct-11其中,Vatt,Watt∈Rn×n是需要训练的参数,从训练数据中学习;ct-1为上一个时刻节点状态;σ·和tanh·分别为logisticsigmoid和双曲正切激活函数;具体各个门单元输出:it=σWi×[ct-1,ht-1,xt]+bi2 ot=σWo×[ht-1,xt]+bo5ht=ot·tanhct6其中it表示t时刻的输入门,Wi和bi表示输入门单元中的权重矩阵和偏置项,Ct-1和ht-1分别为前一时刻的单元状态和隐藏层输出,xt表示当前时刻的输入;表示t时刻更新单元状态的候选值,Wc和bc表示更新状态时的权重矩阵和偏置项;ct表示t时刻的单元状态,·表示哈达玛积;ot表示t时刻的输出门,Wo和bo表示输出门单元中的权重矩阵和偏置项;ht表示t时刻隐藏层的输出;步骤24:采用具有参数硬共享的多任务学习方法,采用讲话人性别作为辅助任务,因为男性和女性语音的差异会影响语音相关任务的系统性能,特定于性别的情感识别模型的性能优于其他不分性别的情感识别模型;多任务学习模块中的注意力层对LSTM_att输出进行注意力加权: ν=Σiαihi8式7中,αi表示注意力权重,向量μ表示注意力参数,μ=θ1,θ2,…,θT,T为帧长,{h1,h2,…,hT}为最后一层LSTM_att的输出,计算注意力参数向量μ与hi的内积,作为每个时间帧重要性的分数,并对其进行归一化处理,归一化后的分数即为每帧包含关键信息的权重;式8将得到的权重αi与LSTM_att输出hi进行点乘,得到的加权和v作为全局更新权重的特征向量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京工业大学,其通讯地址为:210000 江苏省南京市浦珠南路30号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。