买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中南大学

摘要：本发明公开了一种基于wavenet的情感语音转换方法，包括获取语音文件构成语料库；将语音数据分为中性语音文件和情感语音文件且内容相同的语音分为同一组；提取语音文件的声学特征基音频率；对语音文件进行预处理得到每一组语音文件的梅尔谱特征；针对每一组语音文件的梅尔谱特征进行动态规划特征点对齐；构建情感梅尔谱转换模型；构建wavenet语音合成模型；采用情感梅尔谱转换模型作为前向网络输入，利用wavenet语音合成模型作为后向网络，输出最终的情感语音文件。本发明方法的可靠性高、精确度好且效率较高。

主权项：1.一种基于wavenet的情感语音转换方法，包括如下步骤：S1.获取语音文件，构成语料库；S2.将步骤S1获取的语料库中的语音数据，分为中性语音文件和情感语音文件，且内容相同的语音分为同一组；具体为采用如下步骤进行分组：A.提取具有相同内容的若干个情感色彩的语音文件作为训练集；B.采用ASR工具得到每一语句的文本信息；C.针对步骤B得到的文本信息，将文本相同但情感不同的语音文件与中性语音文件分为一组；D.将多组文件分行构成训练矩阵；其中一组为一行；S3.提取步骤S2分组后的语音文件中的声学特征基音频率；具体为采用如下步骤进行提取：a.将步骤S2得到的训练矩阵分行；b.以行为单位，将训练矩阵的数据输入vocoder解码器；c.将步骤b得到的vocoder解码器输出的基音频率，将文本相同但情感不同的语音文件所对应的基因频率与中性语音文件所对应的基音频率分为一组，从而得到基音频率特征矩阵；S4.对步骤S2分组后的语音文件进行预处理，从而得到每一组语音文件的梅尔谱特征；具体为采用如下步骤得到每一组语音文件的梅尔谱特征：1对步骤S2得到的训练矩阵分行；2以行为单位，对训练矩阵的每一行数据所对应的语音文件，以设定的采样频率进行采样，并做μ律十三折线压缩；3对步骤2得到的压缩后的语音文件进行分帧处理；4对步骤3得到的分帧后的语音文件进行加窗处理；5对步骤4得到的加窗后的语音文件进行频谱分析，从而得到对应的频谱数据；6对步骤5得到的频谱数据，进行梅尔滤波处理；7对步骤6经过梅尔滤波处理的频谱数据进行保存，从而得到每一组语音文件的梅尔谱特征；S5.针对步骤S4得到的每一组语音文件的梅尔谱特征，进行动态规划特征点对齐，从而使得每一组语音文件中对应的最短路径的两点进行映射，并作为训练对；具体为采用如下步骤进行动态规划特征点对齐：1设定中性语音梅尔谱序列为X，情感语音梅尔谱序列为Y；2建立两个序列的欧式距离矩阵；3寻找从矩阵最左上角的元素到矩阵最右下角的元素之间的最短距离；4获取步骤3所述的最短距离所对应的路径上的坐标，并记为平行对应点；S6.构建情感梅尔谱转换模型；具体为将步骤S5获取的平行对应点作为输入数据，输入到CNN网络模型中进行训练，从而得到最终的情感梅尔谱转换模型；S7.构建wavenet语音合成模型；具体为采用如下步骤进行构建：Ⅰ.采用如下算式作为因果预测公式： 式中xi为基音频率特征i时间点的值；T为当前时间点；px为当前时间点的预测概率；Ⅱ.采用扩展因果卷积模型：Ⅲ.采用残差跳步连接：将每若干层的输出连接，并通过1x1的卷积核，再对输入做残差补偿处理；最后将若干个通道的1x1卷积核分解为若干个3x3卷积核；Ⅳ.采用如下算式作为条件输入模型： 式中h为步骤S6得到的最终的情感梅尔谱转换模型；x为步骤S3得到的基音频率特征矩阵；S8.采用步骤S6得到的情感梅尔谱转换模型作为前向网络输入，利用步骤S7构建的wavenet语音合成模型作为后向网络，输出最终的情感语音文件；具体为采用如下步骤输出最终的情感语音文件：ⅰ.输入中性语音；ⅱ.根据步骤S3得到的基音频率特征矩阵，作为之后wavenet模型的输入特征；ⅲ.根据步骤S4得到的梅尔谱特征，作为之后情感梅尔谱转换模型的输入特征；ⅳ.根据步骤S6得到的最终的情感梅尔谱转换模型，将中性梅尔谱数据转换为情感梅尔谱数据；ⅴ.将步骤S3得到的基音频率特征矩阵作为基本输入，将步骤ⅳ得到的情感梅尔谱数据作为条件输入，一同输入到步骤S7得到的wavenet语音合成模型，从而得到最终的情感语音文件。

全文数据：

权利要求：

百度查询： 中南大学 基于wavenet的情感语音转换方法