买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京硅基智能科技有限公司

摘要：本申请提供一种基于音高的语音转换模型训练方法及语音转换系统，通过先验编码器输出音频特征编码，并通过音高提取模块提取音高特征。然后将参考语音对应的线性谱输入至所述后验编码器中，得到音频隐变量。并将音频特征编码和音高特征拼接得到的语音拼接特征和音频隐变量输入至时序对齐模块，得到转换语音编码，并通过解码器解码转换语音编码，得到转换后的语音。再计算转换后的语音的训练损失，以判断语音转换模型的收敛程度。本申请通过音高提取模块提取参考语音的音高特征，并与音频特征编码进行拼接对齐，使转换后的语音的音高特征更加接近真实人物的语音，提高转换后的语音的音高相似度。

主权项：1.一种基于音高的语音转换模型训练方法，用于训练语音转换模型，所述语音转换模型包括，先验编码器、后验编码器、时序对齐模块、解码器和音高提取模块，所述音高提取模块包括编码器层、解码器层、滤波器层和中间层；所述编码器层、所述中间层和所述解码器层形成所述音高提取模块的第一编码支路，所述编码器层、所述滤波器层和所述解码器层形成所述音高提取模块的第二编码支路；所述编码器层包括平均池化层和卷积网络，所述卷积网络包括卷积块和快捷卷积层，所述卷积块包括2D卷积层、批量归一化层和relu函数，所述快捷卷积层设置在所述卷积网络的输入端和所述卷积网络的输出端之间，其特征在于，包括：将参考语音输入至所述先验编码器和所述音高提取模块，以通过所述先验编码器提取音频特征编码，以及，通过所述卷积网络提取所述参考语音的音高特征向量；通过所述平均池化层对所述音高特征向量执行下采样，得到所述音高特征编码；通过所述解码器层对所述音高特征编码执行解码，得到所述音高特征；其中，所述音高特征向量通过如下方式得到：通过所述2D卷积层提取深层次的音频向量；通过所述批量归一化层对所述深层次的音频向量执行加速收敛处理，以从所述深层次的音频向量中提取收敛音高特征；通过所述relu函数对所述收敛音高特征添加非线性关系，得到所述音高特征向量；或者，在通过所述relu函数对所述收敛音高特征添加非线性关系的步骤前，通过所述快捷卷积层提取快捷音高特征，快捷卷积层仅包括一层2D卷积层，所述快捷卷积层提取快捷音高特征的速度大于所述卷积块提取音高特征向量的速度，所述快捷音高特征是由快捷卷积层提取的音高特征；拼接所述快捷音高特征和所述收敛音高特征，得到音高拼接特征；通过所述relu函数添加所述音高拼接特征之间的非线性关系，得到所述音高特征向量；将所述音频特征编码和所述音高特征执行特征拼接，得到语音拼接特征；将所述参考语音对应的线性谱输入至所述后验编码器中，得到音频隐变量；通过所述时序对齐模块对齐所述语音拼接特征和所述音频隐变量的时序序列，得到转换语音编码；通过所述解码器解码所述转换语音编码得到转换后的语音；计算所述转换后的语音的训练损失，如果所述训练损失小于或等于训练损失阈值，则根据待训练模型的当前参数输出语音转换模型，如果所述训练损失大于训练损失阈值则对所述语音转换模型执行迭代训练，所述待训练模型为未训练收敛的语音合成模型。

全文数据：

权利要求：

百度查询： 南京硅基智能科技有限公司 一种基于音高的语音转换模型训练方法及语音转换系统