买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门蝉羽网络科技有限公司

摘要：本发明提供了一种提升音素发音时长准确性的语音合成方法、装置，涉及语音合成技术领域，该方法基于外部对齐的方式，提出了一种文本发音时长修正的方案，使得每个字的发音更加准确，从而帮助模型更好的依赖于外部对齐的结果。这种方式不需要重新训练一个外部对齐工具，并可作为一个通用模块嵌入到不同的TTS合成模型中，使得生成的音频质量更高。

主权项：1.一种提升音素发音时长准确性的语音合成方法，其特征在于，包括：获取声学提示、待合成音频和待合成文本，使用音频编解码器和G2P模型对所述声学提示、待合成音频和合成文本进行转化处理，得到离散编码和音素编码；通过码本将所述声学提示对应的离散编码转为连续向量，待合成音频对应的离散编码转为连续向量，音素编码转为连续向量，并将所述连续向量输入预设的神经网络中，获取与所述连续向量相对应的隐向量和；根据预设的时序预测网络获取待合成音频中每个字的发音时长，根据该发音时长取得待合成文本和音频的时间序列c，将待合成文本对应的隐向量和时间序列c输入到预设的偏置预测网络中得到时间序列的偏置，并用于修正时间序列；将经过偏置修正后的时间序列c，待合成文本对应的隐向量，声学提示对应的隐向量，共同输入到神经网络构成的解码器中获取待合成语音编码，并根据音频编解码器解码所述合成语音编码，得到待合成语音；根据预设的时序预测网络获取待合成音频中每个字的发音时长，根据该发音时长取得待合成文本和音频的时间序列c，具体为：获取外部对齐工具取得的所述待合成文本中每个音素的发音范围，将每个音素的发音转为对应时间点，得到时间点序列t；根据音频步长将所述待合成音频转为时间索引序列a；对所述时间点序列t和所述时间索引序列a进行组合处理，得到结合后的时间序列c；在将待合成文本对应的隐向量和时间序列c输入到预设的偏置预测网络中得到时间序列的偏置，并用于修正时间序列之前，还包括通过借助音频的真值信息训练一个额外的偏置预测网络辅助修正音素的时间点序列，具体为：将待合成文本和待合成音频对应的隐向量和进行组合，得到相应的隐向量Z；将所述隐向量Z和时间序列c作为预设的偏置预测网络的输入，得到时间序列c的偏置标签；将隐向量Z中关于音频真值的部分进行屏蔽，只输入音素编码相关的隐向量；将音素编码相关的隐向量和时间序列c作为预设的偏置预测网络的输入，得到预测的时间序列偏置；对所述偏置标签和预测的时间序列偏置进行计算，得到时间序列偏置预测所构成的偏置修正损失，计算公式为： 其中，sg表示在反向传播计算中没有任何梯度，M是一个掩码矩阵，表示元素乘，掩码矩阵中关于文本相关部分为1，而音频相关的部分为0；通过计算，获取修正后的音素相关的时间序列，计算公式为： 其中，r表示以的概率来修正时间序列信息，1-的概率不修正时间序列信息。

全文数据：

权利要求：

百度查询： 厦门蝉羽网络科技有限公司 一种提升音素发音时长准确性的语音合成方法、装置