买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本申请公开语音合成模型训练方法,其可包括:获取初始训练数据;从连贯文本中选取多个第一文本段、第二文本段、第三文本段,并从连贯音频中获取第一音频段、第二音频段、第三音频段;检测多个音频段、文本段是否满足可拼接条件;将满足可拼接条件的多个文本段、音频段,按照文本顺序,以文本和音频交替的方式拼接生成组合训练数据,以生成组合训练数据集;根据组合训练数据集,对所述初始语音生成模型进行训练,得到训练好的语音合成模型,在所述训练中所述第二文本段和或所述第三文本段中的韵律、音律和或情感特征被提取。本申请还公开了语音合成方法。本申请能够利用文本、音频的上下文进行文字理解,捕捉场景中的韵律、音律和情感。
主权项:1.一种语音合成模型训练方法,其特征在于,包括如下步骤:获取初始训练数据,其中,所述初始训练数据包括连贯文本和对应的连贯音频;从所述连贯文本中选取多个第一文本段、多个位于第一文本段前与所述第一文本段相邻的第二文本段、多个位于第一文本段后与所述第一文本段相邻的第三文本段,并从所述连贯音频中获取与所述多个第一文本段、第二文本段和第三文本段分别对应的多个第一音频段、第二音频段、第三音频段;检测关联的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段是否满足可拼接条件;将满足可拼接条件的第一文本段、第二文本段、第三文本段、第一音频段、第二音频段和第三音频段,按照文本顺序,以文本和音频交替的方式拼接得到组合训练数据,以生成包括多个所述组合训练数据的组合训练数据集;根据所述组合训练数据集,对初始语音合成模型进行训练,得到训练好的语音合成模型,在所述训练中所述第二文本段和或所述第三文本段中的韵律、音律和或情感特征被提取出来并被用于语音合成模型的训练,其中所述按照文本顺序以文本和音频交替的方式拼接得到组合训练数据的步骤包括:对所述第一文本段、第二文本段和第三文本段进行分词处理,生成第一文本序列、第二文本序列和第三文本序列,对所述第一文本序列、第二文本序列和第三文本序列进行向量转换,生成第一文本向量、第二文本向量和第三文本向量;对所述第一音频段、第二音频段和第三音频段进行离散化处理并提取音频特征,生成第一音频特征序列、第二音频特征序列和第三音频特征序列,对所述第一音频特征序列、第二音频特征序列和第三音频特征序列进行向量转换,生成第一音频向量、第二音频向量和第三音频向量;按照第二文本向量、第二音频特征序列、第一文本向量、第一音频特征序列、第三文本向量、第三音频特征序列的顺序,对所述第二文本向量、第二音频特征序列、第一文本向量、第一音频特征序列、第三文本向量和第三音频特征序列进行向量拼接,生成所述组合训练数据。
权利要求:
百度查询: 上海稀宇极智科技有限公司 语音合成模型训练方法、语音合成方法、电子设备及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。