龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：新疆大学
摘要：本发明属于信息处理技术领域，提供了一种基于多任务去噪扩散隐模型的语码转换语音合成方法，训练使用的公共数据集为DataBaker和LJSpeech；首先，我们在LJSpeech数据集上对扩散参数化进行了初步分析，根据实验结果和调参经验，我们选择了具有四个扩散步骤的模型作为我们的教师模型；然后对教师模型进行训练，在教师模型训练收敛获得VC能力后，进行VC推理生成目标说话人的非母语语音样本；本发明在基于DDIM的多任务语音合成模型中，采用了一种直接预测干净数据x0的策略，以加快复杂分布采样。然后利用N步教师行为进行知识蒸馏，生成了一个只需要N2步的新模型CosDiff。CosDiff在保证生成的梅尔谱图的质量的同时，优化了模型参数，进一步提高了模型采样速度。
主权项：1.一种基于多任务去噪扩散隐模型的语码转换语音合成方法，其特征在于：包括以下步骤：S1、在训练开始前，通过对训练数据执行预处理操作：首先将语音数据重采样至16KHz，并提取对应的梅尔频谱，接着使用SoftHuBERT从语言数据中提取语言软单元特征；S2、接着在LJSpeech数据集上对扩散参数化进行了分析，评估TTS和语音转换任务中生成质量和GPU上的采样速度之间的平衡，最后根据实验结果和调参经验，选择了具有四个扩散步骤的模型作为教师模型；S3、然后使用DataBaker和LJSpeech数据集对教师模型进行训练，输入包括噪声谱图xt、扩散步长t以及方差和软单元c的联合特征，使其具有初步的TTS和VC能力。S4、然后在教师模型训练收敛获得VC能力后，进行VC推理，生成目标说话人的非母语语音样本，然后通过将母语英语数据集的音频输入到预训练的教师模型中以执行VC推理，可以获得汉语说话人的非母语样本，然后将这些样本与初始训练集结合以构建新的单说话人双语数据集，该数据集用于模型训练以获得CSTTS能力；S5、然后在教师模型获取到CSTTS能力后执行蒸馏训练算法操作，将传授CosDiff模型TTS和VC的能力；S6、然后在CosDiff获取到教师的能力后将执行推理操作得到CS的合成音频。
全文数据：
权利要求：
百度查询： 新疆大学 一种基于多任务去噪扩散隐模型的语码转换语音合成方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号