买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北海淇昂信息科技有限公司
摘要:本发明涉及智能语音处理领域,针对现有的语音合成、识别等智能语音的处理中需要获取海量训练数据来训练、情感类训练数据质量较差处理困难、计算复杂且语音处理效率低等缺陷,提出了本发明语音处理方法、系统、装置及介质,旨在解决如何基于多模态算法模型实现语音处理,进而如何简化训练数据的获取难度和数量并降低计算复杂度,以及如何有效处理复杂数据提升数据质量和提升语音处理效率的技术问题。为此,本发明的方法利用多模态训练数据训练多模态模型并将不同模态的数据输入训练后的该模型中合成对应的每个用户的情感音频,无需高难度的数据获取和处理,简单、成本低、效率高、合成结果好。
主权项:1.一种语音处理方法,其特征在于,包括:基于构建的多模态模型,利用多模态训练数据进行模型训练,包括:每个所述多模态训练数据至少包括一个数据组合三元对;每个三元对中至少包含第一模态数据、第二模态数据和第三模态数据;将多模态训练数据的每个三元对中的第一模态数据、第三模态数据分别输入到所述多模态模型中,结合所述三元对中的第二模态数据以及梯度反转层进行模型训练;将不同模态的数据输入到训练后的所述模型中进行语音合成处理,以获得对应的每个用户的音频,不同模态的数据包括不同的第三模态数据、第一模态数据。
全文数据:
权利要求:
百度查询: 北海淇昂信息科技有限公司 语音处理方法、系统、装置及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。