龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国科学院自动化研究所
摘要：本发明提供一种语音文本联合预训练方法及系统，包括：将非成对语音数据和非成对文本数据输入至预训练联合模型中，得到初始损失总函数和初始训练联合模型；将非成对语音数据、非成对文本数据和成对语音文本数据输入初始训练联合模型，得到更新损失总函数和更新训练联合模型；将非成对语音数据、非成对文本数据和成对语音文本数据输入更新训练联合模型，得到最终损失总函数和最终训练联合模型。本发明利用非成对语音数据、非成对文本数据、成对语音文本数据对联合模型进行多次迭代训练，采用闭环言语链机理和连续累积发放机制，有效解决了非成对数据利用不充分问题，以及成对数据对齐关系学习不充分的问题。
主权项：1.一种语音文本联合预训练方法，其特征在于，包括：获取非成对语音数据、非成对文本数据和成对语音文本数据；将所述非成对语音数据和所述非成对文本数据输入至预训练联合模型中，计算初始损失总函数以训练得到初始训练联合模型；将所述非成对语音数据、所述非成对文本数据和所述成对语音文本数据输入所述初始训练联合模型，利用所述非成对语音数据和所述非成对文本数据计算所述初始损失总函数，利用所述成对语音文本数据计算更新成对数据损失函数，将所述初始损失总函数与所述更新成对数据损失函数求和，得到更新损失总函数以训练得到更新训练联合模型；将所述非成对语音数据、所述非成对文本数据和所述成对语音文本数据输入所述更新训练联合模型，利用所述非成对语音数据、所述非成对文本数据和所述成对语音文本数据计算所述更新损失总函数，利用所述非成对语音数据与所述非成对文本数据计算最终闭环成对数据损失函数，将所述最终闭环成对数据损失函数与所述更新损失总函数求和，得到最终损失总函数以训练最终训练联合模型；其中，所述预训练联合模型包括文本编码器、语音编码器、跨模态编码器、语音识别解码模块和语音合成解码模块。
全文数据：
权利要求：
百度查询： 中国科学院自动化研究所 一种语音文本联合预训练方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号