龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：四川语言桥信息技术有限公司
摘要：本发明属于机器翻译技术领域，提供了一种面向机翻大语言模型的预推断式并行推理方法、装置及介质，其中方法包括：（1）预推断token：运行机翻大语言模型，执行一次非自回归形式的推理，机翻大语言模型根据输入原文x，随机猜测译文y中每个位置的token，记为：（2）执行并行翻译：记当前迭代次数为t，根据步骤（1）中的预推断，或者上一步的并行结果，执行一次并行的机器翻译，计算得到每个译文位置进一步的token，记为并行结果；（3）对并行翻译的结果进行验证修改；（4）已有结果缓存。本发明通过预推断和并行翻译，解决了传统大语言模型推理过程中，并行程度不够的问题，优化并行化翻译过程中带来的潜在错误。
主权项：1.一种面向机翻大语言模型的预推断式并行推理方法，其特征在于，包括以下步骤：（1）预推断token：运行机翻大语言模型，执行一次非自回归形式的推理，机翻大语言模型根据输入原文x，机翻译文的第一个token记为s，译文长度为n，随机猜测译文y中每个位置的token，记为： ；（2）执行并行翻译：记当前迭代次数为t，根据步骤（1）中的预推断，或者上一步的并行结果，执行一次并行的机器翻译，计算得到每个译文位置进一步的token，记为并行结果；（3）对并行翻译的结果进行验证修改：根据当前步的并行翻译的前一步的并行结果或初始化的结果，与当前步的并行结果进行逐token对比，如果当前步的第i个token计算得到词表概率大于前一步的第i个token的概率，则进行推理结果更新，否则，停止推理结果更新，并将之前的推理结果复制到当前步的推理结果中，得到初步的推理结果；（4）已有结果缓存：将所述步骤（3）得到的初步的推理结果，进行n-gram切分，并缓存到候选池中，记为,再进行一次并行推理，得到最终的迭代结果，记为： 。
全文数据：
权利要求：
百度查询： 四川语言桥信息技术有限公司 一种面向机翻大语言模型的预推断式并行推理方法、装置及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号