龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浪潮通信信息系统有限公司
摘要：本发明涉及算力网络领域，本发明提供一种推理服务方法、系统、装置、设备及可读存储介质，该方法包括：接收推理请求终端发送的推理请求，确定所述推理请求对应的词元token以及目标推理提供终端；将所述token发送至所述目标推理提供终端，接收所述目标推理提供终端返回的新token；所述新token是由所述目标推理提供终端基于内置的推理模型参数对所述token进行推理得到的；将所述新token反馈给所述推理请求终端。本发明通过预先在推理提供终端内置推理模型参数，在接收到推理请求时，将推理任务经推理服务器发送至内置有可以完成推理任务的推理模型参数的目标推理提供终端，提高了推理提供终端的推理资源的利用率。
主权项：1.一种推理服务方法，其特征在于，应用于推理服务器；方法包括：接收推理请求终端发送的推理请求，确定所述推理请求对应的词元token以及目标推理提供终端；将所述token发送至所述目标推理提供终端，接收所述目标推理提供终端返回的新token；所述新token是由所述目标推理提供终端基于内置的推理模型参数对所述token进行推理得到的；将所述新token反馈给所述推理请求终端。
全文数据：
权利要求：
百度查询： 浪潮通信信息系统有限公司 推理服务方法、系统、装置、设备及可读存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号