龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中国北方车辆研究所
摘要：本发明公开了一种基于预测解码的大语言模型的推理加速方法及装置，方法包括：获取用户输入，基于特征向量，期望大语言模型提供与特征向量对应的预期输出；特征向量同步输入给并发推理小语言模型和大语言模型，小语言模型基于特征向量生成顺序的NUM个token语段并将其按生成顺序逐一发送给大语言模型；大语言模型基于特征向量进行推理，在接收到token语段时，中断推理，基于当前的推理结果开启对token语段的概率验证；基于概率验证结果，确定输出序列。本方法利用小模型小语言模型提前快速的生成多个候选token，相比逐个token生成,该方法大幅提升了生成效率。
主权项：1.一种基于预测解码的大语言模型的推理加速方法，其特征在于，所述方法包括：步骤S1：获取用户输入，从用户输入中提取关键词组成特征向量，将特征向量作为输入，用户基于特征向量，期望大语言模型提供与特征向量对应的预期输出；步骤S2：特征向量同步输入给并发推理小语言模型和大语言模型，小语言模型是比大语言模型量级轻的模型，小语言模型基于特征向量生成顺序的NUM个token语段并将其按生成顺序逐一发送给大语言模型；其中，每个token语段都是与用户输入对应的预测输出的片段；大语言模型基于特征向量进行推理，在接收到token语段时，中断推理，基于当前的推理结果开启对token语段的概率验证，在概率验证结束后，若不存在未进行概率验证的token语段，则启动推理；否则，保持中断推理的状态，继续对未进行概率验证的token语段进行概率验证；步骤S3：基于概率验证结果，确定输出序列。
全文数据：
权利要求：
百度查询： 中国北方车辆研究所 基于预测解码的大语言模型的推理加速方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号