恭喜立心通智科技(北京)有限公司詹杰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜立心通智科技(北京)有限公司申请的专利一种用于认知模型问答预测的加速推理方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN117910576B 。
龙图腾网通过国家知识产权局官网在2025-03-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202311850348.5,技术领域涉及:G06N5/04;该发明授权一种用于认知模型问答预测的加速推理方法及系统是由詹杰;苏江设计研发完成,并于2023-12-29向国家知识产权局提交的专利申请。
本一种用于认知模型问答预测的加速推理方法及系统在说明书摘要公布了:本发明公开了一种用于认知模型问答预测的加速推理方法,包括:获取问题文本,基于问题文本得到问题Token;将问题Token分发给认知模型推理引擎;通过时间延迟神经网络并基于问题Token确定运行内存;认知模型推理引擎分别基于运行内存、模型参数量化和模型混合并行对问题Token进行加速推理预测,得到预测答案。支持各种认知模型的高效推理,并支持认知模型会话的高效重载。
本发明授权一种用于认知模型问答预测的加速推理方法及系统在权利要求书中公布了:1.一种用于认知模型问答预测的加速推理方法,其特征在于,包括:获取问题文本,基于所述问题文本得到问题Token;将所述问题Token分发给认知模型推理引擎;通过时间延迟神经网络并基于所述问题Token确定运行内存;所述认知模型推理引擎分别基于所述运行内存、模型参数量化和模型混合并行对所述问题Token进行加速推理预测,得到预测答案;还包括:获取历史问答文本;基于所述历史问答文本获取历史Token;将所述历史Token分发给所述认知模型推理引擎;确定运行内存的具体过程为:所述问题Token和所述历史Token进行拼接得到拼接Token;基于所述拼接Token得到时间序列数据;所述时间序列数据输入至由输入层、隐藏层和输出层构成的所述时间延迟神经网络;所述输入层接收并发送所述时间序列数据至所述隐藏层;所述隐藏层中多个神经元分别接收所述时间序列数据,通过固定窗口的权重矩阵进行卷积运算得到多个第一处理数据;所述多个第一处理数据分别通过非线性激活函数处理得到多个第二处理数据;所述输出层接收所述多个第二处理数据进行处理,得到预测的运行内存大小。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人立心通智科技(北京)有限公司,其通讯地址为:100080 北京市海淀区颐和园路2号未来科技大厦主楼2层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。