买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国计量大学申请的专利一种大语言模型下的动态推理方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119150863B 。

龙图腾网通过国家知识产权局官网在2025-03-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411566454.5，技术领域涉及：G06F40/289；该发明授权一种大语言模型下的动态推理方法和系统是由程旭东;胡益;余鸿皓;胡传杰;董志成;任杭良;徐前程;金晶;薛振宇设计研发完成，并于2024-11-05向国家知识产权局提交的专利申请。

本一种大语言模型下的动态推理方法和系统在说明书摘要公布了：针对用户输入的多样性以及大语言模型在处理复杂和简单查询时的资源消耗差异问题，本发明提出了一种大语言模型下的动态推理方法和系统，通过将用户输入的提示语句进行分词处理，并利用两个不同的识别模型分别计算每个分词的匹配度，进而计算出推理控制因子。该推理控制因子用于指导大语言模型内部的动态推理过程，具体是通过调整Key‑Value缓存的管理策略来实现的。在当前token与上下文token之间的相对距离超过由推理控制因子确定的范围时，相关的Key和Value会被从缓存中移除。这种方法有效地平衡了存储空间的使用和推理效率，使得大语言模型能够根据不同类型的用户输入动态调整其内部资源分配，从而提高了整体的响应速度和准确性。

本发明授权一种大语言模型下的动态推理方法和系统在权利要求书中公布了：1.一种大语言模型下的动态推理方法，其特征在于，包括以下步骤：将用户输入的提示语句进行分词处理得到多个分词，将所述多个分词分别输入至第一识别模型得到所述提示语句的第一匹配度，进一步将所述多个分词分别输入至第二识别模型得到所述提示语句的第二匹配度，进而根据所述提示语句的第一匹配度和第二匹配度计算得到推理控制因子；将所述多个分词转换为向量表示后按语序输入至大语言模型，各分词在大语言模型的每一层通过线性变换生成Key和Value，将所述Key和Value进行缓存并计算得到token；计算当前token和上下文token之间的相对距离，当所述相对距离超过所述推理控制因子所映射的距离范围时，将上下文token所对应的Key和Value移出缓存。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国计量大学，其通讯地址为：310018 浙江省杭州市钱塘区学源街258号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。