买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜支付宝(杭州)信息技术有限公司申请的专利推理系统的内存管理方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119248525B 。

龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411784836.5，技术领域涉及：G06F9/50；该发明授权推理系统的内存管理方法和装置是由丁治强;杨统凯设计研发完成，并于2024-12-05向国家知识产权局提交的专利申请。

本推理系统的内存管理方法和装置在说明书摘要公布了：本申请一个或多个实施例提供一种推理系统的内存管理方法和装置，所述方法应用于推理系统中的推理引擎；所述推理引擎的计算资源包括用于部署所述推理引擎的计算设备上搭载的GPU；所述推理引擎维护了用于调度推理请求集合的调度队列；所述方法包括：根据与所述调度队列中正在执行的推理请求集合相关联的数据处理时长，确定内存管理时间窗口；计算所述内存管理时间窗口内与所述推理请求集合对应的GPU内存需求量，并根据所述GPU内存需求量，为所述推理请求集合分配GPU内存；在所述内存管理时间窗口结束时，重新根据与所述调度队列中正在执行的推理请求集合相关联的数据处理时长，确定与所述内存管理时间窗口对应的后一个内存管理时间窗口。

本发明授权推理系统的内存管理方法和装置在权利要求书中公布了：1.一种推理系统的内存管理方法，应用于推理系统中的推理引擎；所述推理引擎的计算资源包括用于部署所述推理引擎的计算设备上搭载的GPU；所述推理引擎维护了用于调度处于Prefill阶段的推理请求集合的Prefill调度队列，以及用于调度处于Decode阶段的推理请求集合的Decode调度队列；所述方法包括：根据针对所述Prefill调度队列中正在执行的Prefill推理请求集合进行数据处理的数据处理时长，确定Prefill内存管理时间窗口，并计算所述Prefill内存管理时间窗口内与所述Prefill推理请求集合对应的GPU内存需求量，以及根据所述GPU内存需求量，为所述Prefill推理请求集合分配GPU内存；在所述Prefill内存管理时间窗口结束时，重新根据针对所述Prefill调度队列中正在执行的Prefill推理请求集合进行数据处理的数据处理时长，确定与所述Prefill内存管理时间窗口对应的后一个Prefill内存管理时间窗口；根据针对所述Decode调度队列中正在执行的Decode推理请求集合进行数据处理的数据处理时长，确定Decode内存管理时间窗口，并计算所述Decode内存管理时间窗口内与所述Decode推理请求集合对应的GPU内存需求量，以及根据所述GPU内存需求量，为所述Decode推理请求集合分配GPU内存；在所述Decode内存管理时间窗口结束时，重新根据针对所述Decode调度队列中正在执行的Decode推理请求集合进行数据处理的数据处理时长，确定与所述Decode内存管理时间窗口对应的后一个Decode内存管理时间窗口。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人支付宝(杭州)信息技术有限公司，其通讯地址为：310000 浙江省杭州市西湖区西溪路543号-569号(单号连续)1幢2号楼5层518室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。