买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中兴通讯股份有限公司申请的专利请求处理方法、电子设备、存储介质及程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118966362B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411439303.3，技术领域涉及：G06N5/04；该发明授权请求处理方法、电子设备、存储介质及程序产品是由周祥生;肖萍;屠要峰;徐进;高洪;王壮;何荣荣;钟斌设计研发完成，并于2024-10-15向国家知识产权局提交的专利申请。

本请求处理方法、电子设备、存储介质及程序产品在说明书摘要公布了：本申请提供一种请求处理方法、电子设备、存储介质及程序产品，属于人工智能技术领域。该方法包括：接收推理请求，推理请求用于请求使用大模型进行模型推理；将推理请求加入请求队列，请求队列用于存放多个推理请求；根据多个推理请求的推理信息，确定多个推理请求的优先级，推理信息包括多个推理请求的任务难度、等待时间和对应的用户等级；根据多个推理请求的优先级，从多个推理请求中选择至少一个推理请求进行一次推理阶段的模型推理。由于可以根据任务难度、等待时间和对应的用户等级确定对推理请求的调度优先级，且调度粒度精确到模型的一次推理阶段，因此可以实现迭代级别的资源调度，优化资源分配，降低响应时间，提升整体服务质量。

本发明授权请求处理方法、电子设备、存储介质及程序产品在权利要求书中公布了：1.一种请求处理方法，包括：接收推理请求，所述推理请求用于请求使用大模型进行模型推理；将所述推理请求加入请求队列，所述请求队列用于存放多个推理请求；根据所述多个推理请求的推理信息，确定所述多个推理请求的优先级，所述推理信息包括所述多个推理请求的任务难度、等待时间和对应的用户等级，所述任务难度与所述推理请求的提示词长度、用户指定的最大输出长度、所述大模型可以推理的请求长度上限和所述大模型对所述推理请求的剩余解码次数中的至少一项有关；根据所述多个推理请求的优先级，从所述多个推理请求中选择至少一个推理请求进行一次推理阶段的模型推理；其中，根据所述多个推理请求的推理信息，确定所述多个推理请求的优先级，包括：对于每个所述推理请求，确定所述推理请求的状态，所述状态包括所述推理请求未进行预填充和所述推理请求已完成预填充且处于解码阶段；在所述推理请求的状态为所述推理请求未进行预填充的情况下，根据所述提示词长度、所述最大输出长度和所述请求长度上限，确定第一优先级；在所述推理请求的状态为所述推理请求已完成预填充且处于解码阶段的情况下，根据所述剩余解码次数和所述请求长度上限，确定第一优先级。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中兴通讯股份有限公司，其通讯地址为：518057 广东省深圳市南山区高新技术产业园科技南路中兴通讯大厦；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。