买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜山东省计算中心(国家超级计算济南中心)申请的专利资源高效与服务质量感知的推理服务系统自适应调度方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115129477B 。

龙图腾网通过国家知识产权局官网在2025-05-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210918942.2，技术领域涉及：G06F9/50；该发明授权资源高效与服务质量感知的推理服务系统自适应调度方法是由蔡斌雷;郭芹;郭莹;张虎设计研发完成，并于2022-08-01向国家知识产权局提交的专利申请。

本资源高效与服务质量感知的推理服务系统自适应调度方法在说明书摘要公布了：本发明公开了一种资源高效与服务质量感知的推理服务系统自适应调度方法，包括：深度学习模型自动选择模块利用协同过滤方法预测推理工作负载在不同深度学习模型上运行的推理性能；深度学习模型自动选择模块利用贪婪算法选择满足用户服务质量需求的最优深度学习模型，并将最优深度学习模型部署至容器中为推理服务系统中的推理工作负载服务；协同管理模块利用深度强化学习方法，根据推理工作负载的动态变化，协同地调整GPU资源分配和批量大小设置，本发明可根据用户的需求自动地选择深度学习模型，可根据推理工作负载的动态变化协同地调整GPU资源的分配和批量大小的设置。

本发明授权资源高效与服务质量感知的推理服务系统自适应调度方法在权利要求书中公布了：1.资源高效与服务质量感知的推理服务系统自适应调度方法，应用于基于容器的推理服务系统，其特征在于，所述自适应调度方法包括：构建可剖析推理服务系统中推理工作负载的深度学习模型自动选择模块以及构建可与推理服务系统实时交互的基于深度强化学习的协同管理模块；所述深度学习模型自动选择模块利用协同过滤方法预测所述推理工作负载在不同深度学习模型上运行的推理性能，所述推理性能包括推理延迟、推理精度；所述深度学习模型自动选择模块利用贪婪算法选择满足用户服务质量需求的最优深度学习模型，并将所述最优深度学习模型部署至容器中为所述推理服务系统中的推理工作负载服务；所述协同管理模块利用深度强化学习方法，基于部署至容器中的最优深度学习模型，根据推理工作负载的动态变化，协同地调整GPU资源分配和批量大小设置；所述构建可剖析推理服务系统中推理工作负载的深度学习模型自动选择模块包括：收集生产环境中的深度学习模型以构建模型知识库V＝{v1，v2，...，vj，...，vm}，其中，vj表示第j个深度学习模型；所述利用协同过滤方法预测所述推理工作负载在不同深度学习模型上运行的推理性能包括：①从所述推理服务系统的历史数据中选择n个用户的所述推理工作负载U＝{u1，u2，...，ui，...，um}，其中，ui表示第i个用户的所述推理工作负载；将每个所述推理工作负载ui在所述模型知识库V中所有的所述深度学习模型上进行剖析以构建效用矩阵Pn×m，其中，效用矩阵Pn×m中的每个元素pij表示推理工作负载ui在模型知识库V中模型vj上的推理性能；对于用户新提交的所述推理工作负载un+1在所述模型知识库V中任选两个深度学习模型进行剖析以获得un+1在任选的两个所述深度学习模型上的推理性能，并插入效用矩阵得到新的效用矩阵Pn+1×m，上述具体表达式如下： ②利用基于在线矩阵分解的协同过滤方法来预测推理工作负载un+1在模型知识库V中除去①中选择的两个所述深度学习模型之外的其它所述深度学习模型上的推理性能。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东省计算中心(国家超级计算济南中心)，其通讯地址为：250000 山东省济南市历下区经十路东首科学院路19号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。