买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中信建投证券股份有限公司

摘要：本发明实施例提供了一种显卡资源分配方法、装置、电子设备及存储介质，涉及计算机技术领域，具体实现方案为：获得各推理大模型的预测访问流量，其中，预测访问流量是：基于历史时间段中的对推理大模型执行推理任务的流量产生影响的因子获得的；针对每一推理大模型，根据该推理大模型对应的显卡资源量与访问流量的对应关系，确定该推理大模型需要的预测显卡资源的资源量，基于能够提供预测显卡资源的显卡数量为该推理大模型分配显卡资源；根据计算平台的剩余显卡数量和各训练微调大模型的训练微调优先级，为各个训练微调大模型分配显卡资源。应用本发明实施例提供的方案可以更合理地为各个大模型分配计算平台中的显卡资源。

主权项：1.一种显卡资源分配方法，其特征在于，所述方法包括：获得各推理大模型的预测访问流量，其中，所述预测访问流量是：基于历史时间段中的流量影响因子获得的，所述流量影响因子为：对推理大模型执行推理任务的流量产生影响的因子，所述推理大模型为执行推理任务的大模型；针对每一推理大模型，根据该推理大模型对应的显卡资源量与访问流量的对应关系，确定该推理大模型处理其对应的预测访问流量需要的预测显卡资源的资源量，根据所确定的资源量获得能够提供所述预测显卡资源的显卡数量，基于所获得的显卡数量为该推理大模型分配显卡资源；基于计算平台的显卡总量和各个推理大模型对应的显卡数量，确定剩余显卡数量；根据各训练微调大模型的训练微调优先级和所述剩余显卡数量，为各个训练微调大模型分配显卡资源，其中，所述训练微调大模型为执行训练微调任务的大模型；所述显卡资源包括：显存资源、显卡计算资源和内存带宽资源，所述根据所确定的资源量获得能够提供所述预测显卡资源的显卡数量，包括：根据所确定资源量中的显存资源量，确定能够提供所述预测显卡资源中显存资源的第一显卡数量；根据所确定资源量中的显卡计算资源量，确定能够提供所述预测显卡资源中显卡计算资源的第二显卡数量；根据所确定资源量中的内存带宽资源量，确定能够提供所述预测显卡资源中内存带宽资源的第三显卡数量；确定所述第一显卡数量、第二显卡数量和第三显卡数量中的最大值，作为能够提供所述预测显卡资源的显卡数量。

全文数据：

权利要求：

百度查询： 中信建投证券股份有限公司 一种显卡资源分配方法、装置、电子设备及存储介质