买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州浪潮智能科技有限公司

摘要：本发明公开了一种对GPU资源进行使用的方法、系统、设备及介质，方法包括：启动容器，依次将第一资源、GPU资源与客户端挂载于容器，并在容器建立训练框架；基于客户端从训练框架获取CUDA调用请求并将CUDA调用请求转发到全局服务端，并将训练框架置于停止状态；基于全局服务端获取服务器集群的GPU资源使用信息以将CUDA调用请求转发到对应的本地服务端，并基于客户端将训练框架置于运行状态；基于本地服务端调用对应的GPU资源执行训练任务，并在训练任务执行结束后将计算结果返回给全局服务端和训练框架。通过本发明的方案，实现了GPU资源的池化和高效的利用率。

主权项：1.一种对GPU资源进行使用的方法，其特征在于，包括：启动容器，依次将第一资源、GPU资源与客户端挂载于所述容器，并在所述容器建立训练框架；基于所述客户端从所述训练框架获取CUDA调用请求并将所述CUDA调用请求转发到全局服务端，并将所述训练框架置于停止状态；基于所述全局服务端获取服务器集群的GPU资源使用信息以将所述CUDA调用请求转发到对应的本地服务端，并基于所述客户端将所述训练框架置于运行状态；基于所述本地服务端调用对应的GPU资源执行训练任务，并在所述训练任务执行结束后将计算结果返回给所述全局服务端和所述训练框架；其中，依次将第一资源、GPU资源与客户端挂载于所述容器，并在所述容器建立训练框架包括：将第一资源挂载于所述容器，并在所述容器建立训练框架，其中，所述第一资源包括CPU资源、内存资源、磁盘资源；获取用户对GPU资源的使用方式，并基于所述用户对所述GPU资源的使用方式将所述GPU资源挂载于所述容器；将客户端挂载于所述容器；基于所述客户端从所述训练框架获取CUDA调用请求并将所述CUDA调用请求转发到全局服务端包括：响应于所述训练框架的用户训练进程需使用GPU资源，基于所述客户端从所述用户训练进程获取所述CUDA调用请求并将所述CUDA调用请求转发到全局服务端；基于所述用户对所述GPU资源的使用方式将所述GPU资源挂载于所述容器包括：响应于所述用户需要使用物理GPU资源，则将对应的GPU资源直接挂载到所述容器；响应于所述用户不需要使用物理GPU，则劫持对应的GPU资源对应的动态库文件，并将所述对应的GPU资源及其所对应的动态库文件一并挂载到所述容器。

全文数据：

权利要求：

百度查询： 苏州浪潮智能科技有限公司 对GPU资源进行使用的方法、系统、设备及介质