买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国人民解放军国防科技大学申请的专利一种面向异构计算集群的分布式并行训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119271415B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411794971.8，技术领域涉及：G06F9/50；该发明授权一种面向异构计算集群的分布式并行训练方法及系统是由赖志权;李东升;卢凯;柳炜杰;张钊宁;李荣春设计研发完成，并于2024-12-09向国家知识产权局提交的专利申请。

本一种面向异构计算集群的分布式并行训练方法及系统在说明书摘要公布了：本发明提供的面向异构计算集群的分布式并行训练方法，是通过获取各个流水级上的N个计算设备的通信开销，结合各个流水级的计算参数，确定N个计算设备的网络拓扑；通过预训练后的神经网络模型、网络拓扑和预设算法，获取模型划分方式；根据模型划分方式，在N个不同种类计算设备之间使用流水线并行的方式，并在M个虚拟机器之间使用数据并行的方式迭代训练神经网络模型。相比于现有技术，本发明结合N个不同种类计算设备的网络拓扑和模型划分方式，平衡各个流水级的计算时间，能在异构计算集群环境下提高混合并行方法的效率。

本发明授权一种面向异构计算集群的分布式并行训练方法及系统在权利要求书中公布了：1.一种面向异构计算集群的分布式并行训练方法，其特征在于，包括如下步骤：根据每个虚拟机器内的N个不同种类计算设备的计算能力，设定M个虚拟机器中各个流水级的第一参数，获取各个流水级上的N个不同种类计算设备的通信开销；根据所述M个虚拟机器中各个流水级的第一参数与所述各个流水级上的N个不同种类计算设备的通信开销，确定所述每个虚拟机器内的N个不同种类计算设备的网络拓扑；根据预训练后的神经网络模型、所述每个虚拟机器内的N个不同种类计算设备的网络拓扑和预设算法，获取模型划分方式；根据所述模型划分方式，在N个不同种类计算设备之间使用流水线并行的方式，并在M个虚拟机器之间使用数据并行的方式迭代训练所述神经网络模型；其中，每个虚拟机器上包含不同种类计算设备各一个，多个所述虚拟机器构成了异构计算集群；所述根据每个虚拟机器内的N个不同种类计算设备的计算能力，设定M个虚拟机器中各个流水级的第一参数，获取各个流水级上的N个不同种类计算设备的通信开销，包括如下步骤：获取每个虚拟机器内的N个不同种类计算设备的计算能力；设定M个虚拟机器中各个流水级的计算时间相同，以使得各个流水级上的所述N个不同种类计算设备的神经网络模型大小与所述N个不同种类计算设备的计算能力成正比关系；设定不同虚拟机器上相同的流水级之间通信同步，以使得各个流水级上的所述N个不同种类计算设备的通信开销与所述N个不同种类计算设备的神经网络模型大小成正比关系；根据所述N个不同种类计算设备的计算能力与上述正比关系，获取各个流水级上的N个不同种类计算设备的通信开销；所述根据所述M个虚拟机器中各个流水级的第一参数与所述各个流水级上的N个不同种类计算设备的通信开销，确定所述每个虚拟机器内的N个不同种类计算设备的网络拓扑，包括如下步骤：计算获取所述M个虚拟机器中各个流水级的第一参数与所述各个流水级上的N个不同种类计算设备的通信开销之间的通信比值；按所述通信比值从大到小，依次分别为各个流水级上的N个不同种类计算设备设定第一流水级至第N流水级，作为每个虚拟机器内的N个不同种类计算设备的网络拓扑。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军国防科技大学，其通讯地址为：410073 湖南省长沙市开福区德雅路109号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。