买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利一种基于分离式架构的分布式训练数据加载方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119356892B 。

龙图腾网通过国家知识产权局官网在2025-04-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411930693.4，技术领域涉及：G06F9/50；该发明授权一种基于分离式架构的分布式训练数据加载方法和装置是由陈耀武;陆琦;蒋荣欣;田翔设计研发完成，并于2024-12-26向国家知识产权局提交的专利申请。

本一种基于分离式架构的分布式训练数据加载方法和装置在说明书摘要公布了：本发明公开了一种基于分离式架构的分布式训练数据加载方法和装置，属于计算机技术领域，方法包括：远程中心调度器响应本地数据加载客户端发送的请求，收集训练样本的数据元信息并进行负载均衡计算生成数据加载计划和数据消费计划；远程数据加载服务器获取数据加载计划进行数据加载和数据预处理，得到预处理后的分布式训练数据，并预取下一个批次的数据；本地数据加载客户端根据数据消费计划向指定的远程数据加载服务器请求获取预处理后的分布式训练数据并缓存在本地。本发明不仅提升了分布式训练数据加载的效率，还保证了分布式训练中各计算节点的计算负载的均衡性，适用于大规模深度学习模型的分布式训练场景，具有较高的应用价值和推广前景。

本发明授权一种基于分离式架构的分布式训练数据加载方法和装置在权利要求书中公布了：1.一种基于分离式架构的分布式训练数据加载方法，其特征在于，包括以下步骤：通过远程中心调度器响应本地数据加载客户端发送的数据消费计划请求，进行训练样本的数据元信息收集，基于数据元信息进行负载均衡计算以生成数据加载计划和数据消费计划；其中，基于数据元信息进行负载均衡计算以生成数据加载计划和数据消费计划，包括：远程中心调度器运行分布式训练数据负载均衡算法基于数据元信息进行负载均衡计算得到唯一数据划分方式，包括：算法输入为n个训练样本的数据元信息和本地数据加载客户端划分的m个数据并行组；对于每一个训练样本的数据元信息，构造一个m元组用于代表一种数据划分方式，m元组中的每个元素都是一个子集合，且m元组中一个子集合的元素是，其他的m-1个子集合是空集；在每一轮循环里，选择内部子集合和的最大值与最小值的差值最大的2个m元组x和y，先将x和y分别按照内部子集合的和的大小进行排序，然后将排序后的y按照内部子集合逆序后再与x进行合并，得到新的m元组作为一种新的数据划分方式添加到数据划分方式集合中，并将x和y从数据划分方式集合中删除；按同样的方式继续迭代进行m元组的合并，直至剩下一个最终的m元组作为唯一数据划分方式；根据唯一数据划分方式制定数据消费计划，数据消费计划中规定了本地数据加载客户端所划分的m个数据并行组各自能够获取的训练样本数据资源；根据数据消费计划制定数据加载计划，数据加载计划中规定了远程数据加载服务器与本地数据加载客户端所划分的m个数据并行组相对应的训练样本数据资源的加载与分配策略；通过远程数据加载服务器获取远程中心调度器生成的数据加载计划进行训练样本的分布式训练数据加载和数据预处理，得到预处理后的分布式训练数据，并预取下一个批次的分布式训练数据；通过本地数据加载客户端根据远程中心调度器生成的数据消费计划向指定的远程数据加载服务器请求获取预处理后的分布式训练数据并缓存在本地，以供本地的深度学习模型分布式训练的主进程使用。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。