买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜之江实验室;上海人工智能创新中心申请的专利基于分布式内存管理的大模型训练故障恢复方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119473732B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510067262.8，技术领域涉及：G06F11/14；该发明授权基于分布式内存管理的大模型训练故障恢复方法和装置是由胡永新;程宏才;陈培俊;王琪;杨如丹;林志文设计研发完成，并于2025-01-16向国家知识产权局提交的专利申请。

本基于分布式内存管理的大模型训练故障恢复方法和装置在说明书摘要公布了：本发明公开一种基于分布式内存管理的大模型训练故障恢复方法，当判断当前训练轮次需要进行检查点保存业务，获取当前时刻模型状态，并将获取到的模型状态序列化成可存储的格式，生成检查点数据；然后将检查点数据从节点内设备端内存传输至主机端内存；并在传输完毕后继续训练任务，同时进行异步检查点保存；异步检查点保存包括数据分布式内存备份和数据持久化到磁盘两种；训练任务出错时，通过检查点数据进行任务恢复。本发明故障恢复时优先从内存中读取备份数据，可以显著减少因磁盘IO瓶颈导致的延迟，从而减少因保存或加载检查点数据操作而导致的训练暂停或效率下降，保持GPU或其他计算资源的高效利用，提高大规模模型训练的连续性和稳定性。

本发明授权基于分布式内存管理的大模型训练故障恢复方法和装置在权利要求书中公布了：1.一种基于分布式内存管理的大模型训练故障恢复方法，其特征在于，包括以下步骤：步骤S1：在集群大模型训练过程中，判断当前训练轮次是否需要进行检查点保存业务；若当前训练轮次无需进行检查点保存业务，则继续训练任务；若当前训练轮次需要进行检查点保存业务，则执行步骤S2~S5，触发检查点数据保存流程，完成数据备份；步骤S2：获取当前时刻模型状态，包括模型权重、优化器状态以及训练元数据；步骤S3：将获取到的模型状态序列化成可存储的格式，生成检查点数据；步骤S4：将检查点数据从节点内设备端内存传输至主机端内存；步骤S5：判断模型状态序列化数据是否完全传输至主机端内存，若传输完毕，则继续训练任务并保存使用数据完整性校验算法对检查点数据生成的校验值，同时进行异步检查点保存；异步检查点保存包括数据分布式内存备份和数据持久化到磁盘两种；所述数据分布式内存备份具体包括：（1）筛选剩余内存大于m倍最大检查点文件大小的节点，然后按照亲和度AFFI高低进行排序，排序第一的节点为最优备份节点Bk，选择前n个节点组成最优备份节点组合Bk_Group，其中n为单节点计算卡数量；（2）将本节点内存里的检查点数据分别传输至最优备份节点Bk或最优备份节点组合Bk_Group内存中；（3）检查点数据传输全部完成后，将内存备份完成标志位FIN_M置为TRUE；步骤S6：训练任务出错时，通过检查点数据进行任务恢复。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人之江实验室;上海人工智能创新中心，其通讯地址为：311121 浙江省杭州市余杭区中泰街道科创大道之江实验室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。