买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江省新型互联网交换中心有限责任公司;四川大学

摘要：本发明属于自然语言处理技术领域，公开了一种针对异构GPU显卡的大语言模型分布式流水并行微调方法，基于多任务微调系统同时对多个LoRA模型实现微调；每个LoRA模型切分为多个部分，分布在相应数量的GPU上，并对GPU进行排序；依据用户请求，通过任务配置模块生成多个任务，并将每个任务划分为若干训练批次；按照每个任务的训练批次顺序，通过任务动态调度器结合动态调度策略生成调度方案；按照GPU正序，将调度方案发送给相应GPU上的多任务训练模块，对所有LoRA模型进行训练。本发明采用精细的模型切分和分配策略、流水线优化路径和任务负载平衡策略，能够更有效地利用多机多卡环境的计算资源，提高微调过程的整体效率，减少资源的浪费。

主权项：1.一种针对异构GPU显卡的大语言模型分布式流水并行微调方法，其特征在于，基于多任务微调系统同时对多个LoRA模型实现微调；每个LoRA模型切分为多个部分，分布在相应数量的GPU上，并对GPU进行排序；所述多任务微调系统包括任务配置模块、分析器、任务动态调度器和分布在多个GPU上的多任务训练模块；每个多任务训练模块用于实现对LoRA模型的相应部分微调；所述大语言模型分布式流水并行微调方法包括以下步骤：S1依据用户请求，通过所述任务配置模块生成多个任务，并将每个任务划分为若干训练批次；S2通过分析器为每个任务配置超参数；S3按照每个任务的训练批次顺序，通过任务动态调度器结合动态调度策略生成调度方案；S4按照GPU正序，将调度方案发送给首个GPU上的多任务训练模块，多任务训练模块按照调度方案中包含的训练批次对所有LoRA模型进行训练；并将训练结果传送至下一个GPU上的多任务训练模块，重复上述操作，直至最后一个GPU；然后依据最后一个GPU输出的训练结果确定损失函数，将训练结果和损失函数反馈给分析器；同时按照GPU逆序，将损失函数进行反向传播，对GPU上相应部分的LoRA模型参数进行优化；S5所述分析器依据训练结果和损失函数进行精度分析，判断所有任务是否满足训练要求；若所有任务满足训练要求，程序结束；否则将精度分析结果反馈至任务动态调度器，返回步骤S3。

全文数据：

权利要求：

百度查询： 浙江省新型互联网交换中心有限责任公司 四川大学 针对异构GPU显卡的大语言模型分布式流水并行微调方法