买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜安徽大学申请的专利一种预训练语言模型精确参数的微调方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119398128B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411988061.3，技术领域涉及：G06N3/084；该发明授权一种预训练语言模型精确参数的微调方法及系统是由翁畅;何婉玲;程誉;刘宇航;马作邦;朱涛;卢一相;竺德设计研发完成，并于2024-12-31向国家知识产权局提交的专利申请。

本一种预训练语言模型精确参数的微调方法及系统在说明书摘要公布了：本发明公开了一种预训练语言模型精确参数的微调方法及系统，方法包括：构建鲁棒适配器；将多个构建好的鲁棒适配器串联形成鲁棒适配器链并确定最大链节点；准备预训练语言模型的权重和对应任务标注的数据集；先对鲁棒适配器链中每个鲁棒适配器进行初步训练优化近似微调鲁棒适配器的参数；近似微调鲁棒适配器的参数后，将其与前序冻结的预训练语言模型的权重合并完成当前鲁棒适配器链节点的计算，并生成用于下一次迭代的残差信息，并同时更新当前鲁棒适配器的参数；进行迭代训练，更新残差信息，直至迭代次数等于鲁棒适配器链的最大节点，获取预训练语言模型的最佳权重以及鲁棒适配器的最佳参数，本发明能提供更稳定的收敛性和更简单的超参数调整。

本发明授权一种预训练语言模型精确参数的微调方法及系统在权利要求书中公布了：1.一种预训练语言模型精确参数的微调方法，其特征在于，包括：S100，构建用于预训练语言模型参数微调的鲁棒适配器，包括低秩适配器和稀疏适配器；S200，将多个构建好的鲁棒适配器串联，形成鲁棒适配器链，并确定鲁棒适配器链的最大节点；S300，准备预训练语言模型的权重和对应任务标注的数据集；S400，从数据集中选择部分数据子集，先对鲁棒适配器链中每个鲁棒适配器进行初步训练优化，此时，冻结预训练语言模型的权重，使预训练语言模型的权重只参与计算，不参与更新，近似微调鲁棒适配器的参数；S500，近似微调鲁棒适配器的参数后，将其与前序冻结的预训练语言模型的权重合并，完成当前鲁棒适配器链节点的计算，并生成用于下一次迭代的残差信息，并同时更新当前鲁棒适配器的参数；S600，将数据集中剩余的数据子集作为输入，进行迭代训练，更新残差信息，直至迭代次数等于鲁棒适配器链的最大节点，获取预训练语言模型的最佳权重以及鲁棒适配器的最佳参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人安徽大学，其通讯地址为：230601 安徽省合肥市经济技术开发区九龙路111号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。