龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：中山大学;广州广日电梯工业有限公司
摘要：本发明涉及人工智能领域的技术，提出一种基于阶段式学习的大模型加速训练方法，包括：初始化待训练的大模型，从所述大模型中选择少量初始训练层作为新增训练层组成子模型并进行训练；构建增长调度器，利用所述增长调度器判断是否触发模型增长；当触发模型增长时，构建并初始化新的训练层，作为新增训练层插入所述子模型，并通过动态调节学习率稳定增长后子模型的训练过程；重复上述步骤，直至达到预设的训练周期，得到完成训练的大模型。相较于现有技术计算资源开销大，兼容性差的问题，本发明能在显著加速模型训练的同时具备高兼容性。
主权项：1.一种基于阶段式学习的大模型加速训练方法，其特征在于，包括以下步骤：S1、初始化待训练的大模型，从所述大模型中选择少量初始训练层作为新增训练层组成子模型开始训练，并构建增长调度器；S2、基于增长调度器对所述子模型进行判断是否触发模型增长；当触发模型增长时，构建并初始化新的训练层作为新增训练层插入所述子模型；S3、通过动态调节学习率稳定增长后子模型的训练过程；S4、重复S2～S3步骤，直至达到预设的训练周期，得到完成训练的大模型。
全文数据：
权利要求：
百度查询： 中山大学 广州广日电梯工业有限公司 一种基于阶段式学习的大模型加速训练方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号