龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：基于预训练模型参数融合的模型微调方法，包括以下步骤：1选择是否采用现有的参数融合算法，若是，则跳转至步骤2，否则随机生成线性组合权重p并跳转至步骤3；2通过该参数融合算法对预训练模型A与预训练模型B进行参数融合，并根据公式m＝pa+b逆向推导出p，其中a和b分别代表两个预训练模型的参数，p为线性组合权重，m为融合后模型的参数；3通过p构建出模型P，并对P进行优化；4通过公式m＝pa+b对两个预训练模型进行合并，得到模型M；5对模型M进行微调。利用神经网络的学习能力获取最优的模型参数组合，尽可能消除两个模型之间的损失障碍，从而使模型在后续的微调中表现出更加优秀的性能。本方法克服了传统方法中条件过于理想，而在实际合并过程中很难达到理想状态的问题，从而更有效地消除了两个待合并模型之间的损失障碍，让合并后的模型在经过微调后的效果更加优秀。
主权项：1.基于预训练模型参数融合的模型微调方法，包括如下步骤：步骤1.选择是否采用现有的参数融合算法，若是，则跳转至步骤2，否则随机生成线性组合权重p并跳转至步骤3；步骤2.通过该参数融合算法对预训练模型A与预训练模型B进行参数融合，并根据公式m＝pa+b逆向推导出p，其中a和b分别代表两个预训练模型的参数，p线线性组合权重，m线融合模模型的参数；步骤3.通过p构建出模型P，并对P进行优化；步骤4.通过公式m＝pa+b对两个预训练模型进行合并，得到模型M；步骤5.对模型M进行微调。
全文数据：
权利要求：
百度查询： 浙江大学 基于预训练模型参数融合的模型微调方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号