龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：广州数志科技有限公司;广州大学
摘要：本发明提出一种适用于招投标业务的预训练大语言模型参数高效微调方法及系统。其中，方法包括：收集招投标业务文件，并对其进行数据清洗和脱敏处理；根据招投标业务需求，设计指令模版，对收集的数据进行标注，根据指令数据格式构建指令数据集，并将其划分为训练数据集和测试数据集；选择合适的预训练大语言模型中作为基座模型，通过残差连接方式在transformer模块中添加带有空间注意力机制的并行适配器；冻结预训练大语言模型的原始参数，使用训练数据集对并行适配器参数进行微调训练，使用测试数据集评估微调效果，当评估结果满足业务要求时，微调完成。本发明提出的方法实现了在招投标文本数据稀缺的情况下对预训练大语言模型的高效微调，降低了大语言模型应用于招投标领域时的训练成本，使招投标业务的处理更加便捷和智能化。
主权项：1.一种适用于招投标业务的预训练大语言模型参数高效微调方法，其特征在于，所述方法包括：步骤S101：收集招投标业务文件，并对其进行数据清洗和脱敏处理；步骤S102：根据招投标业务需求，设计指令模版，对收集的数据进行标注，根据指令数据格式构建指令数据集，并将其划分为训练数据集和测试数据集；步骤S103：选择合适的预训练大语言模型中作为基座模型，通过残差连接方式在transformer模块中添加带有空间注意力机制的并行适配器；步骤S104：冻结预训练大语言模型的原始参数，使用训练数据集对并行适配器参数进行微调训练，使用测试数据集评估微调效果，当评估结果满足业务要求时，微调完成。
全文数据：
权利要求：
百度查询： 广州数志科技有限公司 广州大学 一种适用于招投标业务的预训练大语言模型参数高效微调方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号