龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：蚂蚁科技集团股份有限公司
摘要：本说明书实施例公开了一种用于隐私保护的大语言模型训练方法及装置、介质、设备，涉及人工智能技术领域。首先，通过获取训练数据，并将训练数据输入到待训练的大语言模型中，以确定训练数据对应的原始梯度，然后对原始梯度进行加固转换，得到加固梯度，进而可以通过加固梯度更新待训练的大语言模型对应的模型权重，得到训练好的大语言模型。本说明书实施例中的技术方案可以保证训练得到的大语言模型对隐私数据的理解能力不丢失，提升大语言模型的输出结果的准确性的同时，有效降低攻击者通过大语言模型的梯度还原出原始数据的可能性，提高大语言模型中隐私数据的安全性。
主权项：1.一种用于隐私保护的大语言模型训练方法，所述方法包括：获取训练数据；将所述训练数据输入到待训练的大语言模型中，以确定所述训练数据对应的原始梯度；对所述原始梯度进行加固转换，得到加固梯度，其包括将所述原始梯度输入到训练好的目标梯度加固网络中，以通过所述目标梯度加固网络对所述原始梯度进行加固转换，得到所述加固梯度；其中根据所述训练数据以及所述训练数据对应的原始梯度构建梯度样本数据；通过所述梯度样本数据对预先构建的初始梯度还原网络进行深度学习训练，得到训练好的目标梯度还原网络，所述目标梯度还原网络用于模拟通过所述原始梯度还原所述训练数据的过程；通过预构建的初始梯度加固网络与所述目标梯度还原网络构建连接训练网络，并通过所述梯度样本数据对所述连接训练网络进行深度学习训练，以完成对所述初始梯度加固网络的深度学习训练，得到所述训练好的目标梯度加固网络；通过所述加固梯度更新所述待训练的大语言模型对应的模型权重，得到训练好的大语言模型。
全文数据：
权利要求：
百度查询： 蚂蚁科技集团股份有限公司 用于隐私保护的大语言模型训练方法及装置、介质、设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号