申请/专利权人：蚂蚁科技集团股份有限公司

申请日：2024-04-07

公开（公告）日：2024-07-05

公开（公告）号：CN118014011B

主分类号：G06N3/0455

分类号：G06N3/0455;G06N3/08;G06F21/62;G06F40/157;G06F40/284

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2024.05.28#实质审查的生效;2024.05.10#公开

摘要：本说明书提供了一种大语言模型训练及训练数据构建方法、装置、设备、介质，涉及人工智能技术领域。该大语言模型训练方法包括：确定初始训练数据集中的真实隐私数据；对真实隐私数据进行数据转换，得到模拟隐私数据，模拟隐私数据的数据结构与真实隐私数据的数据结构相同；根据模拟隐私数据和初始训练数据集构建目标训练数据集；通过目标训练数据集对预构建的大语言模型进行模型训练，得到训练好的大语言模型。本技术方案可以从源头上实现对隐私数据的保护，避免训练数据中的隐私数据泄露，提升个人隐私数据安全性的同时，也可以保证大语言模型对隐私数据的理解能力不丢失，提升大语言模型的输出结果的准确性。

主权项：1.一种大语言模型训练方法，包括：获取初始训练数据集，并确定所述初始训练数据集中的真实隐私数据；对所述真实隐私数据进行数据转换，得到模拟隐私数据，所述模拟隐私数据的数据结构与所述真实隐私数据的数据结构相同；根据所述模拟隐私数据和所述初始训练数据集构建目标训练数据集；通过所述目标训练数据集对预构建的大语言模型进行模型训练，得到训练好的大语言模型；其中所述对所述真实隐私数据进行数据转换，得到模拟隐私数据，包括：将所述真实隐私数据输入到训练好的隐私数据转换模型中，以对所述真实隐私数据进行重构，得到所述模拟隐私数据；其中所述隐私数据转换模型包括输入转换网络、自编码解码器和输出转换网络；其中所述将所述真实隐私数据输入到训练好的隐私数据转换模型中，以对所述真实隐私数据进行重构，得到所述模拟隐私数据，包括：将所述真实隐私数据输入到所述输入转换网络中，输出得到第一数字序列；将所述第一数字序列输入到所述自编码解码器中，输出得到第二数字序列；通过所述输出转换网络对所述第二数字序列进行转换，得到所述模拟隐私数据。

全文数据：

权利要求：

百度查询： 蚂蚁科技集团股份有限公司 大语言模型训练及训练数据构建方法、装置、设备、介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD