买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京大学;上海明略人工智能(集团)有限公司

摘要：本申请涉及一种大语言模型的构建方法、装置、设备及计算机可读介质。该方法包括：获取描述相同内容的视觉数据、音频数据、文本数据以及用户在接收所述视觉数据、所述音频数据以及所述文本数据至少之一时产生的脑电波数据和眼动数据；对所述视觉数据和所述音频数据进行特征提取和整合，得到所述视觉数据和所述音频数据的交叉特征；利用全局模型知识图谱对所述交叉特征进行数据增强，得到所述交叉特征的图谱增强数据；将所述图谱增强数据、所述文本数据、所述脑电波数据以及所述眼动数据作为多模态训练数据对初始大语言模型进行训练，直至模型收敛时，得到目标大语言模型。本申请解决了大模型缺乏多模态理解的综合机制的技术问题。

主权项：1.一种大语言模型的构建方法，其特征在于，包括：获取描述相同内容的视觉数据、音频数据、文本数据以及用户在接收所述视觉数据、所述音频数据以及所述文本数据至少之一时产生的脑电波数据和眼动数据；对所述视觉数据和所述音频数据进行特征提取和整合，得到所述视觉数据和所述音频数据的交叉特征；利用全局模型知识图谱对所述交叉特征进行数据增强，得到所述交叉特征的图谱增强数据；将所述图谱增强数据、所述文本数据、所述脑电波数据以及所述眼动数据作为多模态训练数据对初始大语言模型进行训练，直至模型收敛时，得到目标大语言模型；所述利用全局模型知识图谱对所述交叉特征进行数据增强，得到所述交叉特征的图谱增强数据包括：在所述全局模型知识图谱中查找表示所述交叉特征的基础实体；根据所述基础实体与其他实体的关联度，为每个所述基础实体查找关联度大于或等于预设阈值的关联实体；获取所述基础实体和所述关联实体的实体信息和属性信息，作为所述图谱增强数据；所述将所述图谱增强数据、所述文本数据、所述脑电波数据以及所述眼动数据作为多模态训练数据对初始大语言模型进行训练包括：分别为所述图谱增强数据、所述文本数据、所述脑电波数据以及所述眼动数据分配权重；利用所述图谱增强数据、所述文本数据、所述脑电波数据以及所述眼动数据的加权和构建优化函数；将所述图谱增强数据、所述文本数据、所述脑电波数据以及所述眼动数据输入所述初始大语言模型，并使用所述优化函数对所述初始大语言模型的训练结果进行优化，直至模型收敛时，得到所述目标大语言模型；所述使用所述优化函数对所述初始大语言模型的训练结果进行优化，直至模型收敛时，得到所述目标大语言模型包括：基于所述多模态训练数据的标注数据和所述训练结果确定所述初始大语言模型对所述多模态训练数据的理解偏差；按照所述理解偏差调整所述优化函数中所述图谱增强数据、所述文本数据、所述脑电波数据以及所述眼动数据的权重，并继续迭代训练；当所述优化函数使所述初始大语言模型对所述多模态训练数据的理解偏差小于目标阈值时，确定模型收敛，得到所述目标大语言模型。

全文数据：

权利要求：

百度查询： 北京大学 上海明略人工智能(集团)有限公司 大语言模型的构建方法、装置、设备及计算机可读介质