买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖北大学

摘要：本申请提供了一种基于注意力惩罚和噪声采样的知识图谱补全方法及设备，涉及知识图谱技术领域，方法包括：获取知识图谱的多模态数据，融合实体的文本嵌入、图像嵌入和关系嵌入，得到第一嵌入向量；对第一嵌入向量进行自适应噪声采样，获取第二嵌入向量；通过带有注意力惩罚机制的编码器，对第二嵌入向量进行编码，获得预测向量；构建知识图谱补全模型；通过得分函数，计算预测向量的预测实体得分；通过预测实体得分对知识图谱补全模型进行训练；获取待补全的知识图谱；通过知识图谱补全模型，对待补全的知识图谱进行知识图谱补全任务。通过注意力惩罚机制对输入数据进行过度依赖的惩罚，避免单个特征的注意力权重过大，以缓解多模态幻觉问题。

主权项：1.一种基于注意力惩罚和噪声采样的知识图谱补全方法，其特征在于，方法包括以下步骤：S1：获取知识图谱的多模态数据，融合实体的文本嵌入、图像嵌入和关系嵌入，得到第一嵌入向量；S2：对第一嵌入向量进行自适应噪声采样，获取第二嵌入向量；步骤S2包括：S21：利用可学习的噪声比例因子，获取第一嵌入向量的噪声采样；噪声采样包括两种采样方式，分别为高斯噪声采样以及平均噪声采样；高斯噪声采样的计算公式如下： 其中表示进行矩阵点乘操作，表示可学习的噪声比例因子，训练过程中自适应的改变噪声在嵌入中的占比，表示原噪声嵌入数据的标准差值，表示原噪声嵌入数据的平均值；表示有均值为0的均值向量和单位协方差矩阵的高斯分布值；则表示从高斯分布中获取的样本值；表示高斯噪声采样后得到的噪声输入向量，即第一嵌入向量的噪声采样；平均噪声采样的公式如下： 其中表示进行矩阵点乘操作，表示可学习的噪声比例因子，表示设置的随机变量区间最大值，表示设置的随机变量区间最小值，是服从设置区间上均匀分布的随机变量；表示平均噪声采样后得到的噪声输入向量，即第一嵌入向量的噪声采样；S22：设置随机因子，比较随机因子与第一嵌入向量的采样因子，判断是否向第一输入向量添加噪声采样，生成判断结果；S23：通过判断结果，向第一嵌入向量添加噪声采样，表示为： 其中，表示经过自适应噪声采样后获得的第二嵌入向量；S3：通过带有注意力惩罚机制的编码器，对第二嵌入向量进行编码，获得预测向量；步骤S3包括：S31：通过第二嵌入向量，进行注意力计算，获取注意力得分；通过注意力惩罚机制，对注意力得分进行重构，获取重构后的注意力惩罚嵌入向量，计算公式如下： 其中代表进行注意力惩罚机制的计算函数；步骤S31包括：S31a：通过注意力惩罚机制，计算第二嵌入向量中每个特征的注意力得分，计算公式如下： 其中，表示第个实体的第二嵌入向量中的第个特征的注意力得分，则表示所有特征注意力得分的集合，表示第二嵌入向量的特征的数量，表示进行注意力计算操作；S31b：比较各个特征的注意力得分，若注意力得分大于设置的惩罚界限，则对特征的注意力得分进行注意力惩罚，计算公式如下： 其中，表示设置的惩罚界限，表示大于设置的惩罚界限的注意力得分，表示惩罚注意力因子，表示惩罚后的注意力得分；S31c：对注意力得分进行惩罚后，对集合中注意力得分前面预设个数的特征的注意力分数进行重新分配，计算过程如下： 其中，表示注意力重新分配数量，表示进行重新分配的注意力分数，重新分配注意力因子，表示重新分配后的注意力得分；S31e：重复步骤S32b-步骤S32c，获得注意力惩罚嵌入向量，如下所示： S32：构建编码器，编码器包括：前馈神经网络、全连接层和函数层；S33：注意力惩罚嵌入向量依次经过前馈神经网络层、全连接层、函数层进行编码，获得预测向量，计算公式如下： 其中代表编码器的编码计算；S4：构建知识图谱补全模型；通过得分函数，计算预测向量的预测实体得分；通过预测实体得分，对知识图谱补全模型进行训练；S5：获取待补全的知识图谱；通过训练后的知识图谱补全模型，对待补全的知识图谱进行知识图谱补全任务。

全文数据：

权利要求：

百度查询： 湖北大学 基于注意力惩罚和噪声采样的知识图谱补全方法及设备