买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖北大学

摘要：本发明提供了一种基于结构前缀注入的多模态实体对齐方法、设备及介质，涉及知识图谱技术领域，方法包括：获取两个多模态知识图谱并进行预处理；构建多头自注意力机制的图注意力网络；利用图注意力网络分别学习所述两个多模态知识图谱的图结构特征向量，生成实体的图结构特征；利用图注意力网络分别学习所述两个多模态知识图谱的多模态信息，生成实体的多模态特征；通过图注意力网络的结构前缀注入交互模块，结合图结构特征以及多模态特征，得到联合嵌入；通过联合嵌入，结合实体的模态内对比损失和模态间对比损失进行实体对齐。采用图结构前缀注入的交互模块以及跨模态权重进行多模态融合操作，实现了更准确的多模态实体对齐任务。

主权项：1.一种基于结构前缀注入的多模态实体对齐方法，其特征在于，方法包括以下步骤：S1：获取两个多模态知识图谱并进行预处理；所述两个多模态知识图谱包括：以及，其中代表实体集合；代表关系集合；代表属性集合；代表实体的关联图片；代表实体关系的三元组集合；S2：构建多头自注意力机制的图注意力网络；利用图注意力网络分别学习所述两个多模态知识图谱的图结构特征向量，生成实体的图结构特征；步骤S2包括：S21：根据实体集合和三元组集合，得到实体索引和邻接矩阵；所述邻接矩阵表示实体与邻居实体的连接关系；S22：通过实体索引对实体进行预嵌入处理，获取每个实体的隐藏状态；S23：使用图注意力网络对实体进行图结构特征嵌入，对于每个实体对，计算实体对的注意力系数，如下 其中为实体对的注意力系数，代表拼接操作，是图结构模态的权重矩阵；激活函数；是实体的隐藏状态，是实体的隐藏状态；表示可学习权重；S24：通过计算所有与实体连接的实体对的注意力系数，得到注意力分数，表达式如下： 其中，为实体对的注意力分数，代表实体的邻居；表示邻居实体；表示自然指数函数；表示归一化指数函数；S25：根据图注意力网络以及注意力分数，计算实体的邻居聚合，表达式为： 其中，为激活函数；将图注意力网络计算的邻居聚合，作为实体的图结构特征；S3：利用图注意力网络分别学习所述两个多模态知识图谱的多模态信息，生成实体的多模态特征；步骤S3包括：所述多模态信息包括：关联图片、关系模态信息以及属性模态信息；S31：对于实体的关系模态信息以及属性模态信息，使用词袋特征和独热编码进行预处理，获得实体的关系模态输入以及属性模态输入；S32：采用预训练的图像编码器对实体的关联图片进行预处理，得到实体对应关联图片的视觉模态输入，如下： 其中，表示选择VGG-16作为预训练的图像编码器；S33：对于实体的关系模态输入、属性模态输入和视觉模态输入，使用全连接网络进行处理，获得实体的多模态特征，如下： 其中，和分别表示关系模态、属性模态和视觉模态，表示线性变换的权重矩阵；表示模态的全连接网络层；表示第个实体的多模态特征；多模态特征包括：关系嵌入、属性嵌入和视觉嵌入；S34：使用高斯模态噪声掩码机制处理多模态特征，生成最终的多模态特征，具体如下：对多模态特征的每个模态特征进行概率变换如下： 其中，表示决定是否施加噪声的均匀分布随机变量，是为每个多模态特征施加噪声的阈值概率，是掩码率；将多模态特征的噪声向量定义如下： 其中，和分别表示无模态噪声数据的标准差和平均值，z表示从高斯分布中抽取的样本；表示单位协方差矩阵；表示点积操作；S4：通过图注意力网络的结构前缀注入交互模块，结合图结构特征以及多模态特征，得到联合嵌入；步骤S4包括：S41：使用VanillaTransformer模型处理实体的图结构特征，生成图结构特征的查询、键和值： 其中，为图结构特征；分别表示用于查询、键、值的权重矩阵；S42：通过多头自注意力机制，计算图结构特征的每个注意力头的分数，确定多头自注意力的输出；使用层归一化和残差连接处理多头注意力的输出，如下： 其中，表示经过层归一化和残差连接处理之后的图结构特征；代表层归一化操作；和表示用于线性变换的权重矩阵；和表示用于线性变换的偏差；为激活函数；表示全连接前馈网络层；是处理后的图结构特征；S43：根据图结构特征的键和值，结合结构前缀注入交互模块，重新定义多模态特征的键和值计算，如下： 其中，和是重新定义的键值；是键值拼接权重；代表拼接操作；代表实体的多模态特征；表示用于模态键的权重矩阵；表示用于模态值的权重矩阵；使用重新定义多模态特征的键和值，处理多模态特征，得到处理后的多模态特征；S44：根据图结构特征的键和值，计算图结构特征的交叉权重；根据重新定义的多模态特征的键和值，计算多模态特征的交叉权重；S45：根据交叉权重和，计算模态融合的联合嵌入；联合嵌入包括：早期嵌入和隐藏状态的后期嵌入； 其中，表示第个实体的多模态特征的交叉权重；表示第个实体的图结构特征的交叉权重；S5：通过联合嵌入，结合实体的模态内对比损失和模态间对比损失进行实体对齐。

全文数据：

权利要求：

百度查询： 湖北大学 基于结构前缀注入的多模态实体对齐方法、设备及介质