买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于多模态特征融合的实体链接方法，先将提及目标和候选实体的相关的多模态信息输入到语义增强模块中，对提及的文本和图像分别进行特征增强，再经过深度注意力网络，充分捕捉异构模态信息间的语义关联性，然后利用图卷积神经网络实现多模态特征的融合，分别得到提及目标和候选实体相应的多模态表征，最后依据提及目标和候选实体多模态表征之间的相似度大小对候选实体进行排序，选择相似度最大的候选实体作为预测的链接实体。

主权项：1.一种基于多模态特征融合的实体链接方法，其特征在于，包括以下步骤：1、下载实体链接数据集；下载实体链接数据集，每个链接样本中包含提及目标m的上下文信息和图像信息；下载每个链接样本中提及目标m对应的候选实体集，每个候选实体er包含描述文本、图像信息和属性信息；2、对文本和图像进行嵌入表征；将提及目标m的上下文信息和图像信息分别输入到BERT编码器和ResNet编码器中获得提及目标的上下文表征Tm和图像表征Vm；将候选实体er的描述文本和图像信息分别输入到BERT编码器和ResNet编码器中获得候选实体er的文本表征Ter和图像表征Ver；3、对提及目标m的不同模态特征进行语义增强；将提及目标的上下文表征Tm和候选实体er的文本表征Ter一同输入到语义增强模块中，输出提及目标增强后的上下文表征Tm'；将提及目标m的图像表征Vm和候选实体的图像表征Ver一同输入到语义增强模块中，输出提及目标增强后的图像表征Vm'；4、对文本和图像表征进行互补增强；将提及目标m增强后的上下文表征Tm'和图像表征Vm'输入到深度注意力网络中，输出提及目标m的上下文特征向量tm和图像特征向量vm；将候选实体er的文本表征Te和图像表征Ve输入到深度注意力网络中，输出候选实体的文本特征向量ter和图像特征向量ver；5、属性特征提取；将候选实体er的属性信息输入到属性特征提取模块中，输出候选实体的属性特征向量per；6、提取多模态表征；6.1、构建初始化特征矩阵H0；H0＝[tm,vm,te1,ve1,pe1,…,ter,ver,per,…,teR,veR,peR]将H0中每一个元素视为一个节点，从而将H0简化为： 其中，以此类推，R表示候选实体数量，ter,ver,per分别表示第r个候选实体er的文本特征向量、图像特征向量和属性特征向量；6.2、构建初始化邻接矩阵A0； 其中，aij表示连接第i个节点与第j个节点的关系边的权重值；6.3、通过循环迭代的方式更新初始化特征矩阵和初始化邻接矩阵； 其中，l表示当前迭代次数，表示权重矩阵，σ·表示激活函数，M表示大小为n×nmask矩阵，矩阵中的元素满足： 6.4、多模态表征提取；记经过L次循环迭代后特征矩阵记为HL，邻接矩阵记为AL；提取特征矩阵HL中元素作为提及目标的多模态表征fm，提取特征矩阵HL中分别作为1～R个候选实体的多模态表征fer；7、提取提及目标需要链接的实体；计算提及目标m和与每个候选实体er的多模态表征相似度大小：Sm,er＝cosfm,fe,r其中，cos·表示余弦相似度计算，Sm,er表示提及目标m与第r个候选实体er之间的相似度大小；选择相似度最大的候选实体进行预测输出： 其中，e*表示提及目标m要链接的实体。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于多模态特征融合的实体链接方法