买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜电子科技大学申请的专利一种结构化知识增强的图文匹配方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115374289B 。

龙图腾网通过国家知识产权局官网在2025-05-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210895904.X，技术领域涉及：G06F16/36；该发明授权一种结构化知识增强的图文匹配方法是由康昭;高辉;郑旭;赵晓翠;刘鸿飞;李濛设计研发完成，并于2022-07-27向国家知识产权局提交的专利申请。

本一种结构化知识增强的图文匹配方法在说明书摘要公布了：本发明涉及跨模态图文匹配技术，其公开了一种结构化知识增强的图文匹配方法，通过挖掘知识之间的结构关系信息，充分利用知识辅助匹配，从而提高图文匹配的效果。该方法在图像区域知识特征中加入空间信息，通过融合后的特征捕获图像区域之间关系，并构建区域知识结构图。通过图卷积神经网络训练出包含结构化信息的区域知识特征，并将这些区域特征融合成图像的结构化知识特征。最终使用图文的结构化知识特征进行相似度计算，完成结构化知识增强的图文匹配。

本发明授权一种结构化知识增强的图文匹配方法在权利要求书中公布了：1.一种结构化知识增强的图文匹配方法，其特征在于，包括以下步骤：A、训练图文匹配模型：A1、构建图文训练数据集，所述图文训练数据集包括多个训练数据组，每个训练数据组包括一个正样本和两个负样本，所述正样本由正确的图文对构成，所述两个负样本中的其中一个负样本为由正样本中的图像与随机选择的错误文本构成的错误图文对，另一个负样本为由正样本中的文本与随机选择的错误图像构成的错误图文对；A2、从由所有正样本的文本构成的图像字幕库中，提取高频词语作为知识概念，并统计知识概念的共现次数，根据知识概念的共现次数构建共现知识图，然后基于共现知识图获取知识概念特征；A3、对训练数据组中的正样本及其对应的负样本进行特征提取，针对每一个样本，包括如下步骤：A31、对输入的图文对进行特征提取，获得图像各区域的特征和对应文本各区域的特征；A32、基于步骤A31获得的图像的各区域特征，以及步骤A2获得的知识概念特征，提取图像的区域视觉知识特征；将各图像区域的区域视觉知识特征与其对应的区域空间特征进行融合，得到各图像区域的区域知识特征；根据图像的区域知识特征之间的关系构建图像知识结构图，然后根据图像知识结构图和区域视觉知识特征，提取结构化的图像知识特征；基于步骤A31获得的文本的各区域特征，以及步骤A2获得的知识概念特征，提取文本知识特征；A33、计算图像知识特征与文本知识特征之间的余弦相似度，分别获得正样本的余弦相似度、对应的负样本的余弦相似度；A4、根据获得的正样本的余弦相似度及其对应的负样本的余弦相似度进行损失函数的计算，然后按梯度下降法进行步骤A2-A3的迭代训练，生成图文匹配模型；B、基于图文匹配模型进行图文匹配；步骤A32中，根据图像的区域知识特征之间的关系构建图像知识结构图，具体包括：首先，分别计算图像的每个区域知识特征与其他区域知识特征的相关性，得到相关性矩阵： 其中，，，为可学习的参数矩阵，是的第i行j列的元素；然后，根据所述相关性矩阵，将图像的各个区域知识特征作为节点，将其与图像的其它区域知识特征之间的相关性作为边，构建图像知识结构图；步骤A32中，根据图像知识结构图和区域视觉知识特征，提取结构化的图像知识特征，具体包括：首先，基于图像知识结构图的邻接矩阵和区域视觉知识特征，通过GCN网络进行融合，得到图像的结构化知识特征；然后，将图像的n个区域的结构化知识特征采用求均值的方法融合为一个图像知识特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。