买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：鲁东大学

摘要：本发明公开了一种基于交叉注意力机制的图像文本匹配方法。本发明首先使用视觉语言大模型作为特征提取器，提取图像区域和文本单词的特征；然后构造训练集上的损失函数，提出一个由三分支组成的跨模态交互推理网络，分别为区域交互分支、单词交互分支和图像单词推理分支，将每个单词和图像区域之间的语义关系融入到图像文本对齐中。最后设计了一个相似性计算模块，计算图像和文本之间的全局相关性。本发明不仅能够减少视觉语言模型由于粗粒度对齐而导致的匹配错误，而且相比于微调视觉语言模型的训练过程，资源消耗更少。

主权项：1.一种基于交叉注意力机制的图像文本匹配方法，其特征在于，其包括以下步骤：步骤S1，使用MSCOCO数据集，建立包括图像和文本两个模态的数据集，并将数据集划分为训练集和测试集；步骤S2，使用视觉语言大模型提取训练集和测试集的图像和文本的特征；其包括以下步骤:步骤S21，首先将训练集和测试集中的图像划分为若干个区域，然后使用视觉语言的图像编码器为每个区域提取一个嵌入向量作为每个区域的特征；步骤S22，首先将训练集和测试集中的文本输入视觉语言大模型的文本编码器，提取文本中单词的特征；用特殊标记替换文本中的单词，构建被掩盖单词的文本；然后将被掩盖单词的文本输入视觉语言大模型的文本编码器得到被掩盖单词的文本的特征；步骤S3，构造训练集上的损失函数；其包括以下步骤：步骤S31，首先将区域特征和单词特征构造为跨模态交互的查询张量、键张量和值张量；步骤S32，使用交叉注意力编码器进行区域交互和单词交互，产生包含文本信息的区域特征和包含了区域信息的单词特征；步骤S33，在交叉注意力编码器的输出上，使用一个自注意力编码器进一步加强模态内的联系；步骤S34，首先利用图像区域和被掩盖单词构造图像单词推理分支的键张量、值张量和查询张量；然后通过交叉注意力编码器将被掩盖单词构造融合上图像区域；步骤S35，利用一个MLP分类器估计被掩盖单词为某个单词的概率；步骤S36，设计相似度计算模块；步骤S37，计算图像和文本之间的总相似度；步骤S38，采用了双向三元组排序损失函数，以提高匹配性能：步骤S4，根据步骤S3得到的损失函数，在训练集上训练，得到图文匹配结果最优的模型。步骤S5，进行图文匹配。

全文数据：

权利要求：

百度查询： 鲁东大学 一种基于交叉注意力机制的图像文本匹配方法