申请/专利权人：中山大学

申请日：2020-05-29

公开（公告）日：2024-07-05

公开（公告）号：CN111753190B

主分类号：G06F16/9535

分类号：G06F16/9535;G06F16/9538;G06F16/435;G06F16/438;G06F16/45;G06F16/31;G06F16/338;G06F16/35;G06F16/538;G06F16/55;G06V10/40;G06V10/762;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2024.07.05#授权;2020.10.30#实质审查的生效;2020.10.09#公开

摘要：本发明提供一种基于元学习的无监督跨模态哈希检索方法，该方法使用预训练好的ResNet模型和Bert模型提取辅助图像集、辅助文本集和目标跨模态数据集的高维实数特征，输入到哈希模型中，之后对辅助图像集和文本集进行聚类，再利用元学习训练方法MAML，在辅助数据集的帮助下对目标跨模态数据集进行训练，更新哈希模型。由于聚类，得到辅助数据集的弱监督标签，再通过这些弱监督信息，指导目标跨模态数据集的梯度更新方向，使检索准确率得到提高。

主权项：1.一种基于元学习的无监督跨模态哈希检索方法，其特征在于，包括以下步骤：S1：使用预训练好的ResNet模型和Bert模型提取辅助图像集、辅助文本集和目标跨模态数据集的高维实数特征；S2：在特征提取模型后加上哈希检索表征转换层，即哈希模型；S3：对辅助图像集和辅助文本集进行聚类；S4：利用元学习训练方法MAML，在辅助数据集的帮助下对目标跨模态数据集进行训练，更新哈希模型；S5：计算检索结果；所述步骤S4的具体过程是：S41：根据聚类过后的辅助单模态数据集，构建单模态三元组I,Ipos,Ineg,T,Tpos,Tneg；S42：将构建的单模态三元组输入到哈希网络中，计算单模态三元组损失函数；S43：通过单模态三元组损失，计算网络参数的梯度，根据梯度值，计算网络权重，但是不更新网络参数；S44：根据成对的目标跨模态数据集，构建跨模态三元组Ti,Ii,Ij，Ii,Ti,Tj，输入哈希网络，在S43步骤计算出来的网络参数的基础上，计算跨模态三元组损失函数，并更新网络参数；步骤S42中，单模态三元组损失中的距离度量函数为欧式距离，以图像检索图像为例，根据聚类得到的标签，构建成了单模态三元组I,Ipos,Ineg，其中I为目标样本，Ipos为I的正样本，即同类图像，Ineg为I的负样本，即不同类图像，它们输入到哈希网络得到的输出分别为HII，HIIpos，HIIneg，单模态三元组损失如下： m代表超参数margin，表示I和负样本Ineg的距离与I和正样本Ipos的距离的差最小为m；步骤S43，S44中，元学习训练方法MAML训练方法具体如下：通过辅助数据集构建的单模态三元组，计算梯度和梯度更新后的网络参数，仅仅计算梯度更新的网络参数，但不真正更新网络，图像哈希模型在经过一次梯度更新后的网络参数为其中，表示梯度，α表示辅助数据集的学习率，θI为图像的原网络参数，θI′表示梯度更新后的网络参数；之后，通过目标数据集构建的跨模态三元组，并在之前计算的网络参数的基础上，计算跨模态三元组损失，并进行梯度回传，在原有网络参数上进行参数更新，θ＝{θI,θT}，其中为跨模态三元组损失，代表在更新后的网络参数θ′的基础上计算的梯度，θ为原网络参数；步骤S42中，若构建跨模态三元组，以文本检索图像为例，默认成对的文本Ti与图片Ii的哈希码的相似度肯定要比不成对的Ti和Ij的哈希码的相似度要高，组成跨模态三元组Ti,Ii,Ij，输入到哈希网络得到的输出分别为HTTi，HIIi，HIIj，跨模态三元组损失如下：

全文数据：

权利要求：

百度查询： 中山大学 一种基于元学习的无监督跨模态哈希检索方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD