买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中山大学申请的专利一种跨模态检索方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115718815B 。

龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211435114.X，技术领域涉及：G06F16/58；该发明授权一种跨模态检索方法和系统是由黄润辉;龙衍鑫;梁小丹设计研发完成，并于2022-11-16向国家知识产权局提交的专利申请。

本一种跨模态检索方法和系统在说明书摘要公布了：本发明公开了一种跨模态检索方法和系统，涉及深度学习的技术领域，包括：获取图文对数据集，构建初始视觉‑语言检索模型；利用视觉编码器获得掩码块图像编码和图像数据编码，设置图像重建损失函数；在视觉概念词汇库中搜索视觉概念词，利用文本编码器获得视觉概念增强的文本编码，设置图像描述损失函数；利用跨模态解码器生成纯文本数据编码和重建文本数据，计算图文对噪声概率，设置噪声自适应对比损失函数；并利用噪声概率和重建文本数据获得重建图文对数据；构建总损失函数并进行优化，获得优化后的视觉‑语言检索模型，进行跨模态检索，获得检索结果；本发明提高了检索结果的准确性，还可以对文本数据不完整的图文对数据集进行补全。

本发明授权一种跨模态检索方法和系统在权利要求书中公布了：1.一种跨模态检索方法，其特征在于，包括： S1：获取图文对数据集，包含相互对应的图像数据和文本数据； S2：构建初始视觉-语言检索模型，包括视觉编码器、文本编码器和跨模态解码器； S3：对图像数据上的像素块进行随机覆盖，获得掩码块图像；对文本数据进行随机掩码，获得掩码文本数据； S4：将掩码块图像与图像数据输入视觉编码器，获得掩码块图像编码和图像数据编码，并根据掩码块图像编码和图像数据设置图像重建损失函数； S5：将图像数据输入预设视觉概念词汇库，获得视觉概念词；并将视觉概念词和掩码文本数据输入文本编码器，获得视觉概念增强的文本编码； S6：根据文本数据、视觉概念增强的文本编码和图像数据编码设置图像描述损失函数； S7：将图像数据、文本数据和视觉概念增强的文本编码输入跨模态解码器，根据文本数据和视觉概念增强的文本编码生成纯文本数据编码，根据图像数据和视觉概念增强的文本编码生成重建文本数据； S8：根据图像数据编码和纯文本数据编码计算图文对噪声概率，设置噪声自适应对比损失函数； S9：将噪声概率作为替换概率，根据替换概率利用重建文本数据替换对应的文本数据，获得重建图文对数据； S10：根据图像重建损失函数、噪声自适应对比损失函数和图像描述损失函数构建总损失函数，利用重建图文对数据对总损失函数进行优化，获得优化后的视觉-语言检索模型； S11：将待检索的图像数据或文本数据输入训练好的跨模态检索模型中，进行跨模态检索，获得检索结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。