买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜福州大学申请的专利令牌压缩与双向非对称匹配的多模态查询图像检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116910287B 。

龙图腾网通过国家知识产权局官网在2025-05-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310867102.2，技术领域涉及：G06F16/532；该发明授权令牌压缩与双向非对称匹配的多模态查询图像检索方法是由柯逍;陈柏涛;蔡宇航设计研发完成，并于2023-07-14向国家知识产权局提交的专利申请。

本令牌压缩与双向非对称匹配的多模态查询图像检索方法在说明书摘要公布了：本发明提出令牌压缩与双向非对称匹配的多模态查询图像检索方法，包括以下步骤；步骤S1：将输入图像分块并分别编码，将输入文本利用词嵌入转化为令牌序列；对序列化的数据进行令牌压缩与编码；步骤S2：对得到的融合上下文的图像模态和文本模态令牌序列加上额外的融合令牌，并再次进行令牌压缩与编码；步骤S3：对使用步骤S2得到的单模态与融合模态特征表示进行正向的精确匹配与反向的模糊匹配，利用匹配结果指导神经网络学习过程。步骤S4：进行神经网络的训练，保留最好的模型权重用于计算测试集数据的特征表示，实现组合查询图像检索；本发明能够对多模态查询语义进行充分融合，充分利用多模态数据的相关性和互补性实现更全面更精细的图像检索。

本发明授权令牌压缩与双向非对称匹配的多模态查询图像检索方法在权利要求书中公布了：1.令牌压缩与双向非对称匹配的多模态查询图像检索方法，其特征在于：所述方法对多模态查询语义进行融合，利用多模态数据的相关性和互补性来提升图像检索的全面性和精细度，包括以下步骤；步骤S1：将输入图像分块并分别编码，将输入文本利用词嵌入转化为令牌序列；对序列化的数据进行令牌压缩与编码；步骤S2：对使用步骤S1得到的融合上下文的图像模态和文本模态令牌序列加上额外的融合令牌，并再次进行令牌压缩与编码；步骤S3：对使用步骤S2得到的单模态与融合模态特征表示进行正向的精确匹配与反向的模糊匹配，利用匹配结果指导神经网络参数的学习过程；步骤S4：遵循步骤S1、S2、S3进行神经网络的训练，保留训练过程中表现最好的模型权重，用于计算测试集数据的特征表示，实现组合查询图像检索；所述步骤S1具体实现方法为：步骤S11、首先将输入图像分割成Np个块，分别编码得到一个块序列并在每个块令牌中添加位置嵌入以编码位置信息；对于输入的长度为Nq的文本序列使用预训练BERT进行文本分词与词嵌入转换，并在每个词嵌入中添加位置嵌入以编码位置信息；步骤S12、对序列化的数据的图像块序列与文本令牌序列进行压缩，步骤S13、对压缩后序列进行编码，方法为：图像块嵌入序列经过压缩后，为压缩后的令牌序列P加入特殊设计的令牌[IMG]以作为图像模态的全局令牌；本步骤中使用的视觉编码器由LV个标准的Transformer编码器层构成，Vl表示第l层Transformer的输入序列，第l层的输出作为第l+1层的输入，表示为：Yl＝MSALNVl+Vl公式2-1Vl+1＝MLPLNYl+Yl公式2-2其中MSA·表示多头自注意力层，MSA·表示多层感知层，LN·表示层归一化，Yl为第l层的一个中间表示；第一个Transformer块的输入序列V1就是经过令牌压缩并加入特殊设计的令牌[IMG]的序列P；最后一个Transformer块的输出记为本步骤中使用的文本编码器实现为LT个标准Transformer编码器层的堆叠；第一个Transformer块的输入序列就是经过令牌压缩的序列Q；最后一个Transformer块的输出记为

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人福州大学，其通讯地址为：350108 福建省福州市闽侯县福州大学城乌龙江北大道2号福州大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。