买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜卓世科技(海南)有限公司申请的专利一种多模态检索方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119150236B 。

龙图腾网通过国家知识产权局官网在2025-02-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411615349.6，技术领域涉及：G06F18/25；该发明授权一种多模态检索方法及装置是由胡跃;屠静;王亚设计研发完成，并于2024-11-13向国家知识产权局提交的专利申请。

本一种多模态检索方法及装置在说明书摘要公布了：本发明提供一种多模态检索方法及装置，涉及人工智能技术领域。所述方法包括：获取查询信息以及预设数据集；在文本空间中，基于查询信息与每个预设数据的匹配度，从预设数据集中确定多个第一候选数据；在多模态空间中，基于查询信息与每个预设数据在编码单元上的相似度，从预设数据集中确定多个第二候选数据；融合多个第一候选数据和多个第二候选数据，得到查询信息对应的查询结果。本发明将多模态数据映射至文本空间，利用文本进行检索，可提升多模态检索中文本处理能力，在多模态空间中利用数据在编码单元上的相似度进行搜索，可更好地理解不同模态的数据，进而可有效提升多模态检索的准确度。

本发明授权一种多模态检索方法及装置在权利要求书中公布了：1.一种多模态检索方法，其特征在于，所述方法包括：获取查询信息以及预设数据集，所述预设数据集包括多个模态的预设数据；在文本空间中，基于所述查询信息与每个所述预设数据的匹配度，从所述预设数据集中确定所述查询信息匹配的多个第一候选数据，所述文本空间为文本模态的数据对应的特征空间；在多模态空间中，基于所述查询信息与每个所述预设数据在编码单元上的相似度，从所述预设数据集中确定所述查询信息匹配的多个第二候选数据，其中，若所述查询信息的模态类型为文本类型，所述编码单元为单词，若所述查询信息的模态类型为图像类型，所述编码单元为图像中的一个区域，所述多模态空间为多种模态的数据特征的统一表示空间；融合多个所述第一候选数据以及多个所述第二候选数据，得到所述查询信息对应的查询结果；其中，所述在文本空间中，基于所述查询信息与每个所述预设数据的匹配度，从所述预设数据集中确定所述查询信息匹配的多个第一候选数据，包括：获取每个所述预设数据对应的预设描述，所述预设描述为所述预设数据在文本空间中的文本描述；若所述查询信息的模态类型为文本类型，将所述查询信息作为查询描述；若所述查询信息的模态类型为图像类型，基于预设层次对应的层次提示词生成所述查询信息在各个预设层次上的文本描述，得到查询描述，所述预设层次包括图像整体层次、图像区域层次以及图像内物体层次，其中，所述查询描述和所述预设描述的生成方式相同；基于所述查询描述和每个所述预设描述，计算所述查询信息与每个所述预设数据之间的匹配度；利用所述匹配度从多个预设数据中，确定所述查询信息匹配的多个第一候选数据；所述在多模态空间中，基于所述查询信息与每个所述预设数据在编码单元上的相似度，从所述预设数据集中确定所述查询信息匹配的多个第二候选数据，包括：获取所述查询信息的模态类型，并确定所述模态类型对应编码单元以及编码方式；若所述查询信息的模态类型为文本类型，使用第一提示词模板和所述查询信息，得到查询信息对应的查询输入；若所述查询信息的模态类型为图像类型，将查询信息按照编码单元进行切分得到多个子查询信息，并将所述多个子查询信息与第二提示词模板结合，得到所述查询信息对应的查询输入；通过所述模态类型对应的编码器，按照编码单元对所述查询输入进行切分，并基于大语言模型进行编码处理，得到编码向量；对所述编码向量进行降维处理，得到所述查询信息对应的查询向量，所述查询向量包括所述查询信息中的每个编码单元对应的单元向量；获取每个所述预设数据对应的预设向量，所述预设向量包括所述预设数据中的每个编码单元对应的单元向量；根据每个所述预设向量以及所述查询向量，计算所述查询信息与每个所述预设数据在编码单元上的相似度；利用所述相似度，从多个预设数据中确定所述查询信息匹配的多个第二候选数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人卓世科技(海南)有限公司，其通讯地址为：572025 海南省三亚市崖州区崖州湾科技城用友产业园(三亚)2号楼102室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。