恭喜北京爱咔咔信息技术有限公司王庆庆获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜北京爱咔咔信息技术有限公司申请的专利一种多模态图像检索方法、系统、设备、介质及程序产品获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119760165B 。
龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411209583.9,技术领域涉及:G06F16/58;该发明授权一种多模态图像检索方法、系统、设备、介质及程序产品是由王庆庆;邬国锐;邓礼曦设计研发完成,并于2024-08-30向国家知识产权局提交的专利申请。
本一种多模态图像检索方法、系统、设备、介质及程序产品在说明书摘要公布了:本发明涉及图像检索技术领域,公开了一种多模态图像检索方法、系统、设备、介质及程序产品,方法包括:获取待检索图像和或图像的文字描述信息,输入预构建的多模态图像检索模型中,模型输出的特征向量作为查询向量;将查询向量与预设图像库中各个图像对应的特征向量进行相似度计算,将相似度大于预设阈值的图像作为匹配图像;将匹配图像按照相似度由高到低的顺序作为检索结果示出。本发明可以提供文搜图、以图搜图和图文混合搜图的检索方式,实现了多模态图像检索能力,提出了属性学习和排序学习的思想,实现了除类别之外的其他维度信息的图像检索,适应了图像检索任务复杂性的特点,提高了检索图像的便利性、精确性和鲁棒性。
本发明授权一种多模态图像检索方法、系统、设备、介质及程序产品在权利要求书中公布了:1.一种多模态图像检索方法,其特征在于,包括:获取待检索图像和或图像的文字描述信息,输入预构建的多模态图像检索模型中,模型输出的特征向量作为查询向量,所述多模态图像检索模型为端到端多任务学习的神经网络模型,所述多模态图像检索模型的构建过程,包括:获取多种类别的图像样本及各图像对应的文字描述信息,并输入到神经网络模型中进行训练,得到训练好的模型作为多模态图像检索模型用于输出查询向量;其中所述神经网络模型包括:文本编码器,用于提取文字描述信息的文本特征,生成文本特征向量;图像编码器,用于提取图像的图像特征,生成图像特征向量,并基于所有图像样本的图像特征得到记忆特征向量;文图对齐模块,用于通过计算文本特征、图像特征分别与图像类别之间的分类学习损失实现文图对齐;图图对齐模块,用于通过对图像特征之间进行度量学习、排序学习和图像特征分类学习实现图图对齐;类别中心计算模块,用于通过计算同一类别图像的记忆特征的均值,得到类别特征;图心对齐模块,用于通过计算图像特征和类别特征之间相似度实现图心对齐;特征融合模块,用于将文本特征和图像特征进行融合,形成文图融合特征;文图心模块,用于通过计算文图融合特征与类别特征之间相似度实现文图心对齐;属性挑选模块,用于将文本特征中的限定语信息抽取出来,形成属性特征;特征分解模块,用于通过线性变换将图像特征和记忆特征中的属性相关的特征分离出来,形成图像分解特征;属性对齐模块,用于通过计算属性特征与图像分解特征之间相似度实现属性对齐;将所述查询向量与预设图像库中各个图像对应的特征向量进行相似度计算,将相似度大于预设阈值的图像作为匹配图像;将匹配图像按照相似度由高到低的顺序作为检索结果示出。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京爱咔咔信息技术有限公司,其通讯地址为:100085 北京市海淀区安宁庄路26号悦MOMA大厦216;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。