买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:齐鲁工业大学(山东省科学院)
摘要:本发明提出了一种基于跨模态语义感知的图文检索方法及系统,涉及图文检索技术领域,具体方案包括:获取待匹配的图像和文本;将图像和文本输入到训练好的跨模态语义感知网络中,得到图像和文本的相似度;基于相似度进行图像和文本的匹配,从而得到图文检索结果;其中,所述跨模态语义感知网络是从文本和图像中分别提取文本特征和图像特征,并对融合后的文本特征和图像特征分别进行二元关系推理和多元关系推理,得到最终的图像特征,计算最终的图像特征与文本特征的相似度;本发明基于多级信息动态融合模块和关系感知模块,深入挖掘视觉和语言之间的语义关联,对图像和文本的相似度进行更为准确的估算。
主权项:1.一种基于跨模态语义感知的图文检索方法,其特征在于,包括:获取待匹配的图像和文本;将图像和文本输入到训练好的跨模态语义感知网络中,得到图像和文本的相似度;基于相似度进行图像和文本的匹配,从而得到图文检索结果;其中,所述跨模态语义感知网络是从文本和图像中分别提取文本特征和图像特征,并对融合后的文本特征和图像特征分别进行二元关系推理和多元关系推理,得到最终的图像特征,计算最终的图像特征与文本特征的相似度。
全文数据:
权利要求:
百度查询: 齐鲁工业大学(山东省科学院) 一种基于跨模态语义感知的图文检索方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。