龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：山东大学
摘要：本发明属于跨模态信息检索领域，提供了基于超图卷积无监督跨模态检索方法、系统、介质及设备，其技术方案为：将提取细粒度语义特征，通过多模态融合转换器进一步增强各模态的语义表示，这种深度特征提取和融合策略使我们的模型能够更全面地捕获多模态数据的互补和共生信息；提出了一种有效的融合方法来构建语义互补相似度矩阵，使不同模态实例之间的潜在语义相关性最大化，有助于克服现有方法在捕获多模态数据的综合语义信息方面的不足，增强模型对多模态内容相关性的理解和度量；引入了一种自适应超图神经网络，它通过超图卷积编码顶点之间的高阶关系和局部聚类结构来帮助学习哈希码，从而产生更具判别性的哈希码。
主权项：1.基于超图卷积无监督跨模态检索方法，其特征在于，包括如下步骤：获取多模态训练数据集；基于多模态训练数据集对跨模态检索模型进行训练得到训练后的跨模态检索模型；具体包括：将基于多模态训练数据集提取的图像特征和文本特征进行跨模态融合，得到跨模态融合后的图像特征和文本特征；基于图像特征和文本特征构建图像模态相似度矩阵，基于跨模态融合后的图像特征和文本特征构建文本模态相似度矩阵，将图像模态相似度矩阵和文本模态相似度矩阵统一至鲁棒相似度矩阵；利用鲁棒相似度矩阵，引入超图将相似样本的共同特征聚合到超边中，得到超图的关联矩阵，利用关联矩阵对图像特征和文本特征进行超图卷积，挖掘各个节点之间的高阶语义信息，得到超图学习过程中的哈希码；根据生成的哈希码和鲁棒相似度矩阵构造重构损失函数，基于重构损失函数更新哈希编码网络的参数；根据待检索的任务数据和训练后的跨模态检索模型检索得到检索结果。
全文数据：
权利要求：
百度查询： 山东大学 基于超图卷积无监督跨模态检索方法、系统、介质及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号