龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：齐鲁工业大学(山东省科学院)
摘要：本发明属于数据处理领域，提供了一种基于嵌入同步和对齐的多模态知识图谱补全方法及系统，针对多模态融合问题设计了差异感知多源融合对齐方法，通过构建自适应融合机制，实现各模态间的语义距离的模态权重动态分配，并且将异构数据映射到了统一语义空间；同时设计对偶驱动的张量约束，能够无偏捕捉实体关系交互，提升对复杂关联的建模能力。基于此方法构建的模型MCEAS极大缓解了现有方法在异构数据融合、自适应权重分配、复杂关联建模等方面的瓶颈，在多个公开数据集的实验结果表明，该模型在命中率、排名等评价指标上均展现出优异的性能，是多模态知识图谱补全领域的创新型解决方案。
主权项：1.基于嵌入同步和对齐的多模态知识图谱补全方法，其特征在于，包括：获取多模态知识图谱中实体的视觉模态数据、结构体数据以及文本模态数据；分别利用对应的编码器对视觉模态数据、结构体数据以及文本模态数据进行嵌入矩阵计算，得到视觉嵌入、结构体嵌入以及文本嵌入；利用自融合机制分别实现视觉嵌入和文本嵌入与结构体嵌入的语义距离的模态权重动态分配，得到视觉模态加权偏置传输矩阵和文本模态加权偏置传输矩阵；将视觉嵌入和视觉模态加权偏置传输矩阵进行融合，得到视觉模态嵌入对齐矩阵；将文本模态和文本模态加权偏置传输矩阵进行融合，得到文本模态嵌入对齐矩阵；基于视觉模态嵌入对齐矩阵、文本模态嵌入对齐矩阵以及结构体嵌入进行融合，得到统一嵌入矩阵，利用统一嵌入矩阵对多模态知识图谱进行补全。
全文数据：
权利要求：
百度查询： 齐鲁工业大学(山东省科学院) 基于嵌入同步和对齐的多模态知识图谱补全方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号