买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:燕山大学
摘要:本发明公开了一种基于模态和拓扑不变表示学习的用户身份链接方法,属于计算机数据挖掘领域,包括步骤1:多模态表示提取,步骤2:模态不变表示学习,步骤3:拓扑不变表示学习,步骤4:优化框架MoToInv。本发明提出了一个对抗网络来拆分模态不变和变化的表示,它捕获了跨模态的共性和特异性,从而简化了后续的细粒度多模态融合过程。此外,本发明在拓扑不变学习阶段设计了基于不变子图提取器的方法。该模块利用不变子图和变体子图的两种混合策略,以更好地捕获不变拓扑模式和消除虚假的社交关系。
主权项:1.一种基于模态和拓扑不变表示学习的用户身份链接方法,其特征在于:包括步骤如下:步骤1:多模态表示提取;通过两个预训练模型分别对文本和图像进行编码,其中BERT编码文本信息得到文本初始表征,ResNet编码图像信息得到图像初始表征,然后使用文本编码器和图像编码器分别学习文本和图像的模态特异性表示;步骤2:模态不变表示学习;利用对抗学习框架,捕捉与文本和图像模态无关的跨模态不变表示,然后利用注意力机制自适应地融合文本和图像的模态特异性表示和跨模态不变表示;步骤3:拓扑不变表示学习;构建不变子图提取器,分离用户的不变子图和变化子图,通过两种子图混合策略,变化子图混合和不变子图混合进行数据增强;步骤4:优化框架MoToInv,采用多任务学习的方式,端到端优化文本编码器和图像编码器、对抗学习模块、不变子图提取器模块的参数。
全文数据:
权利要求:
百度查询: 燕山大学 一种基于模态和拓扑不变表示学习的用户身份链接方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。