买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:云南师范大学
摘要:本发明涉及一种基于双视图自监督学习的多模态推荐方法,属于多模态推荐系统领域。首先,将用户的行为信息和物品的语义信息抽象为视图,同时使用图神经网络来进行表示,然后,将用户和物品的ID在上述两个视图的图神经网络中进行编码,最后,计算用户和物品的相似度从而完成对用户的精准推荐。本发明中物品的多模态信息由图像和文本两种模态构成,并作为物品的辅助描述信息,可以帮助得到更好的推荐效果。
主权项:1.一种基于双视图自监督学习的多模态推荐方法,其特征在于,所述方法包括:Step1:使用预训练模型对图像和文本模态提取特征,再将提取到的特征作为模态特征提纯器的输入,得到提纯后的与用户偏好最相关的模态特征;Step2:将提纯后的模态特征与用户和物品的ID嵌入通过物品-物品视图的图神经网络得到物品模态特征和有邻居信息的用户和物品的ID嵌入,从而得到语义信息和行为信息,再将语义信息和行为信息相加得到融合了模态特征的用户和物品ID嵌入;Step3:将物品模态特征进行融合,并将融合后的特征输入到对比视图生成器中,在对比视图生成器中分别得到输入的融合特征的线性表示和使用dropout技术的随机表示,通过对比学习的技术增强融合后特征的表达;Step4:将物品模态特征和有邻居信息的用户和物品的ID嵌入输入到对比图生成器,得到各输入对应的两个新的嵌入;Step5:根据对比视图生成器得到的各输入对应的新的嵌入不断学习用户和物品的特征,将融合了模态特征的用户和物品ID嵌入作内积运算,根据内积运算结果得到推荐的物品。
全文数据:
权利要求:
百度查询: 云南师范大学 一种基于双视图自监督学习的多模态推荐方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。