买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜合肥工业大学;安徽航天信息有限公司申请的专利基于多模态图对比学习的推荐方法、电子设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115952307B 。

龙图腾网通过国家知识产权局官网在2025-03-25发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211742093.6，技术领域涉及：G06F16/435；该发明授权基于多模态图对比学习的推荐方法、电子设备及存储介质是由薛峰;桑胜;张研;徐江凤;叶向晖设计研发完成，并于2022-12-30向国家知识产权局提交的专利申请。

本基于多模态图对比学习的推荐方法、电子设备及存储介质在说明书摘要公布了：本发明公开了一种基于多模态图对比学习的推荐方法，其步骤包括：1.数据采集与预处理；2.图卷积层；3.构建对比学习层；4.构建损失函数；5.对图对比学习模型进行训练。本发明在处理多模态数据的推荐任务时，能够通过分离的图学习模式和对比学习增强用户和物品的表示，缓解了多模态噪声污染的问题。

本发明授权基于多模态图对比学习的推荐方法、电子设备及存储介质在权利要求书中公布了：1.一种基于多模态图对比学习的多媒体推荐方法，其特征在于，包括以下步骤：步骤1、数据采集与预处理；步骤1.1、构建商品的项目集合，记为，其中，表示第n个项目，表示项目的总数；构建用户集合，记为，其中，表示第m个用户；表示用户总数；构造用户项目二分图，其中，表示第m个用户和第n个项目之间是否存在交互，若存在，则令，否则，令；将第m个用户和第n个项目分别映射为用户嵌入和项目嵌入，第m个用户分别在图像模态V和文本模态T下对应的嵌入向量为和；步骤1.2、深度特征提取：将第n个商品项目对应的图像输入到预训练的VGG16模型进行处理，得到图像特征，从而利用式1构建图像模态V的图像特征矩阵，是图像特征的维度： 1将第n个商品项目对应的文本输入到预训练的Sentence2Vec模型进行处理，得到文本特征，从而利用式2构建文本模态T的文本特征矩阵，是文本特征的维度： 2步骤2、构建多模态图对比学习模型，包括：图卷积层、对比学习层、预测层；步骤2.1、所述图卷积层的处理：步骤2.2.1、利用式3和式4分别得到第m个用户和第n个项目在第层图卷积层的嵌入： 3 4式3和式4中，和分别表示第m个用户和第n个项目的邻居集合，和分别表示第m个用户的邻居数和第n个项目的邻居数；是第n个项目在第层图卷积层的嵌入，当l=1时，令；是第m个用户在第层图卷积层的嵌入，当l=1时，令；步骤2.2.2、分别在图像模态V或文本模态T下，通过式5和式6分别得到第m个用户和第n个项目在多模态modal下的第层图卷积层的嵌入、： 5 6式5和式6中，是超参数，TR表示转置；表示多模态，且=V或T，是多模态的权重变换矩阵，是多模态的维度，是嵌入尺寸；表示第n个项目的多模态modal的特征，表示第m个用户在多模态modal下的第层图卷积层的嵌入，且；表示第m个用户在图像模态V下的第层的嵌入向量，表示第m个用户在文本模态T的第层的嵌入向量，当l=1时，令；=；表示第n个项目在多模态modal下的第层图卷积层的嵌入；且；表示第n个项目的图像特征，表示第n个项目的文本特征，当l=1时，令；=；步骤2.2.3、利用式7和式8得到第m个用户和第n个项目在多模态modal下的第层图卷积层的嵌入、： 7 8步骤2.2.4、按照步骤2.2.2-步骤2.2.3的过程进行处理，从而由第L层输出第m个用户的特征第m个用户在多模态modal下的特征、第n个项目的特征；步骤2.3、所述对比学习层的处理：步骤2.3.1、通过式9构建用户对比损失函数： 9式9中，表示第j个用户在第L层的多模态modal下的特征，是一个超参数；步骤2.3.2、通过式10构建项目对比损失函数： 10式10中，表示第个用户在多模态modal下的特征；步骤2.3.3、通过式11构建对比损失函数： 11步骤2.4、所述预测层的处理：利用式12计算第m个用户和第n个项目之间的偏好得分： 12式12中，是超参数；步骤3、构建多模态图对比学习模型的损失函数：步骤3.1、利用式13构建第一损失函数： 13步骤3.2、利用式14构建第二损失函数： 14步骤3.3、利用式15构建总损失函数： 15式13-式15中，是训练数据，表示第个项目，表示第m个用户的邻居集合，是sigmoid函数；步骤4、基于训练数据，利用梯度下降法对所述多模态图对比学习模型进行训练，并计算总损失函数，当训练迭代次数达到设定的次数或损失误差小于所设定的阈值时，训练停止，从而得到最优的多模态图对比学习模型，用于对图像模态的图像特征矩阵、文本模态的文本特征矩阵、用户嵌入、项目嵌入、密集向量表示和进行处理，并输出每个用户对每个项目的评分，从而选取前top个项目每个用户进行推荐。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人合肥工业大学;安徽航天信息有限公司，其通讯地址为：230009 安徽省合肥市包河区屯溪路193号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。