买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：淮阴工学院

摘要：一种基于模态交互学习的异构图推荐方法及装置，该方法采用异构图神经网络模型，通过同质多头注意力机制强化模态内的依赖性，并利用异质交叉注意力机制增强不同模态间的语义相关性。在数据嵌入表示阶段，多模态数据被有效转换为低维稠密向量，为后续的模态交互奠定了坚实基础。异构图的构建基于用户的历史行为序列，定义了节点和边，分别代表不同模态的特征和模态间的交互关系。通过异步更新策略，每个节点能够独立地、根据预定义的顺序聚合信息。最终，在预测阶段，模型综合用户行为和内容特征，预测用户对候选项目的兴趣，生成个性化的推荐列表。本发明提高了推荐系统准确性，能为用户提供更加精准和个性化的推荐服务，具有重要的实际应用价值。

主权项：1.一种基于模态交互学习的异构图推荐方法，其特征在于，包括以下步骤：步骤1：从用户评价数据Xuser、物品元数据Xtext和物品图像数据Ximage不同模态数据中提取原始数据特征，对原始文本特征ftext和图像特征fimage进行降维处理并进行聚类，使用嵌入表示将特征转换为低维的、稠密的向量表示ftext_tsne和fimage_tsne；数据嵌入表示包括以下子步骤：步骤1.1：使用Amazon_Beauty数据集中的用户评价数据Xuser和物品元数据Xtext，从数据集中解析出图片的URL文件，下载对应的图片，得到物品图像数据集Ximage；步骤1.2：将数据集划分为训练集、验证集和测试集Xtrain、Xval、Xtest；步骤1.3：从用户评价数据Xuser中加载用户和物品的交互记录，对交互记录进行数据过滤，通过计算每个物品的交互次数和平均交互时间来提取物品的历史交互特征，生成嵌入向量fuser；步骤1.4：对于文本模态数据Xtext，进行预处理去除停用词和标点符号，再使用预训练的Bert模型提取文本特征，生成初始的嵌入向量ftext；步骤1.5：对于图像模态数据Ximage，使用预训练的ResNet-50模型提取图像的原始特征，生成初始的嵌入向量fimage；步骤1.6：使用t-SNE算法将图像特征fimage和文本特征ftext转换为低维表示fimage_tsne、ftext_tsne，同时保留聚类结构，并生成聚类中心和特征字典；步骤1.7：将不同模态的特征以列的形式组织起来，形成输入特征矩阵F，F＝{f1,f2,...,fn}，其中i∈{1,2,3,...,n}，行表示序列，列表示不同的特征通道；步骤2：将异构图节点和边类型化，利用用户的历史行为序列s，为每个用户构建一个异构图G＝V,E，其中表示不同节点模态的特征，le表示边的序列关系和模态间的交互；步骤3：对于相同类型节点之间的信息传递，采用同质多头注意力聚合同质邻居信息，得到节点V聚合表示步骤4：对于不同类型节点之间的信息传递，采用异质交叉注意力聚合异质邻居信息，得到节点V聚合表示步骤5：每个节点独立地根据预定义的更新顺序进行信息聚合，使用MLP根据门控分数β更新节点状态得到节点表示节点首先从它选择的邻居聚合信息，然后根据聚合的结果更新节点状态；步骤6：使用学习到的用户表示来预测用户感兴趣的下一个项目。

全文数据：

权利要求：

百度查询： 淮阴工学院 一种基于模态交互学习的异构图推荐方法及装置