买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开一种融合多模态数据基于异构图神经网络的短视频推荐方法和系统，针对当前短视频推荐方法未充分考虑视频中丰富的文本、图像、音频等多模态信息且仍采用简单的多模态特征相加的方式，缺乏对不同模态之间关联的深入挖掘的问题。同时，还忽略了用户的多种交互行为如浏览、点赞、收藏等中潜在的兴趣特征，导致推荐结果的局限性。本发明构建包含注意力机制的异构内容编码器对不同模态的特征进行融合，使用异构图神经网络挖掘短视频的潜在特征。与此同时，引入时间上下文信息，利用图感知网络挖掘用户多种行为中潜在的特征，接着使用图对比减轻多种交互行为监督信号的稀疏性造成的影响，最终为用户提供精准的短视频推荐。

主权项：1.一种融合多模态数据基于异构图神经网络的短视频推荐方法，其特征在于，包括：步骤1：收集短视频平台上多种用户交互行为数据，同时收集多模态数据；并将得到的用户交互行为分解成会话序列；所述用户交互行为包括观看、点赞、收藏行为；所述多模态数据包括短视频内容数据、音频数据和文本数据；步骤2：根据会话序列构建异构图Gn＝V,S,U,Ev,E，其中V表示短视频节点集，S表示会话节点集，U表示用户节点集，Ev表示短视频之间的转换关系集，E表示短视频与会话、短视频与用户、用户与会话的关系集；构建多行为异构图其中表示用户节点集，v表示短视频节点集，ε表示和v之间的交互行为集；并按照交互行为类型将多行为异构图分割为多个行为子图；步骤3：通过图注意力网络对异构图Gn中短视频节点的异构邻居动态的进行采样，为每个短视频节点选择所有类型和相同数量的异构邻居；然后设计基于GRU的异构内容编码器聚合短视频节点的异构邻居信息，融合不同模态特征，得到短视频节点的初始嵌入表示；步骤4：使用GRU聚合得到的短视频节点的初始嵌入表示，结合注意力机制，得到短视频节点的最终嵌入表示，进而得到初始会话嵌入表示，引入时间上下文信息，并结合软注意力机制，得到最终的会话嵌入表示；步骤5：基于GNN构建多行为图感知网络，以捕获节点和行为之间的协同信号；所述多行为图感知网络包括特定于行为的嵌入传播层和跨行为依赖建模模块；将多个行为子图输入构建的多行为图感知网络，得到加入行为嵌入后的用户表示；步骤6：通过图对比学习，结合构建的对比损失函数，对得出的加入行为嵌入后的用户表示进行增强；步骤7：对最终的会话嵌入表示和增强后的用户表示进行拼接，将拼接后的特征输入因子分解机，得到对应的预测评分，按照预测评分对用户进行短视频推荐。

全文数据：

权利要求：

百度查询： 内蒙古工业大学 融合多模态数据基于异构图神经网络的短视频推荐方法和系统