买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明涉及大数据的训练与学习，旨在提供一种基于异构图和对比学习的会话推荐方法。包括：根据会话过程中用户的交互行为类型构建交互物品结点联系的异构图模型，应用该模型通过层级注意力机制实现行为序列之间的信息交叉，捕捉不同类型用户行为之间的联系及差别，挖掘出用户兴趣偏好和当前的需求状态，并应用对比学习机制从异构图中学习出物品的通用性表征。本发明在对会话序列建模时充分考虑用户所存在的多种类型交互行为，通过应用异构图神经网络对各类交互行为进行建模，结合层级注意力机制挖掘用户不同类型行为序列之间的存在的联系，并应用对比学习技术能够物品的一般性表征进行学习。能够用户进行精准推荐，提升系统的推荐效果。

主权项：1.一种基于异构图和对比学习的会话推荐方法，其特征在于，包括：根据会话过程中用户的交互行为类型构建交互物品结点联系的异构图模型，应用该模型通过层级注意力机制实现行为序列之间的信息交叉，捕捉不同类型用户行为之间的联系及差别，挖掘出用户兴趣偏好和当前的需求状态，并应用对比学习机制从异构图中学习出物品的通用性表征；在离线训练模型时，采用交叉熵和信息噪声对比估计作为模型优化目标，并采用滑动窗口方法进行数据增强；在实际应用时，采用离线训练所得的模型结合用户当前会话行为进行Top-K推荐；其中，1在构建用户交互行为异构图时，针对用户会话过程中存在的目标行为类型，根据所交互物品之间存在的顺序进行原始构图；针对目标行为之外的其他类型行为，将该行为之前的所有交互物品与其直接构建有向边，以表示这些物品之间所存在的相关性；2在进行构建用户交互行为运算时，采用各类型行为联系有向图的出度矩阵和入度矩阵作为运算的数据形式；在运算过程中，通过以下计算方式从图模型中提取出各个行为bt的表征向量ht： 其中，为聚合向量，是当前迭代轮中通过聚合it在异构图中邻居结点的表征信息所获取的中间结果；是指用户第t次交互物品it在异构图矩阵A中所对应的行向量；hi为用户第i次行为对应的表征向量，i＝1，2，...，N；[h1，...，hN]表示对各个行为表征向量的拼接；xT表示对向量x的转置；WG、Wz、Wr、Wo、Uz、Ur、Uo均为可学习矩阵；b为可学习向量；ht为从图模型中提取出的各个行为bt的表征向量；则为当前迭代轮的候选结果；zt和rt分别为对ht更新和重置的运算结果，σ表示所选用的激活函数sigmoid；3采用底层注意力机制和上层注意力机制来获取用户不同类型行为之间存在的联系，并根据这些联系获取用户偏好和当前的需求状态表征；其中，底层注意力机制用于增强偏好向量和需求状态向量对用户当前情况的表征能力，在各类用户行为序列的内部应用注意力机制；上层注意力机制则用来对不同类型用户行为之间的联系和差别进行捕捉；3.1采用底层注意力机制进行运算时，以用户近期的交互物品的嵌入向量与序列中每个行为的表征向量之间的相关度作为注意力评分αt；进一步应用该得分对行为表征向量进行加权聚合，得到用户当前的偏好向量p′s和各类行为对应的用户需求状态向量其计算公式如下： 其中，αt为用户第t次行为的注意力得分；exp为以e为底的指数函数；为当前会话最后一个交互物品sT所对应的物品表征向量；Wυ为可学习矩阵；ht为用户第t次行为对应的表征向量；t为用户行为次序下标；和分别为用户行为类型τ和υ所对应的时间戳集合；3.2采用上层注意力机制进行运算时，应用前一阶段在不同用户行为序列中所获取的ps和通过主要行为序列所体现的用户偏好向量p′s与其他类型行为体现的用户需求满足情况来计算出对其他类型行为的注意力得分αυ，并根据该得分应用各需求状态向量对当前用户偏好兴趣进行增强和修正，其计算公式如下所示： 其中，αv为用户行为类型υ的用户需求表征所对应的注意力得分；υ表示指定的用户行为类型；exp为以e为底的指数函数；vT和b均为可学习向量；Wτ为可学习矩阵；和ps分别表示用户各类行为对应的用户需求状态向量和当前的偏好向量；4在学习交互物品的通用性表征的过程中，采用自监督学习中的对比学习机制，在模型训练时应用当前训练批中涉及的会话s所组成集合并在该集合上生成对应的正样本物品对集合和负样本物品集合以用于对当前训练批涉及物品的表征向量进行对比学习；通过对比学习获取物品的通用性表征时，具体包括：采用信息噪声对比估计InfoNCE作为优化目标，记为并按下式进行计算： 其中，表示当前训练批中的会话集合；表示会话集合所生成的所有正样本对集合；表示从会话s提取的正样本物品对所组成的集合，其中x，y表示该集合中的由两个不同物品x和y组成的样本对，ex和ey分别表示这两个物品对应的表征向量；表示除中出现的物品外剩余的物品组成的集合，x-为该集合中的物品，表示对应的物品表征向量；δ为超参数表示温度系数，采用常数1；相似性函数sim：用于计算两个物品表征之间的相似性，采用余弦函数作为两个向量之间的相似度计算函数；5通过下述方法进行模型的离线训练：5.1采用已有的会话行为序列记录作为模型训练集进行离线训练，并采用滑动窗口法对原始会话记录进行数据增强，将其拆分生成多个会话子序列；应用子序列中最后一个物品作为预测目标，每一个交互行为均包含交互物品的标识和行为类型两个属性；5.2为了从候选物品集中挑选出用户最有可能交互的物品，采用针对概率预估问题的交叉熵损失函数作为模型训练过程中的优化目标以各个候选物品与用户在下一次行为中发生交互的可能性作为模型的计算结果；具体包括：对于给定物品候选集和用户对候选物品真实交互情况ys,i,所述优化目标按下式计算： 其中，i表示模型预估的候选物品；表示候选物品集合；ys,i和分别表示物品i的真实交互情况和模型预估交互概率；结合和模型的最终优化目标为其中λself为对比学习任务损失的权重；6通过下述方法将训练所得模型应用于在线推荐：根据用户会话s中已有的交互行为，计算获取得当前用户偏好ps和各行为所反应的用户需求状态并依照下式对用户在下一次交互中，与各个候选物品i交互的可能性进行预估，将预估结果最高的K个物品作为Top-K推荐结果： 其中，表示模型输出的预估评分；为学习所得的物品表征向量转置；W为可学习矩阵。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于异构图和对比学习的会话推荐方法