买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学

摘要：本发明公开了一种基于用户多偏好融合增强的对话推荐系统及方法，该系统是保存在对话推荐系统的用户意图理解模块中的，是为了增强用户意图理解而设置的。本发明方法是基于给定目标用户的历史与当前对话数据，以及用户之间的相似特性，更加准确的获取用户的意图偏好，从而能够据此向用户推荐最可能符合需求的课程。该方法包括：引入课程知识图谱与单词知识图谱进行编码并进行语义空间对齐；获取用户在实体层级的长短期偏好并与用户的单词偏好融合；引入相似用户偏好计算机制，使相似用户能对当前用户的偏好进行辅助建模；引入注意力优化门控网络，使相似用户偏好与当前用户偏好有机融合以生成最终的用户偏好表征。本发明通过对不同尺度下的对话内容进行建模，有效地提高在对话推荐中推荐的准确性。

主权项：1.一种基于用户多偏好融合增强的对话推荐方法，该方法是基于给定目标用户的历史与当前对话数据，以及用户之间的相似特性，更加准确的获取用户的意图偏好，从而能够据此向用户推荐最可能符合需求的课程；其特征在于包括有下列步骤：步骤一，引入用户历史数据，并将用户的会话进行拼接形成会话集合；用户对话序列拼接模型将用户与在线教育数据库之间的交互产生的对话序列作为用户历史数据，导入到当前用户－对话序列集合中；对于任意一个用户Userm，将属于Userm与在线教育数据库的用户－对话序列集合中的每一个对话序列进行抽取，并将抽取的这些对话序列组合成一个用户－对话序列－会话总集记为且步骤二，引入外部知识图谱获取表征；步骤201，使用课程知识图谱编码用户对话集合；对在线教育数据库中的课程知识图谱记为MKG课程，且MKG课程＝ME课程,MR课程,MS课程，ME课程为课程知识图谱中的节点集合，MR课程为课程知识图谱中节点之间连接的边的集合，MS课程为课程知识图谱的三元组信息的集合；其中课程知识图谱中任意一个节点记为CO，节点之间的连边记为COR，采用三元组信息表示为CO头,COR,CO尾；使用关系图神经网络RGCN算法对MKG课程＝ME课程,MR课程,MS课程中每一个节点进行聚合操作，获得聚合后节点信息且课程属性总集课程集合MCO＝{CO1,CO2,...,COd,...,COD}；将聚合后的节点信息拼接成一个经课程知识图谱编码的课程实体节点表征矩阵，记为步骤202，使用单词知识图谱编码用户对话集合；对在线教育数据库中的单词知识图谱记为MKG单词，且MKG单词＝ME单词,MR单词,MS单词，ME单词为单词知识图谱中的节点集合，MR单词为单词知识图谱中节点之间连接的边的集合，MS单词为单词知识图谱的三元组信息的集合；其中单词知识图谱中任意一个节点记为DC，节点之间的连边记为DCR，采用三元组信息表示为DC头,DCR,DC尾；在DDCC中使用图卷积神经网络GCN算法对MKG单词＝ME单词,MR单词,MS单词中每一个节点进行聚合操作，获得聚合后节点信息用户集合－用户－对话序列－会话－单词总集将聚合后的节点信息拼接成一个经单词知识图谱编码的单词节点表征矩阵，记为步骤三，不同知识图谱之间的语义空间融合；在获取实体表征与语义表征后，使用互信息最大化的方式实现与在语义空间的融合； 为经课程知识图谱编码的课程实体节点表征矩阵； 为经单词知识图谱编码的单词节点表征矩阵；在获取和后，需要使用互信息最大化的方法使与中的节点对齐；节点对齐采用公式1－公式4的处理方法；通过自注意力机制计算出课程－单词－超级令牌的表示方式为：EV超级＝VVHH·α超级1 EV超级为课程－单词－超级令牌的表示；VVHH为会话中获取到的上下文单词的表征所组成的矩阵；对于会话中任意一个单词均能从单词节点表征矩阵查询到对应的单词节点的经过GCN算法的单词表征将会话中对应的单词表征进行组合获得VVHH；α超级为超级令牌的自注意力分数；BB超级为可学习参数向量； 为BB超级的倒置；WW超级为可学习参数矩阵；使用超级令牌与每一个课程实体节点使用分类函数进行计算： f·为分类函数；ENn为任意一个课程实体节点，即EVv为任意一个用于构建超级令牌EV超级的单词节点，即EVv∈VVHH；σ为sigmoid激活函数；Tn,v为用于MKG课程＝ME课程,MR课程,MS课程和MKG单词＝ME单词,MR单词,MS单词的语义空间进行表征对齐的变换矩阵；将分类函数进行互信息最大化，使得课程实体与单词的互信息取得最大值：MI为表示课程知识图谱与单词知识图谱之间的互信息； 为正样本的数学期望值； 为负样本的数学期望值；EENn为属于中的任意一实体节点；EEVv为属于中的任意一单词节点；步骤四，基于时间门控机制的长短期记忆网络用户课程偏好获取方法；步骤401，使用基于时间门控的LSTM兴趣获取用户短期课程偏好；在获取用户短期课程实体偏好中，将时间间隔特征与时间跨度特征引入到LSTM模型中；对于第k个时间步，对LSTM模型中的细胞状态进行更新； LCk为第k个时间步的LSTM模型的细胞状态；LIk为第k个时间步的LSTM模型的输入门；LTSk为第k个时间步的时间间隔特征控制的时间门； 为第k个时间步的LSTM模型候选细胞状态；LFk为第k个时间步的LSTM模型的遗忘门；LTIk为第k个时间步的时间跨度特征控制的时间门； 为第k-1个时间步的LSTM模型的经过修正的细胞状态；⊙为逐个元素的乘积；对于的更新方式如下： WWLC为计算候选细胞状态中的与输入有关的可学习参数矩阵；UULC为计算候选细胞状态中的与隐藏状态有关的可学习参数矩阵；BBLC为计算候选细胞状态中的偏差；ENk,选定为LSTM模型中第k个时间步输入的课程实体；对于第k个时间步的会话经RGCN算法的课程知识图谱编码的课程实体节点表征矩阵抽取出所提到的实体所对应的实体表示ENk,选定； 为第k-1个时间步的LSTM模型的经过修正的隐藏状态；WWLI为计算输入门中的与输入有关的可学习参数矩阵；UULI为计算输入门中的与隐藏状态有关的可学习参数矩阵；BBLI为计算输入门中的偏差；σ为sigmoid激活函数；WWLF为计算遗忘门中的与输入有关的可学习参数矩阵；UULF为计算遗忘门中的与隐藏状态有关的可学习参数矩阵；BBLF为计算遗忘门中的偏差；对于第k个时间步的时间间隔特征控制时间门LTSk和时间跨度特征控制的时间门LTIk，计算方式为：TIk＝tanhWWTIlogtk-tk-1+BBTI9TSk＝tanhWWTSlogtk-tk-1+BBTS10LTIk＝σWWLTI·ENk,选定+UULTI·TIk+BBLTI11LTSk＝σWWLTS·ENk,选定+UULTS·TSk+BBLTS12TIk为第k个时间步的时间跨度特征；tk为第k个时间步所对应的时间；tk-1为第k-1个时间步所对应的时间；WWTI为计算TIk中的可学习参数矩阵；BBTI为计算TIk中的偏差；TSk为第k个时间步的时间间隔特征；WWTS为计算TSk中的可学习参数矩阵；BBTS为计算TSk中的偏差；WWLTI为计算LTIk时与输入有关的可学习参数矩阵；UULTI为计算LTIk时与时间跨度特征有关的可学习参数矩阵；BBLTI为计算LTIk时的偏差；WWLTS为计算LTSk时与输入有关的可学习参数矩阵；UULTS为计算LTSk时与时间跨度特征有关的可学习参数矩阵；BBLTS为计算LTSk时的偏差；对于第k个时间步的LSTM隐藏状态以及LSTM的输出门，计算方式为：LHk＝LOk⊙tanhLCk14LOk为第k个时间步的LSTM模型的输出门；WWLO为计算输出门中的与输入有关的可学习参数矩阵；UULO为计算输出门中的与隐藏状态有关的可学习参数矩阵；BBLO为计算输入门中的偏差；LHk为第k个时间步的LSTM模型的隐藏状态；此时的LSTM模型中细胞状态LCk与隐藏状态LHk会存在语义不规则的问题，采用注意力机制进行纠偏以获得修正的细胞状态与修正的隐藏状态为： 为第k个时间步的修正的细胞状态；αk为注意力机制中第k个时间步的注意力分数；LCk-1为第k-1个时间步的细胞状态； 为第k个时间步的修正的隐藏状态；LHk-1为第k-1个时间步的隐藏状态；注意力机制中第k个时间步的注意力分数αk的计算方式为： ENk,选定为LSTM模型中第k个时间步的实体表示；WWα为计算注意力分数时候的可学习参数矩阵；EN预测为要进行预测的课程的实体表示；p为会话中提到的课程实体与课程属性总数之和，即p＝DHH+GHH；DHH为会话中提到的在线教育对话推荐系统的课程总数，GHH为会话中提到的在线教育对话推荐系统的课程属性总数；β为注意力分数中的任意一个求和指标，ENβ是会话中任意一个时间步的课程实体或课程属性表示；与LSTM模型不同的是，使用的LSTM模型输出为LSTM经修正的隐藏状态的加权平均，计算方式为： 为短期加权平均的权重系数；WW短期为计算加权平均中的可学习参数矩阵PP短期为用户的短期课程实体偏好表示； 为第k个时间步的修正的隐藏状态； 为任意一个时间步的LSTM模型的隐藏状态；步骤402，使用基于注意力协调过滤模型获取用户长期课程偏好；当获取到用户的短期课程实体偏好表示PP短期后，引入长期课程实体偏好表示来平衡长短期偏好的输出；使用基于注意力机制的协同过滤模型来获取用户的长期课程实体偏好，计算方式为： PP长期为用户的长期课程实体偏好表示； 为第k个课程实体对应的长期行为的权重系数；权重系数定义为： ELk＝tanhWW长期·ENk+BBEL22ELk为第k个时间步的课程实体经过一层全连接层后的表示；BB长期为计算长期行为权重系数中的可学习参数向量；WW长期为全连接层的可学习参数矩阵；BBEL为全连接层的偏差；步骤403，使用基于注意力的短期课程偏好与长期课程偏好融合获取用户的课程偏好表征；当获取到用户的短期课程实体偏好表示PP短期和长期课程实体偏好表示PP长期后，需要将这两个实体偏好表示进行融合；使用基于注意力的动态的方式将这两种偏好进行融合，融合方式为：PP实体＝α实体·PP短期+1-α实体·PP长期23α实体＝σWW实体[PP短期；PP长期；xc]+BB实体24PP实体为用户的课程实体偏好表示；α实体为课程实体偏好融合计算中的注意力分数；σ为sigmoid函数；WW实体为可学习参数矩阵；BB实体为可学习参数向量；xc为从经课程知识图谱编码的课程实体节点表征矩阵中提取的实体上下文信息的表示为： 为对话推荐系统从最近的对话中获取到的所有上下文项目的嵌入表征所组成的矩阵；αc为表示上下文信息的分数；BBc为可学习参数向量；WWc为可学习参数矩阵；步骤404，使用自注意力机制兴趣获取用户单词偏好；在获取用户的课程实体偏好表示的PP实体同时，还需获取用户的单词偏好以便更好地建模用户的兴趣；使用自注意力机制来获取用户的单词偏好，用户的单词偏好表示为：PP单词＝VVMMDC·α单词27 PP单词为用户的单词偏好表示；VVMMDC为用户的对话序列MMDC中的单词对应在经单词知识图谱编码的单词节点表征矩阵中的单词节点的表示组合的矩阵；α单词为计算单词偏好中的注意力权重；BB单词为可学习参数向量；WW单词为可学习参数矩阵；步骤405，使用门控机制获取用户对话偏好表征；将用户的课程实体偏好表示的PP实体与用户的单词偏好表示PP单词使用门控机制融合以获取用户的整体对话偏好表征，整体对话偏好表征的计算方式为：PP对话＝α对话·PP单词+1-α对话·PP实体29α对话＝σWW对话[PP单词；PP实体]30PP对话为用户的整体对话偏好表征；α对话为门控机制中的权重；σ为sigmoid函数；WW对话为门控机制中的可学习参数矩阵；步骤五，基于相似用户的偏好表征增强处理；步骤501，根据其他用户的偏好表征计算贡献度；对于任意一个用户Userm，存在对话推荐系统内的其他用户User′m∈MU\{Userm}；其他用户User′m对用户Userm贡献的课程实体偏好表征为： 为对应于实体的截断函数； 为其他用户User′m对用户Userm的课程实体偏好的贡献度向量； 为其他用户User′m对用户Userm的课程实体偏好的贡献度； 为其他用户User′m的课程实体偏好表征；sim为相似度函数；δx为当前截断函数，用于防止过多的用户参与到当前用户偏好表征建模中而带来噪声影响，当前截断函数δx的取值为：δx＝max0,x-δs33x为截断函数的当前值；δs为截断函数的阈值；对于任意一个用户Userm，存在对话推荐系统内的其他用户User′m∈MU\{Userm}；其他用户User′m对用户Userm贡献的单词偏好表征为： 为对应于单词的截断函数； 为其他用户User′m对用户Userm的单词偏好的贡献度向量； 为其他用户User′m对用户Userm的单词偏好的贡献度； 为其他用户User′m的单词偏好表征；步骤502，根据不同用户的贡献度计算出相似用户表征；对于对话推荐系统内的其他用户User′m∈MU\{Userm}，相似用户的课程实体偏好表征总体表示为： ER实体为用户Userm的相似用户课程实体偏好表征；对于对话推荐系统内的其他用户User′m∈MU\{Userm}，相似用户的单词偏好表征总体表示为： ER单词为用户Userm的相似用户单词偏好表征；将用户Userm的相似用户课程实体偏好表征与相似用户单词偏好表征进行融合以获取相似用户对话表征，使用门控机制将两者偏好表征进行融合为：PP相似＝α相似·ER单词+1-α相似·ER实体38α相似＝σWW相似[ER单词；ER实体]39PP相似为相似用户对话表征；α相似为门控机制中的权重；σ为sigmoid函数；WW相似为门控机制中的可学习参数矩阵；步骤503，使用门控注意力机制对相似用户偏好表征与用户对话偏好表征进行融合，获得用户偏好表征；门控注意力机制的表示为： τ用户＝φ用户XX用户·Wτ41υ用户＝φ用户XX用户·WWυ42XXu＝[PP对话；PP相似]43PP用户为最终的用户偏好表示；BB用户为计算最终的用户偏好表示的可学习参数向量；WW用户为计算最终的用户偏好表示的可学习参数矩阵；τ用户为门控注意力单元的经激活函数后的第一个仿射变换；υ用户为门控注意力单元的经激活函数后的第二个仿射变换；φ用户为激活函数；XX用户为门控注意力单元的输入矩阵；WWτ为计算τ用户时的可学习参数矩阵；WWυ为计算υ用户时的可学习参数矩阵；门控注意力单元的注意力矩阵AA用户为： Qy＝WWQ·y+BBQ46Ky＝WWK·y+BBK47w为门控注意力单元中多头注意力的头的维度； 为门控注意力单元的对用户对话偏好与相似偏好输入的仿射变换；Qy为门控注意力单元的对的第一个仿射变换；Ky为门控注意力单元的对的第二个仿射变换； 为计算时的可学习参数矩阵；WWQ为计算Qy时的可学习参数矩阵；WWK为计算Ky时的可学习参数矩阵；BBQ为计算Qy时的可学习参数向量；BBK为计算Ky时的可学习参数向量；步骤504，根据用户偏好表征进行课程推荐；在获取到最终的用户偏好表示PP用户后，根据课程实体知识图谱的课程实体进行推荐；对于任意一个课程实体COd∈MCO，计算出给用户Userm的推荐概率为：P推荐COd为课程实体COd的推荐概率； 为课程实体COd对应的课程实体知识图谱经RGCN算法后的表示；对在线教育对话推荐系统的课程集合MCO进行遍历并根据推荐概率的大小进行排序，即可获得用于给用户Userm进行推荐的课程推荐集合。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种基于用户多偏好融合增强的对话推荐方法