买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川轻化工大学

摘要：本发明公开了一种基于Informer的长序列知识追踪方法，根据学习者的历史答题交互记录挖掘习题的多维度特征，利用多热信息特征编码模块生成具有丰富语义的习题信息嵌入编码和历史交互记录编码；利用改进Informer编码器堆叠的多头概率稀疏自注意力模块、反向残差前馈网络模块和蒸馏机制模块，检索学习者实际获取知识的上下文表示特征；利用检索出的上下文表示特征，对掩码概率稀疏自注意力机制处理过的待预测序列进行预测，采用生成式解码的方式提取出学习者对应的知识状态；利用获取的知识状态，通过全连接层预测学习者的答题表现。本方案解决了现有技术中长时间序列答题情况预测准确度较低、推理速度效率不高等问题。

主权项：1.一种基于Informer的长序列知识追踪方法，其特征在于，包括以下步骤：步骤S1：根据学习者的历史答题交互记录挖掘习题的多维度特征，利用多热信息特征编码模块生成具有丰富语义的习题信息嵌入编码和历史交互记录编码，具体包括以下子步骤：步骤S11：利用稀疏性自适应模块将习题编号与习题所涉知识点特征融合，计算公式为： ；其中表示习题编号与所涉知识点嵌入的联合编码向量，是表示习题编号嵌入向量，是习题所涉知识点嵌入向量，表示该习题所涵盖知识点的变化向量，是习题复杂度参数，与相乘控制这个问题与它所涵盖知识点的偏移程度，和2是对应的激活层参数，Tanh是激活函数，⊕为拼接操作；步骤S12：将联合编码向量与习题难度特征向量根据不同权重进行更细粒度的建模，计算公式为： ；其中，表示习题信息嵌入向量，表示习题编号与所涉知识点嵌入的联合编码向量，表示习题难度特征向量，α与β为权重参数，权重值和等于1，⊕为拼接操作；则习题信息序列表示为，其中，为习题信息，M为学习者的答题序列长度；步骤S13：将习题信息序列输入到门控循环神经网络GRU中，获得带有语义特征信息的习题信息嵌入向量序列，计算公式为： ；其中，是第t时刻融合了答题顺序和上下文信息嵌入，是第t时刻的习题信息嵌入，GRU表示门控制循环神经网络；步骤S14：通过拼接的方式获得学习者的历史交互记录嵌入表示，计算公式为： ;其中，是第t时刻的历史交互嵌入表示，是第t时刻融合了答题顺序和上下文信息的嵌入表示，⊕为拼接操作；表示答题情况，1表示答对，0表示答错；T是一个与维度相同的全1向量，是一个与维度相同的全0向量；则答题交互嵌入向量序列表示为，其中，为答题交互嵌入向量，M为学习者的答题序列长度；步骤S15：对序列数据进行位置编码，位置编码后的信息嵌入向量序列可表示为： ；其中，表示加入位置编码后的序列；X表示带有语义特征的信息嵌入向量序列P或答题交互嵌入向量序列F，表示位置编码；把空间维度作为坐标轴的X轴，把时间维度作为坐标轴的Y轴，使用正弦曲线函数来表达时间维度和空间维度的信息，计算公式为： ； ；其中，表示被编码的向量，t表示第t时刻的状态编码，i是维度的顺序，d表示函数投影后的维度，1000用于控制sin和cos函数的频率；加入位置编码后的习题信息嵌入向量序列表示为A，加入位置编码后的答题交互信息嵌入向量序列表示为B；步骤S2：利用改进Informer编码器堆叠的多头概率稀疏自注意力模块、反向残差前馈网络模块和蒸馏机制模块，检索学习者实际获取知识的上下文表示特征，具体包括以下子步骤：步骤S21：将加入位置编码后的答题交互信息嵌入向量序列B输入时间卷积网络TCN中，提取答题交互序列中的多尺度特征信息，计算公式为： ；其中，表示经时间卷积处理后的多尺度答题序列，B表示加入位置编码后的答题交互信息嵌入向量序列，TCN表示时间卷积网络，ReLU表示激活函数；步骤S22：经时间卷积网络TCN处理后的多尺度答题序列，通过改进Informer编码器学习超长时间序列中的特征依赖关系；编码器模块表示为： ； ； ；其中，表示经过编码器处理后提取的学习者实际获取知识的上下文表示特征，是经时间卷积处理后的多尺度答题序列，和是中间输出值；是一维卷积操作，是最大池化操作，是归一化操作，是激活函数，表示反向残差前馈网络；Q、K、V分别是查询向量、键向量和值向量组成的矩阵，由经过权重矩阵变化得到；是多头概率稀疏自注意力；步骤S3：利用步骤S2检索出的上下文表示特征，对掩码概率稀疏自注意力机制处理过的待预测序列进行预测，采用生成式解码的方式提取出学习者对应的知识状态，具体包括以下子步骤：步骤S31：将加入位置编码后的习题信息嵌入向量序列A输入时间卷积网络TCN中，提取习题信息向量序列中的多尺度特征信息，计算公式为： ；其中，R表示经时间卷积处理后的多尺度习题信息序列，A表示加入位置编码后的习题信息嵌入向量序列，表示时间卷积网络，表示激活函数；步骤S32：经时间卷积处理后的多尺度习题信息序列R先通过掩码概率稀疏自注意力，掩盖当前时刻之后所有的位置信息；然后利用编码器传来的特征对掩码概率稀疏自注意力机制处理过的待预测序列更新知识状态；解码器模块可表示为： ； ； ； ；其中，表示的是学习者的知识状态，R是经时间卷积处理后的多尺度习题信息序列，是经过编码器处理后提取学习者实际获取知识的上下文表示特征，和是中间输出值；是归一化操作，是前馈神经网络，表示反向残差前馈网络；Q、K、V分别是查询向量、键向量和值向量组成的矩阵，由R经过权重矩阵变化得到；是多头概率稀疏自注意力，是多头注意力机制；步骤S4：利用步骤S3获取的知识状态，通过全连接层预测学习者的答题表现，具体包括：将Informer模型解码器结果输入全连接层计算得到习题预测结果，计算公式为： ；式中，表示学习者对于预测习题的答对概率，是全连接操作，表示的是学习者的知识状态。

全文数据：

权利要求：

百度查询： 四川轻化工大学 一种基于Informer的长序列知识追踪方法