买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京先声智能科技有限公司

摘要：本发明公开了一种基于神经网络的第二语言习得模型，其技术方案要点是包括上下文语境编码器、语言学特征编码器、用户信息编码器和题目形式编码器，所述的上下文语境编码器的输入特征为单词与字母，所述的语言学特征编码器的输入特征为相应单词的词性与依存标签，所述的用户信息编码器的输入特征为学生ID信息、学习时长和学生的国籍，所述的题目形式编码器的输入特征为答题状态、习题的类型、答题时间和答题的方式。本发明能够根据学生的实际需求推荐学习资料的自适应学习系统具有广泛的运用前景，能够极大地提高学生学习效率和减轻教师的负担。

主权项：1.一种自适应学习系统，其特征在于：所述自适应学习系统包括基于神经网络的第二语言习得模型，所述基于神经网络的第二语言习得模型包括上下文语境编码器、语言学特征编码器、用户信息编码器、题目形式编码器和解码器，所述上下文语境编码器的输入特征为单词与字母，所述语言学特征编码器的输入特征为相应单词的词性与依存标签，所述用户信息编码器的输入特征为学生ID信息、学习时长和学生的国籍，所述题目形式编码器的输入特征为答题状态、习题的类型、答题时间和答题的方式，所述解码器的输入包括上下文语境编码器的输出、语言学特征编码器的输出、用户信息编码器的输出和题目形式编码器的输出，所述解码器的输出包括单词的预测概率；其中，所述上下文语境编码器包括单词级别编码器与字母级别编码器，所述单词级别编码器的结构为双向的LSTM结构，所述字母级别编码器的结构为层级式的双向LSTM结构，所述语言学特征编码器的结构为LSTM结构，通过将词性与依存标签的嵌入表述拼接作为输入，所述用户信息编码器和题目形式编码器的结构均为全连接的神经网络结构。

全文数据：一种基于神经网络的第二语言习得模型技术领域[0001]本发明涉及一种基于神经网络的第二语言习得模型。背景技术[0002]第二语言习得建模（SecondLanguageAcquisition，SLA是一种在外语学习领域的根据学生答题历史预测学生对于未来的习题能否正确应答的任务。研究SLAM对于构建外语学习领域的智能自适应学习系统具有重要的意义。[0003]BayesianKnowledgeTracingBKT是一种对学生的知识进行建模隐马尔可夫模型。该模型以二元隐状态BinaryState来表述学生对于某个概念的掌握情况。BKT已经被成功地运用于像数学、编程等概念与知识点数量较少、可以预定义的课程。然而在语言学习领域中，如英语学习，单词是非常重要的知识点，与其它科目如数学相比，知识点数量太多，构成的二元隐状态矩阵会非常地稀疏。利用该方法对学生的语言学习过程建模会面临挑战。[0004]DeepKnowledgeTracingDKT则是一种利用循环神经网络（RecurrentNeuralNetW〇rkS，RNN对学习过程进行建模的方法。然而实际应用中，学生的学习历史会非常长，即使是RNN或它的变体LSTMLongShort-TermMemory、GRUGatedRecurrentUnits也很难记住这么长的历史。并且，常规的DKT模型通常是把所有的特征拼接，作为输入一起输入到RNN模型中，然而对于语言学习而言，这样扁平地把所有信息如单词的嵌入表述Embeddings、语言学特征（词性、依存关系等）、学生的个人信息等一起输入到网络中，很可能导致模型过于密集而难以学习。[0005]BKT与DKT是用于对学生的学习历史进行建模的常用模型。然而在外语学习领域，对于SLA而言，直接地运用这两种模型，效果并不理想。。发明内容[0006]针对现有技术存在的不足，本发明的目的在于提供一种能够根据学生的实际需求推荐学习资料的自适应学习系统具有广泛的运用前景，能够极大地提高学生学习效率和减轻教师的负担的基于神经网络的第二语言习得模型。[0007]为实现上述目的，本发明提供了如下技术方案:一种基于神经网络的第二语言习得模型，包括上下文语境编码器、语言学特征编码器、用户信息编码器和题目形式编码器，所述的上下文语境编码器的输入特征为单词与字母，所述的语言学特征编码器的输入特征为相应单词的词性与依存标签，所述的用户信息编码器的输入特征为学生ID信息、学习时长和学生的国籍，所述的题目形式编码器的输入特征为答题状态、习题的类型、答题时间和答题的方式。[0008]本发明进一步设置为:所述的上下文语境编码器由单词级别编码器与字母级别编码器构成。[0009]本发明进一步设置为:所述的单词级别编码器的结构为双向的LSTM结构。[0010]本发明进一步设置为:所述的字母级别编码器的结构为层级式的双向LSTM结构。[0011]本发明进一步设置为:所述的语言学特征编码器的结构为LSTM结构，通过将词性与依存标签的嵌入表述拼接作为输入。[0012]本发明进一步设置为:所述的用户信息编码器和题目形式编码器的结构均为全连接的神经网络结构。[0013]本发明进一步设置为：所述的单词级别编码器结构表述为将句子中的各个单词W1，W2,...，職的词嵌入表述作为输入，输入到前向与后向LSTM模型中，将前后向LSTM最后一层的输出拼接得到单词编码器的输出gt:[0014][0015][0016][0017]其中KO表述LSTM的层数；[0018]所述的字母级别编码器结构表述为各个单词的字母嵌入表述输入到一个LSTM中，对各个单词做编码，[0019]其中Kl为LSTM的层数，M为该单词的字母数量，[0020]然后把各个单词的编码输出通过MeanoverTime层，得到hwt[0021][0022]同单词级别编码器类似，把hwl，hw2,...，hwN输入到双向LSTM中，然后把前后向的输出拼接：[0023][0024][0025][0026]其中K2表述该LSTM层的层数，[0027]上下文编码器最后输出为:0=〇1，〇2,···，〇N，[0028][0029]本发明进一步设置为:所述的语言学特征编码器结构表述为将词性与依存标签的嵌入表不拼接作为输入：[0030][0031][0032][0033]其中K3为该LSTM层的层数。[0034]本发明进一步设置为:所述的用户信息编码器结构表述为：[0035][0036][0037]其中u是用户的嵌入表示，s是用户国籍的嵌入表示，days是用户的学习时长。j=1，2,...，K4，K4为神经网络的层数。Wu，bu是参数，由训练得到。[0038]本发明进一步设置为:所述的题目形式编码器表述为：[0039][0040][0041]其中m是题型的嵌入表示，sess表示答题状态的嵌入表示，c表示答题方式的嵌入表示，t是答题花费的时间。j=l，2,...，15，15是题型编码器的层数。Wf、bf是训练得到的参数。[0042]本发明具有下述优点：能够根据学生的实际需求推荐学习资料的自适应学习系统具有广泛的运用前景，能够极大地提高学生学习效率和减轻教师的负担。能够根据学生的学习历史预测学习材料对该学生是否太困难或者太简单的模型是这样的自适应学习系统的重要组成部分。附图说明[0043]图1为本发明的模型结构图；[0044]图2为本发明的字母级别编码器的层级结构图；[0045]图3为本发明的AUC数据与基线模型数据对比图；[0046]图4为本发明的Fl数据与基线模型数据对比图。具体实施方式[0047]参照图1至2所示，本实施例的一种基于神经网络的第二语言习得模型，包括上下文语境编码器、语言学特征编码器、用户信息编码器和题目形式编码器，所述的上下文语境编码器的输入特征为单词与字母，所述的语言学特征编码器的输入特征为相应单词的词性与依存标签，所述的用户信息编码器的输入特征为学生ID信息、学习时长和学生的国籍，所述的题目形式编码器的输入特征为答题状态、习题的类型、答题时间和答题的方式表1。[0048]特征分组表[0049][0050]表1[0051]所述的上下文语境编码器由单词级别编码器与字母级别编码器构成，单词级别的编码器可以很好地捕捉上下文的语义信息，然而学习新单词是语言学习的重要组成部分，字母级别的编码可以捕捉单词的构成信息，从而在一定程度上解决OOVOutOfVocabulary问题。[0052]如图2所示，所述的单词级别编码器的结构为双向的LSTM结构。[0053]所述的字母级别编码器的结构为层级式的双向LSTM结构。[0054]所述的语言学特征编码器的结构为LSTM结构，通过将词性与依存标签的嵌入表述拼接作为输入。[0055]所述的用户信息编码器和题目形式编码器的结构均为全连接的神经网络结构。[0056]所述的单词级别编码器结构表述为将句子中的各个单词W1，W2,...，WN的词嵌入表述作为输入，输入到前向与后向LSTM模型中，将前后向LSTM最后一层的输出拼接得到单词编码器的输出gt:[0057][0058][0059][0060]其中KO表述LSTM的层数；[0061]如图2所示，所述的字母级别编码器结构表述为各个单词的字母嵌入表述输入到一个LSTM中，对各个单词做编码，[0062]其中Kl为LSTM的层数，M为该单词的字母数量，[0063]然后把各个单词的编码输出通过MeanoverTime层，得到hwt[0064][0065]同单词级别编码器类似，把hwl，hw2,...，hwN输入到双向LSTM中，然后把前后向的输出拼接：[0066][0067][0068][0069]其中K2表述该LSTM层的层数。[0070]上下文编码器最后输出为：[0071][0072][0073]所述的语言学特征编码器结构表述为将词性与依存标签的嵌入表示拼接作为输入：[0074][0075][0076][0077]其中K3为该LSTM层的层数。[0078]所述的用户信息编码器结构表述为：[0079][0080][0081]其中u是用户的嵌入表示，s是用户国籍的嵌入表示，days是用户的学习时长。j=1，2,...，K4，K4为神经网络的层数。Wu，bu是参数，由训练得到。[0082]所述的题目形式编码器表述为：[0083][0084][0085]其中m是题型的嵌入表示，sess表示答题状态的嵌入表示，c表示答题方式的嵌入表示，t是答题花费的时间。j=l，2,...，15，15是题型编码器的层数。Wf、bf是训练得到的参数。[0086]解码器：[0087]把各个编码器的输出（0，L，yK4，fK5输入到解码器中。假设输入的单词序列为W1，W2,...，WN，Pt表示相应Wt的预测概率：[0088][0089][0090][0091]其中Wv、bv、Wy、bY、Wp、bP是训练得到的参数。[0092]损失函数：[0093]模型的损失函数定义如下：[0094][0095]其中d是超参数，0dl。[0096]通过采用上述技术方案，如图3和4所示，该方案采用对特征分组，根据不同的特征采用不同的神经网络结构进行编码的方法，在DuolingoSLAM三种语言（英语、西班牙语、法语数据集上均取得良好的效果，AUC与Fl都远远超过基线模型。[0097]1.本方案中所有的LSTM或者BiLSTM结构均可由其它（BiRNNRecurrentNeuralNetworks以及变体如（BiGRU替代。[0098]2.经过试验发现语言学特征编码器对于效果的影响较小，本方案也可以敲除语言学特征编码器或者把语言学特征编码器并如上下文语境编码器中。[0099]3.上下文语境编码器中字母级别编码器与单词级别编码器中，只要有一个模型就可以取得较好的结果，因此，一种替代是只采用其中之一。[0Ί00]4.字母级别编码器，这里采用的是层级式Hierarchical的RNN结构，然而扁平Flattened的结构也可以作为替代方案。[0101]5.本方案中对于用户信息编码的结构采用的是全连接的神经网络结构，然而在本文的研究中，发现用RNN对用户答题历史进行建模的效果略低于公开的方案，但对用户的答题历史用RNN建模也是一种可行的方案。[0102]6.题型信息编码器也可由其它神经网络结构代替。[0103]将SLA所需要用到的常用特征根据其特点分组，分为语境相关、语言学特征相关、用户相关、题型与答题环境相关四个集合。根据相应特征的特点采用相对应的神经网络结构进行编码。这样做的好处是使各组特征相对独立，使网络结构更加切合数据的实际模式，从而易于使网络收敛到一个较优的结果。[0104]以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

权利要求：1.一种基于神经网络的第二语言习得模型，其特征在于:包括上下文语境编码器、语言学特征编码器、用户信息编码器和题目形式编码器，所述的上下文语境编码器的输入特征为单词与字母，所述的语言学特征编码器的输入特征为相应单词的词性与依存标签，所述的用户信息编码器的输入特征为学生ID信息、学习时长和学生的国籍，所述的题目形式编码器的输入特征为答题状态、习题的类型、答题时间和答题的方式。2.根据权利要求1所述的一种基于神经网络的第二语言习得模型，其特征在于:所述的上下文语境编码器由单词级别编码器与字母级别编码器构成。3.根据权利要求2所述的一种基于神经网络的第二语言习得模型，其特征在于:所述的单词级别编码器的结构为双向的LSTM结构。4.根据权利要求3所述的一种基于神经网络的第二语言习得模型，其特征在于:所述的字母级别编码器的结构为层级式的双向LSTM结构。5.根据权利要求1所述的一种基于神经网络的第二语言习得模型，其特征在于:所述的语言学特征编码器的结构为LSTM结构，通过将词性与依存标签的嵌入表述拼接作为输入。6.根据权利要求1所述的一种基于神经网络的第二语言习得模型，其特征在于:所述的用户信息编码器和题目形式编码器的结构均为全连接的神经网络结构。7.根据权利要求4所述的一种基于神经网络的第二语言习得模型，其特征在于:所述的单词级别编码器结构表述为将句子中的各个单词W1，W2,...，wn的词嵌入表述作为输入，输入到前向与后向LSTM模型中，将前后向LSTM最后一层的输出拼接得到单词编码器的输出gt：其中KO表述LSTM的层数；所述的字母级别编码器结构表述为各个单词的字母嵌入表述输入到一个LSTM中，对各个单词做编码，其中K1为LSTM的层数，M为该单词的字母数量，然后把各个单词的编码输出通过MeanoverTime层，得到hwt同单词级别编码器类似，把hwi，hw2,...，hwN输入到双向LSTM中，然后把前后向的输出拼接：其中K2表述该LSTM层的层数，上下文编码器最后输出为:〇=〇1，〇2,···，〇N，O8.根据权利要求1所述的一种基于神经网络的第二语言习得模型，其特征在于:所述的语言学特征编码器结构表述为将词性与依存标签的嵌入表示拼接作为输入：其中K3为该LSTM层的层数。9.根据权利要求6所述的一种基于神经网络的第二语言习得模型，其特征在于:所述的用户信息编码器结构表述为：μ0=[μ，s，days]其中u是用户的嵌入表示，s是用户国籍的嵌入表示，days是用户的学习时长，j=I，2,...，K4，K4为神经网络的层数。Wu，bu是参数，由训练得到。10.根据权利要求6所述的一种基于神经网络的第二语言习得模型，其特征在于:所述的题目形式编码器表述为：f0=[m，sess，c，t]其中m是题型的嵌入表示，sess表示答题状态的嵌入表示，c表示答题方式的嵌入表示，t是答题花费的时间。j=l，2,...，15，15是题型编码器的层数，Wf、bf是训练得到的参数。

百度查询： 北京先声智能科技有限公司 一种基于神经网络的第二语言习得模型