买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京师范大学珠海校区

摘要：本发明公开了一种适用于数值推理任务的胶囊网络结构，所述胶囊网络结构依次设有输入层、Robert编码层、推理层、胶囊网络层和问题预测层，引入了RoBerta神经网络他能够识别出合法的数字和重要的词语，除此以外，还引入了一个双向的注意力机制用于精细地捕捉问题和相关文档之间的关系；同时利用胶囊网络将底层的特征语义特征聚合到高层的特征中，不同于max‑pooling，self‑attention等方法，有效的抽取出重叠的数值语义信息；此外，引入了一个门控机制控制胶囊网络和RoBerta网络的信息流，从而参与结果的预测，提高效率。

主权项：1.一种适用于数值推理任务的胶囊网络结构，其特征在于：所述胶囊网络结构依次设有输入层、Robert编码层、推理层、胶囊网络层和问题预测层；具体实施步骤如下；S1、问题预测层由描述文本和问题作为整个模型的输入S,分为问题序列Sq和文档序列Sd；S2、然后利用Roberta编码器对输入层进行编码，得到输入层的编码表示H；S3、推理层和胶囊网络层以编码表示作为输入进行计算；S4、推理层和胶囊网络层的结果作为问题预测层的输入，通过问题预测层获得最终的答案Pans；所述Roberta编码层内部设有一个双向的注意力网络，即： 其中代表问题的隐藏层向量，代表文档的隐藏层向量；Attention机制采用表中的attention算法，将隐藏层向量分别乘不同的矩阵WQ，WKandWV分别作为query,key和value向量；所述胶囊网络的胶囊是一组向量，其中胶囊的方向表示一种特定类型的数字特征，而胶囊的长度表示这些特征存在的可能性；来自高层的活动胶囊通过矩阵变换进行预测，而高层胶囊则是由低层胶囊聚类的，而低层胶囊则具有更多的抽象特征，当多个预测结果一致时，高层胶囊就会生效；在数值推理的任务中，将所有的通过Roberta编码层抽取得到的底层语义信息投射到一定数量的底层胶囊中，每一个向量表示一个胶囊，每一个向量通过非线性函数Squash函数进行激活，Squash函数可以缩小向量的长度至0到1的范围内，表示该胶囊的概率，即： 在底层胶囊捕获到数值语义后，高层胶囊通过收集底层胶囊的信息得到，即： 其中，代表参数，cuj代表通过动态路由得到的耦合系数；然后，利用mean-pooling操作收集来自于不同胶囊层的信息，即： MP代表mean-pooling操作，为了融合通过Roberta和胶囊网络抽取到的信息，首先应用了sigmoid来自动计算两者的权重，即： 所述推理层进一步的加强模型的推理能力，其抽取了文本和问题中的所有的数字，构建成一个图结构，每个数字代表一个点，边根据数值的大小关系分为两种类型：A、大于边：当两个节点vi，vj∈V,如果vi＞vj，即建立一条有向边B、小于等于边：当两个节点vi，vj∈V,如果vi≤vj，即建立一条有向边所述推理层在构建好图之后，首先对所有的节点利用Roberta的输出HNIv进行初始化，Iv表示在句子中的索引位置，然后，利用图神经网络进行推理；并对每一个数值节点vi计算了一个权重分数，即： 其中Wv代表权重矩阵，bv代表偏置；然后将每个节点的信息传播到他的邻居节点中，具体地，每个节点按照下述公式进行更新： 其中是节点vi的信息表示；rji代表与边eji有关的关系；表示关系具体的变换矩阵；Ni＝{j|vj，vi∈E}代表节点vi的邻居节点；为了融合节点和他的邻居节点，将他的信息表示和他自身进行融合，即： 其中Wf和bf是权重矩阵；将以上公式表示为一整个推理的过程，可以得出：HG＝Multi-ReasoningG，V，HN18；所述问题预测层在回答问题之前，需要预测问题属于哪一类型，然后根据问题类型预测答案；具体地，利用HG和来预测问题类型，即： 其中g代表softmax函数，用于计算每个类型的概率；在获取到问题类型后预测最终的答案，即：Pans＝∑typePtypePans|type20。

全文数据：

权利要求：

百度查询： 北京师范大学珠海校区 一种适用于数值推理任务的胶囊网络结构