买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安电子科技大学广州研究院;广州云趣信息科技有限公司

摘要：本申请提供一种基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法及装置，所述方法包括步骤：获取通信运营商的投诉工单语料库，基于所述投诉工单语料库对工单进行数据清洗，得到清洗好的工单；将清好的工单输入至BERT模型，得到训练数据的词向量；采用CRF算法对词向量进行特征提取，得到特征词序列；将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型；根据问题根因分析模型对待定责的工单进行分析，确定责任归属。在本发明中，基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法，能够结合词间和句间的语义，很好的识别投诉工单中的关键词，并通过关键词进行工单的智能定责，正确快速追踪到投诉责任的归属方。

主权项：1.一种基于BERT+CRF的贝叶斯神经网络的运营商智能定责方法，其特征在于，所述方法包括步骤：S1：获取通信运营商的投诉工单语料库，基于所述投诉工单语料库对工单进行数据清洗，得到清洗好的工单；S2：将清好的工单输入至BERT模型，得到训练数据的词向量；S3：采用CRF算法对词向量进行特征提取，得到特征词序列；S4：将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型；S5：根据问题根因分析模型对待定责的工单进行分析，确定责任归属；所述BERT模型采用双向Transformer作为编码器，以融合字左右两侧的上下文；其中，Transformer采用了多头模式，以扩展模型专注于不同位置，增大注意力单元的表示子空间；所述BERT模型的编码单元中加入残差网络，如下式所示： 其中，为经过残差网络后的输出，hi为不加入残差网络时多头注意力机制的输出，ui为多头注意力机制的输入；按照如下公式计算多头注意力机制的输出，如下式所示： Transformer结构中的全链接前馈网络有两层dense，其中，第一层的激活函数是ReLU，第二层是一个线性激活函数，其中，为多头注意力机制的输出，b是偏置向量，FNN是全链接前馈馈网络；所述采用CRF算法对词向量进行特征提取，得到特征词序列包括：将BERT模型的输出作为CRF模块的输入，CRF能通过邻近标签的关系获得一个最优的预测序列，其中，给定条件随机场的观测序列f＝f1，f2，…，fn，状态序列y＝y1，y2，…，yn，yi∈{B，I，O}；其中，在CRF模块中，给定观测序列f和状态序列y的条件概率分布如式所示： 其中，ωj为特征函数，γf指所有可能的状态序列，和分别为权重和偏置；所述采用CRF算法对词向量进行特征提取，得到特征词序列包括：CRF采用极大似然估计进行训练，得到条件概率最大的输出序列； 经过CRF模块后，输出的是每一个工单的中的所有的特征词序列；所述将特征词序列输入贝叶斯神经网络模型进行训练，调优参数，形成问题根因分析模型包括：预先定义1个似然分布py|x，w，其中，x表示输入值、y表示输出值和w为神经网络的权值；采用如下公式得到参数似然分布的后验概率函数，通过最大化后验概率获得参数点估计；py*|x*，D＝∫py*|x*，wpw|Dd其中，x*表示通过积分预测新的输入数据，y*表示通过积分预测新的输出数据；在贝叶斯神经网络模型中，基于最大似然估计对参数进行识别，最大似然估计的公式为：WMLE＝argmaxwlogPD|w 在最大似然估计中，将w取不同值概率视为均等，并不对w做出先验估计；如果为w引入先验估计，变成最大后验估计MAP，公式如下所示：WMAP＝argmaxwlogPw|DWMAP＝argmaxwlogPD|w+logPw在贝叶斯神经网络模型中包含隐含层，在将BERT+CRF所提取出的关键词使用doc2vec转换为300维的类句向量；将句向量输入贝叶斯神经网络中，BP神经网络更新的是w和b，贝叶斯神经网络更新的参数是数据的均值和方差，通过极大似然估计方法得出α，σ2的全局最优，公式如下： 将上述公式反复迭代，直到满足收敛条件，然后将参数代入初始权值后验概率分布式中，求出权值的最优解。

全文数据：

权利要求：

百度查询： 西安电子科技大学广州研究院 广州云趣信息科技有限公司 运营商智能定责方法及装置