买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明公开了一种基于RNN神经网络和倒排索引的日志自动化解析方法，本发明的日志自动化解析技术分为三个阶段：第一个阶段针对解析完成的日志数据，将日志中的词分为模板类与变量类，并进行标准化处理得到标准化数据；第二个阶段基于RNN神经网络模型对经过处理后的标准化数据进行学习，学习得到能够对日志中词进行二分类的神经网络分类器，根据准确率、召回率和F指标选择最佳模型；第三个阶段根据得到的RNN分类模型，输入待解析的日志消息，对消息内的词进行分类，保留日志消息中模板类的词作为日志模板；利用倒排索引的方式对日志消息进行模板匹配。本发明中的模型具有很强的泛化能力，能够在不同的日志数据集上取得较高的解析精度。

主权项：1.一种基于RNN神经网络和倒排索引的日志自动化解析方法，其特征在于，包括：S1：获取历史日志数据，并对历史日志数据进行预处理和标准化处理，得到标准化数据，基于标准化数据得到训练数据集；S2：利用RNN神经网络模型训练数据集进行学习，根据训练数据集得到多个模型，计算每种模型的分类准确率、召回率和F指标，并基于分类准确率、召回率和F指标得到最佳模型，作为分类器；S3：将待解析的日志数据进行预处理后输入所述分类器中进行分类，得到分类结果，分类结果包括日志模板类和变量类；再利用倒排索引的数据结构以及分类器得到的分类结果，对待解析的日志数据进行模板提取以及模板匹配，得到标准化的日志模板，其中，倒排索引的数据结构为一个Python字典；已解析的日志数据被分配唯一的模板ID后，将该条日志中的模板词作为键，模板ID作为值，以键值对的形式加入Python字典中，模板词为被分类器分类为日志模板类的词语；其中，步骤S1包括：S1.1：从历史日志数据中提取组成日志消息的词语；S1.2：对步骤S1.1中提取出的组成日志消息的词语进行分类，分为日志模板类以及变量类，对两类数据进行人工标注，其中日志模板类是在日志生成过程中人工定义的部分，变量类是在日志生成过程中程序生成的部分；S1.3：对标注后的词语进行标准化处理，得到标准化数据，作为训练数据集；步骤S3利用倒排索引的数据结构以及分类器得到的分类结果，对待解析的日志数据进行模板提取以及模板匹配，得到标准化的日志模板，包括：S3.3：对尚未解析的日志消息，当该日志消息中的词语被分类器分类为日志模板类时，在Python字典中查询与该词语对应的模板ID号；S3.4：取所有模板词对应的模板ID号的交集，得到唯一的模板ID，作为当前日志消息的匹配模板ID。

全文数据：

权利要求：

百度查询： 武汉大学 一种基于RNN神经网络和倒排索引的日志自动化解析方法