买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于日志树和解析树的日志事件提取方法及系统，该方法分为预处理和日志内容解析两个步骤，具体包括：提出并维护一个由正则表达式和启发式规则组成的规则库，抽取小部分日志自动生成日志格式；基于日志格式在线识别日志为日志头部和日志内容；搜索解析树，采用最长公共子串和最长公共子向量分别计算日志树与事件树中静态字段与动态参数的相似度；采用聚类技术匹配日志树与事件树，提取事件与对应参数。本发明为了应对日志内容的复杂性，改进在线事件提取方法中的预处理与日志内容解析步骤。减少人工识别日志格式的工作量，改善已有方法难以识别包含不定数量参数事件的问题，更准确地提取日志事件。

主权项：1.一种基于日志树和解析树的日志事件提取方法，其特征在于，包括：提出并维护一个由正则表达式和启发式规则组成的规则库，抽取小部分日志自动生成日志格式，具体为：采用空格分割字段并对分割后的字段执行对齐操作，根据规则1，使用规则库中的正则表达式替换可识别字段；根据规则2计算列字段数量等于行数量的列复杂度；遍历列字段计算列复杂度，在计算得到列复杂度之后，根据规则3寻找最大的复杂度为0且数值最大的索引indexmax；其中，规则库中的规则和正则表达式如下：规则1.原始异构日志头部的部分字段，包括日期、时间、等级以及数字，这些字段基于有限的正则表达式进行定义；规则2.每一条日志的头部具有相同数量的字段，并且每个字段类型相同；不同日志行对应的日志内容拥有不同的字段数量，每一字段类型并不总是相同；在对齐日志行之后，计算每一列的复杂度；规则3.日志内容的第一个字段必然出现在复杂度为0的列之后；定义indexi为每一列的索引，搜索复杂度为0且数值最大的索引indexmax，日志内容的第一个字段索引即为indexmax+1基于日志格式在线识别日志为日志头部和日志内容，具体为：基于空格分割日志获得字段，根据日志格式的字段索引识别日志的每个字段；日志被划分为包含时间戳和其他字段的日志头部以及日志内容；基于日志结构信息生成日志树，从左向右遍历日志，当日志的第一个字段包含‘:’或被‘[]’包含时，将第一个字段记为根节点，同时也是该日志的指示字段；然后根据‘,’和空格将日志划分为多个字段，每个字段从右向左匹配‘:’，根据连续的‘:’创建子树，‘:’左边的字段作为‘:’右边字段的父节点；搜索解析树，采用最长公共子串计算日志树与事件树中静态字段之间的相似度，采用最长公共子向量计算日志树与事件树中动态参数之间的相似度；采用聚类技术匹配日志树与事件树，提取事件与对应参数；具体如下：基于解析树匹配日志树，基于匹配完成后的日志树更新事件树；搜索解析树的指示字段，搜索到不同指示字段后创建新的指示字段节点及其日志簇子节点，否则搜索所有候选日志簇，计算日志树和事件树的相似度Sim，经比较之后选取最大相似度对应的日志簇；计算得到最大相似度Simmax之后，与相似度阈值St进行比较；当Simmax小于等于St时，在当前指示节点下创建新的日志簇；当Simmax大于St时，日志树匹配成功，将日志树与事件树进行合并；当日志树无法与任何已有事件树匹配时，将日志树直接转化为事件树。

全文数据：

权利要求：

百度查询： 南京理工大学 基于日志树和解析树的日志事件提取方法及系统