买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京网藤科技有限公司

摘要：本发明涉及数据处理技术领域，尤其涉及一种基于动态规则降低告警噪音的数据处理方法及系统，该方法包括：获取原始日志数据；提取出日志内容关键信息；基于预定义的初步过滤规则，对日志内容关键信息进行初步过滤处理，得到有效日志内容关键信息；构造包含风险等级信息的事件明细数据；构造结构化事件数据；将结构化事件数据输出至消息队列相应的目标主题下；基于web页面配置运维关注的动态规则，得到降噪后的告警数据。本发明能够针对不同运维关注需求灵活配置不同的动态规则，还能够有效提取出运维关注需求的告警数据，并且有效减少告警数据展示的数量，使其从繁杂的告警数据中解放出来，从而提升用户的工作效率。

主权项：1.一种基于动态规则降低告警噪音的数据处理方法，其特征在于，包括：获取多种日志格式类型的原始日志数据；基于原始日志数据的日志格式类型，配置对应的日志解析规则，基于配置的日志解析规则，对相应日志格式类型的原始日志数据进行标准化处理，提取出日志内容关键信息；基于预定义的初步过滤规则，对日志内容关键信息进行初步过滤处理，得到有效日志内容关键信息；构建事件风险等级维度表，将事件风险等级维度表和有效日志内容关键信息进行关联，并构造包含风险等级信息的事件明细数据；对事件明细数据进行归一化处理，构造结构化事件数据；将所有归一化处理后的结构化事件数据输出至消息队列相应的目标主题下；基于web页面配置运维关注的动态规则，并在动态规则配置完成后，生成对应的FlinkSQL计算任务，根据FlinkSQL计算任务消费消息队列中目标主题下的结构化事件数据，得到降噪后的告警数据；所述原始日志数据包括第一类原始日志数据和第二类原始日志数据，其中，所述第一类原始日志数据的来源为主机安全程序上报的原始日志数据，所述第二类原始日志数据的来源为终端设备输出的原始日志数据，且第二类原始日志数据为JSON格式数据；所述基于原始日志数据的日志格式类型，配置对应的日志解析规则，包括：对于第一类原始日志数据，配置Syslog解析规则作为对应的日志解析规则；对于第二类原始日志数据，配置JSON格式映射规则作为对应的日志解析规则；所述对相应日志格式类型的原始日志数据进行标准化处理，提取出日志内容关键信息，包括：对于第一类原始日志数据，以PRI和主机名为解析条件，采用Syslog解析规则对相应日志格式类型的原始日志数据进行解析处理，解析出第一类原始日志数据的内容信息，并根据预设的映射规则，得到JSON格式的第一类日志内容关键信息；对于第二类原始日志数据，采用JSON格式映射规则对相应日志格式类型的原始日志数据进行标准化处理，得到第二类日志内容关键信息。

全文数据：

权利要求：

百度查询： 北京网藤科技有限公司 一种基于动态规则降低告警噪音的数据处理方法及系统