买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙商银行股份有限公司;易企银(杭州)科技有限公司

摘要：本发明公开了一种基于ElasticSearch的日志管理系统及方法，包含数据源端和平台终端两个组成部分，涵盖采集、过滤、存储、管理、治理、搜索、聚类和拓扑共8个模块，实现了日志采集、存储、管理、搜索、聚类分析、异常检测及可视化治理的全生命周期解决方案，涵盖细粒度权限控制、异常内容分析、规则关联告警及业务链路追踪等功能域，推动解决海量分散的非结构化数据难以存储、查询方式原始低效、管理手段缺乏以及业务关联信息利用率不足等日志痛点问题，有利于提升业务感知、排查、处置和回溯能力与日常运维工作效率。

主权项：1.一种基于ElasticSearch的日志管理系统，其特征在于，该系统包括数据源端和平台终端；所述数据源端用于接入分散的日志数据，按照预设条件过滤日志数据后通过ElasticSearch集群统一纳管日志数据和状态信息；所述平台终端采用微服务和BS体系构建，以审批流程的形式来管理日志变更操作，用于从数据源端读取解析状态信息、消息元素和监控数据并进行展示；配置若干搜索模型，根据搜索需求选择不同的搜索模型进行日志查询；使用聚类分析算法，从数据源端获取日志数据后，对一类数据结构或内容相似的日志作格式度量、规律自学习和结果评估；使用自定义拓扑规则和流式计算来检测异常的日志内容；所述平台终端包括管理模块、治理模块、搜索模块、聚类模块和拓扑模块，提供流程管理、状态治理、日志搜索、聚类分析和异常检测功能，支持用户从生产环境和办公环境直接访问到日志管理系统；所述治理模块中，具体包括服务查询、接口依赖查询、链路监控、指标统计、消息汇总、状态总览和主题详情子模块；服务查询子模块用于查询注册中心上注册的微服务，支持前缀匹配下拉框并选择服务进行查询，查询结果包含已注册微服务的所属应用、组名称、版本以及服务的提供者和消费者信息；接口依赖查询子模块用于查询接口依赖关系并以有向图的形式展示结果，图中能够查看所查接口的上下游调用关系；链路监控子模块是用于在微服务体系下，一个完整的交易涉及多个微服务的调用，形成调用链路通过一个全局唯一的链路编码来标识；指标统计子模块是从系统中收集软硬件指标并展示，查询不同的transaction发生次数，报送指标信息到拓扑模块；消息汇总子模块分别按消息实例和主题划分，展示从程序启动后的历史消息消费总数以及主题历史消息生产、消费总数数据，用于根据主题以及时间节点来查看不同消息ID的消息体；状态总览子模块用于查看集群生产以及消费速率、总数、集群状态、配置详情数据、订阅组名称、数量、消费速率、延迟、broker数据、主题以及生产组；主题详情子模块用于查看主题列表、状态、路由以及消费者信息；所述拓扑模块使用自定义拓扑规则来检测异常的日志内容，用户先根据具体业务需求对日志具体内容设置特定的检测指标、范围、量化阈值和拓扑规则，消费端以流式计算模式参照用户设置的指标新增链路，从存储模块来持续实时跟踪符合预选范围的日志信息，结合流式计算响应值和日志内容共同抽象成日志拓扑，综合匹配预设的量化阈值和规则来监测业务连续性和服务可用性，一旦命中拓扑规则，联动推送日志异常拓扑内容监测告警到业务联系人；所述流式计算模式是通过定位时序强关联的日志信息来随时序统计提取到的非结构化数据指标，需要先根据当前时序影响值和自相关系数计算出时序因子，随后结合积时序影响权值得出时序偏移量，最终汇总运算得到流式计算响应值。

全文数据：

权利要求：

百度查询： 浙商银行股份有限公司 易企银(杭州)科技有限公司 基于ElasticSearch的日志管理系统及方法