买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州又拍云科技有限公司

摘要：本发明公开了一种高效可伸缩的CDN日志处理方法及系统，包括：分布式消息引擎模块，接收日志处理任务，将日志处理任务缓存在任务处理队列中等待拉取；原始日志读取模块，从分布式消息引擎模块拉取到日志处理任务，解析并执行日志处理任务，将保存在分布式存储模块的日志文件按流式读取，将读出的日志；日志分流投递模块，解析计算得到消息主题的索引号，由计算的索引号确定对应的消息主题；日志聚合处理模块将日志消息解析、提取、聚合后分别写入到不同的日志文件中并保存。本发明能够根据不同业务规模动态伸缩处理节点的实例数量，能够更高效地利用机器资源，同时提高系统整体可用性，降低维护人员负担。

主权项：1.一种高效可伸缩的CDN日志处理方法，其特征在于，包括以下步骤：1）获取边缘节点上报的日志文件，保存到分布式存储模块；2）存储事件监听模块监测到分布式存储模块有新的日志文件存入，将新存入的日志文件路径包含在新创建的日志处理任务中，将日志处理任务发送到分布式消息引擎模块；3）分布式消息引擎模块，接收日志处理任务，将日志处理任务缓存在任务处理队列中等待拉取；4）原始日志读取模块，从分布式消息引擎模块拉取到日志处理任务，解析并执行日志处理任务，将保存在分布式存储模块的日志文件按流式读取，将读出的日志，批量发送给日志分流投递模块；5）日志分流投递模块，解析计算得到消息主题的索引号，日志分流投递模块将日志发送到分布式消息引擎模块，由计算的索引号确定对应的消息主题；6）日志聚合处理模块拉取消息主题的日志消息，将日志消息解析、提取、聚合后分别写入到不同的日志文件中并保存，再将保存的日志文件上传到分布式存储模块，此时保存的日志文件中的日志称为标准日志，最终会提供给客户；7）日志热点分析模块，对保存在分布式存储模块的标准日志，进行扫描并生成分析报告；扫描并生成分析报告，具体包括：7.1）日志热点分析模块选取一个域名目录，逐个对标准日志文件进行流式读取；7.2）日志热点分析模块从日志中解析出各指标，使用Filtered-SpaceSaving流数据算法，统计不同热门指标的请求次数和请求大小，读取完所有标准日志文件，即可导出前K条热点统计结果，格式化导出为热点分析报告；使用Filtered-SpaceSaving流数据算法为每个指标创建TopK算子，每条日志中解析出的对应指标值按照SipHash算法计算64位哈希摘要后作为存储键。

全文数据：

权利要求：

百度查询： 杭州又拍云科技有限公司 一种高效可伸缩的CDN日志处理方法及系统