买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江苏省海量数据技术研究所有限公司

摘要：本发明提出了一种基于任务驱动的网络流量数据处理系统，涉及网络流量数据处理领域，包含界面层、接口层、服务层和执行层，其为用户提供了统一的流量数据处理入口，用户通过在界面设置各环节处理参数，减少了操作的复杂度，提高了网络流量数据的整体处理效率；基于任务驱动的数据处理方式，帮助用户形成新的流量数据处理模式，针对各用户不同类型的业务场景需求，包括匹配特定征规则的流量、解析特定协议、数据存储表结构差异化等不同要求，通过界面可视化的方式进行分别进行管理及持续跟踪，实现对流量处理的自定义按需控制；同时系统底层服务及调度引擎可通过增加设备，提供并行性能，具有较好的线性扩展性及业务灵活性。

主权项：1.一种基于任务驱动的网络流量数据处理系统，其特征在于：包含界面层、接口层、服务层和执行层；其中，界面层包含流量规则管理单元、数据生产任务管理单元、数据资源管理单元、权限管理单元、运维管理单元；接口层包含规则管理接口、任务管理接口；服务层包含任务调度服务，资源服务、查询检索服务；执行层包含汇聚分流单元、数据处理单元、存储计算单元；流量规则管理单元、数据生产任务管理单元，用于帮助用户将网络流量数据处理任务及处理规则、任务配置参数下发至执行层；通过规则及任务设置界面，配置各处理环节规则及处理参数，实现对数据处理各流程环节的控制；数据资源管理单元，用于实现库表管理、数据检索、数据浏览等其它预设功能，数据资源管理单元通过与服务层的资源服务、查询检索服务进行对接，实现对库、表、视图、物化视图的创建、删除、修改操作，并可通过查询检索服务，对入库后的数据进行多维度检索；权限管理单元，用于根据实际的业务权限管理需求，针对不同类型的用户，包含普通用户、上级用户，实现对规则、任务、数据资源进行权限设置，实现不同用户数据的隔离；运维管理单元，用于记录下发任务在各执行单元的执行情况，包括任务的执行进度、告警日志、执行单元的处理数据统计值及变化趋势；流量规则管理单元、数据生产任务管理单元通过接口层的规则管理接口、任务管理接口与底层调度服务进行对接；服务层的任务调度服务基于消息总线实现任务下发规则与下发任务的解耦，实现规则的按任务批次下发；任务调度服务基于数据总线实现与执行层的汇聚分流单元、数据处理单元、存储计算单元进行交互，所述汇聚分流单元、数据处理单元、存储计算单元自主拉取数据总线消息，获取要执行的任务参数；汇聚分流单元，用于实现对输入IP流量的初步过滤及分发，并基于任务管理单元下发的匹配规则，进行规则匹配，将匹配命中的流量输出至数据处理单元；数据处理单元，用于实现对输入流量进行深度解析提取，生成协议元数据，并基于任务管理单元下发的处理参数，进行协议元数据的分发；存储计算单元，用于实现对协议元数据、组报文件等数据存储及计算，并根据任务管理单元下发的存储配置，将不同的协议元数据分别存储至不同的业务库表，并建立相关的索引。

全文数据：

权利要求：

百度查询： 江苏省海量数据技术研究所有限公司 一种基于任务驱动的网络流量数据处理系统