买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及一种支持在线算法开发的实时恶意流量检测方法及系统，属于网络安全应用技术领域。本发明提出的系统从数据集的管理和预处理，到算法的开发和训练，再到算法模型的docker引擎部署和实时告警检测等功能集成在一个系统上，提供了一站式的解决方案，实现了功能的统一管理，用户无需在多个平台之间切换，提升了工作效率，简化了恶意流量检测的流程。另外系统提供的算法仓库、算子仓库支持第三方代码的上传和调用，具有良好的扩展性和兼容性。系统集成了多种机器学习和深度学习算法，用户可以选择最优算法进行训练和部署，提高了恶意流量检测的准确性和效率。

主权项：1.一种支持在线算法开发的实时恶意流量检测系统，其特征在于，包括：数据集管理模块，用于实现数据集管理、数据处理、数据集概览功能；具体实现的功能如下：1数据集管理包括：实现对原始流量PCAP包的特征提取，以及对原始流量PCAP包、特征提取后的标准化csv数据集的上传；上传的数据交由系统的数据仓库统一进行管理，为在线模型训练、模型性能测试提供数据支撑；2数据处理是对上传的原始流量PCAP包进行数据预处理操作、预处理操作包括数据的标准化、归一化、数据降维、数据缩放、数据平衡、缺失值补充和异常值处理；此外，还对原始流量PCAP数据的特征定制化操作，将原始的PCAP文件转换成标准化的特征文件，特征种类包括流量统计特征、PCAP包的字节时序特征以及PCAP的时频特征；3数据集概览实现访问和查询当前数据仓库中数据的功能，通过数据报表和数据分析工具，用户数据集分析结果；算法在线开发模块，用于实现算子开发、算法开发、模型训练以及镜像管理；具体实现的功能如下：1算子开发功能是将可以独立执行某一特定功能的程序代码上传到算子仓库；算子是指可独立完成某种特定功能的程序，多个执行不同功能的算子的组合可以完成更加复杂的任务；2算法开发功能包括算法的第三方上传、多算子编排算法、算法在线开发这些子功能；算法的第三方上传子功能是将本地测试跑通的算法代码直接上传到算法仓库中；多算子编排算法子功能是选取所述算子仓库中某些特定功能的算子，将其按照算子功能进行组合编排，生成更加复杂的算法；算法的在线开发子功能是实现选择封装好的机器学习、深度学习的算法，并通过在所述数据仓库中选择需要的数据集，设置训练参数、迭代次数，对算法进行训练，得到训练好的算法；3其中，模型性能测试功能包括对算法准确率、误报率、漏报率的计算展示，展示算法训练的效果，为算法的调优提供依据；4镜像管理功能是对包含特定python环境的docker镜像进行管理；算子开发功能和算法开发功能都需要选定所需的python环境的docker镜像来实现；流量告警分析模块，用于实现流量采集探针管理、流量分析引擎管理、实时流量分析告警态势展示功能；具体实现的功能如下：1流量采集探针管理包括探针运行状态管理、探针捕获流量数据的解析及发送子功能；探针运行状态管理子功能是对流量探针的开启、关闭进行控制、硬件设备的运行状态进行实时监控；探针捕获流量数据的解析及发送子功能是将实网中流量探针捕捉的流量数据按照相应流量协议对原始流量进行解析，再通过Kafka的不同主题将解析好的不同协议流量的结构化数据发送出去；2流量分析引擎管理主要是对在系统中通过第三方上传、在线开发或多算子编排算法方式得到的算法进行docker部署运行；开发完成的流量算法代码与算法运行所需的环境放入docker中运行启动，并且在对算法进行docker部署运行的过程中持续接收通过Kafka的不同主题发送的所述结构化数据，对接收的结构化数据进行分析，并将分析出的结果存入所述数据仓库中；3实时流量分析告警态势展示是对流量分析引擎管理过程中得到的数据分析结果进行实时告警信息展示，展示的信息包括分析时间、源IP、源端口、目的IP、目的端口、应用协议、威胁结果、威胁等级；并通过源IP、源端口、目的IP、目的端口以及应用协议的IP五元组及记录数据包在网络中传输的时间点的时间戳来对恶意流量进行标识；当检测出恶意流量后，记录告警信息，包括分析时间、源IP、目的IP、流量类型、检测到的威胁等级、恶意流量类型信息，并存储在日志文件和所述数据仓库中，同时发送通知，通过电子邮件和仪表板报警，通知的内容包含告警信息和威胁的紧急程度。

全文数据：

权利要求：

百度查询： 北京计算机技术及应用研究所 一种支持在线算法开发的实时恶意流量检测方法及系统