买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明提出了一种基于集成异常检测器与根因分析结合的异常数据检测方法,在利用集成异常检测器发现设备的异常后,立即触发根因分析算法,采用根因分析算法识别出引起该异常的具体维度,实现异常根因分析。本发明提出的异常数据定位方法集成监督、半监督以及无监督学习算法实现已知异常类型和未知异常类型的综合检测,很大程度上能够避免因单个异常检测模型结果的不准确导致异常误报或者漏报情况的出现。异常检测能够自动发现问题,而根因定位能够在发现问题的基础上进一步深入定位问题发生的具体维度,方便运维人员快速定位故障方向,提高故障排查效率。
主权项:1.一种基于集成异常检测器与根因分析结合的异常数据定位方法,其特征在于,包括:步骤1,对网络设备监控数据集进行异常检测,获得检测结果;所述异常检测采用集成异常检测器进行检测,所述集成异常检测器由监督异常检测器、半监督异常检测器和无监督异常检测器进行集成学习获得;所述检测结果包括正常结果和异常结果;步骤2,对异常结果进行根因分析,获得异常根因,实现异常数据定位;步骤1包括:步骤1-1,根据集成异常检测器对网络设备监控数据集的要求,完成网络设备监控数据集分配;所述网络设备监控数据集包括训练集和测试集;步骤1-2:对网络设备监控数据集进行数据预处理;步骤1-3:对预处理后的数据进行特征提取,获得提取后的数据;步骤1-4:分别将提取后的数据输入到集成异常检测器中的监督异常检测器和半监督异常检测器中进行训练和测试,输入到无监督异常检测器中进行测试;步骤1-5:针对测试集,对监督异常检测器、半监督异常检测器和无监督异常检测器的输出结果进行集成决策,获得检测结果;所述步骤1中监督异常检测器采用极限学习机算法,半监督异常检测器采用单分类极限学习机算法,无监督异常检测器采用孤立森林算法;所述步骤1-1中网络设备监控数据集分配包括划分数据集、训练集分配和测试集分配;所述网络设备监控数据集的数据属性包括网络响应时间、CPU、内存、带宽利用率、吞吐量、包转发率和端口流量;将网络设备监控数据集划分为5个类别的数据,记为类别0~类别4,其中,类别0代表正常类数据,在网络设备处于正常运行状态下采集获得;类别1代表异常类型1数据,类别2代表异常类型2数据,异常类型1数据和异常类型2数据在网络设备处于经常出现异常运行状态的两种情况下进行采集获得;类别3代表异常类型3数据,类别4代表异常类型4数据,异常类型3数据和异常类型4数据在网络设备处于偶尔出现异常运行状态的两种情况下进行采集获得;另外,异常类型1和异常类型2的两类数据作为已知异常类型的数据,异常类型3和异常类型4的两类数据作为未知异常类型的数据;所述训练集分配如下:对于极限学习机算法,训练集由正常类数据、异常类型1、异常类型2的数据组成;对于单分类极限学习机算法,训练集仅由与极限学习机算法的训练集中相同正常类数据组成;对于孤立森林算法,不需要训练过程;所述测试集分配如下:分别对未知异常和已知异常的测试集进行测试,已知异常检测:三个异常检测器的测试集相同,由正常类型、异常类型1以及异常类型2的数据组成;未知异常检测:三个异常检测器的测试集相同,由正常类型、异常类型3以及异常类型4的数据组成;所述步骤1-5中采用多数投票法对监督异常检测器、半监督异常检测器和无监督异常检测器的输出结果进行集成决策,获得测试集中测试数据的检测结果,检测结果包括正常结果或异常结果;所述步骤2中采用关联规则挖掘算法实现根因分析,所述关联规则挖掘算法能够从网络设备监控数据集的测试集中识别出频繁出现的数据属性集,所述频繁出现的数据属性集即为异常根因,从而实现异常数据定位。
全文数据:
权利要求:
百度查询: 中国电子科技集团公司第二十八研究所 基于集成异常检测器与根因分析结合的异常数据定位方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。