买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国移动紫金(江苏)创新研究院有限公司

摘要：本发明涉及一种基于AAE的网络异常预警方法及预警系统，包括用于收集实时数据流，同时去除数据中的无效数据的数据存储模块；用于对提取的历史数据进行数据清洗以及进行数据标准化处理的数据预处理模块；用于AAE算法模型的构建与训练的模型构建与训练模块；对网络实时数据的接收与处理，并根据处理结果判定是否进行预警的预警判定模块；以及将预警信息处理后进行存储与备份的预警处理模块。本发明集成了针对输入数据标签有无的两种训练方法，从而可以根据不同网络数据灵活进行模型训练，实时监测网络的异常并进行预警，便于提前发现问题进而及时进行维护。

主权项：1.一种基于AAE的网络异常预警方法，其特征在于：具体包括以下步骤：步骤S1：数据采集，数据采集系统收集实时数据流，将实时数据流中的无效数据去除后形成数据库；其中，实时数据流包括有标签数据以及无标签数据；步骤S2：数据预处理，从步骤S1中形成的数据库中提取网络性能指标历史数据，对提取的历史数据进行数据清洗，进行数据标准化操作后，形成用于训练AAE算法模型的初始训练样本；其中，在对提取的历史数据进行清洗、标准化处理后若数据为有标签数据，则进行过采样处理；步骤S3：将步骤S2中经过预处理的数据按照设备实例或通信链路实例进行分类整理，得到不同实例数据；步骤S4：将步骤S3中得到的实例数据进行分割与重构，形成最终训练数据，在最终训练样本中有标签的数据集合定义为Y；步骤S4中，将得到的实例数据进行分割与重构形成最终训练数据，具体为，在训练数据中包含I个实例，以I个实例中的实例i为例，实例i内包括C条训练数据，按时间顺序提取其连续M条数据并聚合成C-M+1个特征矩阵，其中第k个特征矩阵Di,k具体为[d1,d2,d3,...,dM]T，特征矩阵Di,k中，dm表示实例i第k个特征矩阵内第m个时刻的训练数据，m∈1,2,3……M；每条训练数据包含N个维度的特征，则dm表示为dm＝[xm,1,xm,2,xm,3,...,xm,N]，其中xm,n表示dm内第n个特征维度的数据，亦为特征矩阵Di,k内第m行第n列的特征元素，n∈1,2,3……N；若数据为有标签数据，则有标签数据集合为Y，包括标签Yi＝[yi,1，yi,2，yi,3，…，yi,C-M+1]，其中yi,k值为0或1，0表示正常，1表示异常，k∈1,2,3……C-M+1；步骤S5：构建AAE算法模型，并对AAE算法模型进行参数初始化操作；其中，构建的AAE算法模型包括编码器、解码器、判别器以及先验分布生成器；步骤S6：训练AAE算法模型，首先将步骤S4中形成最终训练数据中的训练特征矩阵集合D，输入步骤S5进行参数初始化后的AAE算法模型中，计算得到关于有标签数据以及无标签数据的误差；接着对误差进行梯度下降以同步更新编码器和解码器的权重参数，直至误差值收敛；利用先验分布生成器计算对抗损失函数；最后通过梯度下降使编码器生成的潜在分布特征迫近先验分布，同步更新判别器和编码器的参数，以减少过拟合并增加AAE算法模型的鲁棒性；训练AAE算法模型的具体步骤为：步骤S61，将步骤S4中形成最终训练数据中的训练特征矩阵集合D输入至编码器中生成隐藏层状态，即生成编码器生成数据h，将编码器生成数据h输入解码器中；若数据无标签，则解码器重构生成原始维度的特征矩阵集合D′，若数据有标签，则解码器输出异常判别结果集合Y′；步骤S62，通过训练特征矩阵集合D以及特征矩阵集合D′计算无标签数据的误差LaD，D'，计算公式为：D'i,k表示特征矩阵集合D′中第i个实例中第k个特征矩阵，x′m,n表示D'i,k中第m个时刻的第n个特征值；通过最终训练样本中有标签的数据集合Y以及异常判别结果集合Y′计算有标签数据的误差LaY，Y'，计算公式为：y′i,k表示异常判别结果集合Y′中第i个实例中第k个异常判别结果；步骤S63，对步骤S62中的误差La进行梯度下降以同步更新编码器和解码器的权重参数，直至误差值收敛；步骤S64，利用先验分布生成器生成正态分布P，并进而计算对抗损失函数Lb，对抗损失函数Lb的计算公式为：Lbh,K＝Ep-P[logKp]+Eh-H[log1-Kh]公式中，公式中，H为编码器的输出分布，Ep-P·表示计算正态分布P的分布函数期望值，Eh-H·表示计算H的分布函数期望值，K·为判别器的运算，输出0到1的概率值，表示正确区分符合正态分布P的原始数据p和符合H的编码器生成数据h的概率；步骤S65，通过对对抗损失函数Lb进行梯度下降直至损失函数值收敛，以迫使编码器生成的潜在分布特征迫近先验分布，同步更新判别器和编码器的参数，完成AAE算法模型的训练；步骤S7：将数据输入步骤S6训练完毕的AAE算法模型中，针对有标签数据，解码器直接输出结果，判定当前信息是否存在异常；针对无标签数据，计算出的误差若大于或者等于预设阈值，则认为网络存在异常，小于预设阈值，则认为网络正常；将数据输入步骤S6训练完毕的AAE算法模型，根据输出结果判定是否进行预警的步骤为：步骤S71，接收数据采集系统实时推过来的数据流，并去除数据中的无效数据；步骤S72，将数据按照AAE算法模型训练数据中的特征矩阵形式进行分割与重构，根据数据的标签有无选择对应的算法模型，接着将数据输入至AAE算法模型编码器中得到隐藏特征结果，再将结果输入至AAE算法模型解码器中得到对应输出；步骤S73，若为有标签数据，则AAE算法模型解码器输出为0或1，其中0表示正常，1表示异常；若为无标签数据，则AAE算法模型解码器输出为与输入数据同维度的特征矩阵，计算输入矩阵和输出矩阵的均方差值，计算出的均方差值大于等于预设阈值则认为网络存在异常，小于预设阈值则认为网络正常；步骤S74，当AAE算法模型判定当前输入数据为异常时，产生预警，并将预警信息推送至预警处理模块；步骤S8：根据步骤S7输出的结果，若存在异常，产生预警，并将预警信息推送至预警处理模块。

全文数据：

权利要求：

百度查询： 中国移动紫金(江苏)创新研究院有限公司 一种基于AAE的网络异常预警方法及预警系统