买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：济南时代确信信息安全测评有限公司

摘要：本发明涉及网络安全测评领域，尤其涉及一种基于SAC的红队网络攻击自动化方法、系统及设备。本发明方法包括以下步骤：根据测试智能体的进程构建状态空间，然后基于ATTCK平台将攻击技术具体化为攻击指令，构建动作空间，之后描述被测主机的状态转移关系，构成状态转移函数，并设计对应的奖励函数，通过训练，实现利用强化学习完成自动化红队测试。本发明采用基于强化学习的自动化红队测试方法，利用智能化自动化的攻击方法，解决了红队测试人工方法存在的成本高与适应性差的问题。

主权项：1.一种基于SAC的红队网络攻击自动化方法，其特征在于，包括如下步骤：S1.根据测试智能体的进程构建状态空间，以测试智能体拥有的现实状态作为状态，状态空间记为S，包括是否获取敏感信息s1，目录路径s2，信息路径s3，压缩路径s4；S2.基于ATTCK平台将测试智能体能做出的攻击技术具体化为攻击指令，构建动作空间，动作空间记为A，动作空间包含5个具体动作：创建缓存目录a1，找到敏感信息a2，暂存敏感信息a3，压缩暂存目录a4，提取缓存敏感信息a5；S3.描述被测主机的状态转移关系，构成状态转移函数，并设计对应的奖励函数；S3具体过程如下：以红队测试中常见的窃取敏感信息为应用背景，以测试智能体拥有的现实状态作为状态，根据采取的动作，得到不同动作对应的状态的变化过程：（1）采取创建缓存目录a1动作后，状态变为得到敏感信息所在的目录路径s2；（2）采取找到敏感信息a2动作，状态从是否获取敏感信息s1转移到得到信息路径s3；（3）采取暂存敏感信息a3动作，需要已知目录路径s2和信息路径s3；（4）采取动作压缩暂存目录a4动作，状态由目录路径s2转移到压缩路径s4；（5）采取提取敏感信息a5动作，需要已知压缩路径s4；根据状态进行奖励函数：奖励值R只在窃取到敏感信息时，即（5）中描述的动作，设置为R=20，其余动作-状态转移均设置为R=-1，作为执行动作的消耗；若选择的动作在现有状态下无法执行，即（3）中不具备状态s2和s3前提下执行动作a3，则给予R=-20的惩罚；S4.通过训练，实现利用强化学习完成自动化红队测试；SAC算法包括1个Actor网络、2个Vcritic网络、2个Qcritic网络；Qcritic网络的网络结构为三层全链接神经网络，Qcritic网络的损失函数设计为，计算如下： ，其中，表示一个batch中所有训练数据的范数，表示价值，表示参数是的网络估计动作-状态对的价值，表示两个Qcritic网络的编号，取值范围为0和1，表示时刻的状态，表示时刻的动作，表示时刻的状态，表示时刻的奖励，表示基于最优贝尔曼方程计算的状态的真实价值估计，计算公式为： ，其中，表示Vcritic网络得到的状态的价值，表示时刻的奖励，表示状态价值的系数；Vcritic网络的网络结构为三层全链接神经网络，Vcritic网络的损失函数设计为： ，其中，为表示参数是的网络得到的状态的价值，是Vcritic网络的参数，是Vcritic网络输出的真实值，计算方法如下： ，其中，是熵，是熵的奖励系数，是状态对应的动作空间，为Actor网络预测出的所有可能的动作，表示Actor网络预测出动作的概率分布，为Actor网络的参数，表示j取0，1时对函数取最小值；Actor网络的网络结构为三层全链接神经网络，Actor网络的损失函数设计为：，其中，为Actor网络预测出的所有可能的动作，表示一个batch中所有训练数据的范数，表示对取期望，是熵的奖励系数，表示预测的动作符合Actor网络预测出的概率分布，表示价值，表示状态下采取动作时Q网络输出的价值，是网络参数。

全文数据：

权利要求：

百度查询： 济南时代确信信息安全测评有限公司 基于SAC的红队网络攻击自动化方法、系统及设备