买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安理工大学

摘要：本发明公开了一种针对黑盒近端策略优化模型的注意力脆弱点分析方法，包括以下步骤：步骤1，收集目标模型的输入状态以及输出动作；步骤2，创建与目标模型功能接近的窃取模型；步骤3，构建样本集；步骤4，样本集筛选：在样本集D中，根据设定的距离阈值条件，选择满足条件的两个动作类别；步骤5，计算特征重要性矩阵，构建随机森林，计算特征重要性矩阵T；步骤6，构建对抗样本；步骤7，模型脆弱点挖掘。本发明提出的脆弱点分析方案适用于多个实现版本的近端策略优化模型，其中的脆弱点会导致模型策略获得奖励的平均值降低约35％。

主权项：1.一种针对黑盒近端策略优化模型的注意力脆弱点分析方法，其特征在于，设So＝{si|i＝1，2，...，n}为数据集D属于类别lo的输入状态，n为输入状态的维度，si表示输入状态第i维的值；T＝{ti|i＝n，ti∈{0，1}}为特征重要性向量；是利用核密度估计算法对动作簇lp对应状态向量集合Sp拟合后的表征向量，用来代表整个状态向量集合Sp，表示表征向量第i维的值；表示生成对抗样本的总代价；为奖励函数，表示在s状态采取动作a获得的奖励值；π′表示窃取模型的策略函数；通过上述定义构建公式1所示的优化问题挖掘模型脆弱点，并对脆弱点造成的影响进行实验分析： 公式1中Sadv＝{sadv_i|i＝1，2，...，n}为生成的对抗样本，sadv_i表示对抗样本第i维的值；π′Sadv表示在对抗样本Sadv下策略采取的动作；π′So表示在输入状态So下策略采取的动作；Radv表示目标模型在对抗样本Sadv情况下采取动作后得到的奖励；μ为加入扰动的比例参数；||...||2表示欧几里德范数；⊙表示T和进行逐元素相乘。具体包括以下步骤：步骤1，收集模型信息：通过有限次访问目标近端策略优化模型，收集目标模型的输入与输出，即输入状态以及输出动作步骤2，构建窃取模型：利用多层感知机拟合输入状态以及输出动作信息，创建与目标模型功能接近的窃取模型；步骤3，构建样本集：对输出动作进行分类，得到动作类别，并以输入状态、输出动作和动作类别为基础创建样本集D；步骤4，在样本集D中，根据设定的距离阈值r，选择满足条件的两个动作类别，分别设为原始类别lo和目标类别lp，以确认脆弱点分析方向，即脆弱点处于类别lo和lp对应的样本空间中；脆弱点的挖掘方法为以D中属于lo的输入状态为初始向量，生成被目标近端策略优化模型判断为lp的样本Sadv；步骤5，计算特征重要性向量：将样本集D中属于原始类别lo和目标类别lp的输入状态和动作类别作为输入样本x和标签y，构建随机森林，计算特征重要性，对特征重要性进行TopK计算，得到特征重要性向量T；步骤6，构建对抗样本：根据公式1中的约束条件，利用样本集D中属于原始类别lo的样本So，训练生成对抗网络，生成对抗样本Sadv，挖掘窃取模型脆弱点；步骤7，模型脆弱点挖掘：将Sadv代入目标模型，收集成功干扰目标模型的样本Sadv-succ，结合生成对抗网络，挖掘真实场景下目标模型的脆弱点，即生成真实场景中的对抗样本Sadv-real。

全文数据：

权利要求：

百度查询： 西安理工大学 一种针对黑盒近端策略优化模型的注意力脆弱点分析方法