买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：兰州理工大学

摘要：本发明公开了一种基于SE模块增强ViT模型鲁棒性的方法，包括步骤：使用多种对抗攻击算法生成对抗样本，验证所提出现有的ViT模型的防御方法在面对不同对抗样本时的鲁棒性；将对抗样本输入所提出ViT模型的ConvolutionalTokenEmbedding层，然后再通过归一化层；将S2得到的特征输入SE‑Transformer块，特征首先经过SE模块，然后计算特征的Query、Key和Value值；将步骤S2、S3重复执行，并在最后阶段中添加cls分类标记；使用MLPHead预测最终的类别，计算准确率。本发明利用SE模块突出每个特征图的重要信息，抑制次要信息，有助于模型进行关键特征的提取，强化通道的特征信息，减少无用的特征；同时结合ViT模型的自注意力机制self‑attention可以提取特征的长距离信息。

主权项：1.一种基于SE模块增强ViT模型鲁棒性的方法，其特征在于，包括步骤：S1：使用多种对抗攻击算法生成对抗样本，使用所述对抗样本验证ViT模型的防御方法的鲁棒性；S2：将对抗样本输入现有ViT模型的ConvolutionalTokenEmbedding层，然后再通过归一化层，包括步骤：S21：对于上一个阶段生成的2D图像，使用函数f·将其映射为新的tokensfxi-1，将其作为输入送入下一个阶段i，其中，f·是卷积核大小为s×s的2D卷积操作，步长为s-o，p为填充大小，的height和width计算公式如1所示： 其中，H表示高度，W表示宽度，p表示填充大小，s表示卷积核大小，s-o表示步长，i表示不同的阶段；然后，fxi-1被展成HiWi×Ci的形状被送入第i阶段的Transformer块中；S22：ConvolutionalTokenEmbedding通过卷积操作调整token的特征维度和每个阶段的token数量；S3：将步骤S2得到的特征输入SE-Transformer块，包括步骤：S31：对于一张输入特征图X，其大小为W′×H′×C′，经过卷积操作Ftr·,θ得到特征图U，其大小为W×H×C，Ftr的计算公式如2所示： 其中，vc表示第c个卷积核，Xs表示第s个输入，uc表示第c个特征图，然后输入SE模块，所述SE模块包括三个组件：Squeeze、Excitation和Scale，其中所述Squeeze是对于大小为W×H×C的特征图U，采用全局平均池化对其进行squeeze操作，结果输出大小为1×1×C的向量，计算公式如3所示： 其中，Fsq表示Squeeze操作，H、W分别表示特征图U的高度和宽度；所述Excitation是由两个全连接层与两个激活函数组成，z首先与第一个全连接层W1相乘，此时z的维度变为之后经过ReLU激活函数，学习各个通道的非线性关系；随后经过第二个全连接层W2，此时z的维度变为1×1×C，最后经过sigmoid激活函数，输出结果s，输出结果s计算公式如4所示：s＝Fexz,W＝σW2δW1z4其中，Fex表示Excitation操作，z表示Squeeze操作的输出，W1表示第一个全连接层，W2表示第二个全连接层，δ为ReLU激活函数，σ为sigmoid激活函数；所述Scale是将各通道的权重值分别和U对应通道的矩阵进行相乘，最终得到带有权重信息的特征图，计算公式如5所示： 其中，Fscale表示Scale操作，sc表示权重值，uc是一个二维矩阵；S32：SE-ViT操作，将每个Tokens拉伸为2D特征图，然后使用SE模块分别计算Q、K和V值，如公式6所示，然后将映射的tokens拉伸为1D向量，作为tokens输入下一个阶段； 其中，是第i层输入token的QKV矩阵，xi是未经过SE模块提取特征的token；S33：添加位置编码；S4：重复步骤S2和S3，并在最后阶段中添加cls分类标记；S5：使用MLPHead预测最终的类别，计算准确率，验证网络模型面对抗样本时的鲁棒性。

全文数据：

权利要求：

百度查询： 兰州理工大学 一种基于SE模块增强ViT模型鲁棒性的方法