买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：暨南大学

摘要：本发明公开了一种基于LED照明调制与稀疏扰动传播的视频识别物理对抗攻击系统及方法，系统包括对抗攻击扰动信号生成模块、LED照明调制与驱动模块、LED照明光源、CMOS图像传感器和视频识别模型；本发明对视频进行关键帧选择，并利用这些关键帧生成可传播的对抗攻击扰动信号，用于LED照明调制对不同视频拍摄场景进行物理对抗攻击；其中，设计了一种关键帧选择算法，通过聚类及熵值度量选出视频中的重要帧和脆弱帧；通过对关键帧执行稀疏对抗攻击破坏视频特征；在训练阶段引入基于关键帧分类线索、扰动传播路径和信号调制因子的融合对抗损失，增强对抗扰动的传播能力以及隐蔽性；LED照明调制的对抗攻击扰动形式可泛化和迁移至不同视频样本和视频识别模型。

主权项：1.基于LED照明调制与稀疏扰动传播的视频识别物理对抗攻击系统，其特征在于，包括对抗攻击扰动信号生成模块、LED照明调制与驱动模块、LED照明光源、CMOS图像传感器和视频识别模型；所述LED照明调制与驱动模块与LED照明光源相连，负责以频率信息调制信号并驱动LED照明光源；所述LED照明光源设置于行为主体上方，发出可见光照明，覆盖行为主体及其所在场景，植入亮度信息扰动；所述CMOS图像传感器为视频识别物理对抗攻击系统的图像采集模块，位于行为主体前方，进行成像和视频动态拍摄；所述图像采集模块与视频识别模型相连，视频识别模型为具备预训练权重的模型，用于对图像采集模块输入的视频包含的主体及其相关行为进行检测和分类；所述对抗攻击扰动信号生成模块，用于生成数字视频对抗样本和对抗攻击扰动信号，具体为：基于K-means聚类与帧输出熵度量的关键帧选择算法以及基于关键帧分类线索、扰动传播路径和信号调制因子融合对抗损失的关键帧扰动传播训练方法，分别进行视频训练集的关键帧选择以及生成带扰动信息的视频对抗样本和可传播对抗攻击扰动信号；所述关键帧扰动传播训练方法的损失函数为关键帧分类线索、扰动传播路径和信号调制因子三个损失项的加权融合，公式表述为： ；其中，lc为关键帧分类线索，lp为扰动传播路径，lm为信号调制因子，λ1、λ2、λ3为各损失分配的权重，对应于不同的预训练视频识别模型，权重相应变化；所述关键帧分类线索用于增强对抗扰动的攻击效果，仅关注被添加扰动的关键帧对抗样本能否导致视频识别模型被错误分类，使扰动生成的过程中更加关注还未被错误分类的关键帧样本，具体是让视频识别模型降低对原始关键帧真实标签的预测概率，表达式为： ；其中，i为选出的对抗帧，pt为视频识别模型对原始关键帧在其真实标签下的预测概率；所述扰动传播路径用于增强对抗帧在视频序列上的扰动传播，具体是增大视频识别模型对对抗帧和未扰动的其他正常帧的预测概率分布之间的差异，表达式为： ；其中，i为选出的对抗帧，j为前一对抗帧和后一对抗帧之间的正常帧，pi为视频识别模型对前一对抗帧的预测概率分布，pj为视频识别模型对前一对抗帧后的正常帧样本的预测概率分布，γ为传播衰减因子，γ∈（0,1），用于调节扰动在时序传播过程的衰减程度，对距离对抗帧更近的正常帧赋予更大的权重，更精确地模拟扰动传播的实际情况；所述信号调制因子用于调节对抗攻击扰动信号的二值化表示；引入了辅助变量an作为扰动信号序列每个单元的二值化锚点，通过自适应学习使扰动信号值sn和辅助变量an逼近，减少其他损失项扰动信号的影响，为扰动信号的变化提供额外的自由度；同时，引入了正则化项使辅助变量an趋向于明确的二值状态；信号调制因子的表达式为： ；其中，an为辅助变量，即扰动信号的二值化锚点，sn为扰动信号值，β为控制正则化项的超参数，n为扰动信号序列长度；所述LED照明调制与驱动模块，用于将生成的对抗攻击扰动信号转换为LED照明调制信号，装载调制信号并驱动LED实现不同开关状态的照明，其中，LED照明驱动可实现正常照明和调制照明的实时切换，以实现稀疏扰动；所述LED照明光源，用于提供环境照明并实施物理对抗攻击。

全文数据：

权利要求：

百度查询： 暨南大学 基于LED照明调制与稀疏扰动传播的视频识别物理对抗攻击系统及方法