首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

一种基于黑盒的跨模态双稀疏视频对抗样本生成方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:燕山大学

摘要:本发明公开了一种基于黑盒的跨模态双稀疏视频对抗样本生成方法,属于计算机视觉领域,包括:提供视频样本,按均匀稀疏策略划分关键帧集和稀疏帧集;获取ImageNet预训练图像模型VGG‑16;提供米字形蒙版;初始化对抗扰动,利用米字形蒙版图像限制,将初始扰动添加到当前关键帧的米字形区域得到被初始扰动后的当前关键帧;将被扰动前和被扰动后的当前关键帧输入预训练图像模型并获取二者的中间特征图;通过减小二者中间特征图图的结构相似度损失不断更新对抗扰动,最终形成当前对抗帧;将关键帧集依次处理形成对抗帧集;按初始帧顺序重组对抗帧和稀疏帧形成视频对抗样本。本发明可以生成在时间和空间具有双稀疏性的视频对抗样本。

主权项:1.一种基于黑盒的跨模态双稀疏视频对抗样本生成方法,其特征在于包括如下步骤:步骤S1、提供良性视频样本,并将单个良性视频样本的帧按照均匀稀疏策略分为关键帧集合和稀疏帧集合;步骤S2、获取Pytorch提供的ImageNet图像预训练模型VGG-16;步骤S3、提供长度、宽度、通道数和视频帧相同的米字形蒙版图像;步骤S4、初始化被蒙版图像限制在米字形区域的对抗扰动,并将该对抗扰动添加到当前关键帧;步骤S5、对于当前要处理的关键帧,将其被扰动前和最新被扰动后的关键帧分别输入VGG-16,并获取二者对于VGG-16第l层的中间特征图;步骤S6、利用结构相似性度量损失函数,计算当前关键帧被扰动前和最新被扰动后的中间特征图的相似度损失,根据计算得到的相似度损失反向传播计算被蒙版图像限制在米字形区域的扰动,将扰动累加到当前关键帧的米字形扰动区域,获取到最新被扰动后的当前关键帧;步骤S7、对于当前正在处理的关键帧,将步骤S5和S6循环迭代I次,输出最终被扰动后的当前关键帧,即对抗帧;步骤S8、对关键帧集合的所有关键帧重复步骤S4、S5、S6和S7,直至处理完所有关键帧并得到所有被扰动后的关键帧,即对抗帧集合;步骤S9、按原始良性视频样本的帧顺序重组对抗帧集合和稀疏帧集合,得到具有空间稀疏和时间稀疏的视频对抗样本;步骤S10、输出处理后的视频对抗样本。

全文数据:

权利要求:

百度查询: 燕山大学 一种基于黑盒的跨模态双稀疏视频对抗样本生成方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。