买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学长三角研究院(衢州);电子科技大学

摘要：本发明公开一种基于相机指纹和自注意力机制融合的深度伪造检测方法，应用于深度伪造检测技术领域，针对原有图像的细节和特征被破坏的深度伪造图像，现有技术难以有效检测伪造内容的问题；本发明在训练阶段，通过块嵌入模块将图像划分为等大的小块，灰度化得到灰度图像，小波分解将图像分解为不同的子带，采用维纳滤波获得去噪后的小波系数，小波逆变换重新生成图像，然后原图像减去生成图像得到PRNU特征图，送入自注意力模块得到自注意力图，最后将得到的自注意力图与改进的EfficientNetB4网络的特征层融合，通过全局池化层得到当前输入内容的检测结果。

主权项：1.一种基于相机指纹和自注意力机制融合的深度伪造检测方法，其特征在于，包括：S1、对原始图像进行裁剪；得到裁剪后的图片；S2、将裁剪后的图片分别送入改进的EfficientNetB4网络和块嵌入模块，改进的EfficientNetB4网络提取裁剪后的图片的特征图，PatchEmbedding将裁剪后的图片划分为等大的小块；改进的EfficientNetB4网络，具体为：在EfficientNetB4网络的浅层和深层的多个不同语义层上通过对应的格拉姆模块来获取图像的全局纹理特征；各格拉姆模块首先通过一个卷积层来对接EfficientNetB4网络中不同层的特征维度，然后是一个格拉姆矩阵计算层来提取全局的图像纹理特征，再通过两个卷积层以及正则化和激活层进一步优化纹理特征表示，最终是一个全局池化层来将提取的全局的图像纹理特征与骨干网络的维度进行对齐；S3、将每个小块做灰度化处理；S4、对步骤S3得到的灰度图像进行多级小波分解，将图像分解为多个不同尺度的子带，每个子带代表了图像在不同频率下的信息；S5、采用维纳滤波，根据噪声的统计特性对小波系数进行调整，获得去噪后的小波系数；S6、将去噪后的小波系数进行小波逆变换重新生成图像；得到去噪后的图像；S7、通过相机指纹模块提取PRNU特征，具体的：从原始图像中减去去噪后的图像得到PRNU特征图；S8、将PRNU特征图送入自注意力机制模块，得到自注意力图；S9、将得到的自注意力图与改进的EfficientNetB4网络提取的特征图融合，融合后的图片通过全局池化层得到虚假置信度区间。

全文数据：

权利要求：

百度查询： 电子科技大学长三角研究院(衢州) 电子科技大学 基于相机指纹和自注意力机制融合的深度伪造检测方法