买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山西大学

摘要：本发明属于数字图像安全取证技术领域，具体涉及一种基于弱监督交叉对比学习的图像篡改检测与定位方法。为解决篡改图像的检测和定位问题，本方法：1仅利用二分类图像级标签进行监督。通过双流结构得到不同流的预测图，并采用自适应融合方式得到弱监督伪标签。2交叉对比学习模块对编码器中不同层的特征采用不同的聚合方式，将得到的聚合特征与解码器生成的预测特征进行交叉对比学习。3采用编码器‑解码器结构实现对原始图像进行重构，并将重构图与两个预测分布图的自适应融合图进行相似性比较，促使伪标签更接近真实的像素级GroundTruth。

主权项：1.一种基于弱监督交叉对比学习的图像篡改检测与定位方法，其特征在于，包括以下步骤：步骤1，收集并调整RGB图像：收集真实图像和篡改图像，并对其进行调整；步骤2，构建双流结构：将RGB图像采用SRM滤波器获取SRM噪声图像，把RGB图像和SRM图像分别输入到编码器-解码器结构中，形成RGB流和SRM流，分别得到两个特征Fr和Fs；利用AFM-F模块对Fr和Fs进行自适应融合得到Frs，经过卷积操作和激活函数得到重构特征图F'rs；Fr和Fs经过ASPP，卷积操作和激活函数得到对应的预测分布图Mr和Ms，利用AFM-M模块对Mr和Ms进行自适应融合得到预测分布融合图Mrs∈[0,1]，并采用二值化方式得到二值图像BMrs，即伪标签；步骤3，分类损失：通过Mrs得到图像的预测概率，并利用图像级标签进行监督，构建分类损失；步骤4，一致性损失：采用BMrs监督两个流产生的预测分布图Mr和Ms，使双流的预测结果Mr和Ms更接近伪标签BMrs，构建一致性损失；步骤5，重构损失：对比F'rs和Mrs的相似性，构建重构损失，使重构特征图与预测分布融合图更相似；步骤6，构建交叉对比学习模块：将RGB图像输入到SegNet编码器中得到4个不同尺度的特征图i＝1,2,3,4，将SRM图像输入到SegNet编码器中得到4个不同尺度的特征图采用LFF模块对浅层特征和进行融合得到采用HFF模块对深层特征和进行融合得到经过上采样与进行元素级相加，得到浅层特征融合图Frsl，经过上采样与进行元素级相加，得到深层特征融合图Frsh；将Frsh进行上采样并与Frsl进行级联，再经过一个卷积操作后得到特征图对进行一次卷积和二值化运算得到二值图Frs在BMrs的指导下，在的指导下实现交叉对比学习，并构建对比损失；步骤7，总损失：将分类损失，一致性损失，重构损失和交叉对比损失的和作为总损失。

全文数据：

权利要求：

百度查询： 山西大学 基于弱监督交叉对比学习的图像篡改检测与定位方法