买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南农业大学

摘要：本发明涉及图像篡改定位技术领域，提出一种基于双流自注意力神经网络的图像篡改定位方法及系统，包括以下步骤：将待检测定位的输入图像进行约束卷积滤波处理，得到滤波图像；将输入图像和滤波图像分别进行重组编码后，分别输入基于自注意力的第一篡改图像编码器和第二篡改图像编码器中，分别输出第一特征图和第二特征图；其中，第一篡改图像编码器和第二篡改图像编码器中每个计算阶段包括若干堆叠设置的自注意力模块；将第一特征图和第二特征图进行拼接后，分别经过通道域和空间域解码，得到篡改区域定位结果。本发明通过自注意力神经网络捕获局部与全局不一致的能力，并通过RGB模态与异常噪声提取模态的互补，有效提高了篡改图像定位的精度。

主权项：1.基于双流自注意力神经网络的图像篡改定位方法，其特征在于，包括以下步骤：将待检测定位的输入图像进行约束卷积滤波处理，得到滤波图像；将所述输入图像和滤波图像分别进行重组编码后，分别输入基于自注意力的第一篡改图像编码器和第二篡改图像编码器中，分别输出第一特征图和第二特征图；其中，所述第一篡改图像编码器和第二篡改图像编码器中分别包括至少3个计算阶段，每个计算阶段包括若干堆叠设置的自注意力模块；将第一特征图和第二特征图进行拼接后得到H×W×C的拼接矩阵Zori，拼接矩阵Zori分别经过通道域和空间域解码后相加处理，得到篡改区域定位结果；其步骤包括：1进行通道域加权：将拼接矩阵Zori通过一个1×1的卷积核后，在长宽上进行展平，得到大小为H×W×C的二维矩阵ZC；将二维矩阵ZC的转置矩阵与二维矩阵ZC相乘，得到大小为C×C的通道注意力矩阵，再经过softmax函数进行归一化；将二维矩阵ZC与归一化的C×C通道注意力矩阵的转置矩阵进行相乘，得到每一像素通道加权后的输出，将输出经过重组处理后与拼接矩阵Zori进行残差连接，得到通道域加权结果OutputC；其表达式如下：ZC＝ZoriWCOutputC＝ReshapeZC×softmaxZCTZCT+Zori式中，Reshape·表示重组处理；2进行空间域加权：将拼接矩阵Zori通过三个1×1的卷积核后，在长宽上进行展平，得到大小为H×W×C的二维矩阵ZSQ、ZSK、ZSV；将二维矩阵ZSQ与二维矩阵ZSK的转置进行向量乘法，得到大小为H×W×H×W的空间注意力矩阵，并通过softmax函数进行归一化；将经过归一化的空间注意力矩阵乘以二维矩阵ZSV得到每一像素通道加权后的输出，将输出经过重组处理后与拼接矩阵Zori进行残差连接，得到空间域加权结果OutputS；其表达式如下：ZSQ＝ZoriWSQ，ZSK＝ZoriWSK，ZSV＝ZoriWSVOutputS＝ReshapesoftmaxZSQZSKT×ZSV+Zori式中，WSQ、WSK、WSV分别为三个1×1的可学习卷积核；3将通道域加权结果OutputC和空间域加权结果OutputS进行相加处理，并通过一层卷积层降低通道数至1，再经过sigmoid函数的激活，得到二值掩码图作为篡改区域定位结果输出，其表达式如下：Mask＝sigmoidConv1×1OutputC+OutputS式中，Mask为篡改区域定位结果，Conv1×1·表示进行1×1的二维卷积，sigmoid·表示sigmoid激活函数。

全文数据：

权利要求：

百度查询： 华南农业大学 基于双流自注意力神经网络的图像篡改定位方法及系统