基于边缘监督和多域交叉相关的篡改检测方法及系统

技术领域

本发明属于图像处理技术领域，特别涉及基于边缘监督和多域交叉相关的篡改检测方法及系统。

背景技术

图像复制-移动图像篡改操作是指复制图像中某一区域并移动到同一图像其他区域中，从而达到迷惑和欺骗观察者的目的。这种篡改方式与拼接相同，都篡改了图像的内容，但其相比拼接技术具有更高的检测难度，这是由于复制-移动操作是同一图像内部操作，篡改区域在统计属性上与图片中的其他区域极为相似导致的。针对这一特点，研究人员提出了一种篡改域辅助定位和特征信息利用的并行网络实现复制移动图像篡改，其优势在于使用并行网络的主线分支和辅助分支来检测源域和篡改域，提高了相似目标区域定位的精准性，另外使用边缘作为监督条件检测篡改域提高了篡改域检测的准确性。

但是，该方法存在以下问题：第一，作为监督信息的篡改域边缘特征冗余利用导致篡改域检测效果不佳。目前的方法利用篡改域作为辅助域优化复制-移动篡改检测结果，其通过检测篡改过程留下的边界伪影作为辅助信息实现篡改域提取，但是，目前直接简单的相加不同层特征检测边缘用于辅助篡改域检测的方法是不合理的，其将导致篡改域检测结果欠佳，从而影响整个网络。这是因为，在现有的篡改区域检测边缘定位中，为了充分利用低级浅层特征，将每层特征不做处理直接相加利用进行边缘检测，然而，高层特征中已包含低层信息，直接相加利用造成信息的大量冗余，并使有用信息淹没在大量的无用信息中。第二，辅助域特征融合利用不合理。现有方法将作为篡改域的辅助域与检测相似区域的主网络直接相加融合，从而实现篡改域的辅助作用。但是这种直接的融合方法未能充分发挥篡改域对于相似区域检测的辅助作用。另外，现有方法只是对篡改域进行定位并用篡改域来辅助检测相似区域的主线网络，并没有使用源域特征，来进一步辅助主线网络。

发明内容

针对现有技术存在的不足，本发明提供基于边缘监督和多域交叉相关的篡改检测方法及系统，提出了特征解耦边缘监督模块，在利用多层特征进行边缘提取时，通过逐层解耦的方法同时利用深层特征和浅层特征，在利用深层特征的同时，挖掘深层特征丢失的存在于浅层特征中的有效信息；提出了多域交叉相关性建模模块，利用源域特征、篡改域特征和主线网络特征计算元素之间的关联关系，从而利用篡改域和源域优化主线网络特征（即源域篡改域特征），将优化后的三个特征通过门控机制融合，以实现三者有效信息的合理利用，得到最终的源域篡改域背景图，通过本发明可以实现图像的复制-移动篡改检测，提高检测结果准确性。

为了解决上述技术问题，本发明采用的技术方案是：

首先，本发明提供基于边缘监督和多域交叉相关的篡改检测方法，包括以下步骤：

步骤1、提取源域篡改域特征：

对输入图像I使用卷积神经网络进行特征提取，将得到的特征使用不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征；

步骤2、使用解耦边缘监督进行篡改域边缘定位和篡改域定位，提取篡改域特征：

采用ResNet网络分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，其中第四层的输出作为篡改域特征；将获取的四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级网络的输出为篡改域边缘特征；

步骤3、提取源域特征：

将步骤1得到的源域篡改域特征与步骤2得到的篡改域特征做差，得到源域特征；

步骤4、进行多域交叉相关性建模，获取源域篡改域背景图：

多域交叉相关性建模是对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图。

进一步的，步骤2中，ResNet网络的第一层的输出大小为输入图像I大小的1/4，通道数相同，第二层的输出比第一层的输出大小减半，通道数翻数倍，第三层的输出比第一层的输出大小减半，通道数翻倍，第四层的输出和第三层的输出大小相同，通道数翻倍。

进一步的，步骤2中，第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块；将获取的四层的输出分别经过滤波器和边缘残差模块进行边缘特征提取，后三层的特征进行边缘残差后进行冗余特征消除和拼接，再输入边缘残差模块，进入下一级网络，最后一级网络的最后一个边缘残差模块的输出即为篡改域边缘特征。

进一步的，通过边缘残差网络提取篡改域边缘特征的具体方法如下：对于输入图像I，经过ResNet网络的四层输出分别是特征M1、M2、M3、M4，再将这四个特征分别经过一个滤波器模块和一个边缘残差模块得到特征J1、J2、J3、J4；将J2与J1做差得到K1，J3与J2做差得到K2，J4与J3做差得到K3，然后再将J1和K1进行拼接得到P1，P1再经过一个边缘残差模块得到R1，R1再与K2进行拼接得到P2，P2再经过一个边缘残差模块得到R2，R2再与K3进行拼接得到P3，P3再经过一个边缘残差模块得到R3，将R3作为篡改域边缘特征。

进一步的，所述滤波器和边缘残差两个模块用于通道缩减和特征提取，在滤波器内，依次进行卷积操作、批归一化操作、L2 归一化操作和激活函数激活操作后得到的数据与输入数据相乘；在边缘残差模块内，首先进行第一次卷积操作，数据再依次进行第二次卷积操作、批归一化操作、线型整流操作、第三次卷积操作后得到的数据与第一次卷积操作后的数据相加。

进一步的，步骤4中，多域交叉相关性建模具体方法如下：对源域篡改域特征、篡改域特征和源域特征进行维度变换分别得到特征F1、特征F2、特征F3三个特征，再对F1和F2，F1和F3，F2和F3进行相关性计算得到三个新特征，分别是相似特征Z1、相似特征Z2、相似特征Z3，然后Z1、Z2、Z3分别经过门控1、门控2、1－门控1－门控2操作，再将经过门控操作的特征与对应的原来的相似特征Z1、相似特征Z2、相似特征Z3相乘，得到特征Y1、Y2、Y3，最后将Y1、Y2、Y3三个特征相加，得到最终的源域篡改域背景图。

其次，本发明还提供基于边缘监督和多域交叉相关的篡改检测系统，用于实现如前所述的基于边缘监督和多域交叉相关的篡改检测方法，所述系统包括主线网络、辅助分支网络和多域信息融合网络，所述主线网络采用卷积神经网络进行特征提取，将得到的特征使用不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征；

所述辅助分支网络为篡改域特征提取模块，所述篡改域特征提取模块采用解耦边缘监督模块，包括用于提取篡改域特征的篡改域特征定位提取模块和用于提取篡改域边缘特征的篡改域边缘定位模块，所述篡改域特征定位提取模块采用ResNet网络，分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，其中第四层的输出作为篡改域特征；所述篡改域边缘定位模块包括四级边缘残差网络，第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块，获取的ResNet网络四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级网络的输出为篡改域边缘特征；

所述多域信息融合网络包括多域交叉相关建模模块，将主线网络得到的源域篡改域特征与辅助分支网络得到的篡改域特征做差，得到源域特征，所述多域交叉相关性建模用于对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图，作为系统的输出图像。

进一步的，所述滤波器包括卷积层、批归一化层、L2 归一化层和激活函数，激活操作后得到的数据与输入数据相乘；所述边缘残差模块，包括第一次卷积层、第二次卷积层、批归一化层、线型整流层、第三次卷积层，第三次卷积层后得到的数据与第一次卷积操作后的数据相加。

进一步的，损失Lsum包括边缘损失和交叉熵损失两部分，损失函数公式如下：

(1)；

L edges为边缘损失，公式如下：

(2)；

其中H和W分别为输入图像的高度和宽度，

L ce为交叉熵损失，公式如下为：

(3)；

其中，

与现有技术相比，本发明优点在于：

（1）设计了基于特征解耦边缘监督模块，使用了一种全新的篡改域边缘定位方式，使得边缘在定位时既能考虑浅层特征信息，又能用到深层次的特征信息，同时减少冗余信息操作，使得数据内容更加精简，减少数据重复运算。并且使用篡改域边缘进行监督，提高篡改域边缘定位的准确性，进而优化边缘学习参数，提高篡改域定位的准确性。

（2）设计了多域交叉相关性建模模块，充分利用获得的全部特征信息（源域篡改域背景信息、篡改域背景信息、源域背景信息）并对他们进行进一步的信息挖掘，利用源域特征、篡改域特征和源域篡改域特征计算元素之间的关联关系，从而利用篡改域和源域两个辅助域优化主线网络特征（即源域篡改域特征），将优化后的三个源域篡改域背景特征通过门控机制融合，以实现三者有效信息的合理利用，从而提高源域篡改域信息定位的准确性，并对最终结果进行监督，提高对源域篡改域和背景判断的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统结构图；

图2为本发明的解耦边缘监督模块结构示意图；

图3为本发明的滤波器结构示意图；

图4为本发明的边缘残差模块结构示意图；

图5为本发明的多域交叉相关性建模模块结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

实施例1

结合图1，本实施例提供了一种基于边缘监督和多域交叉相关的篡改检测系统，包括主线网络、辅助分支网络和多域信息融合网络，本系统的输入图像I大小为W × H × C，W、H、C分别为宽度、高度和维度。

首先，对于主线网络，采用卷积神经网络（例如VGG16网络）进行特征提取，将得到的特征使用三个不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征。

其次，对于辅助分支，为篡改域特征提取模块，减少冗余信息使用，同时还使用边缘进行监督，提高整个分支的准确率。具体来说辅助分支是采用解耦边缘监督模块，使用解耦边缘监督进行篡改域边缘检测和篡改域定位，得到篡改域特征。在对篡改域特征提取后，使用主线网络的源域篡改域域特征与辅助分支的篡改域特征做差，获得源域特征，从而进行进一步的融合。

作为一个优选的实施方式，解耦边缘监督模块包括用于提取篡改域特征的篡改域特征定位提取模块和用于提取篡改域边缘特征的篡改域边缘定位模块，如图2所示，篡改域特征定位提取模块采用ResNet网络（例如ResNet50骨干网络，包括模块1、模块2、模块3和模块4四部分，作为四个网络层），分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，其中第四层的输出作为篡改域特征。

需要说明的是，本实施例仅以以下图像大小和通道数比例关系为例说明：第一层的输出大小为输入图像大小的1/4，通道数相同，第二层的输出比第一层的输出大小减半，通道数翻倍，第三层的输出比第一层的输出大小减半，通道数翻倍，第四层的输出和第三层的输出大小相同，通道数翻倍。在这个条件下，技术效果最好。但是对于不同的网络层，其他输出图像大小和通道数也可实现技术方案，此处不一一举例说明。

作为一个优选的实施方式，篡改域边缘定位模块包括四级边缘残差网络，第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块，获取的ResNet网络四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级网络的输出为篡改域边缘特征。

作为一个优选的实施方式，如图3所示，滤波器包括卷积层、批归一化层、L2 归一化层和激活函数，激活操作后得到的数据与输入数据相乘。

作为一个优选的实施方式，如图4所示，边缘残差模块包括第一次卷积层、第二次卷积层、批归一化层、线型整流层、第三次卷积层，第三次卷积层后得到的数据与第一次卷积操作后的数据相加。

随后，将主线网络得到的源域篡改域特征与辅助分支网络得到的篡改域特征做差，得到源域特征。

最后，对于多域信息融合网络，如图5所示，包括多域交叉相关建模模块，所述多域交叉相关性建模模块用于对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图，作为系统的输出图像。

作为一个优选的实施方式，对源域篡改域特征、篡改域特征和源域特征进行维度变换分别得到特征F1、特征F2、特征F3三个特征，再对F1和F2，F1和F3，F2和F3进行相关性计算得到三个新特征，分别是相似特征Z1、相似特征Z2、相似特征Z3，然后Z1、Z2、Z3分别经过门控1、门控2、1－门控1－门控2操作，再将经过门控操作的特征与对应的原来的相似特征Z1、相似特征Z2、相似特征Z3相乘，得到特征Y1、Y2、Y3，最后将Y1、Y2、Y3三个特征相加，得到最终的源域篡改域背景图。

需要说明的是，各个模块的功能及数据处理过程在实施例2部分，结合基于边缘监督和多域交叉相关的篡改检测方法进行详细说明。

实施例2

结合图1所示，本实施例设计了一种基于边缘监督和多域交叉相关的篡改检测方法，包括以下步骤：

步骤1、提取源域篡改域特征。

对输入图像I使用卷积神经网络进行特征提取，将得到的特征使用不同大小的卷积核进行不同尺度的特征提取，然后将不同尺度的特征进行融合，并将融合后的特征使用自相关计算，得到初步的源域篡改域特征。

步骤2、使用解耦边缘监督进行篡改域边缘定位和篡改域定位，提取篡改域特征。

首先，对于篡改域定位，采用ResNet网络（包括模块1、模块2、模块3和模块4四部分）分四层对输入图像I进行不同层的特征提取，分别获取第一层到第四层的输出，其中第四层的输出作为篡改域特征。

作为一个优选的实施方式，第一层的输出大小为输入图像大小的1/4，通道数相同，第二层的输出比第一层的输出大小减半，通道数翻倍，第三层的输出比第一层的输出大小减半，通道数翻倍，第四层的输出和第三层的输出大小相同，通道数翻倍。例如，对于给定的W × H ×3的彩色输入图像分别获取第一层

然后，介绍篡改域边缘定位。将获取的ResNet网络的四层的输出分别经过四级边缘残差网络进行边缘特征提取、冗余特征消除和拼接，最后一级边缘残差网络的输出为篡改域边缘特征。

具体来说，第一级的边缘残差网络包括滤波器和一个边缘残差模块，后三级的边缘残差网络包括滤波器和两个边缘残差模块。结合图3和图4，滤波器和边缘残差两个模块用于通道缩减和特征提取，在滤波器内，依次进行卷积操作（图中以3 × 3 × 2卷积为例）、批归一化操作、L2 归一化操作和激活函数激活操作后得到的数据与输入数据相乘；在边缘残差模块内，首先进行第一次卷积操作（图中以1 × 1卷积为例），数据再依次进行第二次卷积操作（以3 × 3卷积为例）、批归一化操作、线型整流操作、第三次卷积操作（以3× 3卷积为例）后得到的数据与第一次卷积操作后的数据相加。

本步骤的设计思路是：将获取的ResNet网络的四层的输出分别经过滤波器和边缘残差模块进行边缘特征提取，后三层的特征进行边缘残差后进行冗余特征消除和拼接，再输入边缘残差模块，进入下一级网络，最后一级网络的最后一个边缘残差模块的输出即为篡改域边缘特征。也就是说，通过边缘残差网络提取篡改域边缘特征的具体方法如下：

对于W × H ×3的彩色输入图像，经过ResNet网络的模块1、模块2、模块3和模块4后分别得到特征M1、M2、M3、M4，将他们分别送入滤波器和边缘残差模块进行篡改域边缘特征

步骤3、提取源域特征。

将步骤1得到的源域篡改域特征与步骤2得到的篡改域特征做差，得到源域特征。

步骤4、进行多域交叉相关性建模，获取源域篡改域背景图。

多域交叉相关性建模是对源域篡改域特征、篡改域特征和源域特征分别进行两两相关性计算，计算元素之间的关联关系，得到三个相似特征，并对得到的相似特征通过门控机制融合，得到源域篡改域背景图。

多域交叉相关性建模具体方法如下：对源域篡改域特征、篡改域特征和源域特征进行维度变换分别得到特征F1、特征F2、特征F3三个特征，再对F1和F2，F1和F3，F2和F3进行相关性计算得到三个新特征，分别是相似特征Z1、相似特征Z2、相似特征Z3，然后Z1、Z2、Z3分别经过门控1、门控2、1－门控1－门控2操作，再将经过门控操作的特征与对应的原来的相似特征Z1、相似特征Z2、相似特征Z3相乘，得到特征Y1、Y2、Y3，最后将Y1、Y2、Y3三个特征相加，得到最终的源域篡改域背景图，如图5所示。

得到的源域篡改域背景图即本发明的输出图像，包含了背景、源域和篡改域，例如用蓝色代表背景，绿色代表源域，红色代表篡改域时，该源域篡改域背景图仅红绿蓝三种颜色。对源域、篡改域和背景域分别使用准确率，召回率，和F1-得分来评价网路性能，三个指标越高说明该方法判断的准确率越高，判断区域越精准。

需要说明的是，本发明的损失Lsum包括边缘损失和交叉熵损失两部分，损失函数公式如下：

(1)。

L edges为边缘损失，用于辅助分支篡改域边缘检测的优化，有以下公式：

(2)；

其中H和W分别为输入图像I的高度和宽度，

L ce为交叉熵损失，用于优化融合后的最终检测结果，公式为：

(3)；

其中，

在实验时，使用CASIA-CMFD，CoMoFoD-CMFD，MICC-F220，USCISI-CMFD，COVERAGE五个数据集。使用CASIA-CMFD进行训练和测试，使用CoMoFoD-CMFD， COVERAGE，MICC-F220，USCISI-CMFD四个数据集进行测试。CASIA CMFD数据集包含1313张伪造图像及其真实对应图像(总共2626个样本)，以8:1:1的比例分为训练集、验证集和测试集。CoMoFoD数据集包含5000张伪造图像，200张基础图像和25个操作类别，涵盖5种操作和5种后处理方法。MICC-F220包含220个类别的22400张图像，其中每个类别包含100张图像。USCISI-CMFD数据集分有100K张图像用于训练、验证和测试。采用端到端分批次训练方法，每个批次设置为8。

综上所述，本发明设计了基于边缘监督和多域交叉相关的篡改检测方法及系统，用于检测图像复制-移动篡改操作。本发明基于特征解耦边缘监督模块，在利用多层特征进行边缘提取时，通过逐层解耦的方同时利用深层特征和浅层特征，在利用深层特征的同时，挖掘深层特征丢失的存在于浅层特征中的有效信息。

本发明提出了多域交叉相关性建模模块，利用源域特征、篡改域特征和主线网络特征计算元素之间的关联关系，从而利用篡改域和源域两个辅助域优化主线网络特征。将优化后的三个源域篡改域背景特征通过门控机制融合，以实现三者（源域篡改域背景信息、篡改域背景信息、源域背景信息）有效信息的合理利用。从而提高源域篡改域信息定位的准确性，并对最终结果进行监督，提高对源域篡改域和背景判断的准确性。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。