基于双分支网络估计非对齐重压缩图像偏移量方法及系统

技术领域

本发明涉及信息安全技术领域，具体的是基于双分支网络估计非对齐重压缩图像偏移量方法及系统。

背景技术

JPEG格式由于其传输速度快、存储空间小等优点，已成为现实生活中常见的存储格式。与此同时，随着图像篡改技术的发展，对JPEG格式图像的篡改也更加容易。这些被篡改的图像有可能危害社会的安全。因此，对于JPEG的取证引起了受到了研究者的广泛关注。例如，JPEG隐写分析、JPEG重压缩取证、JPEG操作历史取证。

双重压缩是JEPG重压缩中比较流行的情形。如果第一次压缩和第二次压缩之间的块离散余弦变换位置相同，压缩后的图像被称为对齐的双压缩图像。否则，压缩后的图像称为非对齐的双重压缩图像。例如，被解压缩后的JPEG图像在发生裁剪或者局部图像替换等篡改操作后重新保存为JPEG格式的图像。这种情况下发生了两次JPEG压缩，一次是被篡改之前，一次是被篡改之后，并且两次压缩之间的块离散余弦变换位置不同。图5展示了非对齐重压缩的情景。

要想重建一幅JPEG图像的操作历史，仅判断该图像是否属于非对齐的双重压缩图像是不够的。两次压缩之间DCT网格之间的偏移量也需要被估计，现有的偏移量的方法大多基于传统方法，通常需要从图像中提取丰富的特征来建立统计模型。然而，当图像尺寸较小时，可提取的有效特征的数量会减少，使得这些算法很难取得良好的性能。

发明内容

为解决上述背景技术中提到的不足，本发明的目的在于提供基于双分支网络估计非对齐重压缩图像偏移量方法及系统。

本发明的目的可以通过以下技术方案实现：基于双分支网络估计非对齐重压缩图像偏移量方法，方法包括以下步骤：

接收图像，对图像进行色彩细粒度扩展得到图像颜色通道特征，将图像颜色通道特征输入至预先建立的二阶差分层内，得到块效应特征；

将二阶差分层输入至预先建立的双分支网络内进行训练，得到训练后的二阶差分层，将块效应特征输入至训练后的二阶差分层内，提取得到水平特征和垂直特征。

优选地，所述双分支网络将水平SOD层和垂直SOD层分成双分支网络的两个分支，分别提取水平特征和垂直特征。

优选地，所述色彩细粒度对于彩色图像，Y通道会被裁剪，Cb和Cr通道也会被裁剪，Y,Cb,Cr的计算公式如下：

其中，R，G，B分别代表彩色图像的红、绿、蓝三个通道的信息，虽然YCbCr表示彩色图像，但完整的彩色图像表示法是YCbCrCg，Cg通道信息的引入扩充数据量，Cg通过Cb和Cr计算得出，计算过程如下：

Cg＝128-0.417×(Cb-128)-0.865×(Cr-128)。

优选地，所述图像颜色通道特征输入至预先建立的二阶差分层内，得到块效应特征的过程中，块效应特征的存在意味着块内的元素更相关，并且块之间的元素更不相关。

优选地，通过计算像素的LPD来检测非对齐重压缩图像，LPD的计算方法如下：

LPD(x,y)＝I(x,y)+I(x+1,y+1)-I(x,y+1)-I(x+1,y)

其中，I(x,y)代表在(x,y)位置处的像素值，I(x+1,y+1)代表在(x+1,y+1)位置处的像素值，I(x,y+1)代表在(x,y+1)位置处的像素值，I(x+1,y)代表在(x+1,y)位置处的像素值。

优选地，所述训练后的二阶差分层通过计算一阶横向差分H(x,y)和一阶纵向差分V(x,y)分别对行、列偏移量进行计算：

H(x,y)＝|I(x+1,y)-I(x,y)|

V(x,y)＝|I(x,y+1)-I(x,y)|

式中，H(x,y)一二阶横向差分，V(x,y)为一阶纵向差分。

优选地，所述训练后的二阶差分层提取得到水平特征和垂直特征如下：

计算二阶水平差分H'(x,y)和二阶垂直差分V'(x,y)，公式如下：

H'(x,y)＝|I(x+1,y)-2*I(x,y)+I(x-1,y)|

V'(x,y)＝|I(x,y+1)-2*I(x,y)+I(x,y-1)|

式中，H'(x,y)为二阶水平差分，V'(x,y)为二阶垂直差分。

第二方面，为了达到上述目的，本发明公开了基于双分支网络估计非对齐重压缩图像偏移量系统，包括：

二阶差分模块：用于接收图像，对图像进行色彩细粒度扩展得到图像颜色通道特征，将图像颜色通道特征输入至预先建立的二阶差分层内，得到块效应特征；

双分支提取模块：用于将二阶差分层输入至预先建立的双分支网络内进行训练，得到训练后的二阶差分层，将块效应特征输入至训练后的二阶差分层内，提取得到水平特征和垂直特征。

在本发明的另一方面，为了达到上述目的，公开了一种设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个所述程序被一个或多个所述处理器执行，使得一个或多个所述处理器实现如是所述的基于双分支网络估计非对齐重压缩图像偏移量方法。

在本发明的又一方面，为了达到上述目的，公开了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如上所述的基于双分支网络估计非对齐重压缩图像偏移量方法。

本发明的有益效果：

本发明通过二阶差分卷积模拟传统差分进行特征提取。然后在网络训练期间使用卷积来优化差分参数。此外，为了解决小尺寸图像的特征数量不足的问题，利用彩色图像的Cg通道丰富通道特征。该方法相比于对应的传统的估计便宜量的方法，准确率高，且更容易训练。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；

图1是本发明方法流程示意图；

图2是本发明算法总体框架示意图；

图3是本发明二阶差分层的优化过程示意图；

图4是本发明系统结构示意图；

图5是本发明非对齐重压缩示意图；

图6是本发明方法的实验效果验证图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，基于双分支网络估计非对齐重压缩图像偏移量方法，方法包括以下步骤：

接收图像，对图像进行色彩细粒度扩展得到图像颜色通道特征，将图像颜色通道特征输入至预先建立的二阶差分层内，得到块效应特征；

色彩细粒度：对于彩色图像，如果发生裁剪，不仅Y通道会被裁剪，Cb和Cr通道也会被类似地裁剪。因此，彩色图像比灰度图像包含更多的信息。虽然YCbCr可以表示彩色图像，但是完整的彩色图像的表述方法是YCbCrCg，下式展示了Y,Cb,Cr的计算方法：

其中，R，G，B分别代表彩色图像的红、绿、蓝三个通道的信息，虽然YCbCr表示彩色图像，但完整的彩色图像表示法是YCbCrCg，Cg通道信息的引入扩充数据量；

由于Cg由Cb和Cr计算，因此在数值统计方面，Cg和CbCr通道之间存在冗余。因此，以往对彩色图像的研究往往忽略了Cg通道。然而，在估计偏移量的任务中，我们关心的是裁剪留下的痕迹，而不是统计数据。由于Cb和Cr通道中存在裁剪痕迹，因此它们也存在于Cg通道中，这使得Cg通道也是反映裁剪痕迹的有效信息。下式示出了通过Cb和Cr计算Cg。

Cg＝128-0.417×(Cb-128)-0.865×(Cr-128)

二阶差分层：在JPEG压缩过程中，图像被分成8×8的块，这会给图像带来块效应。块效应的存在意味着块内的元素更相关，并且块之间的元素更不相关。基于上述特性，Chen等人通过计算像素的LPD来检测非对齐重压缩图像，LPD的计算方法如下：

LPD(x,y)＝I(x,y)+I(x+1,y+1)-I(x,y+1)-I(x+1,y)

其中，I(x,y)代表在(x,y)位置出的像素值。从上式中，我们可以看出LPD同时考虑了行和列之间的差异。

将二阶差分层输入至预先建立的双分支网络内进行训练，得到训练后的二阶差分层，将块效应特征输入至训练后的二阶差分层内，提取得到水平特征和垂直特征。

然而,在第二次JPEG压缩之前发生的随机裁剪往往是随机的，这就导致行和列之间的偏离量是独立的。因此，在估计列偏移量时应该避免行信息带来的干扰，估计行偏移量时应该避免列信息带来的干扰。Hao等人通过计算二阶横向差分H(x,y)和一阶纵向差分V(x,y)分别对行、列偏移量进行估计。

H(x,y)＝|I(x+1,y)-I(x,y)|

V(x,y)＝|I(x,y+1)-I(x,y)|

然而，一阶差分只考虑两个相邻像素之间的差异，导致在具有高图像纹理复杂度的区域中一阶差分的值较大，这在确定网格边界时带来干扰。与一阶差分相比，二阶差分克服了图像纹理信息的干扰。二阶水平差分H'(x,y)和二阶垂直差分V'(x,y)定义如下:

H'(x,y)＝|I(x+1,y)-2*I(x,y)+I(x-1,y)|

V'(x,y)＝|I(x,y+1)-2*I(x,y)+I(x,y-1)|

然而，上述三种提取特征的方法都是基于经验的人类设计。这就导致了裁剪痕迹特征的挖掘不足，限制了现有算法的精度上限。为了克服上述问题，我们使用卷积来模拟二阶差分的过程，并设计了二阶差分层。这一层可以集成到网络中，参与整体训练，通过自动优化找到差异的最优解。作为示例，如图3所示SOD层优化的过程。首先，将四个列卷积初始化为[1，-2，1]，其对应于二阶横向差分。然后，这四个卷积用于卷积四个通道的红色区域。最后，在网络训练期间不断优化列向量的参数。如图3，在n次优化之后网络自动更新差分参数。

所述双分支网络将二阶差分层纳入神经网络的训练。将水平SOD层和垂直SOD层分成网络的两个分支，分别提取水平和垂直特征。该两分支网络仅在SOD层具有不同的分支结构，并且网络的后续结构是相同的。具体网络结构下文会详细解释。

网络结构：从理论上讲，深度神经网络可以学习高维数据的复杂表示，从而从图像中提取深层信息。然而，深度卷积网络可以学习图像的语义特征，这不适合于估计偏移量的任务。浅层网络具有较小的感受野，可以通过使用更细粒度的特征信息来捕获更多的细节。因此，我们选择了一个浅层网络来设计网络，如表1所示。所提出的网络的一个分支由水平(垂直)卷积组、五个卷积层、一个全局平均池、一个全连接和一个Softmax组成。值得注意的是，在网络中不使用池化层。这是因为池化层的下采样幅度大，这可能导致具有细微差异的深度特征的消失，从而使得移位估计任务难以学习。但是，如果没有下采样操作，则会导致网络复杂度增加，最终使网络难以训练。为了平衡模型的复杂性和准确性，我们将第一个卷积核步长设置为2，以达到下采样的目的。此外，在网络的训练过程中不断优化下采样规则，从而避免了网络忽略特征图像中的裁剪痕迹。

表1双分支网络结构

损失函数：估计非对齐参数是一种8分类问题，网络的最后层使用一个SoftMax层使得网络的输出被映射到[0，1]区间。分别代表估计偏移量的概率。同时我们使用交叉熵损失函数作为损失函数，并依据该损失函数不断优化网络参数。交叉熵损失可以表示为：

其中，y

在另一方面，如图4所示，为了达到上述目的，本发明实施例公开了基于双分支网络估计非对齐重压缩图像偏移量系统，包括：

二阶差分模块：用于接收图像，对图像进行色彩细粒度扩展得到图像颜色通道特征，将图像颜色通道特征输入至预先建立的二阶差分层内，得到块效应特征；

双分支提取模块：用于将二阶差分层输入至预先建立的双分支网络内进行训练，得到训练后的二阶差分层，将块效应特征输入至训练后的二阶差分层内，提取得到水平特征和垂直特征。

基于同一种发明构思，本发明还提供一种计算机设备，该计算机设备包括包括：一个或多个处理器，以及存储器，用于存储一个或多个计算机程序；程序包括程序指令，处理器用于执行存储器存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其用于实现一条或一条以上指令，具体用于加载并执行计算机存储介质内一条或一条以上指令从而实现上述方法。

需要进一步进行说明的是，基于同一种发明构思，本发明还提供一种计算机存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法。该存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电、磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本公开的基本原理、主要特征和本公开的优点。本行业的技术人员应该了解，本公开不受上述实施例的限制，上述实施例和说明书中描述的只是说明本公开的原理，在不脱离本公开精神和范围的前提下，本公开还会有各种变化和改进，这些变化和改进都落入要求保护的本公开范围内容。