视频篡改检测方法和系统、存储介质

技术领域

本发明涉及视频处理领域，具体而言，涉及视频篡改检测方法、视频篡改检测系统以及计算机可读存储介质。

背景技术

视频篡改检测指对视频文件按照时间流顺序进行逐帧分析，检测并定位视频不连续画面出现的位点，以确定视频是否存在删除部分帧、插入部分帧以及对单帧或某区间段内帧序列加入遮蔽或修改等人为篡改行为。

现有的视频篡改检测技术虽在常规场景下有良好的表现，但依然存在以下缺点。首先，这类技术对噪声敏感，由于拍摄设备的内置处理模块会将光线变化引起的噪声扰动变得远比亮度、对比度等单一变量更加复杂，在大多数情况下，该类噪声可能造成图像全局色彩重新分布，造成该评价算法中两个指标均失效，进而引起假阳性率高。其次，仅利用结构相似度的评估方式过于单一，依靠手工设计的基于均值和方差两个图像统计值的方法的解释性差，该技术从图像中提取的信息十分有限。更为重要的是，该技术与亮度和对比度的评估有很大程度的统计来源重叠，所有引起后两者异常的因素，将直接对结构相似的评估造成影响，因而评估子模型间独立性较差。

发明内容

针对以上问题，本发明提供了一种检测视频帧异常的数字图像处理技术，并进一步提出了一种将传统数字图像处理技术与深度学习相结合的场景特征分析方案，利用图像处理技术和深度神经网络模型实现了视频完整性分析与篡改检测，具体而言：

根据本发明的一方面，提供一种视频篡改检测方法，包括：根据当前帧与其相邻帧的平均结构相似度确定所述当前帧是否可疑：若不可疑的话则所述当前帧处不存在篡改；以及若可疑的话则对所述当前帧进行伽马补偿以使其亮度与所述相邻帧的亮度之间的差值小于第一预定值，此时再根据伽马补偿后的所述当前帧与所述相邻帧的平均结构相似度确定所述当前帧处是否存在篡改。

在本发明的一些实施例中，可选地，所述方法还包括：若根据伽马补偿后的所述当前帧与所述相邻帧的平均结构相似度确定所述当前帧处存在篡改，则根据伽马补偿后的所述当前帧与所述相邻帧的场景内容相似度确定所述当前帧处是否存在篡改。

在本发明的一些实施例中，可选地，所述方法还包括：逐帧读取视频以获得各帧图像，预处理所述各帧图像并以经预处理后的图像计算帧间平均结构相似度。

在本发明的一些实施例中，可选地，所述方法包括：计算所述当前帧与所述相邻帧的平均结构相似度，所述相邻帧与其相邻的帧的平均结构相似度为第二平均结构相似度：若所述平均结构相似度与第二平均结构相似度的差值低于第二预定值则所述当前帧不可疑；以及若所述平均结构相似度与第二平均结构相似度的差值高于或者等于所述第二预定值则所述当前帧可疑。

在本发明的一些实施例中，可选地，所述方法包括：计算伽马补偿后的所述当前帧与所述相邻帧的平均结构相似度，所述相邻帧与其相邻的帧的平均结构相似度为第二平均结构相似度：若经伽马补偿后所述平均结构相似度与所述第二平均结构相似度的差值低于第三预定值则所述当前帧处不存在篡改；以及若经伽马补偿后所述平均结构相似度与所述第二平均结构相似度的差值高于或者等于所述第三预定值则所述当前帧处存在篡改。

在本发明的一些实施例中，可选地，所述方法包括：提取伽马补偿后的所述当前帧与所述相邻帧的深度特征并计算特征相似度：若所述特征相似度高于第四预定值则所述当前帧处不存在篡改；以及若所述特征相似度低于或者等于所述第四预定值则所述当前帧处存在篡改。

在本发明的一些实施例中，可选地，所述方法包括：利用神经网络提取伽马补偿后的所述当前帧与所述相邻帧的特征向量并计算所述特征向量间的余弦相似度。

在本发明的一些实施例中，可选地，所述方法包括：若所述当前帧处存在篡改，则记录所述当前帧在视频中的位置。

根据本发明的另一方面，提供一种视频篡改检测系统，其特征在于，所述系统包括差异检测单元、第一判断单元、伽马补偿单元和第二判断单元，其中：所述差异检测单元被配置成确定当前帧与其相邻帧的第一平均结构相似度以及伽马补偿后的所述当前帧与所述相邻帧的第三平均结构相似度；所述第一判断单元被配置成根据所述第一平均结构相似度确定所述当前帧是否可疑，其中：若不可疑的话则所述当前帧处不存在篡改，若可疑的话则交由所述伽马补偿单元处理；所述伽马补偿单元被配置成对所述当前帧进行伽马补偿以使其亮度与所述相邻帧的亮度之间的差值小于第一预定值；以及所述第二判断单元被配置成根据所述第三平均结构相似度确定所述当前帧处是否存在篡改。

在本发明的一些实施例中，可选地，所述系统还包括：相似度确定单元、第三判断单元，其中：所述第二判断单元还配置成若确定所述当前帧处存在篡改则交由所述相似度确定单元处理；所述相似度确定单元被配置成根据伽马补偿后的所述当前帧与所述相邻帧的场景内容相似度；以及所述第三判断单元被配置成根据所述场景内容相似度确定所述当前帧处是否存在篡改。

在本发明的一些实施例中，可选地，所述系统还包括预处理单元，其配置成逐帧读取视频以获得各帧图像并且预处理所述各帧图像；其中，所述差异检测单元被配置成以经预处理后的图像计算帧间平均结构相似度。

在本发明的一些实施例中，可选地，所述相邻帧与其相邻的帧的平均结构相似度为第二平均结构相似度；并且所述第一判断单元被配置成在所述平均结构相似度与第二平均结构相似度的差值低于第二预定值时判定所述当前帧不可疑，在所述平均结构相似度与第二平均结构相似度的差值高于或者等于所述第二预定值时判定所述当前帧可疑。

在本发明的一些实施例中，可选地，所述相邻帧与其相邻的帧的平均结构相似度为第二平均结构相似度；并且所述第二判断单元被配置成在所述第三平均结构相似度与第二平均结构相似度的差值低于第三预定值时判定所述当前帧处不存在篡改，在所述第三平均结构相似度与第二平均结构相似度的差值高于或者等于所述第三预定值时判定所述当前帧处存在篡改。

在本发明的一些实施例中，可选地，所述相似度确定单元被配置成提取伽马补偿后的所述当前帧与所述相邻帧的深度特征并计算特征相似度；并且所述第三判断单元被配置成在所述特征相似度高于第四预定值时判定所述当前帧处不存在篡改，在所述特征相似度低于或者等于所述第四预定值时判定所述当前帧处存在篡改。

在本发明的一些实施例中，可选地，所述第三判断单元被配置成利用神经网络提取伽马补偿后的所述当前帧与所述相邻帧的特征向量并计算所述特征向量间的余弦相似度。

在本发明的一些实施例中，可选地，所述系统还包括记录单元，其配置成若所述当前帧处存在篡改，则记录所述当前帧在视频中的位置。

根据本发明的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种方法。

附图说明

从结合附图的以下详细说明中，将会使本发明的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。

图1示出了根据本发明的一个实施例的视频篡改检测方法。

图2示出了根据本发明的一个实施例的视频篡改检测方法。

图3示出了根据本发明的一个实施例的视频篡改检测系统。

图4示出了根据本发明的一个实施例的视频篡改检测系统。

图5示出了根据本发明的一个实施例的视频篡改检测原理。

图6示出了根据本发明的一个实施例的视频篡改检测原理。

具体实施方式

出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的视频篡改检测方法、视频篡改检测系统以及计算机可读存储介质，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本申请的真实精神和范围。

传统方案中利用相邻帧间平均结构相似度(Mean Structural SimilarityIndex，MSSIM)来衡量相邻两帧是否为相似连续场景，进而判定前后相邻两帧是否具有连续性。这一检验方法基于以下假设：视频拍摄环境中，镜头与场景的相对移动速度在一定范围内、视频拍摄帧率在正常范围内(通常帧率要求在10及以上)、环境光线噪声扰动在一定范围内(常见的光线噪声包括光线条件剧烈变化造成的图像色彩分布异常、像素异常值噪点等)。MSSIM算法将两张图像的相似度分为三个指标进行衡量，分别为：亮度相似度、对比度相似度以及结构相似度，并将三个指标通过关于图像像素均值、方差的关系式进行量化加权评估，最终得到相似度综合评分，该评分值在0到1之间，数值越接近1则表示图像更相似，反之则表示图像差异越大。通常该方法阈值的选取依据部分数据的先验经验，即从实际应用场景中采集样本，统计相邻帧与非相邻帧间MSSIM值，选取的阈值满足相邻帧MSSIM值、非相邻帧MSSIM值与该阈值差值绝对值最大。

如图5所示，在图5A中正常无篡改的视频包括了1-5号帧，图5B中示出了插入篡改帧6号帧，图5C中示出了将3号帧删除(这可能导致2号帧与4号帧的场景不连续)，图5D中示出了将3号帧修改(这也可能导致2号帧与4号帧的场景不连续)。图5B-图5D示出了三种可能的视频篡改情形。

根据本发明的一方面，提供一种视频篡改检测方法。如图1所示，方法包括如下步骤。在步骤S102中可以根据当前帧与其相邻帧的平均结构相似度确定当前帧是否可疑，若不可疑的话则当前帧处不存在篡改，若可疑的话则进入下一个处理步骤。在本发明中，当前帧是当前要判断的对象，用于判断其是否存在篡改等异常。当前帧的相邻帧为其前和/或后的一帧或者数帧，一般而言相邻帧为相邻的前面一帧，还可以为相邻的前后一帧或者可以为相邻的前后N帧(N＞1)。当前帧与相邻帧的平均结构相似度是判断的依据，例如，若当前帧与相邻帧的平均结构相似度保持在合理的水平则认为当前帧中不存在篡改等异常，亦即认定当前帧不可疑；反之，则认为当前帧可疑。需要说明的是，相邻帧以及下文将详细描述的其相邻的帧(非当前帧)是正常视频帧(即其不是经过篡改的)。

又由于可以选取前后一帧或者数帧作为相邻帧，本发明中的当前帧与其相邻帧的平均结构相似度指代当前帧与相邻帧中任意一者的平均结构相似度，并且上下文中计算等过程也是针对相邻帧中的任意一者的。因而在一些示例中，当前帧与相邻帧中任意一者的平均结构相似度超出合理的水平则认为当前帧中可能存在篡改等异常；在其他一些示例中，当前帧与相邻数帧中的一些的平均结构相似度可能超出合理的水平，与另一些的平均结构相似度可能保持在合理的水平，尽管针对相邻数帧中的一些而言当前帧是可疑的，但仅当超出合理的水平所对应的相邻帧数超过预定数量时才认定当前帧中可能存在篡改等异常。

在其他一些示例中，相邻帧为前面一帧，若当前帧与前面一帧的平均结构相似度超过合理水平即认为当前帧中可能存在篡改等异常。在本发明的一些实施例中，根据当前帧与其相邻帧的平均结构相似度确定当前帧是否可疑具体包括：计算当前帧的平均结构相似度与相邻帧的平均结构相似度，设相邻帧与其相邻的帧(非当前帧)的平均结构相似度为第二平均结构相似度，若平均结构相似度与第二平均结构相似度的差值低于第二预定值则当前帧不可疑，若差值高于或者等于第二预定值则当前帧可疑。需要说明的是，若第二平均结构相似度不是事先计算的，该步骤中可以对其进行现场计算。

平均结构相似度目前被广泛应用于计算机视觉任务中重建图像质量评估，其在一定程度上可反应两幅图像的相似度。平均结构相似度把两幅图像的相似性按三个维度进行比较：亮度、对比度和结构。结构相似度(SSIM，Structural Similarity Index)将图像区域x、y按三个维度进行比较：亮度l(x，y)、对比度c(x，y)和结构s(x，y)：

SSIM(x，y)＝[l(x，y)]

平均结构相似度是两幅图像分块后对应区域的SSIM加权平均和：

上式(1)和(2)中，α、β、γ分别为三个量化值所占比重，M为分块数量，对于l(x，y)，c(x，y)，s(x，y)分别定义如下：

其中，μ

进行结构相似度检测前，先根据心理学原理公式对输入帧进行灰度化操作，即将原先的RGB三个通道值加权求和作为灰度值，即：

Gray＝0.2989R+0.5870G+0.1140B (6)

在此基础上，求取相邻两帧灰度图像的MSSIM值，并计算相邻两个MSSIM值间绝对差值(本发明中平均结构相似度(包括经伽马补偿后的)与第二平均结构相似度的差值一律视为二者间的绝对差值)。该绝对差值数值在0到1之间，数值越接近0，说明MSSIM值越平稳，意味着帧间变化不大，可认为相邻帧在时间上具有连续性；数值越接近1，说明MSSIM越波动，意味着帧间可能存在着场景的跳变，应当将其标记为可疑帧进行下一步处理。该判定阈值的选择可根据实际需求场景灵活调整，设置方案包括但不限于在实际场景中构建正负样本并求正负样本间该值平均值的方式。

在下一个处理步骤S104中可以对当前帧进行伽马补偿以使其亮度与相邻帧的亮度之间的差值小于第一预定值，也可以使得二者相同(亦即差值为0)，此时再根据伽马补偿后的当前帧与相邻帧的平均结构相似度确定当前帧处是否存在篡改。

伽马补偿机制的引入是为了对上一步骤S102中因环境光照改变和拍摄设备内置适应性处理模块引起的图像色彩属性改变而产生的假阳性进行过滤筛除。这一光照补偿机制是通过Gamma校正实现的。Gamma校正是一种非线性变换，其变换式如下，

f(I)＝I

其中，I为图像像素值，γ为变换因子。这一公式可实现对输入图像灰度值的指数变换，从而矫正亮度偏差。通常情况下，γ值大于1时，图像的高光部分被压缩，而暗调部分被扩展；相反地，γ值小于1时，图像的高光部分被扩展而暗调部分被压缩。

在本发明的一些实施例中，方法还包括：计算伽马补偿后的当前帧与相邻帧的平均结构相似度，设相邻帧与其相邻的帧(非当前帧)的平均结构相似度为第二平均结构相似度，若经伽马补偿后所述平均结构相似度与所述第二平均结构相似度的差值低于第三预定值则当前帧处不存在篡改，若差值高于或者等于第三预定值则当前帧处存在篡改。需要说明的是，若第二平均结构相似度不是事先计算的，该步骤中可以对其进行现场计算。本发明中虽然记载了第二预定值、第三预定值，但是它们在数值选取上也可能是一致的。

处理来自步骤S102中的不同可疑帧时，γ值可根据具体情况自适应选取，以保证变换后相邻两帧的平均亮度之间的差值小于预设值或者保持一致。校正后再次计算MSSIM值，并替换先前此处MSSIM值重新进行异常检测，若此修正值处低于阈值，则认为相邻帧在时间上具有连续性，步骤S102中篡改检测为假阳性；若此修正值仍高于阈值，很大程度上说明，此处异常值不是由于图像色彩属性变化而引起，应当将其标记为存在篡改，或者标记为高度可疑帧进行如下文将详细描述的下一步处理。

以上示例中整合了MSSIM算法、光照补偿等，其采用Gamma校正的方式对可疑帧进行自适应光照补偿，其可有效抑制各类环境光照引起的MSSIM值异常，使得单纯依赖MSSIM算法而出现的假阳性情况大幅减少，避免不必要的人工核查成本。

在本发明的一些实施例中，如图2所示，方法还包括步骤S 106，若根据伽马补偿后的当前帧与相邻帧的平均结构相似度确定当前帧处存在篡改(或者如上文所说已标记为高度可疑帧)，则在步骤S106中还根据伽马补偿后的当前帧与相邻帧的场景内容相似度确定当前帧处是否存在篡改。例如，若相邻两帧的场景内容相似度较高，即表明相邻两帧内容相似度高，因而当前帧可能不是篡改的。两帧之间的场景内容相似度例如可以基于孪生网络法、余弦距离法等来确定。

在本发明的一些实施例中，场景内容相似度表现为深度特征的特征相似度，方法包括：可以利用特征提取器等提取伽马补偿后的当前帧与相邻帧的深度特征并计算特征相似度，若特征相似度高于第四预定值则视为因光照条件剧烈变化而导致的对正产帧的误判，当前帧处不存在篡改，若特征相似度低于或者等于第四预定值则视为该帧处不连续，当前帧处存在篡改。本发明中的特征提取器可以是一类特殊的图像编码器，可由手工设计或卷积神经网络实现，当输入一副图像时可将其以具有特定维度的向量或向量组的表述形式。本发明中的深度特征特可以是由图像经卷积神经网络前向运算过程而产生的可有效表征图像主要特点的具有一定维度的向量或矩阵。

在本发明的一些实施例中，深度特征表现为特征向量，特征相似度表现为余弦相似度，方法包括：可以利用神经网络提取伽马补偿后的当前帧与相邻帧的特征向量并计算特征向量间的余弦相似度。上文中在步骤S102、S104分别实现了异常帧的初步筛查和假阳性异常的过滤，此处，在步骤S106中可以进一步从图像内容上对相邻帧进行相似度分析。此时，内容相似度对比可以是藉由卷积神经网络ResNet50(Deep residual network)实现的。

原始ResNet50网络结构包含50层网络结构，分为卷积层和全连接层。其中，1-49层为卷积层，最后一层为全连接层，用以实现指定类别数的分类功能。理论证明，在神经网络的训练过程中，通过学习，网络的卷积层可有效提取输入图像的特征，这一特征与图像中主要特征物的类别属性具有强关联，这表明，该特征可以作为输入图像的一个特殊编码，使得包含不同内容的图像间的编码有较大差异，而包含相同内容的图像间的编码差异较小。

为利用此卷积神经网络，可以首先在公开分类数据集上(ImageNet等)训练ResNet50模型，此时输出为b*1*1000的张量，其中b为批处理中单批输入图像数量。损失函数为：

完成训练后剔除ResNet50的全连接层，将其改造成图6的结构，使得其成为一个图像编码器，编码器的输出为2048维度向量，通过计算不同图像编码e

以上示例中整合MSSIM算法、光照补偿、深度内容分析等，通过引入基于卷积神经网络的特征分析方法，以在大规模公开数据集上训练的ResNet50作为特征编码器，通过计算相邻帧经过此编码器的编码向量间的余弦相似度来分析两帧在内容上的相似度，实现了从深度特征的角度对前两阶段的结果验证，且该模块具有独立性的优势，在不同的应用场景可通过构造针对性数据集对模型进行精调从而进一步提升其性能。

在本发明的一些实施例中，方法还包括：逐帧读取视频以获得各帧图像，预处理各帧图像并以经预处理后的图像计算帧间平均结构相似度等后续数据。本发明的预处理是指对从视频流中抽取的各帧图像进行处理，使得处理后的图像适于进行后续的计算，并且不对各帧图像中参与后续计算的特征产生影响。

在本发明的一些实施例中，方法包括：若当前帧处存在篡改，则记录当前帧在视频中的位置，例如，记录帧数(图5B中的6号帧、图5C中的3号帧、图5D中的3’号帧)，并且还可以记录这些帧的图像。

根据本发明的另一方面，提供一种视频篡改检测系统。如图3所示，系统30包括差异检测单元302、第一判断单元304、伽马补偿单元306和第二判断单元308。

差异检测单元302被配置成确定当前帧与其相邻帧的第一平均结构相似度以及经伽马补偿单元306伽马补偿后的当前帧与相邻帧的第三平均结构相似度。

第一判断单元304被配置成根据第一平均结构相似度确定当前帧是否可疑，其中：若不可疑的话则当前帧处不存在篡改，若可疑的话则交由伽马补偿单元306处理。在本发明中，当前帧是当前要判断的对象，用于判断其是否存在篡改等异常。当前帧的相邻帧为其前和/或后的一帧或者数帧，一般而言相邻帧为相邻的前面一帧，还可以为相邻的前后一帧或者可以为相邻的前后N帧(N＞1)。当前帧与相邻帧的平均结构相似度(若无特别说明则指代第一或者第三平均结构相似度，下同)是判断的依据，例如，若当前帧与相邻帧的平均结构相似度保持在合理的水平则认为当前帧中不存在篡改等异常，亦即认定当前帧不可疑；反之，则认为当前帧可疑。需要说明的是，相邻帧以及下文将详细描述的其相邻的帧(非当前帧)是正常视频帧(即其不是经过篡改的)。

又由于可以选取前后一帧或者数帧作为相邻帧，本发明中的当前帧与其相邻帧的平均结构相似度指代当前帧与相邻帧中任意一者的平均结构相似度，并且上下文中计算等过程也是针对相邻帧中的任意一者的。因而在一些示例中，当前帧与相邻帧中任意一者的平均结构相似度超出合理的水平则认为当前帧中可能存在篡改等异常；在其他一些示例中，当前帧与相邻数帧中的一些的平均结构相似度可能超出合理的水平，与另一些的平均结构相似度可能保持在合理的水平，尽管针对相邻数帧中的一些而言当前帧是可疑的，但仅当超出合理的水平所对应的相邻帧数超过预定数量时才认定当前帧中可能存在篡改等异常。

在其他一些示例中，相邻帧为前面一帧，若当前帧与前面一帧的平均结构相似度超过合理水平即认为当前帧中可能存在篡改等异常。在本发明的一些实施例中，设相邻帧与其相邻的帧(非当前帧)的平均结构相似度为第二平均结构相似度，第一判断单元304被配置成在第一平均结构相似度与第二平均结构相似度的差值低于第二预定值时判定当前帧不可疑，在差值高于或者等于第二预定值时判定当前帧可疑。需要说明的是，若第二平均结构相似度不是事先计算的，差异检测单元302可以对其进行现场计算。

平均结构相似度目前被广泛应用于计算机视觉任务中重建图像质量评估，其在一定程度上可反应两幅图像的相似度。平均结构相似度把两幅图像的相似性按三个维度进行比较：亮度、对比度和结构。结构相似度将图像区域x、y按三个维度进行比较：亮度l(x，y)、对比度c(x，y)和结构s(x，y)：

SSIM(x，y)＝[1(x，y)]

平均结构相似度是两幅图像分块后对应区域的SSIM加权平均和：

上式(1)和(2)中，α、β、γ分别为三个量化值所占比重，M为分块数量，对于l(x，y)，c(x，y)，s(x，y)分别定义如下：

其中，μ

进行结构相似度检测前，先根据心理学原理公式对输入帧进行灰度化操作，即将原先的RGB三个通道值加权求和作为灰度值，即：

Gray＝0.2989R+0.5870G+0.1140B (6)

在此基础上，差异检测单元302可以求取相邻两帧灰度图像的MSSIM值，第一判断单元304可以计算相邻两个MSSIM值间绝对差值(本发明中第一(或第三)平均结构相似度与第二平均结构相似度的差值一律视为二者间的绝对差值)。该绝对差值数值在0到1之间，数值越接近0，说明MSSIM值越平稳，意味着帧间变化不大，可认为相邻帧在时间上具有连续性；数值越接近1，说明MSSIM越波动，意味着帧间可能存在着场景的跳变，应当将其标记为可疑帧进行下一步处理。该判定阈值的选择可根据实际需求场景灵活调整，设置方案包括但不限于在实际场景中构建正负样本并求正负样本间该值平均值的方式。

伽马补偿单元306被配置成对当前帧进行伽马补偿以使其亮度与相邻帧的亮度之间的差值小于第一预定值，也可以使得二者相同(亦即差值为0)，第二判断单元308被配置成根据第三平均结构相似度确定当前帧处是否存在篡改。

伽马补偿机制的引入是为了对因环境光照改变和拍摄设备内置适应性处理模块引起的图像色彩属性改变而产生的假阳性进行过滤筛除。这一光照补偿机制是通过Gamma校正实现的。Gamma校正是一种非线性变换，其变换式如下，

f(I)＝I

其中，I为图像像素值，γ为变换因子。这一公式可实现对输入图像灰度值的指数变换，从而矫正亮度偏差。通常情况下，γ值大于1时，图像的高光部分被压缩，而暗调部分被扩展；相反地，γ值小于1时，图像的高光部分被扩展而暗调部分被压缩。

在本发明的一些实施例中，设相邻帧与其相邻的帧(非当前帧)的平均结构相似度为第二平均结构相似度，第二判断单元308被配置成在第三平均结构相似度与第二平均结构相似度的差值低于第三预定值时判定当前帧处不存在篡改，在差值高于或者等于第三预定值时判定当前帧处存在篡改。需要说明的是，若第二平均结构相似度不是事先计算的，差异检测单元302可以对其进行现场计算。本发明中虽然记载了第二预定值、第三预定值，但是它们在数值选取上也可能是一致的。

处理不同可疑帧时，γ值可根据具体情况自适应选取，以保证变换后相邻两帧的平均亮度之间的差值小于预设值或者保持一致。校正后再次计算MSSIM值，并替换先前此处MSSIM值重新进行异常检测，若此修正值处低于阈值，则认为相邻帧在时间上具有连续性，第一判断单元304的篡改检测为假阳性；若此修正值仍高于阈值，很大程度上说明，此处异常值不是由于图像色彩属性变化而引起，应当由第二判断单元308将其标记为存在篡改，或者标记为高度可疑帧进行如下文将详细描述的下一步处理。

以上示例中整合了MSSIM算法、光照补偿等，其采用Gamma校正的方式对可疑帧进行自适应光照补偿，其可有效抑制各类环境光照引起的MSSIM值异常，使得单纯依赖MSSIM算法而出现的假阳性情况大幅减少，避免不必要的人工核查成本。

在本发明的一些实施例中，如图4所示，系统40还包括相似度确定单元310、第三判断单元312。第二判断单元308还配置成若确定当前帧处存在篡改(或者如上文所说已标记为高度可疑帧)则交由相似度确定单元310处理，相似度确定单元310被配置成根据伽马补偿后的当前帧与相邻帧的场景内容相似度，第三判断单元312被配置成根据场景内容相似度确定当前帧处是否存在篡改。例如，若相邻两帧的场景内容相似度较高，即表明相邻两帧内容相似度高，因而当前帧可能不是篡改的。两帧之间的场景内容相似度例如可以基于孪生网络法、余弦距离法等来确定。

在本发明的一些实施例中，场景内容相似度表现为深度特征的特征相似度，可以实现为特征提取器等的相似度确定单元310被配置成提取伽马补偿后的当前帧与相邻帧的深度特征并计算特征相似度，第三判断单元312被配置成在特征相似度高于第四预定值时，视为因光照条件剧烈变化而导致的对正产帧的误判，判定当前帧处不存在篡改，在特征相似度低于或者等于第四预定值时，视为该帧处不连续，判定当前帧处存在篡改。本发明中的特征提取器可以是一类特殊的图像编码器，可由手工设计或卷积神经网络实现，当输入一副图像时可将其以具有特定维度的向量或向量组的表述形式。本发明中的深度特征特可以是由图像经卷积神经网络前向运算过程而产生的可有效表征图像主要特点的具有一定维度的向量或矩阵。

在本发明的一些实施例中，深度特征表现为特征向量，特征相似度表现为余弦相似度，第三判断单元312被配置成利用神经网络提取伽马补偿后的当前帧与相邻帧的特征向量并计算特征向量间的余弦相似度。上文中第一判断单元304、第二判断单元308分别实现了异常帧的初步筛查和假阳性异常的过滤，此处，第三判断单元312可以进一步从图像内容上对相邻帧进行相似度分析。此时，内容相似度对比可以是藉由卷积神经网络ResNet50(Deep residual network)实现的。

原始ResNet50网络结构包含50层网络结构，分为卷积层和全连接层。其中，1-49层为卷积层，最后一层为全连接层，用以实现指定类别数的分类功能。理论证明，在神经网络的训练过程中，通过学习，网络的卷积层可有效提取输入图像的特征，这一特征与图像中主要特征物的类别属性具有强关联，这表明，该特征可以作为输入图像的一个特殊编码，使得包含不同内容的图像间的编码有较大差异，而包含相同内容的图像间的编码差异较小。

为利用此卷积神经网络，可以首先在公开分类数据集上(ImageNet等)训练ResNet50模型，此时输出为b*1*1000的张量，其中b为批处理中单批输入图像数量。损失函数为：

完成训练后剔除ResNet50的全连接层，将其改造成图6的结构，使得其成为一个图像编码器，编码器的输出为2048维度向量，通过计算不同图像编码e

以上示例中整合MSSIM算法、光照补偿、深度内容分析等，通过引入基于卷积神经网络的特征分析方法，以在大规模公开数据集上训练的ResNet50作为特征编码器，通过计算相邻帧经过此编码器的编码向量间的余弦相似度来分析两帧在内容上的相似度，实现了从深度特征的角度对前两阶段的结果验证，且该模块具有独立性的优势，在不同的应用场景可通过构造针对性数据集对模型进行精调从而进一步提升其性能。

在本发明的一些实施例中，系统30或系统40还包括预处理单元(图中未示出)，其配置成逐帧读取视频以获得各帧图像并且预处理各帧图像；其中，差异检测单元302被配置成以经预处理后的图像计算第一平均结构相似度等帧间平均结构相似度。本发明的预处理是指对从视频流中抽取的各帧图像进行处理，使得处理后的图像适于进行后续的计算，并且不对各帧图像中参与后续计算的特征产生影响。

在本发明的一些实施例中，系统30或系统40还包括记录单元(图中未示出)，其配置成若当前帧处存在篡改，则记录当前帧在视频中的位置，例如，记录帧数(图5B中的6号帧、图5C中的3号帧、图5D中的3’号帧)，并且还可以记录这些帧的图像。

根据本发明的另一方面，提供一种计算机可读存储介质，其中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种视频篡改检测方法。本发明中所称的计算机可读介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读介质可以包括RAM、ROM、EPROM、E