掌桥专利:专业的专利平台
掌桥专利
首页

图像真伪检测方法、装置、计算机设备和存储介质

文献发布时间:2023-06-19 11:29:13


图像真伪检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术和图像处理技术领域,特别是涉及一种图像真伪检测方法、装置、计算机设备和存储介质。

背景技术

随着科学技术特别是图像处理技术的飞速发展,为人们的生活带来很多便利的同时,也逐渐出现了通过图像篡改或图像合成等方式制作伪造的图像,来谋取利益或制造虚假新闻等犯罪方式。例如:通过使用合成的人脸视频来恶意使用他人身份进行身份认证来注册软件。因此,为了保障人们的人身、财产、以及信誉等方面的安全,对图像的真伪进行检测非常重要。

传统方法中,一般是提取图像内容相关的特征来进行图像真伪的检测。然而,图像内容相关的特征容易受到图像背景变化、图像光照变化、图像内容遮挡或人脸表情动作等方面的影响,难以保证检测方法具有较高的鲁棒性,导致检测结果不够准确。

发明内容

基于此,有必要针对上述技术问题,提供一种能够提高准确性的图像真伪检测方法、装置、计算机设备和存储介质。

一种图像真伪检测方法,所述方法包括:

获取待检测图像;

去除所述待检测图像中的低频信息,得到第一图像信息;

对所述第一图像信息进行降噪处理,得到降噪后的第二图像信息;

根据所述第一图像信息与所述第二图像信息之间的差异,得到与所述待检测图像对应的固有模式噪声特征图;

分析所述固有模式噪声特征图中固有模式噪声的分布情况,并根据所述分布情况对所述待检测图像进行真伪识别,得到所述待检测图像的真伪检测结果。

一种图像真伪检测装置,所述装置包括:

图像获取模块,用于获取待检测图像;

高频信息获取模块,用于去除所述待检测图像中的低频信息,得到第一图像信息;

降噪模块,用于对所述第一图像信息进行降噪处理,得到降噪后的第二图像信息;

模式噪声确定模块,用于根据所述第一图像信息与所述第二图像信息之间的差异,得到与所述待检测图像对应的固有模式噪声特征图;

真伪识别模块,用于分析所述固有模式噪声特征图中固有模式噪声的分布情况,并根据所述分布情况对所述待检测图像进行真伪识别,得到所述待检测图像的真伪检测结果。

在其中一个实施例中,所述第一图像信息包括所述待检测图像在小波域下的各方向的高频分量的小波系数;所述高频信息获取模块还用于对空间域下的所述待检测图像进行小波变换,将所述待检测图像分解为小波域下的低频分量和多个方向的高频分量;将所述低频分量的小波系数置零,得到各方向的所述高频分量的小波系数。

在其中一个实施例中,所述第二图像信息包括所述待检测图像在小波域下各方向的高频分量对应的高频降噪小波系数;

所述降噪模块还用于对各方向的所述高频分量的小波系数进行降噪处理,得到各方向的所述高频分量对应的高频降噪小波系数;

所述模式噪声确定模块还用于根据对应于同一方向的所述高频分量的小波系数与所述高频降噪小波系数之间的差异,得到各方向的所述高频分量对应的高频噪声小波系数;根据置零的所述低频分量的小波系数、以及各方向的所述高频分量对应的高频噪声小波系数进行逆小波变换,得到与所述待检测图像对应的固有模式噪声特征图。

在其中一个实施例中,所述高频信息获取模块还用于对空间域下的所述待检测图像进行多尺度小波变换,将所述待检测图像分解为低频分量和各尺度下的高频分量;同一尺度下的高频分量包括多个方向的高频分量;

所述模式噪声确定模块还用于根据置零的所述低频分量的小波系数、以及各所述尺度下各方向的所述高频分量对应的高频噪声小波系数进行逆小波变换,得到与所述待检测图像对应的固有模式噪声特征图。

在其中一个实施例中,所述降噪模块还用于估计各方向的所述高频分量中的非噪声信息的局部方差;针对每个方向的所述高频分量,根据所述高频分量中的非噪声信息的局部方差,对所述高频分量的小波系数进行降噪滤波,得到各方向的所述高频分量对应的高频降噪小波系数。

在其中一个实施例中,所述降噪模块还用于针对每个方向的所述高频分量,通过多个不同尺寸的窗口,基于所述高频分量进行滤波处理,得到所述高频分量在各所述窗口下分别对应的滤波结果;根据同一窗口对应的滤波结果与预设噪声方差之间的差异,确定所述高频分量中的非噪声信息在各个所述窗口下分别对应的初始局部方差;从各个所述初始局部方差中,选取所述高频分量中的非噪声信息的最终的局部方差。

在其中一个实施例中,所述真伪识别模块还用于将所述固有模式噪声特征图输入至预先训练的真伪检测模型中;通过所述真伪检测模型分析所述固有模式噪声特征图中固有模式噪声的分布情况,并根据所述分布情况对所述待检测图像进行真伪识别,得到所述待检测图像的真伪检测结果。

在其中一个实施例中,所述图像真伪检测装置还包括:

模型训练模块,用于获取样本图像和所述样本图像对应的真伪标签;对所述样本图像进行固有模式噪声提取,得到样本固有模式噪声特征图;将所述样本固有模式噪声特征图输入至待训练的真伪检测模型中,通过所述真伪检测模型分析所述样本固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对所述样本固有模式噪声特征图所对应的样本图像进行真伪识别,得到所述样本图像的真伪检测结果;根据所述样本图像的真伪检测结果与对应于所述样本图像的所述真伪标签之间的差异,迭代地调整所述待训练的真伪检测模型的模型参数,直至满足迭代停止条件,得到训练完成的真伪检测模型。

在其中一个实施例中,所述模型训练模块还用于去除所述样本图像中的低频信息,得到样本高频信息;对所述样本高频信息进行降噪处理,得到降噪后的样本去噪信息;根据所述样本高频信息与所述样本去噪信息之间的差异,得到与所述样本图像对应的样本固有模式噪声特征图。

在其中一个实施例中,所述模型训练模块还用于获取携带真伪标签的样本视频;对所述样本视频进行采样,得到所述样本视频对应的多个样本视频帧;按照预设尺寸裁剪各所述样本视频帧,得到样本图像,并将所述样本图像来源于的样本视频所携带的真伪标签,作为所述样本图像对应的真伪标签。

在其中一个实施例中,所述模型训练模块还用于针对每个所述样本视频,若指定的采样帧数大于或等于所述样本视频的总帧数,将所述样本视频中的各帧作为样本视频帧;若指定的采样帧数小于所述样本视频的总帧数,根据所述总帧数和所述采样帧数确定采样间隔,并按照所述采样间隔从所述样本视频中提取样本视频帧。

在其中一个实施例中,所述真伪识别模块还用于若所述分布情况符合真实图像的固有模式噪声分布,则识别所述待检测图像为真实图像;若所述分布情况与预设的伪造类型的固有模式噪声分布相符合,则根据相符合的固有模式噪声分布所对应的伪造类型,将所述待检测图像识别为所述伪造类型的伪造图像。

一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行本申请各实施例所述的图像真伪检测方法中的步骤。

一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行本申请各实施例所述的图像真伪检测方法中的步骤。

一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得所述计算机设备执行本申请各实施例所述的图像真伪检测方法中的步骤。

上述图像真伪检测方法、装置、计算机设备和存储介质,去除待检测图像中的低频信息,得到第一图像信息,然后对第一图像信息进行降噪处理,得到降噪后的第二图像信息,并根据第一图像信息与第二图像信息之间的差异,得到与待检测图像对应的固有模式噪声特征图,由于固有模式噪声特征图中的固有模式噪声是由相机传感器带来的固有的噪声,不受图像内容干扰,所以真实图像与伪造图像中的模式噪声分布情况具有区别,且不会受到图像内容的干扰而难以辨别,因此,分析固有模式噪声特征图中固有模式噪声的分布情况,能够得到待检测图像的准确的真伪检测结果,提高了真伪检测结果的准确性。

附图说明

图1为一个实施例中图像真伪检测方法的应用环境图;

图2为一个实施例中图像真伪检测方法的流程示意图;

图3为一个实施例中相机拍摄过程中引入模式噪声的原理示意图;

图4为一个实施例中提取固有模式噪声特征图的整体流程示意图;

图5为一个实施例中卷积神经网络的网络架构示意图;

图6为一个实施例中对待检测图像进行真伪识别的整体流程示意图;

图7为一个实施例中模型训练步骤的整体流程示意图;

图8为一个实施例中图像真伪检测装置的结构框图;

图9为另一个实施例中图像真伪检测装置的结构框图;

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本申请提供的图像真伪检测方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一个实施例中,用户可以使用终端102输入待检测图像,终端102可以将待检测图像发送至服务器104。服务器104可以执行本申请各实施例中的图像真伪检测方法,得到待检测图像的真伪检测结果。服务器104可以根据真伪检测结果,确定是否对待检测图像进行进一步处理,并将处理结果返回至终端102。例如:待检测图像为人脸图像,若真伪检测结果为待检测图像是真实图像,则服务器104可以对该待检测图像进行人脸识别,并将识别结果返回至终端102,若真伪检测结果为待检测图像是伪造图像,则服务器104可以不进行人脸识别,并将待检测图像是伪造图像的结果返回至终端102。

在一个实施例中,本申请各实施例中的图像真伪检测方法可以采用人工智能领域的机器学习方法来实现。比如:分析固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对待检测图像进行真伪识别,得到待检测图像的真伪检测结果的步骤,可以采用机器学习方法来实现。

人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

在一个实施例中,本申请各实施例中的图像真伪检测方法还涉及计算机视觉技术。例如:去除待检测图像中的低频信息,得到第一图像信息,对第一图像信息进行降噪处理,得到降噪后的第二图像信息,以及根据第一图像信息与第二图像信息之间的差异,得到与待检测图像对应的固有模式噪声特征图等步骤,均涉及计算机视觉技术。

计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。

在一个实施例中,本申请各实施例中的图像真伪检测方法还可以涉及区块链技术。例如:执行本申请各实施例中的图像真伪检测方法的服务器或终端可以是区块链系统中的一个节点。

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

在一个实施例中,如图2所示,提供了一种图像真伪检测方法,该图像真伪检测方法可以由服务器或终端执行,也可以由终端和服务器共同执行,本申请实施例以该方法应用于图1中的服务器为例进行说明,包括以下步骤:

步骤202,获取待检测图像。

其中,待检测图像,是需要检测真伪的图像。

在一个实施例中,待检测图像可以是人脸图像,即,包含人脸的图像。在其他实施例中,待检测图像还可以是包含其他内容的图像,比如:人物图像、物体图像或风景图像等,凡是需要检测真伪的图像均可作为待检测图像,不做限定。

在一个实施例中,待检测图像可以是从待检测视频中提取的图像。在一个实施例中,服务器可以对待检测视频进行采样,得到多个视频帧,服务器可以将多个视频帧作为多个待检测图像,对各个待检测图像分别执行本申请各实施例中的方法,从而得到各个待检测图像的真伪检测结果。在另一个实施例中,服务器可以从待检测视频中提取一帧图像作为待检测图像,对该待检测图像执行本申请各实施例中的方法,从而得到该待检测图像的真伪检测结果。

在一个实施例中,服务器可以先按照预设尺寸,对待检测图像进行裁剪,再根据裁剪后的待检测图像,执行步骤204及后续步骤。

在一个实施例中,服务器可以按照预设尺寸,对待检测图像进行中心裁剪。其中,中心裁剪,是以待检测图像的中心为裁剪后的图像的中心,对待检测图像进行裁剪的处理。

具体地,服务器可以以待检测图像的中心作为裁剪后的图像的中心,从待检测图像中裁剪出符合预设尺寸的裁剪后的待检测图像。例如:假设预设尺寸为[224,224],则服务器可以以待检测图像的中心,分别在上下左右四个方向上距中心112尺寸的位置处进行裁剪,裁剪出的以待检测图像的中心为中心,且尺寸为[224,224]的图像即为裁剪后的待检测图像。可以理解,若待检测图像为多通道图像,则预设尺寸会多一个通道数量的维度,比如,待检测图像为三通道图像,则预设尺寸可以为[224,224,3]。

步骤204,去除待检测图像中的低频信息,得到第一图像信息。

其中,低频信息,是图像中处于低频率段的图像信号。第一图像信息,是从待检测图像中去除低频信息后得到的不包含低频信息的图像信息。

在一个实施例中,服务器可以通过对待检测图像进行域变换的方式,分解出待检测图像中的低频信息并去除,得到第一图像信息。在一个实施例中,域变换,可以是小波变换和傅里叶变换等中的任意一种。

在另一个实施例中,服务器可以通过高通滤波器,对待检测图像进行滤波处理,以去除待检测图像中的低频信息,得到第一图像信息。

在其他实施例中,服务器也可以采用其他的方式去除待检测图像中的低频信息,得到第一图像信息,不做限定。

步骤206,对第一图像信息进行降噪处理,得到降噪后的第二图像信息。

其中,降噪处理,是减少图像中的噪声的处理。第二图像信息,是对第一图像信息进行降噪处理得到的降噪后的图像信息。

在一个实施例中,服务器可以在空间域对第一图像信息所对应的图像进行降噪滤波,得到降噪后的第二图像信息。在另一个实施例中,服务器可以在变换域对第一图像信息进行降噪滤波,得到变换域下的第二图像信息。在一个实施例中,变换域可以是小波域和频域等中的任意一种。

在一个实施例中,服务器可以通过维纳滤波器,对第一图像信息进行降噪滤波。在其他实施例中,服务器还可以采用其他的滤波器对第一图像信息进行降噪滤波,比如:均值滤波器或中值滤波器等。

步骤208,根据第一图像信息与第二图像信息之间的差异,得到与待检测图像对应的固有模式噪声特征图。

其中,固有模式噪声特征图,是包含待检测图像中的固有模式噪声的图像。固有模式噪声,是由于相机传感器的生产工艺的固有缺陷所导致的图像中产生的噪声。固有模式噪声中的主要成分是光响应非均匀性(PRNU,Photo Response Non-Uniformity)特征。

可以理解,由于相机传感器像素间硅涂层薄厚差异这种生产工艺缺陷,导致成像设备感光元件的光敏特性存在微小差异,这种微小差异使得整个感光阵列存在固定误差分布,而这种分布也以乘性因子的形式隐含于相机拍摄到的图像中。可以将图像模型看作无噪声图像和噪声的复合,数学模型如下式所示:

y

其中,y

如图3所示,相机在拍摄图像的过程中,所拍摄的真实场景的入射光的经过相机传感器302时,会引入模式噪声304(即固有模式噪声),导致最终生成的图像含有模式噪声。模式噪声的主要成分的光响应非均匀性特征信号微弱,主要集中在高频细节部分且不受温湿度影响,属于传感器的固有属性且不同设备间具有可区分性。

在一个实施例中,服务器可以将第一图像信息与第二图像信息相减,并根据相减的结果,得到待检测图像对应的固有模式噪声特征图。

可以理解,根据第一图像信息与第二图像信息之间的差异,得到的固有模式噪声特征图属于残差,其中不仅仅包含固有模式噪声,还包含一些其他的噪声,比如暗电流噪声,本申请各实施例中的图像真伪检测方法无需精确提取出图像中的光响应非均匀性特征,而是只需提取固有模式噪声残差即可,从而提高了运算效率。

在一个实施例中,若待检测图像为多通道图像,则服务器可以分别在各个通道下得到单通道的固有模式噪声特征图,然后将各通道下的单通道的固有模式噪声特征图合并起来,得到待检测图像对应的多通道的固有模式噪声特征图。

在一个实施例中,服务器可以先对固有模式噪声特征图进行图像增强处理,再执行步骤210。在一个实施例中,图像增强处理可以包括零均值滤波和傅里叶峰值抑制等处理中的至少一种。可以理解,零均值滤波可以实现去除固有模式噪声特征图中的线性模式,避免固有模式噪声特征图中出现亮线。傅里叶峰值抑制可以实现抑制固有模式噪声特征图在频域中峰值较大的区域,从而去除固有模式噪声特征图中的块效应,避免边缘突出。

步骤210,分析固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对待检测图像进行真伪识别,得到待检测图像的真伪检测结果。

在一个实施例中,服务器可以通过机器学习方法,分析固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对待检测图像进行真伪识别,得到待检测图像的真伪检测结果。

在其他实施例中,服务器还可以通过其他的方式分析固有模式噪声特征图中固有模式噪声的分布情况。比如,服务器可以将固有模式噪声特征图与预设的不同的真伪检测结果分别对应的固有模式噪声特征图模板进行比对,将相匹配的固有模式噪声特征图模板所对应的真伪检测结果,确定为待检测图像的真伪检测结果。

在一个实施例中,真伪检测结果可以至少包括待检测图像为真实图像和待检测图像为伪造图像等。

在另一个实施例中,真伪检测结果可以至少包括检测图像为真实图像、以及待检测图像为伪造类型下的伪造图像等。

在一个实施例中,伪造类型可以包括篡改类型、合成类型和人工智能生成类型等中的至少一种。即,伪造类型下的伪造图像可以包括篡改类型的伪造图像、合成类型的伪造图像和人工智能生成类型的伪造图像等中的至少一种。

其中,篡改类型的伪造图像,是指该图像是对真实图像进行篡改得到的伪造图像。合成类型的伪造图像,是指该图像是通过计算机合成的伪造图像。人工智能生成类型的伪造图像,是指该图像是通过人工智能的机器学习模型生成的伪造图像。比如:通过生成式对抗网络(GANs,Generative Adversarial Nets)生成的伪造图像。

在一个实施例中,若待检测图像是从待检测视频中提取的图像、且仅从待检测视频中提取了一帧图像作为待检测图像,则服务器可以直接将待检测图像的真伪检测结果作为待检测视频的真伪检测结果。

在另一个实施例中,若待检测图像是从待检测视频中提取的图像、且从待检测视频中提取了多帧图像作为多个待检测图像,则服务器可以根据各个待检测图像的真伪检测结果,确定待检测视频的真伪检测结果。在一个实施例中,服务器可以按照各个待检测图像的真伪检测结果所占的比例,确定待检测视频的真伪检测结果。比如:服务器可以从各个待检测图像的真伪检测结果中,选取所占比例最大的真伪检测结果,作为待检测视频的真伪检测结果。

上述图像真伪检测方法,去除待检测图像中的低频信息,得到第一图像信息,然后对第一图像信息进行降噪处理,得到降噪后的第二图像信息,并根据第一图像信息与第二图像信息之间的差异,得到与待检测图像对应的固有模式噪声特征图,由于固有模式噪声特征图中的固有模式噪声是由相机传感器带来的固有的噪声,不受图像内容干扰,所以真实图像与伪造图像中的模式噪声分布情况具有区别,且不会受到图像内容的干扰而难以辨别,因此,分析固有模式噪声特征图中固有模式噪声的分布情况,能够得到待检测图像的准确的真伪检测结果,提高了真伪检测结果的准确性。

在一个实施例中,去除待检测图像中的低频信息,得到第一图像信息包括:对空间域下的待检测图像进行域变换,得到变换域下的低频信息和高频信息;去除低频信息,并根据保留的高频信息得到变换域下的第一图像信息。

在一个实施例中,第一图像信息包括待检测图像在频域下的高频信息。服务器可以对空间域下的待检测图像进行傅里叶变换,将待检测图像由空间域变换到频域,得到待检测图像在频域下的低频信息和高频信息,然后服务器可以去除低频信息,得到频域下的高频信息。

在另一个实施例中,第一图像信息包括待检测图像在小波域下的高频分量的小波系数。服务器可以对空间域下的待检测图像进行小波变换,将待检测图像由空间域变换到小波域,得到待检测图像在小波域下的低频分量和高频分量,然后服务器可以将低频分量的小波系数置零,得到小波域下高频分量的小波系数。

在其他实施例中,服务器也可以对空间域下的待检测图像进行其他的域变换,只要是能够分离出低频分量的变换均可,不做限定。

上述实施例中,服务器可以对空间域下的待检测图像进行域变换,得到变换域下的低频信息和高频信息,然后去除低频信息,并根据保留的高频信息得到变换域下的第一图像信息,从而能够准确地去除待检测图像中的低频信息,得到包含高频信息的第一图像信息,因为固有模式噪声主要集中在高频信息中,所以准确地确定出包含高频信息的第一图像信息,能够为后续准确地确定固有模式噪声特征图做铺垫。

在一个实施例中,第一图像信息包括待检测图像在小波域下的各方向的高频分量的小波系数。本实施例中,去除待检测图像中的低频信息,得到第一图像信息包括:对空间域下的待检测图像进行小波变换,将待检测图像分解为小波域下的低频分量和多个方向的高频分量;将低频分量的小波系数置零,得到各方向的高频分量的小波系数。

具体地,服务器可以对空间域下的待检测图像进行小波变换,将待检测图像分解为小波域下的低频分量和多个方向的高频分量,然后服务器可以将低频分量的小波系数置零,并得到未置零的各方向的高频分量的小波系数。

在一个实施例中,多个方向的高频分量可以包括水平高频分量、垂直高频分量和对角高频分量等中的至少一种。

在一个实施例中,服务器可以对空间域下的待检测图像进行多尺度小波变换,将待检测图像分解为低频分量和各尺度下的高频分量,同一尺度下的高频分量包括多个方向的高频分量。服务器可以将低频分量的小波系数置零,得到未置零的各尺度下各方向的高频分量的小波系数。

在一个实施例中,多尺度小波变换的阶数可以根据实际情况任意设置,比如:可以是4阶小波变换。

在一个实施例中,小波变换所采用的小波基可以是db4(Daubechies 4),也可以选取其他的小波函数作为小波基,不做限定。

上述实施例中,服务器通过小波变换将待检测图像准确地分解为低频分量和多个方向的高频分量,然后将低频分量的小波系数置零,得到各方向的高频分量的小波系数,从而能够得到准确的高频分量的小波系数,因为固有模式噪声主要集中在高频信息中,所以准确地确定出高频分量的小波系数,能够为后续准确地确定固有模式噪声特征图做铺垫。

在一个实施例中,第二图像信息包括待检测图像在小波域下各方向的高频分量对应的高频降噪小波系数。本实施例中,对第一图像信息进行降噪处理,得到降噪后的第二图像信息包括:对各方向的高频分量的小波系数进行降噪处理,得到各方向的高频分量对应的高频降噪小波系数。本实施例中,根据第一图像信息与第二图像信息之间的差异,得到与待检测图像对应的固有模式噪声特征图,包括:根据对应于同一方向的高频分量的小波系数与高频降噪小波系数之间的差异,得到各方向的高频分量对应的高频噪声小波系数;根据置零的低频分量的小波系数、以及各方向的高频分量对应的高频噪声小波系数进行逆小波变换,得到与待检测图像对应的固有模式噪声特征图。

其中,高频降噪小波系数,是对高频分量的小波系数进行降噪处理后得到的高频分量中的非噪声信息的小波系数。高频噪声小波系数,是高频分量中的噪声信息的小波系数。

在一个实施例中,服务器可以通过维纳滤波器,对各方向的高频分量的小波系数进行降噪滤波,得到各方向的高频分量对应的高频降噪小波系数。在其他实施例中,服务器还可以采用其他的滤波器对各方向的高频分量的小波系数进行降噪滤波,比如:均值滤波器或中值滤波器等。

在一个实施例中,服务器可以将对应于同一方向的高频分量的小波系数与高频降噪小波系数相减,得到各方向的高频分量对应的高频噪声小波系数。

在一个实施例中,在对空间域下的待检测图像进行多尺度小波变换,将待检测图像分解为低频分量和各尺度下的高频分量,同一尺度下的高频分量包括多个方向的高频分量的情况下,服务器可以对各尺度下各方向的高频分量的小波系数进行降噪处理,得到各尺度下各方向的高频分量对应的高频降噪小波系数。然后,服务器可以根据对应于同一尺度下同一方向的高频分量的小波系数与高频降噪小波系数之间的差异,得到各尺度下各方向的高频分量对应的高频噪声小波系数。接着,服务器可以根据置零的低频分量的小波系数、以及各尺度下各方向的高频分量对应的高频噪声小波系数进行逆小波变换,得到与待检测图像对应的固有模式噪声特征图。

上述实施例中,服务器可以根据对应于同一方向的高频分量的小波系数与降噪处理得到的高频降噪小波系数之间的差异,得到各方向的高频分量对应的高频噪声小波系数,然后根据置零的低频分量的小波系数、以及各方向的高频分量对应的高频噪声小波系数进行逆小波变换,得到与待检测图像对应的固有模式噪声特征图,能够准确地得到包含固有模式噪声的固有模式噪声特征图,从而提高了图像真伪检测的准确性。此外,根据高频分量的小波系数与高频降噪小波系数之间的差异就能够得到包含固有模式噪声的固有模式噪声特征图,只需提取残差,而无需准确地提取出光响应非均匀性特征,就能进行图像真伪检测,提高了图像真伪检测的效率和便捷性。

在一个实施例中,对空间域下的待检测图像进行小波变换,将待检测图像分解为小波域下的低频分量和多个方向的高频分量包括:对空间域下的待检测图像进行多尺度小波变换,将待检测图像分解为低频分量和各尺度下的高频分量;同一尺度下的高频分量包括多个方向的高频分量。本实施例中,根据置零的低频分量的小波系数、以及各方向的高频分量对应的高频噪声小波系数进行逆小波变换,得到与待检测图像对应的固有模式噪声特征图,包括:根据置零的低频分量的小波系数、以及各尺度下各方向的高频分量对应的高频噪声小波系数进行逆小波变换,得到与待检测图像对应的固有模式噪声特征图。

具体地,服务器可以对空间域下的待检测图像进行多尺度小波变换,将待检测图像分解为低频分量和各尺度下的高频分量,同一尺度下的高频分量包括多个方向的高频分量。然后,服务器可以将低频分量的小波系数置0,得到未置零的各尺度下各方向的高频分量的小波系数。接着,服务器可以对各尺度下各方向的高频分量的小波系数进行降噪处理,得到各尺度下各方向的高频分量对应的高频降噪小波系数。服务器可以根据对应于同一尺度下同一方向的高频分量的小波系数与高频降噪小波系数之间的差异,得到各尺度下各方向的高频分量对应的高频噪声小波系数。最后,服务器可以根据置零的低频分量的小波系数、以及各尺度下各方向的高频分量对应的高频噪声小波系数进行逆小波变换,得到与待检测图像对应的固有模式噪声特征图。

在一个实施例中,服务器可以先在同一尺度下,依次对该尺度下各方向的高频分量进行降噪处理,并根据同一方向的高频分量的小波系数与高频降噪小波系数之间的差异,得到该尺度下该方向的高频分量对应的高频噪声小波系数,从而得到了该尺度下各方向的高频分量分别对应的高频噪声小波系数。接着,服务器可以在下一尺度下,依次对该尺度下各方向的高频分量进行降噪处理。依次类推,直至处理完毕各尺度各方向下的高频分量。

上述实施例中,服务器可以对空间域下的待检测图像进行多尺度小波变换,从而能够更加准确地确定待检测图像中的高频信息,基于准确的高频信息进行降噪滤波,能够提高降噪处理的准确性,从而为准确地确定固有模式噪声特征图做铺垫。

在一个实施例中,对各方向的高频分量的小波系数进行降噪处理,得到各方向的高频分量对应的高频降噪小波系数包括:估计各方向的高频分量中的非噪声信息的局部方差;针对每个方向的高频分量,根据高频分量中的非噪声信息的局部方差,对高频分量的小波系数进行降噪滤波,得到各方向的高频分量对应的高频降噪小波系数。

其中,非噪声信息,是除噪声信息之外的信息。局部方差,用于表征图像中局部像素点对应的像素值的方差情况。

在一个实施例中,针对每个方向的高频分量,服务器可以采用一个预设尺寸的窗口,基于该高频分量进行滤波处理,得到滤波结果。然后服务器可以根据滤波结果与预设噪声方差之间的差异,确定该高频分量中的非噪声信息的局部方差。

在另一个实施例中,针对每个方向的高频分量,服务器可以采用多个不同尺寸的窗口,确定该高频分量中的非噪声信息在各窗口下分别对应的初始局部方差,然后根据各个初始局部方差,确定高频分量中的非噪声信息的最终的局部方差。

在一个实施例中,针对每个方向的高频分量,服务器可以根据高频分量中的非噪声信息的局部方差,通过维纳滤波器对高频分量的小波系数进行降噪滤波,得到各方向的高频分量对应的高频降噪小波系数。

可以理解,假设待检测图像中噪声部分均值为零,方差为随空间变化的平稳高斯白噪声,是上述实施例的设计思想。

上述实施例中,服务器可以估计各方向的高频分量中的非噪声信息的局部方差,然后根据高频分量中的非噪声信息的局部方差,对高频分量的小波系数进行降噪滤波,得到高频分量对应的高频降噪小波系数,从而能够准确地对高频信息进行降噪,得到准确的高频信息降噪后的信息,实现了将噪声从高频信息中准确分离出来,为得到准确的固有模式噪声特征图做铺垫。

在一个实施例中,估计各方向的高频分量中的非噪声信息的局部方差包括:针对每个方向的高频分量,通过多个不同尺寸的窗口,基于高频分量进行滤波处理,得到高频分量在各窗口下分别对应的滤波结果;根据同一窗口对应的滤波结果与预设噪声方差之间的差异,确定高频分量中的非噪声信息在各个窗口下分别对应的初始局部方差;从各个初始局部方差中,选取高频分量中的非噪声信息的最终的局部方差。

其中,预设噪声方差,是预设的高频分量中的噪声信息的方差。初始局部方差,是指高频分量中的非噪声信息在一个窗口下的局部方差。最终的局部方差,是指根据高频分量中的非噪声信息在多个不同尺寸的窗口下的初始局部方差,最终确定出的高频分量中的非噪声信息的局部方差。

在一个实施例中,针对每个方向的高频分量,服务器可以对高频分量所对应的图像中各像素点的像素值进行平方运算,再通过多个不同尺寸的窗口,对平方运算后得到的高频分量平方图进行滤波处理,得到高频分量在各窗口下分别对应的滤波结果。

在一个实施例中,服务器可以将同一窗口对应的滤波结果与预设噪声方差相减,得到高频分量中的非噪声信息在各个窗口下分别对应的初始局部方差。

可以理解,对高频分量所对应的图像中各像素点的像素值进行平方运算,再通过窗口对平方运算后的高频分量平方图进行滤波处理,能够使滤波结果逼近于预设噪声方差,然后将滤波结果与预设噪声方差相减,能够得到非噪声信息的局部方差。

在一个实施例中,服务器可以将高频分量中的非噪声信息在不同窗口下对应的初始局部方差中的最小值,选取为高频分量中的非噪声信息的最终的局部方差。

在一个实施例中,各个窗口的尺寸以及窗口的数量均可以根据实际需求进行任意设置。比如,可以选取尺寸分别为3×3、5×5、7×7和9×9的4个窗口。

在一个实施例中,预设噪声方差可以根据实际需求进行设置。比如:可以设置预设噪声标准差为5,即预设噪声方差为25。

上述实施例中,通过多个不同尺寸的窗口,确定高频分量中的非噪声信息的局部方差,避免使用单一窗口得到的局部方差不准确,通过使用多个不同尺寸的窗口,能够得到更加准确的局部方差,从而能够提高对高频分量的小波系数进行降噪滤波的准确性。

如图4所示,是上述各实施例中确定待检测图像对应的固有模式噪声特征图的步骤的整体流程示意图,具体包括如下步骤:

步骤402,获取待检测图像。

步骤404,对待检测图像的单通道图像进行多尺度小波变换,分解为低频分量和各尺度下各方向的高频分量。

步骤406,将低频分量的小波系数置零,得到各尺度下各方向的高频分量的小波系数。

步骤408,对单个尺度下的水平高频分量,进行非噪声信息的局部方差估计,并根据局部方差进行降噪滤波,得到高频降噪小波系数,再将水平高频分量与相对应的高频降噪小波系数相减,得到相对应的高频噪声小波系数。

步骤410,对单个尺度下的垂直高频分量,进行非噪声信息的局部方差估计,并根据局部方差进行降噪滤波,得到高频降噪小波系数,再将垂直高频分量与相对应的高频降噪小波系数相减,得到相对应的高频噪声小波系数。

步骤412,对单个尺度下的对角高频分量,进行非噪声信息的局部方差估计,并根据局部方差进行降噪滤波,得到高频降噪小波系数,再将对角高频分量与相对应的高频降噪小波系数相减,得到相对应的高频噪声小波系数。

判断各尺度下的高频分量是否均降噪完毕,若否,则返回步骤408,以继续执行。若是,则执行步骤414。

步骤414,根据单通道下的置零的低频分量的小波系数、以及各尺度下各方向的高频分量对应的高频噪声小波系数,进行逆小波变换,得到固有模式噪声特征图。

判断各通道是否均处理完毕,若否,则返回步骤404,以继续执行。若是,则执行步骤416。

步骤416,根据各个单通道的固有模式噪声特征图,得到待检测图像对应的固有模式噪声特征图。

在一个实施例中,分析固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对待检测图像进行真伪识别,得到待检测图像的真伪检测结果包括:将固有模式噪声特征图输入至预先训练的真伪检测模型中;通过真伪检测模型分析固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对待检测图像进行真伪识别,得到待检测图像的真伪检测结果。

在一个实施例中,真伪检测模型可以是机器学习模型。

在一个实施例中,真伪检测模型可以是神经网络模型。在一个实施例中,真伪检测模型可以是卷积神经网络模型。

在一个实施例中,真伪检测模型可以是EfficientNet卷积神经网络模型。在一个实施例中,综合考虑模型准确率、存储量和训练耗时等因素,真伪检测模型可以是EfficientNet-B4(EfficientNet系列的其中一个版本)卷积神经网络模型。EfficientNet系列的卷积神经网络在图像分类的应用中性能表现良好,因此,可以选取该卷积神经网络对待检测图像的真伪检测结果进行分类识别,能够得到准确的真伪检测结果。

如图5所示,为EfficientNet-B4卷积神经网络模型的网络架构,图中的“×2” 表示将相应的虚线框中的模块重复2次,“×4” 表示将相应的虚线框中的模块重复4次,“×6”表示将相应的虚线框中的模块重复6次。在其他实施例中,真伪检测模型还可以是其他网络结构的卷积神经网络模型

可以理解,固有模式噪声中的主要成分光响应非均匀性特征属于相机传感器的固有属性,对图像内容并不太敏感,因此,如果通过篡改、合成和人工智能生成等方式制作伪造图像,会在一定程度上破坏原始的真实图像中的光响应非均匀性特征,导致伪造图像与真实图像的光响应非均匀性特征的分布存在差异。因此,服务器可以通过预先训练的真伪检测模型分析固有模式噪声特征图中固有模式噪声的分布情况,来确定待检测图像的真伪检测结果。伪造图像与真实图像的固有模式噪声的分布情况之间的差异,可以在模型训练过程中由真伪检测模型学习到,从而能够通过预先训练的真伪检测模型准确得到待检测图像的真伪检测结果。

在一个实施例中,服务器还可以将固有模式噪声特征图和图像内容相关的特征一起输入至神经网络模型中,得到图形的真伪检测结果。例如:人脸图像中图像内容相关的特征可以是五官位置、肤色和人脸轮廓等中的至少一种信息。

上述实施例中,服务器可以通过真伪检测模型分析固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对待检测图像进行真伪识别,准确地得到待检测图像的真伪检测结果,提高了图像真伪检测的准确性。采用EfficientNet-B4卷积神经网络进行真伪识别,提高了准确性,且提高了模型训练的效率。

如图6所示,为上述各实施例中得到待检测图像的真伪检测结果的整体流程示意图,具体包括如下步骤:

步骤602,获取待检测图像。

步骤604,对待检测图像进行裁剪处理。

步骤606,对裁剪后的待检测图像进行固有模式噪声提取,得到固有模式噪声特征图。

步骤608,将固有模式噪声特征图输入至预先训练的真伪检测模型中。

步骤610,通过真伪检测模型分析固有模式噪声的分布情况,得到待检测图像的真伪检测结果。

其中,步骤606具体包括如下步骤:

步骤6061,对待检测图像进行多尺度小波变换。

步骤6062,将低频分量的小波系数置零。

步骤6063,估计各高频分量中非噪声信息的局部方差。

步骤6064,根据局部方差,对各高频分量的小波系数进行降噪滤波,得到高频降噪小波系数。

步骤6065,根据高频分量的小波系数与高频降噪小波系数的差异,得到高频噪声小波系数。

步骤6066,根据置零的低频分量的小波系数、以及各高频分量对应的高频噪声小波系数,进行逆小波变换,得到固有模式噪声特征图。

步骤6067,对固有模式噪声特征图进行图像增强处理。

在一个实施例中,真伪检测模型是通过模型训练步骤得到;模型训练步骤包括:获取样本图像和样本图像对应的真伪标签;对样本图像进行固有模式噪声提取,得到样本固有模式噪声特征图;将样本固有模式噪声特征图输入至待训练的真伪检测模型中,通过真伪检测模型分析样本固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对样本固有模式噪声特征图所对应的样本图像进行真伪识别,得到样本图像的真伪检测结果;根据样本图像的真伪检测结果与对应于样本图像的真伪标签之间的差异,迭代地调整待训练的真伪检测模型的模型参数,直至满足迭代停止条件,得到训练完成的真伪检测模型。

其中,真伪标签,用于表征样本图像的实际的真伪情况。样本固有模式噪声特征图,是包含样本图像中的固有模式噪声的图像。样本图像的真伪检测结果,是在模型训练过程中通过待训练的真伪检测模型识别出的样本图像的真伪情况。

在一个实施例中,真伪标签可以包括样本图像为真实图像、以及样本图像为伪造图像。样本图像的真伪检测结果可以包括样本图像为真实图像、以及样本图像为伪造图像。

在另一个实施例中,真伪标签可以包括样本图像为真实图像、以及样本图像为伪造类型下的伪造图像。样本图像的真伪检测结果可以包括样本图像为真实图像、以及样本图像为伪造类型下的伪造图像。

在一个实施例中,样本图像对应的真伪标签,可以是人工对样本图像进行标记得到的。在另一个实施例中,样本图像可以是从样本视频中提取的图像,样本图像的真伪标签可以是样本图像所来源于的样本视频的真伪标签,样本视频的真伪标签可以是人工对样本视频进行标记得到的。

具体地,在每轮迭代中,服务器可以根据样本图像的真伪检测结果与对应于样本图像的真伪标签之间的差异,调整待训练的真伪检测模型的模型参数,再进入下一轮迭代,直至差异满足迭代停止条件,得到训练完成的真伪检测模型。

在一个实施例中,服务器可以将采用交叉熵损失函数作为模型训练过程中的目标函数,来衡量差异。迭代停止条件可以为目标函数的损失值收敛。

上述实施例中,服务器可以根据样本图像和对应的真伪标签,迭代地对真伪检测模型进行训练,从而能够得到能够分析样本固有模式噪声特征图中固有模式噪声的分布情况,并准确得到真伪检测结果的真伪检测模型,从而提高了图像真伪检测的准确性。

在一个实施例中,对样本图像进行固有模式噪声提取,得到样本固有模式噪声特征图包括:去除样本图像中的低频信息,得到样本高频信息;对样本高频信息进行降噪处理,得到降噪后的样本去噪信息;根据样本高频信息与样本去噪信息之间的差异,得到与样本图像对应的样本固有模式噪声特征图。

其中,样本高频信息,是从样本图像中去除低频信息后得到的不包含低频信息的图像信息。样本去噪信息,是对样本高频信息进行降噪处理得到的降噪后的图像信息。

在一个实施例中,服务器可以通过对样本图像进行域变换的方式,分解出样本图像中的低频信息并去除,得到样本高频信息。在一个实施例中,服务器可以对样本图像进行小波变换,将样本图像分解为样本低频分量和多个样本高频分量,然后将样本低频分量的小波系数置零,得到各样本高频分量的小波系数。

在另一个实施例中,服务器可以通过高通滤波器,对样本图像进行滤波处理,以去除样本图像中的低频信息,得到样本高频信息。

在其他实施例中,服务器也可以采用其他的方式去除样本图像中的低频信息,得到样本高频信息,不做限定。

在一个实施例中,服务器可以在空间域对样本高频信息进行降噪滤波,得到降噪后的样本去噪信息。在另一个实施例中,服务器可以在变换域对样本高频信息进行降噪滤波,得到变换域下的样本去噪信息。在一个实施例中,变换域可以是小波域和频域等中的任意一种。

在一个实施例中,服务器可以通过维纳滤波器,对样本高频信息进行降噪滤波。在其他实施例中,服务器还可以采用其他的滤波器对样本高频信息进行降噪滤波,比如:均值滤波器或中值滤波器等。

在一个实施例中,服务器可以对样本图像在小波域下的各样本高频分量的小波系数分别进行降噪滤波,得到各样本高频分量对应的样本高频降噪小波系数。在一个实施例中,服务器可以估计各样本高频分量中非噪声信息的局部方差,然后根据局部方差对各样本高频分量的小波系数进行降噪滤波,得到样本高频分量对应的样本高频降噪小波系数。

在一个实施例中,服务器可以将样本高频信息与样本去噪信息相减,得到样本图像对应的样本固有模式噪声特征图。

在一个实施例中,服务器可以根据样本高频分量的小波系数与样本高频降噪小波系数的差异,得到样本高频噪声小波系数。然后服务器可以根据置零的样本低频分量的小波系数、以及各样本高频分量对应的样本高频噪声小波系数,进行逆小波变换,得到样本固有模式噪声特征图。

在一个实施例中,服务器可以将样本高频分量的小波系数与样本高频降噪小波系数相减,得到样本高频噪声小波系数。

可以理解,对样本图像进行固有模式噪声提取,得到样本固有模式噪声特征图的步骤的具体实施例,与本申请各实施例中得到待检测图像对应的固有模式噪声特征图的具体实施例相似,上述实施例仅作简单举例,不再赘述。

上述实施例中,服务器可以去除样本图像中的低频信息,得到样本高频信息,然后对样本高频信息进行降噪处理,得到降噪后的样本去噪信息,因为固有模式噪声主要存在于高频信息中,因此根据样本高频信息与样本去噪信息之间的差异,能够准确得到与样本图像对应的样本固有模式噪声特征图。

在一个实施例中,获取样本图像和样本图像对应的真伪标签包括:获取携带真伪标签的样本视频;对样本视频进行采样,得到样本视频对应的多个样本视频帧;按照预设尺寸裁剪各样本视频帧,得到样本图像,并将样本图像来源于的样本视频所携带的真伪标签,作为样本图像对应的真伪标签。

其中,样本视频帧,是样本视频中的单帧图像。

在一个实施例中,服务器可以将获取到的各个视频均匀且随机地划分至样本集和测试集中。样本集中的视频,用于作为样本视频进行模型训练。测试集中的视频用于作为测试视频,在模型训练完成后对训练完成的真伪检测模型进行效果测试。具体地,可以将视频根据视频类型划分为不同的视频集合,服务器可以分别从各个类型的视频集合中随机抽取第一预设数量的视频划分至样本集中,再分别从各个类型的视频集合中随机抽取第二预设数量的视频划分至测试集中。在一个实施例中,视频类型可以包括真实视频类型、以及多个伪造类型。

具体地,可以人工根据各个样本视频的实际的真伪情况,对各个样本视频标记真伪标签。服务器可以获取携带真伪标签的样本视频,然后按照预设采样规则对样本视频进行采样,得到样本视频对应的多个样本视频帧。接着,服务器可以按照预设尺寸裁剪各样本视频帧,得到样本图像,并将样本图像来源于的样本视频所携带的真伪标签,作为样本图像对应的真伪标签。

在一个实施例中,样本视频的数量为多个。

在一个实施例中,真伪标签可以包括样本视频为真实视频、以及样本视频为伪造视频。具体地,若样本图像来源于的样本视频所携带的真伪标签为样本视频为真实视频,则将样本图像为真实图像作为样本图像的真伪标签。若样本图像来源于的样本视频所携带的真伪标签为样本视频为伪造视频,则将样本图像为伪造图像作为样本图像的真伪标签。

在另一个实施例中,真伪标签可以包括样本视频为真实视频、以及样本视频为伪造类型下的伪造视频。具体地,若样本图像来源于的样本视频所携带的真伪标签为样本视频为真实视频,则将样本图像为真实图像作为样本图像的真伪标签。若样本图像来源于的样本视频所携带的真伪标签为样本视频为伪造类型下的伪造视频,则将样本图像为伪造类型下的伪造图像作为样本图像的真伪标签。

在一个实施例中,服务器可以按照预设尺寸,对样本视频帧进行中心裁剪。具体地,服务器可以以样本视频帧的中心作为裁剪后的样本图像的中心,从样本视频帧中裁剪出符合预设尺寸的裁剪后的样本图像。例如:假设预设尺寸为[224,224],则服务器可以以样本视频帧的中心,分别在上下左右四个方向上距中心112尺寸的位置处进行裁剪,裁剪出的以样本视频帧的中心为中心,且尺寸为[224,224]的图像即为样本图像。可以理解,若样本视频帧为多通道图像,则预设尺寸会多一个通道数量的维度,比如,样本视频帧为三通道图像,则预设尺寸可以为[224,224,3]。

上述实施例中,服务器可以从样本视频中提取样本图像,并将样本视频所携带的真伪标签作为样本图像的真伪标签,从而能够从视频中获取样本图像。此外,对样本视频帧进行裁剪得到样本图像,能够确保训练时的各个样本图像的尺寸的一致性,且减小了样本图像的尺寸,从而降低了时间开销,提高了模型训练效率,还能避免采用缩放处理破坏样本图像中像素间的固有模式噪声。

在一个实施例中,对样本视频进行采样,得到样本视频对应的多个样本视频帧包括:针对每个样本视频,若指定的采样帧数大于或等于样本视频的总帧数,将样本视频中的各帧作为样本视频帧;若指定的采样帧数小于样本视频的总帧数,根据总帧数和采样帧数确定采样间隔,并按照采样间隔从样本视频中提取样本视频帧。

具体地,针对每个样本视频,服务器可以确定样本视频的总帧数,并将样本视频的总帧数与指定的采样帧数进行比对。若指定的采样帧数大于或等于样本视频的总帧数,则服务器可以将样本视频中的各帧作为样本视频帧;若指定的采样帧数小于样本视频的总帧数,则服务器可以根据总帧数和采样帧数,确定采样间隔,并按照采样间隔从样本视频中提取样本视频帧。

在一个实施例中,服务器可以将总帧数相较于采样帧数的倍数,确定为采样间隔,并按照采样间隔从样本视频中提取样本视频帧。在一个实施例中,服务器与按照如下采样规则对样本视频进行采样:

[], frame_num≦0或sample_num≦0;

[0,…,k,…, frame_num-1], frame_num≦sample_num;

[0,…,int(k*(frame_num/sample_num)),int(sample_num*

(frame_num/sample_num))], frame_num>sample_num;

其中,frame_num表示样本视频的总帧数,sample_num表示指定的采样帧数,k表示提取的样本视频帧的索引序号。

可以理解,上述采样规则中,当frame_num≦0或sample_num≦0时,采样规则为[],表示当总帧数或采样帧数小于或等于0时,则不对样本视频进行采样。当frame_num≦sample_num时, 即,指定的采样帧数大于或等于样本视频的总帧数时,则依次提取样本视频中的第0帧、……、第k帧、……和第frame_num-1帧,即,提取样本视频中的各帧作为样本视频帧。当frame_num>sample_num时,即指定的采样帧数小于样本视频的总帧数时,则将总帧数相较于采样帧数的倍数frame_num/sample_num,确定为采样间隔,并按照采样间隔从样本视频中提取样本视频帧。

在一个实施例中,指定的采样帧数可以根据实际需求任意设置。比如:可以将采样帧数设置为10帧。

上述实施例中,针对每个样本视频,服务器可以根据采样帧数和样本视频的总帧数,按照相应的规则进行采样,从而能够适量且均匀地从样本视频中获取获取样本图像,且根据采样得到的样本图像进行模型训练,避免了直接根据样本视频中每一帧图像进行模型训练而导致的大量时间开销,提高了模型训练效率。

如图7所示,为上述实施例中的真伪检测模型的模型训练步骤的整体流程示意图,具体包括如下步骤:

步骤702,获取携带真伪标签的样本视频。

步骤704,对样本视频进行采样,得到多个样本视频帧。

步骤706,对样本视频帧进行裁剪处理,得到样本图像。

步骤708,对样本图像进行固有模式噪声提取,得到样本固有模式噪声特征图。

步骤710,将样本固有模式噪声特征图输入至待训练的真伪检测模型。

步骤712,根据模型输出的样本图像的真伪检测结果与真伪标签的差异,迭代调整模型参数,直至满足迭代停止条件,得到训练完成的真伪检测模型。

其中,步骤708具体包括如下步骤:

步骤7081,对样本图像进行多尺度小波变换。

步骤7082,将低频分量的小波系数置零。

步骤7083,估计各高频分量中非噪声信息的局部方差。

步骤7084,根据局部方差,对各高频分量的小波系数进行降噪滤波,得到高频降噪小波系数。

步骤7085,根据高频分量的小波系数与高频降噪小波系数的差异,得到高频噪声小波系数。

步骤7086,根据置零的低频分量的小波系数、以及各高频分量对应的高频噪声小波系数,进行逆小波变换,得到样本固有模式噪声特征图。

步骤7087,对样本固有模式噪声特征图进行图像增强处理。

在一个实施例中,根据分布情况对待检测图像进行真伪识别,得到待检测图像的真伪检测结果包括:若分布情况符合真实图像的固有模式噪声分布,则识别待检测图像为真实图像;若分布情况与预设的伪造类型的固有模式噪声分布相符合,则根据相符合的固有模式噪声分布所对应的伪造类型,将待检测图像识别为伪造类型的伪造图像。

具体地,服务器可以通过预先训练的真伪检测模型分析固有模式噪声特征图中固有模式噪声的分布情况,确定分布情况所符合的固有模式噪声分布。若分布情况符合真实图像的固有模式噪声分布,则真伪检测模型可以识别待检测图像为真实图像。若分布情况与预设的伪造类型的固有模式噪声分布相符合,则真伪检测模型可以根据相符合的固有模式噪声分布所对应的伪造类型,将待检测图像识别为伪造类型的伪造图像。

例如:若分布情况与合成类型的固有模式噪声分布相符合,则真伪检测模型可以将待检测图像识别为合成类型的伪造图像。

上述实施例中,因为真实图像与伪造图像中的模式噪声分布情况具有区别,且不会受到图像内容的干扰而难以辨别,所以服务器可以根据固有模式噪声特征图中固有模式噪声的分布情况,准确地识别出待检测图像为真实图像或伪造类型下的伪造图像。此外,在待检测图像为伪造图像的情况下,服务器不仅仅能识别出待检测图像为伪造图像,还能够识别出伪造类型,从而提高了信息量。

本申请还提供一种应用场景,该应用场景为人脸图像安全检测的应用场景,该应用场景应用上述的图像真伪检测方法。具体地,该图像真伪检测方法在该应用场景的应用如下:

用户在通过终端上的软件或应用程序(app,application)等进行人脸识别时,终端可以采集用户的人脸图像,并将用户的人脸图像发送至服务器进行人脸识别。然而,由于一些非法行为会使用伪造图像将用户的人脸图像进行替换,导致最终发送至服务器进行人脸识别的图像有可能不是用户的真实的人脸图像,而是伪造的人脸图像。因此,在服务器进行人脸识别之前,服务器可以先执行本申请各实施例中的图像真伪检测方法,对待检测的人脸图像进行真伪识别,得到真伪检测结果。若识别待检测的人脸图像为真实的人脸图像,则服务器可以继续对该人脸图像进行人脸识别。若识别待检测的人脸图像为伪造的人脸图像,则服务器可以不对该人脸图像进行人脸识别,并将识别到伪造图像的信息反馈给终端,从而有效保护了用户的人身、财产和信誉等方面的安全,提高了人脸识别过程中的安全性。

本申请还另外提供一种应用场景,该应用场景为图像鉴别的应用场景。该应用场景应用上述的图像真伪检测方法。具体地,该图像真伪检测方法在该应用场景的应用如下:

在需要对图像进行真伪鉴别的场景下,比如:对新闻中的图片进行真伪鉴别,或者对一些非法网站上的图片进行真伪鉴别等,用户可以通过终端输入待检测图像,终端可以将待检测图像发送至服务器,服务器可以执行本申请各实施例中的图像真伪检测方法,得到待检测图像的真伪检测结果,并将真伪检测结果返回至终端进行展示,以方便用户对图像进行真伪鉴别。

应该理解的是,虽然各流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图8所示,提供了一种图像真伪检测装置800,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:图像获取模块802、高频信息获取模块804、降噪模块806、模式噪声确定模块808和真伪识别模块810,其中:

图像获取模块802,用于获取待检测图像。

高频信息获取模块804,用于去除待检测图像中的低频信息,得到第一图像信息。

降噪模块806,用于对第一图像信息进行降噪处理,得到降噪后的第二图像信息。

模式噪声确定模块808,用于根据第一图像信息与第二图像信息之间的差异,得到与待检测图像对应的固有模式噪声特征图。

真伪识别模块810,用于分析固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对待检测图像进行真伪识别,得到待检测图像的真伪检测结果。

在一个实施例中,第一图像信息包括待检测图像在小波域下的各方向的高频分量的小波系数。本实施例中,高频信息获取模块804还用于对空间域下的待检测图像进行小波变换,将待检测图像分解为小波域下的低频分量和多个方向的高频分量;将低频分量的小波系数置零,得到各方向的高频分量的小波系数。

在一个实施例中,第二图像信息包括待检测图像在小波域下各方向的高频分量对应的高频降噪小波系数。本实施例中,降噪模块806还用于对各方向的高频分量的小波系数进行降噪处理,得到各方向的高频分量对应的高频降噪小波系数。本实施例中,模式噪声确定模块808还用于根据对应于同一方向的高频分量的小波系数与高频降噪小波系数之间的差异,得到各方向的高频分量对应的高频噪声小波系数;根据置零的低频分量的小波系数、以及各方向的高频分量对应的高频噪声小波系数进行逆小波变换,得到与待检测图像对应的固有模式噪声特征图。

在一个实施例中,高频信息获取模块804还用于对空间域下的待检测图像进行多尺度小波变换,将待检测图像分解为低频分量和各尺度下的高频分量;同一尺度下的高频分量包括多个方向的高频分量。本实施例中,模式噪声确定模块808还用于根据置零的低频分量的小波系数、以及各尺度下各方向的高频分量对应的高频噪声小波系数进行逆小波变换,得到与待检测图像对应的固有模式噪声特征图。

在一个实施例中,降噪模块806还用于估计各方向的高频分量中的非噪声信息的局部方差;针对每个方向的高频分量,根据高频分量中的非噪声信息的局部方差,对高频分量的小波系数进行降噪滤波,得到各方向的高频分量对应的高频降噪小波系数。

在一个实施例中,降噪模块806还用于针对每个方向的高频分量,通过多个不同尺寸的窗口,基于高频分量进行滤波处理,得到高频分量在各窗口下分别对应的滤波结果;根据同一窗口对应的滤波结果与预设噪声方差之间的差异,确定高频分量中的非噪声信息在各个窗口下分别对应的初始局部方差;从各个初始局部方差中,选取高频分量中的非噪声信息的最终的局部方差。

在一个实施例中,真伪识别模块810还用于将固有模式噪声特征图输入至预先训练的真伪检测模型中;通过真伪检测模型分析固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对待检测图像进行真伪识别,得到待检测图像的真伪检测结果。

在一个实施例中,图像真伪检测装置还包括:

模型训练模块812,用于获取样本图像和样本图像对应的真伪标签;对样本图像进行固有模式噪声提取,得到样本固有模式噪声特征图;将样本固有模式噪声特征图输入至待训练的真伪检测模型中,通过真伪检测模型分析样本固有模式噪声特征图中固有模式噪声的分布情况,并根据分布情况对样本固有模式噪声特征图所对应的样本图像进行真伪识别,得到样本图像的真伪检测结果;根据样本图像的真伪检测结果与对应于样本图像的真伪标签之间的差异,迭代地调整待训练的真伪检测模型的模型参数,直至满足迭代停止条件,得到训练完成的真伪检测模型。

在一个实施例中,模型训练模块812还用于去除样本图像中的低频信息,得到样本高频信息;对样本高频信息进行降噪处理,得到降噪后的样本去噪信息;根据样本高频信息与样本去噪信息之间的差异,得到与样本图像对应的样本固有模式噪声特征图。

在一个实施例中,模型训练模块812还用于获取携带真伪标签的样本视频;对样本视频进行采样,得到样本视频对应的多个样本视频帧;按照预设尺寸裁剪各样本视频帧,得到样本图像,并将样本图像来源于的样本视频所携带的真伪标签,作为样本图像对应的真伪标签。

在一个实施例中,模型训练模块812还用于针对每个样本视频,若指定的采样帧数大于或等于样本视频的总帧数,将样本视频中的各帧作为样本视频帧;若指定的采样帧数小于样本视频的总帧数,根据总帧数和采样帧数确定采样间隔,并按照采样间隔从样本视频中提取样本视频帧。

在一个实施例中,真伪识别模块810还用于若分布情况符合真实图像的固有模式噪声分布,则识别待检测图像为真实图像;若分布情况与预设的伪造类型的固有模式噪声分布相符合,则根据相符合的固有模式噪声分布所对应的伪造类型,将待检测图像识别为伪造类型的伪造图像。

上述图像真伪检测装置,去除待检测图像中的低频信息,得到第一图像信息,然后对第一图像信息进行降噪处理,得到降噪后的第二图像信息,并根据第一图像信息与第二图像信息之间的差异,得到与待检测图像对应的固有模式噪声特征图,由于固有模式噪声特征图中的固有模式噪声是由相机传感器带来的固有的噪声,不受图像内容干扰,所以真实图像与伪造图像中的模式噪声分布情况具有区别,且不会受到图像内容的干扰而难以辨别,因此,分析固有模式噪声特征图中固有模式噪声的分布情况,能够得到待检测图像的准确的真伪检测结果,提高了真伪检测结果的准确性。

关于图像真伪检测装置的具体限定可以参见上文中对于图像真伪检测方法的限定,在此不再赘述。上述图像真伪检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储模型数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像真伪检测方法。

本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

相关技术
  • 图像真伪检测方法、装置、计算机设备和存储介质
  • 人脸图像的真伪检测方法、系统、计算机设备和存储介质
技术分类

06120112939204