一种多分辨率网络结构的翻拍检测方法

技术领域

本发明涉及电子信息技术领域，特别涉及一种多分辨率网络结构的翻拍检测方法。

背景技术

在实际要求现场采集用户的相关资质材料的场景中，非法用户通常二次拍摄手机、电脑或其他电子设备上存储的其他人上传的照片，伪造自己的资质材料。在两次拍摄的过程中，拍摄设备的点阵形成一定的交叠，使得拍摄的照片通常存在独特的纹理(摩尔纹)。此外，屏幕带来的反射光、屏幕的外围边框，也使得正常图片和摩尔纹图片的区分成为可能。

为解决非法用户通常二次拍摄手机、电脑或其他电子设备上存储的其他人上传的照片，伪造自己的资质材料，本发明采用基于深度学习的方法，通过相关数据形成数据集进行模型训练。另外，由于采集的数据集较小，为减少样本中噪声的干扰，本项目于模型训练前，对输入的图片进行了边缘提取，凸显了摩尔纹独特的纹理特征以及边框特征，避免了模型受到其他无关信息的干扰。

由于屏幕照图片与正常图片的区分通常在于部分微小的纹理，单独使用深层网络提取的高语义特征，没有办法捕捉局部的差异。因此，本发明使用的模型采用不同分辨率不同深度的卷积网络提取的特征，来进行分类，同时也用实验证明，使用该架构的模型，效果远远好于市面主流的神经网络，如ResNet、VGG、Inception、Xception和SENet等。

发明内容

本发明要解决的技术问题是克服现有技术的缺陷，提供一种多分辨率网络结构的翻拍检测方法。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种多分辨率网络结构的翻拍检测方法，包括以下步骤：

S1：使用数据存储模块，对需要存储的资质材料证照图像进行存储；

S2：使用数据预处理模块，对待检测的图像进行边界填充、Resize、滤波和Normalize操作输出数据预处理后的图像；

S3：使用降采样模块，对输入图像通过卷积结构进行缩放；

S4：使用主干网络模块，对输入的特征图进行特征提取；

S5：使用向量拼接模块，对多组特征向量进行拼接；

S6：使用全连接层模块，根据输入的特征向量进行分类，输出是否是翻拍照概率值；

S7：使用决策模块，根据输入的翻拍照的概率与预先设置的阈值进行比较，输出最终决策的是否是翻拍照。

作为本发明的一种优选技术方案，所述步骤S1中包含：

S1.1：使用数据存储模块进行资质材料证照进行存储，并依次输出待检测的图像。

作为本发明的一种优选技术方案，所述步骤S2中包含：

S2.1：将步骤S1.1中得到的图像进行边界填充，得到宽和高一样的图像；

S2.2：将步骤S2.1中得到的图像进行Resize缩放(224X224)，得到Resize后的图像；

S2.3：将步骤S2.2中得到的图像进行滤波，得到滤波后的图像；

S2.4：将步骤S2.3中得到的图像进行归一化(Normalize)，得到归一化后的图像。

作为本发明的一种优选技术方案，所述步骤S3中包含：

S3.1：将步骤S2.4中得到的归一化的图像，送入降采样模块的1st layer，得到一组特征图；

S3.2：将步骤S3.1中得到的一组特征图，送入降采样模块的2nd layer，得到一组特征图；

S3.3：将步骤S3.2中得到的一组特征图，送入降采样模块的3rd layer，得到一组特征图；

S3.4：将步骤S3.3中得到的一组特征图，送入降采样模块的4th layer，得到一组特征图；

S3.5：将步骤S3.4中得到的一组特征图，送入降采样模块的5th layer，得到一组特征图。

作为本发明的一种优选技术方案，所述步骤S4中包含：

S4.1：将步骤S3.1中得到的一组特征图，送入主干网络模块的1st layer，得到一个特征向量；

S4.2：将步骤S3.2中得到的一组特征图，送入主干网络模块的2nd layer，得到一个特征向量；

S4.3：将步骤S3.3中得到的一组特征图，送入主干网络模块的3rd layer，得到一个特征向量；

S4.4：将步骤S3.4中得到的一组特征图，送入主干网络模块的4th layer，得到一个特征向量；

S4.5：将步骤S3.5中得到的一组特征图，送入主干网络模块的5th layer，得到一个特征向量；

作为本发明的一种优选技术方案，所述步骤S5中包含：

S5.1：将步骤S4.1、步骤S4.2、步骤S4.3、步骤S4.4和步骤S4.5中分别得到的特征向量，送入向量拼接模块，拼接成一个特征向量。

作为本发明的一种优选技术方案，所述步骤S6中包含：

S6.1：将步骤S5.1得到的特征向量，送入全连接层模块，得到是否是翻拍照的概率值。

作为本发明的一种优选技术方案，所述步骤S7中包含：

S7.1：将步骤S6.1得到的翻拍照的概率值，送入决策模块，得到最终的决策是否是翻拍照。

与现有技术相比，本发明的有益效果如下：

1.本发明最重要的是提出了一套解决翻拍检测的技术方案。

2.本发明的数据预处理模块，由四个不同测预处理操作组成，其中的边界填充和滤波处理是通过多种不同的实验最终发现该做顺序的预处理方式可以提升模型的准确率，这也是本发明检测性能优于其他类似发明的根本所在。

3.本发明的降采样模块，通过获取不同分辨率的图像的特征使得图像信息更加的丰富，这是本发明有别于其他类似发明的核心，这也是本发明检测性能优于其他类似发明的根本所在。

4.本发明的主干网络模块，通过对不同分辨率的图像进行深度提取特征使得特征提取能力更强，该模块是配合降采样模块一起使用能发挥最大效果，这也是本发明检测性能优于其他类似发明的根本所在。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明的整体方案示意图；

图2是本发明的数据存储模块示意图；

图3是本发明的数据预处理模块示意图；

图4是本发明的降采样模块示意图；

图5是本发明的DSB(Down Sample Block)示意图；

图6是本发明的主干网络模块示意图；

图7是本发明的RNB(RiskNet Block)示意图；

图8是本发明的CBRB(CBR Block)示意图；

图9是本发明的向量拼接模块示意图；

图10是本发明的全连接层模块示意图；

图11是本发明的FC(Fully Connected Layer)示意图；

图12是本发明的决策模块示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

本发明实施例提供的是一种多分辨率网络结构的翻拍检测方法，是将资质材料证照是否翻拍看成是一个图像分类问题，提出了一种多分辨率网络结构检测资质材料证照是否发生过翻拍。具体实施时，由于发生过发翻拍的照片上会有摩尔纹、反光和边框等信息，因此可以通过多分辨率网络结构获取这类图像特征进行预测，最终判定照片是否发生过翻拍。

如图1-12所示，本发明提供一种多分辨率网络结构的翻拍检测方法，其中图1是整个方案的示意图，包含了数据存储模块、数据预处理模块、降采样模块、主干网络模块、向量拼接模块、全连接层模块和决策模块。该方案具体流程包含如下步骤：

S1：使用数据存储模块对数据进行存储，以及输出待检测的数据。

具体的，如图2是根据一示例性实施例所示使用数据存储模块，存储待检测图像，依次输出待检测图像进入下一个阶段。

S2：使用数据预处理模块，对S1输出图像进行各种预处理，得到预处理后的图像。

具体的，对S1输出的图像进行数据预处理是非常重要的过程。如直接对未预处理的图像进行检测，通常是没办法获得很强的翻拍特征信息。因此预处理能有效的提前凸显出相关特征，使得后面在提前特征的过程中能有效的提取到相关的特征。

图3是根据一示例性实施例所示的使用数据预处理模块，对S1输出的图像进行数据预处理的示意图，参照图3所示，其包括如下步骤：

S2.1：将步骤S1中得到的待检测图像送入边界填充预处理，得到边界填充预处理后的图像；

具体的，步骤S2.1采用对图像宽和高进行比较，当发现宽大于高，就扩展高的大小使得图像宽和高一样大，扩展出来的区域用0填充，以此类推，当宽小于高时，就扩展宽的大小使得图像宽和高一样大，扩展的区域用0填充，当宽和高一样大时，图像不进行扩展，保持原来大小。

S2.2：将步骤S2.1中得到的图像送入Resize(缩放)预处理，得到Resize预处理后的图像；

具体的，步骤S2.2采用对图像进行缩放到宽和高都为224X224大小。

S2.3：将步骤S2.2中得到的图像送入滤波预处理，得到滤波预处理后的图像；

具体的，步骤S2.3采用对图像通过如下的滤波器进行滤波，其中kernel为3X3大小，矩阵为：

S2.4：将步骤S2.3中得到的图像送入Normalize(归一化)预处理，得到Normalize预处理后的图像；

具体的，步骤S2.4采用对图像进行对灰度范围从0-255变换到0-1之间，在将0-1变换到-1到1之间，其中第一步将image＝(image-image.min())*(1/(image.max()-image.min()))，第二步将image＝(image-mean)/std，其中mean和std分别通过(0.5,0.5,0.5)和(0.5,0.5,0.5)进行预设定。

S3：使用降采样模块，对S2.4输出图像进行降采样，得到降采样后的图像。

具体的，对S2.4输出的图像进行降采样处理是非常重要的过程。如没有降采样模块，通常是没办法获得很全面的翻拍特征信息。因此降采样模块能从不同尺度的特征图上获得相关特征。

图4是根据一示例性实施例所示的使用降采样模块，对S2.4输出的图像进行降采样处理的示意图，参照图4所示，其包括如下步骤：

S3.1：将步骤S2.4中得到的图像送入降采样模块中1st layer的DSB进行处理，得到DSB处理后的图像；

具体的，步骤S3.1采用对图像进行降采样模块中1st layer的DSB处理，其中图5为DSB的示意图，由一个卷积层(其中核大小：3X3，步长：1，输出通道数：32)、一个ReLU，一个卷积层(其中核大小：3X3，步长：1，输出通道数：32)和一个ReLU组成。

S3.2：将步骤S3.1中得到的特征图送入降采样模块中2st layer的DSB进行处理，得到DSB处理后的图像；

具体的，步骤S3.2采用对图像进行降采样模块中2st layer的DSB处理，其中图5为DSB的示意图，由一个卷积层(其中核大小：3X3，步长：2，输出通道数：32)、一个ReLU，一个卷积层(其中核大小：3X3，步长：1，输出通道数：64)和一个ReLU组成。

S3.3：将步骤S3.2中得到的特征图送入降采样模块中3st layer的DSB进行处理，得到DSB处理后的图像；

具体的，步骤S3.3采用对图像进行降采样模块中3st layer的DSB处理，其中图5为DSB的示意图，由一个卷积层(其中核大小：3X3，步长：2，输出通道数：64)、一个ReLU，一个卷积层(其中核大小：3X3，步长：1，输出通道数：64)和一个ReLU组成。

S3.4：将步骤S3.3中得到的特征图送入降采样模块中4st layer的DSB进行处理，得到DSB处理后的图像；

具体的，步骤S3.4采用对图像进行降采样模块中4st layer的DSB处理，其中图5为DSB的示意图，由一个卷积层(其中核大小：3X3，步长：2，输出通道数：64)、一个ReLU，一个卷积层(其中核大小：3X3，步长：1，输出通道数：64)和一个ReLU组成。

S3.5：将步骤S3.4中得到的特征图送入降采样模块中5st layer的DSB进行处理，得到DSB处理后的图像；

具体的，步骤S3.5采用对图像进行降采样模块中5st layer的DSB处理，其中图5为DSB的示意图，由一个卷积层(其中核大小：3X3，步长：2，输出通道数：64)、一个ReLU，一个卷积层(其中核大小：3X3，步长：1，输出通道数：64)和一个ReLU组成。

S4：使用主干网络模块，对S3各阶段输出图像进行卷积，得到高维的特征图信息。

具体的，对S3各阶段输出的特征图进行RNB处理，通过增加网络深度获取高维的特征语义信息。图6是根据一示例性实施例所示的使用主干网络模块，对S3各阶段输出的图像进行RNB处理，参照图6所示，其包括如下步骤：

S4.1：将步骤S3.1中得到的图像送入主干网络模块中1st layer的RNB进行处理，得到RNB处理后的图像；

具体的，其中RNB的结构示意图如图7所示，由四个CBRB模块和一个avgplool层所组成，其中CBRB模块由图8所示，由一个卷积层(其中核大小：3X3，步长：1，输出通道数：64)，一个BN层和一个ReLU所组成。

S4.2：将步骤S3.2中得到的图像送入主干网络模块中2st layer的RNB进行处理，得到RNB处理后的图像；

具体的，其中RNB的结构示意图如图7所示，由四个CBRB模块和一个avgplool层所组成，其中CBRB模块由图8所示，由一个卷积层(其中核大小：3X3，步长：1，输出通道数：64)，一个BN层和一个ReLU所组成。

S4.3：将步骤S3.3中得到的图像送入主干网络模块中3st layer的RNB进行处理，得到RNB处理后的图像；

具体的，其中RNB的结构示意图如图7所示，由四个CBRB模块和一个avgplool层所组成，其中CBRB模块由图8所示，由一个卷积层(其中核大小：3X3，步长：1，输出通道数：64)，一个BN层和一个ReLU所组成。

S4.4：将步骤S3.4中得到的图像送入主干网络模块中4st layer的RNB进行处理，得到RNB处理后的图像；

具体的，其中RNB的结构示意图如图7所示，由四个CBRB模块和一个avgplool层所组成，其中CBRB模块由图8所示，由一个卷积层(其中核大小：3X3，步长：1，输出通道数：64)，一个BN层和一个ReLU所组成。

S4.5：将步骤S3.5中得到的图像送入主干网络模块中5st layer的RNB进行处理，得到RNB处理后的图像；

具体的，其中RNB的结构示意图如图7所示，由四个CBRB模块和一个avgplool层所组成，其中CBRB模块由图8所示，由一个卷积层(其中核大小：3X3，步长：1，输出通道数：64)，一个BN层和一个ReLU所组成。

S5：将S4个阶段输出的特征进行拼接。

具体的，参照图9所示，对S4的1st layer输出的特征向量、2st layer输出的特征向量、3st layer输出的特征向量、4st layer输出的特征向量和5st layer输出的特征向量进行向量拼接后输出。

S6：将S5输出的特征输入到全连接模块。

具体的，参照图10所示，对S5的拼接后的特征输入到全连接层模块中，进行概率预测，其中全连接层包含drop层、Liner层和SoftMax层，但由于讲述实施例的过程，也就常说的模型预测过程，这个时候drop层将不参与计算，具体流程参照图11所示，其包括如下步骤：

S6.1：将S5输出的特征向量输入到Linear层。

具体的，将S5的向量输入到Linear层进行线性变换输出分数。

S6.2：将S6.1输出的分数输入到SoftMax层。

具体的，将S6.1的分数输入到SoftMax层可将S6.1输出的分数归一化到0-1之间。

S7：将S6.2输出预测概率输入到决策模块进行最终的判别。

具体的，参照图11所示，预先会设定一个阈值，当预测概率大于等于阈值时则判定为翻拍照，反之则没有。

本发明主要使用多分辨率网络结构对翻拍图片进行检测，其技术要点主要有如下四点：

1.本发明最重要的是提出了一套解决翻拍检测的技术方案。

2.本发明的数据预处理模块，由四个不同测预处理操作组成，其中的边界填充和滤波处理是通过多种不同的实验最终发现该做顺序的预处理方式可以提升模型的准确率，这也是本发明检测性能优于其他类似发明的根本所在。

3.本发明的降采样模块，通过获取不同分辨率的图像的特征使得图像信息更加的丰富，这是本发明有别于其他类似发明的核心，这也是本发明检测性能优于其他类似发明的根本所在。

4.本发明的主干网络模块，通过对不同分辨率的图像进行深度提取特征使得特征提取能力更强，该模块是配合降采样模块一起使用能发挥最大效果，这也是本发明检测性能优于其他类似发明的根本所在。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。