翻拍图像识别方法、装置、计算机设备及存储介质

技术领域

本发明涉及翻拍图像识别领域，尤其涉及一种翻拍图像识别方法、装置、计算机设备及存储介质。

背景技术

目前翻拍图像识别的解决方案一般是基于边框、反光或者摩尔纹等图像特征实现，例如通过提取图像的LBP(局部二值模式)、SIFT(尺度不变特征变换)、HOG(方向梯度直方图)、Haar(哈尔)等图像特征，然后将提取到的特征值送入到SVM(支持向量机)或XGBOOST(极端梯度提升)等分类模型进行训练。但是，随着拍照技术的不断发展，翻拍图像的质量越来越高，翻拍图像的摩尔纹、边框等特征不是非常明显，因此这种翻拍图像识别技术的误识别率较高，局限性越来越明显。

随着人工智能技术的快速发展，基于神经网络的二分类网络也开始应用于翻拍图像识别中。目前基于神经网络的翻拍图像识别方法对于某种特定的翻拍图像有比较不错的效果，比如通过某类特定成像设备拍摄的翻拍图像。但是翻拍图像的来源是多样的，不同型号、不同厂商的成像设备采集出来的翻拍图像也是有差别的，所以很难采集到所有类型的翻拍图像，这也就导致基于神经网络的翻拍图像识别方法的泛化性比较差。

发明内容

本发明实施例提供了一种翻拍图像识别方法、装置、计算机设备及存储介质，旨在解决现有技术中对翻拍图像的准确率与泛化性不能兼顾的问题。

第一方面，本发明实施例提供了一种翻拍图像识别方法，其包括：

获取样本图像并生成每张所述样本图像对应的第一标签信息，所述第一标签信息为多维向量，所述第一标签信息至少包括所述样本图像的真实类别信息以及真实频谱信息；

基于所述样本图像，对预置的卷积神经网络模型进行模型训练，获取所述样本图像的理论标签信息，所述理论标签信息至少包括所述样本图像的理论类别信息以及理论频谱信息；

基于所述第一标签信息和理论标签信息，利用预设的损失函数计算类别损失和频谱损失，并根据所述类别损失和频谱损失对所述卷积神经网络模型的模型参数进行优化，得到最优的所述卷积神经网络模型；

输入检测图像至所述卷积神经网络模型，计算获取所述检测图像的第二标签信息；

根据所述第二标签信息的类别信息判断所述检测图像是否为翻拍图像。

第二方面，本发明实施例提供了一种翻拍图像识别装置，其包括：

获取单元，用于获取样本图像并生成每张所述样本图像对应的第一标签信息，所述第一标签信息为多维向量，所述第一标签信息至少包括所述样本图像的真实类别信息以及真实频谱信息；

第一计算单元，用于基于所述样本图像，对预置的卷积神经网络模型进行模型训练，获取所述样本图像的理论标签信息，所述理论标签信息至少包括所述样本图像的理论类别信息以及理论频谱信息；

调整单元，用于基于所述第一标签信息和理论标签信息，利用预设的损失函数计算类别损失和频谱损失，并根据所述类别损失和频谱损失对所述卷积神经网络模型的模型参数进行优化，得到最优的所述卷积神经网络模型；

第二计算单元，用于输入检测图像至所述卷积神经网络模型，计算获取所述检测图像的第二标签信息；

判断单元，用于根据所述第二标签的类别信息判断所述检测图像是否为翻拍图像。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的翻拍图像识别方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的翻拍图像识别方法。

本发明实施例提供了一种翻拍图像识别方法、装置、计算机设备及存储介质。该方法包括获取样本图像并生成每张所述样本图像对应的第一标签信息；基于所述样本图像，对预置的卷积神经网络模型进行模型训练，获取所述样本图像的理论标签信息；基于所述第一标签信息和理论标签信息，利用预设的损失函数计算类别损失和频谱损失，并根据所述类别损失和频谱损失对所述卷积神经网络模型的模型参数进行优化，得到最优的所述卷积神经网络模型；输入检测图像至所述卷积神经网络模型，计算获取所述检测图像的第二标签信息；根据所述第二标签信息的类别信息判断所述检测图像是否为翻拍图像。该方法在卷积网络中加入频谱信息进行辅助监督训练，使得卷积神经网络也具备了学习频谱信息的能力，保证卷积神经网络模型对翻拍图像的识别准确率，同时提高了模型的泛化性。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的翻拍图像识别方法的流程示意图；

图2为本发明实施例提供的翻拍图像识别方法的步骤S10的流程示意图；

图3为本发明实施例提供的翻拍图像识别方法的步骤S12的流程示意图；

图4为本发明实施例提供的翻拍图像识别方法的步骤S50的流程示意图；

图5为本发明实施例提供的翻拍图像识别装置的示意性框图；

图6为本发明实施例提供的翻拍图像识别装置的获取单元110的示意性框图；

图7为本发明实施例提供的翻拍图像识别装置的变换子单元112的示意性框图；

图8为本发明实施例提供的翻拍图像识别装置的判断单元150的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本发明实施例提供的翻拍图像识别方法的流程示意图，该翻拍图像识别方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。

如图1所示，该方法包括步骤S10～S50。

步骤S10：获取样本图像并生成每张所述样本图像对应的第一标签信息，所述第一标签信息为多维向量，所述第一标签信息至少包括样本图像的类别信息以及真实频谱信息。

翻拍图像是指采用照相方法复制文件的过程，例如将已有图像通过显示器显示或者激光打印后，再通过成像设备获得的图像，即翻拍的图像。例如，在快消品行业，厂商会安排巡查人员到门店进行巡查，并拍摄现场图片上传至系统作为证明。但是，经常会出现弄虚作假的情况，巡查人员会从其他电子设备的屏幕上翻拍图像，再将翻拍图像上传至系统。翻拍作弊手段不仅给企业带来了直接的经济损失，也给企业的营销管理造成了误导性信息。因此，识别门店上传的图像是否翻拍是快消品企业的迫切需求。当然，不仅是快消品行业，在其他行业，也同样存在上述需求。

本实施例中，通过终端摄像头拍摄获取样本图像；或从本地相册中获取样本图像；或从网络侧的服务器获取样本图像。样本图像包括真实图像和翻拍图像，将每张样本图像处理成以多维向量表示的标签信息，用于训练卷积神经网络模型。标签信息以多维向量呈现，标签信息中包括样本图像的真实类别信息和真实频谱信息。其中，类别信息指的是样本图像是真实图像或翻拍图像。由于真实图像与翻拍图像在光线、环境等方面有一定差异，使得两类图像在频谱图上的频率分布、能量分布等具有较大差别，因此通过频谱信息可以提取出图像在频域的本质图像特征。

一实施例中，如图2所示，步骤S10包括：

步骤S11：获取样本图像，并对所述样本图像进行灰度化处理，得到所述样本图像的灰度图像；

步骤S12：根据预置规则对所述灰度图像进行傅里叶变换，得到最佳傅里叶频谱图；

步骤S13：将所述最佳傅里叶频谱图对应的频域矩阵转化为多维向量，得到所述样本图像的真实频谱信息；

步骤S14：获取所述样本图像的真实类别信息，并对所述真实类别信息与真实频谱信息进行组合，得到所述样本信息的第一标签信息。

在本实施例中，根据真实图像和翻拍图像在不同环境、光线存在成像差异，使得两类图像在频谱图上的频率分布、能量分布等具有较大差异，因而提取真实图像与翻拍图像的频谱信息，制作用于训练卷积神经网络模型的标签信息。

具体如下：首先，一张图像包含三个通道，分别是红色通道、绿色通道和蓝色通道。图像中的每个像素点有三个通道分量值，分别为红色分量值(R)、绿色分量值(G)和蓝色分量值(B)。将一张样本图像中的每个像素点进行灰度处理，通过加权平均法公式得出每个像素点的灰度值，从而得到图像的灰度图像。所使用的加权平均法公式为：Y＝0.299R+0.578G+0.114B，其中，Y为每个像素点的灰度分量值；R为每个像素点中的红色分量值；G为每个像素点中的绿色分量值；B为每个像素点中的蓝色分量值。在得到每张样本图像的灰度图像后，根据预设规则，对灰度图像进行傅里叶变换，得到图像的最佳傅里叶频谱图。其中，傅里叶变换公式如下：

式中，f(x,y)代表一幅大小为M×N的图像矩阵，其中x＝0,1,2,...,M-1和y＝0,1,2,...,N-1；F(u,v)表示离散傅里叶变换后的频域矩阵，其中u＝0,1,2,...,M-1和v＝0,1,2,...,N-1；e是自然对数的底，j表示虚数单位。

在得出最佳傅里叶频谱图对应的频域矩阵转化为多维向量，以多维向量作为这张样本图像的频谱信息。最后，以预设维数的向量表示这张样本图像的所属类别信息，将类别信息和频谱信息的多维向量组合，得到样本信息的标签信息。例如，以2维向量表示一张样本图像的类别信息，以100维向量表示一张样本图像的频谱信息。2维类别信息与100维频谱信息组合，生成表示这张样本图像的102维向量的标签信息。

一实施例中，如图3所示，步骤S12包括：

步骤S121：对所述灰度图像进行傅里叶变换，得到初始傅里叶频谱图；

步骤S122：对所述初始傅里叶频谱图进行归一化处理，并按预置尺寸规格调整所述初始傅里叶频谱图，得到最佳傅里叶频谱图。

本实施例中，由于灰度图像变换得到的初始傅里叶频谱图数据范围比较大，不利于卷积神经网络模型训练。因此需对初始傅里叶频谱图进行归一化处理，进而缩小数据范围。使用最大最小归一化方法将初始傅里叶频谱图的数据转换到0-1的范围，归一化公式如下：

式中，X

步骤S20：基于所述样本图像，对预置的卷积神经网络模型进行模型训练，获取所述样本图像的理论标签信息，所述理论标签信息至少包括所述样本图像的理论类别信息以及理论频谱信息；

步骤S30：基于所述第一标签信息和理论标签信息，利用预设的损失函数计算类别损失和频谱损失，并根据所述类别损失和频谱损失对所述卷积神经网络模型的模型参数进行优化，得到最优的所述卷积神经网络模型。

在本实施例中，为避免卷积神经网络模型的模型参数误差过大，利用样本图像对预置的卷积神经网络模型进行模型训练，得到样本图像的理论标签信息，进而基于样本图像的真实标签信息和理论标签信息，根据损失函数计算样本图像的类别损失和频谱损失，进而优化模型参数。需要注意的是，卷积神经网络模型输出的是多维向量，多维向量中包括理论类别信息和理论频谱信息。例如，一个102维的向量，前2维存放的是图像的理论类别信息，后100维存放的是图像的理论频谱信息。

在一实施例中，所述卷积神经网络模型的网络结构如表1所示。

表1

其中，卷积神经网络模型包括：4个卷积模块和1个输出模块，每一卷积模块包括2个卷积层和1个池化层，输出模块包括2个全连接层。每个卷积层为3×3卷积核的卷积层，每个池化层为2×2池化大小的池化层。第一卷积模块中卷积层的步长为1，第二卷积模块、第三卷积模块以及第四卷机模块中卷积层之的步长为2。每一个卷积层的填充为1。第一卷积模块的卷积层通道数为64，第二卷积模块的卷积层通道数为128，第三卷积模块的卷积层通道数为256，第四卷积模块的卷积层通道数为512。需要注意的是，所述卷积神经网络模型的结构可以根据需要进行设计。

在本实施例中，为改善在训练过程中，所述卷积神经网络模型的中间层数据分布发生改变的情况。在每个卷积层后均对标签信息进行批归一化处理，通过批归一化可以加快训练速度，提高模型训练精度，同时也起到了正则化的作用。批归一化的计算公式如下：

y

式中，x

在一实施例中，由于模型的输出包含类别信息和频谱信息两部分，所以损失函数包括类别损失和频谱损失两部分，其中类别损失使用交叉熵，频谱信息损失使用平方损失函数。通过损失函数来优化初始网络参数。在训练卷积神经网络模型时，输入样本图像到模型会得到一个理论标签信息，基于理论标签信息中的计算频谱信息，以及样本图像实际标签信息中的实际频谱信息，根据损失函数计算出计算频谱信息与实际频谱信息的损失，进而优化模型参数。损失函数公式如下：

其中，N是样本图像数量，M为真实频谱信息的向量维数，

进一步地，为避免卷积神经网络模型出现过拟合，在池化层和全连接层后加入Dropout层(丢弃层)，Dropout层的参数根据实际需要自定义设置。例如，设置Dropout层的参数为0.25，即该层的神经元在每次迭代训练时会随机有25％的可能性被丢弃(失活)，不参与训练。

步骤S40：输入检测图像至所述卷积神经网络模型，计算获取所述检测图像的第二标签信息。

在本实施例中，经过上述实施例中通过样本图像、卷积神经网络模型及损失函数，确定了最优的卷积神经网络模型之后。根据确定最优模型参数的卷积神经网络模型函数，计算出检测图像的标签信息。

步骤S50：根据所述第二标签信息的类别信息判断所述检测图像是否为翻拍图像。

本实施例中，根据卷积神经网络模型输出的第二标签信息，识别第二标签信息中代表类别信息的多维向量，从而确定检测图像是真实图像或翻拍图像。

例如，预设卷积神经网络模型输出的为102维向量的标签信息，其中前2维向量代表类别信息。前2维代表中第一个位置代表图像为真实图像的概率，第二个位置代表图像为翻拍图像的概率。如果第一个位置的数值大于第二个位置的数值，则判定图像为真实图像；否则判定图像是翻拍图像。

一实施例中，如图4所示，步骤S50包括：

步骤S51：识别所述第二标签的类别信息，所述类别信息包括真实图像的第一概率与翻拍图像的第二概率；

步骤S52：判断所述第一概率是否大于第二概率；

步骤S531：若所述第一概率大于所述第二概率，则判定所述检测图像为真实图像；

步骤S532：若所述第一概率小于所述第二概率，则判定所述检测图像为翻拍图像。

本实施例中，识别检测图像的第二标签信息中代表图像类别的类别信息，类别信息中可以是真实图像概率(即第一概率)和翻拍图像概率(即第二概率)，然后通过比较真实图像概率与翻拍图像概率，进而判断检测图像为真实图像或翻拍图像。优选地，若真实图像概率大于翻拍图像概率，则判定检测图像为真实图像；若所述真实图像概率小于翻拍图像概率，则判定检测图像为翻拍图像。

例如，若当前检测图像的类别信息中代表真实图像概率为1，代表翻拍图像概率为0，则当前检测图像为真实图像；若当前检测图像的类别信息中代表真实图像概率为0，代表翻拍图像概率为1，则当前检测图像为翻拍图像。

该方法保证卷积神经网络模型对翻拍图像的识别准确率的同时，提高了模型的泛化性。

本发明实施例还提供一种翻拍图像识别装置，该翻拍图像识别装置用于执行前述翻拍图像识别方法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的翻拍图像识别装置的示意性框图。该翻拍图像识别装置100可以配置于服务器中。

如图5所示，翻拍图像识别装置100包括获取单元110、第一计算单元120、调整单元130、第二计算单元140，判断单元150。

获取单元110，用于获取样本图像并生成每张所述样本图像对应的第一标签信息，所述训练标签至少包括样本图像的类别信息以及真实频谱信息。

第一计算单元120，用于基于所述样本图像，对预置的卷积神经网络模型进行模型训练，获取所述样本图像的理论标签信息，所述理论标签信息至少包括所述样本图像的理论类别信息以及理论频谱信息；

调整单元130，用于基于所述第一标签信息和理论标签信息，利用预设的损失函数计算类别损失和频谱损失，并根据所述类别损失和频谱损失对所述卷积神经网络模型的模型参数进行优化，得到最优的所述卷积神经网络模型。

第二计算单元140，用于输入检测图像至所述卷积神经网络模型，计算获取所述检测图像的第二标签信息。

判断单元150，用于根据所述第二标签信息的类别信息判断所述检测图像是否为翻拍图像。

一实施例中，如图6所示，获取单元110包括：

获取子单元111，用于获取样本图像，并对所述样本图像进行灰度化处理，得到所述样本图像的灰度图像；

变换子单元112，用于根据预置规则对所述灰度图像进行傅里叶变换，得到最佳傅里叶频谱图；

转化子单元113，用于将所述最佳傅里叶频谱图对应的频域矩阵转化为多维向量，得到所述样本图像的真实频谱信息；

组合子单元114，用于获取所述样本图像的真实类别信息，并对所述真实类别信息与真实频谱信息进行组合，得到所述样本信息的第一标签信息。

一实施例中，如图7所示，变换子单元112包括：

傅里叶变换变换子单元1121，用于对所述灰度图像进行傅里叶变换，得到初始傅里叶频谱图；

归一化子单元1122，用于对所述初始傅里叶频谱图进行归一化处理，并按预置尺寸规格调整所述初始傅里叶频谱图，得到最佳傅里叶频谱图。

一实施例中，如图8所示，判断单元150包括：

识别子单元151，用于识别所述第二标签的类别信息，所述类别信息包括真实图像的第一概率与翻拍图像的第二概率；

判定子单元152，判断所述第一概率是否大于第二概率，若所述第一概率大于所述第二概率，则判定所述检测图像为真实图像，若所述第一概率小于所述第二概率，则判定所述检测图像为翻拍图像。

上述翻拍图像识别装置实施例的具体内容与上述翻拍图像识别方法实施例的具体内容一一对应，其具体细节可参考实施例的描述，此处不再赘述。

在本发明的另一实施例中提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的翻拍图像识别方法。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：获取样本图像并生成每张所述样本图像对应的第一标签信息；基于所述样本图像，对预置的卷积神经网络模型进行模型训练，获取所述样本图像的理论标签信息；基于所述第一标签信息和理论标签信息，利用预设的损失函数计算类别损失和频谱损失，并根据所述类别损失和频谱损失对所述卷积神经网络模型的模型参数进行优化，得到最优的所述卷积神经网络模型；输入检测图像至所述卷积神经网络模型，计算获取所述检测图像的第二标签信息；根据所述第二标签信息的类别信息判断所述检测图像是否为翻拍图像。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。