签名鉴别方法、模型训练方法、装置、设备及介质

技术领域

本申请涉及生物识别领域，尤其涉及一种签名鉴别方法、模型训练方法、装置、设备及介质。

背景技术

为保障财产安全，客户在办理银行业务时需要提供手写签名。在线上业务的办理中，可能出现伪造的手写签名，伪造程度往往以假乱真，仅依靠人眼难以分辨真伪。

在针对与写者无关的离线签名鉴别任务提出的神经网络方法中，可将待测签名和参考签名输入至孪生神经网络(Siamese)中，在该网络中通过一个共享权值网络来提取待测签名的特征向量和参考签名的特征向量，根据待测签名的特征向量与参考签名的特征向量之间的欧氏距离来判断待测签名是否为伪造签名。

然而，上述方式的签名鉴别准确性较低。

发明内容

本申请提供一种签名鉴别方法、模型训练方法、装置、设备及介质，用以解决签名鉴别的准确性较低的问题。

第一方面，本申请提供一种签名鉴别方法，包括：

获取待鉴别图像和参考图像，所述待鉴别图像上包含用户的待鉴别签名，所述参考图像上包括所述用户的真实签名；

将所述待鉴别图像和所述参考图像输入至生成对抗网络中的第一鉴别模型，在所述第一鉴别模型中对所述待鉴别图像上的待鉴别签名与所述参考图像上的真实签名进行字体风格的相似度判别，得到所述待鉴别图像的风格相似度得分；

将所述待鉴别图像和所述参考图像输入至所述生成对抗网络中的第二鉴别模型，在所述第二鉴别模型中对所述待鉴别图像上的待鉴别签名与所述参考图像上的真实签名进行文字结构的相似度判别，得到所述待鉴别图像的结构相似度得分；

根据所述风格相似度得分和所述结构相似度得分，确定所述待鉴别图像的鉴别得分；

如果所述鉴别得分大于分数阈值，则确定所述待鉴别图像为真实签名图像。

第二方面，本申请提供一种模型训练方法，包括：

获取第一训练图像、第二训练图像和所述第二训练图像对应的标签，所述第一训练图像包含用户的真实签名，所述第二训练图像包含所述用户的真实签名或者虚假签名，所述第二训练图像对应的标签用于指示所述第二训练图像为真实签名图像或者虚假签名图像；

将所述第一训练图像和所述第二训练图像输入至生成对抗网络中的第一鉴别模型，在所述第一鉴别模型中对所述第一训练图像上的签名与所述第二训练图像上的签名进行字体风格的相似度判别，得到所述第二训练图像的风格相似度得分；

将所述第一训练图像和所述第二训练图像输入至所述生成对抗网络中的第二鉴别模型，在所述第二鉴别模型中对所述第一训练图像上的签名与所述第二训练图像上的签名进行文字结构的相似度判别，得到所述第二训练图像的结构相似度得分；

根据所述风格相似度得分和所述结构相似度得分，确定所述第二训练图像的鉴别得分；

根据所述鉴别得分和所述标签，对所述第一鉴别模型和所述第二鉴别模型进行参数调整，得到训练后的第一鉴别模型和训练后的第二鉴别模型。

第三方面，本申请提供一种签名鉴别装置，包括：

获取模块，用于获取待鉴别图像和参考图像，所述待鉴别图像上包含用户的待鉴别签名，所述参考图像上包括所述用户的真实签名；

风格判别模块，用于将所述待鉴别图像和所述参考图像输入至生成对抗网络中的第一鉴别模型，在所述第一鉴别模型中对所述待鉴别图像上的待鉴别签名与所述参考图像上的真实签名进行字体风格的相似度判别，得到所述待鉴别图像的风格相似度得分；

结构判别模块，用于将所述待鉴别图像和所述参考图像输入至所述生成对抗网络中的第二鉴别模型，在所述第二鉴别模型中对所述待鉴别图像上的待鉴别签名与所述参考图像上的真实签名进行文字结构的相似度判别，得到所述待鉴别图像的结构相似度得分；

得分确定模块，用于根据所述风格相似度得分和所述结构相似度得分，确定所述待鉴别图像的鉴别得分；

图像类型确定模块，用于如果所述鉴别得分大于分数阈值，则确定所述待鉴别图像为真实签名图像。

第四方面，本申请提供一种模型训练装置，包括：

训练数据获取模块，用于获取第一训练图像、第二训练图像和所述第二训练图像对应的标签，所述第一训练图像包含用户的真实签名，所述第二训练图像包含所述用户的真实签名或者虚假签名，所述第二训练图像对应的标签用于指示所述第二训练图像为真实签名图像或者虚假签名图像；

风格判别模块，用于将所述第一训练图像和所述第二训练图像输入至生成对抗网络中的第一鉴别模型，在所述第一鉴别模型中对所述第一训练图像上的签名与所述第二训练图像上的签名进行字体风格的相似度判别，得到所述第二训练图像的风格相似度得分；

结构判别模块，用于将所述第一训练图像和所述第二训练图像输入至所述生成对抗网络中的第二鉴别模型，在所述第二鉴别模型中对所述第一训练图像上的签名与所述第二训练图像上的签名进行文字结构的相似度判别，得到所述第二训练图像的结构相似度得分；

得分确定模块，用于根据所述风格相似度得分和所述结构相似度得分，确定所述第二训练图像的鉴别得分；

调整模块，用于根据所述鉴别得分和所述标签，对所述第一鉴别模型和所述第二鉴别模型进行参数调整，得到训练后的第一鉴别模型和训练后的第二鉴别模型。

第五方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面提供的签名鉴别方法或者实现如第二方面提供的模型训练方法。

第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面提供的签名鉴别方法或者实现如第二方面提供的模型训练方法。

第七方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如第一方面提供的签名鉴别方法或者实现如第二方面提供的模型训练方法。

本申请提供的签名鉴别方法、装置、设备及存储介质，在生成对抗网络中利用双鉴别模型，对文字结构特征和字体风格特征的同时约束，其中，文字结构特征约束的是签名内容，从内容方面对签名进行鉴别，字体风格特征约束的是书写者的书写习惯，书写习惯受书写者的身体条件、受教育程度、人生经历等因素共同影响的，即使在刻意仿造时也难以完全一致。因此，本申请通过双鉴别器进行签名鉴别，从文字结构方面和字体风格方面保障了签名鉴别的准确性，有效地提高了签名鉴别的准确性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请的应用场景的示例图；

图2为本申请实施例提供的一种签名鉴别方法的流程示意图一；

图3为本申请实施例提供的网络结构示意图一；

图4为本申请实施例提供的一种签名鉴别方法的流程示意图二；

图5为本申请实施例提供的一种签名鉴别方法的流程示意图三；

图6为本申请实施例提供的网络结构示意图二；

图7为本申请实施例提供的签名鉴别装置的结构示意图；

图8为本申请实施例提供的模型训练装置的结构示意图；

图9为本申请实施例提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要说明的是，本申请提供的签名鉴别方法、装置、设备及存储介质可用于人工智能领域，也可用于除人工智能领域之外的任意领域，本申请提供的签名鉴别方法、装置、设备及存储介质的应用领域不做限定。

首先，对本申请涉及到的部分用语进行解释：

签名鉴别：又可以称为签名鉴定，是指鉴定签名的真伪，即判断签名是本人签署还是其他人仿制，是否具有法律效应。

生成对抗网络(Generative Adversarial Network，GAN)：包含生成模型和鉴别模型两部分，通过两部分网络之间的自我博弈对抗，可以达到使用小样本数据集完成训练的效果。在生成对抗网络中，生成模型用于生成仿制样本，鉴别模型用于鉴别样本真伪。

相关技术中，可采用神经网络进行签名鉴定。例如，Signet方法，该方法是针对与写者无关的离线签名鉴定任务提出的神经网络方法，采用双输入的孪生神经网络(Siamese)，将一个待测签名和一个参考签名作为该网络的输入数据，在该网络中通过一个共享权值网络来提取待测签名的特征向量和参考签名的特征向量，之后凭借待测签名的特征向量与参考签名的特征向量之间的欧氏距离，来判断待测签名的真伪。在训练过程中，使用孪生神经网络常用的对比损失函数(contrastive loss)来约束网络参数训练，优化整个网络。

然而，采用神经网络进行签名鉴定存在以下缺点：

缺点1、需要使用的训练数据集大。签名的笔画较为稀疏，使用神经网络提取到签名的有效特征较为困难，需要大量的训练数据。由于签名具有隐私性，不同使其的签名差距较大，所以在实际应用中收集到大量训练数据的难度大。

缺点2、签名鉴别准确率低。在签名鉴别网络中，为了提高其实用性，通常将采集到的不同人的签名都放在同一个网络中进行训练，得到一个共有鉴别器。即，在这个网络中不同人本人写的签名都是正样本，不同人伪造的他人签名都为负样本。这种做法导致了签名样本具有“高类内差异性，小类间差异性”的特点，不利于准确鉴别签名。离线签名验证通常依赖于从静态文本中提取到的特征来描述签名，该特征即本申请中提到的文字结构特征，例如，文字的几何特征、曲率特征、倾斜度特征、轨迹长度特征等。这些特征易于提取并且可以直观地描述签名。但是，不同的人编写相同文本时，受编写内容的限制，不同签名的文字结构特征可能只会有细微差异，这些细微的差异在同一作者面对空间的限制或者书写纸张的影响时也可能存在。所以，单独依赖文字结构特征进行签名鉴别，可能会导致误判，降低签名鉴别的准确率。

为解决上述缺点，本申请提供了一种签名鉴别方法、模型训练方法、装置、设备及介质。在本申请中，采用生成对抗网络中的双鉴别模型，从文字结构和字体风格两方面对签名进行鉴别，提高了签名鉴别的准确性，而且生成对抗网络在使用小样本的情况下能够自我训练，达到较好的训练效果，无需收集大量的训练数据。

需说明，本申请提供的签名鉴别方法与模型训练方法，可以在同一设备上进行，也可以在不同设备上进行，对此不做限制。用于执行签名建模方法的设备和用于执行模型训练方法的设备可以是服务器，也可以是终端，对此不做限制。

本申请具体的应用场景为签名鉴别场景，图1为本申请的应用场景的示例图。如图1所示，以签名鉴别在第一服务器101上执行、模型训练在第二服务器102上执行为例，可将在第二服务器102上训练得到的生成式对抗网络中的第一鉴别模型和第二鉴别模型，部署至第一服务器101上；终端103可在获得用户的签名图像后，将用户的签名图像发送给第一服务器101，在第一服务器101上，通过第一鉴别模型和第二鉴别模型对用户的签名图像进行鉴别，以鉴别该签名图像上的签名是该用户的真实签名还是伪造签名。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图2为本申请实施例提供的一种签名鉴别方法的流程示意图一。如图2所示，签名鉴别方法包括如下步骤：

S201，获取待鉴别图像和参考图像，待鉴别图像上包含用户的待鉴别签名，参考图像上包括用户的真实签名。

其中，待鉴别图像可以为一个或多个，在待鉴别图像为多个的情况下，可基于参考图像和生成对抗网络对各个待鉴别图像依次进行真伪鉴别。

其中，待鉴别图像上的待鉴别签名和参考图像上的真实签名对应同一用户，待鉴别图像上的待鉴别签名可能是该用户的真实签名也可能是该用户的伪造签名。

本实施例中，可从数据库中获取待鉴别图像和参考图像，以实现离线签名鉴别；或者，用户可在终端上进行签名，终端获取用户输入的签名，根据该签名生成待鉴别图像，将待鉴别图像发送给签名鉴别装置，签名鉴别装置获取来自终端的待鉴别图像，从数据库中获取该用户对应的参考图像，以实现在线签名鉴别。

S202，将待鉴别图像和参考图像输入至生成对抗网络中的第一鉴别模型，在第一鉴别模型中对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行字体风格的相似度判别，得到待鉴别图像的风格相似度得分。

其中，生成对抗网络包括生成模型、第一鉴别模型和第二鉴别模型，可预先训练生成对抗网络。生成模型是在生成对抗网络的训练过程中使用。

例如，图3是本申请实施例提供的网络结构示例图一，在图3中，生成对抗网络包括生成器模块(即生成模型)和鉴别器模块(即鉴别模型)，在鉴别器模块中包括风格鉴别器(即第一鉴别模型)和结构鉴别器(即第二鉴别模型)。

其中，待鉴别图像的风格相似度得分反映了待鉴别图像上的待鉴别签名与参考图像上的真实签名在字体风格上的相似度，相似度得分越高，则待鉴别图像上的待鉴别签名与参考图像上的真实签名在字体风格上的相似度越高。

本实施例中，将待鉴别图像和参考图像输入至生成对抗网络中的第一鉴别模型，可在第一鉴别模型中，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，在特征提取的过程中，可侧重于提取与字体风格相关的特征。之后，基于提取到的特征，对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行字体风格的相似度判别，得到待鉴别图像的风格相似度得分。

S203，将待鉴别图像和参考图像输入至生成对抗网络中的第二鉴别模型，在第二鉴别模型中对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行文字结构的相似度判别，得到待鉴别图像的结构相似度得分。

其中，待鉴别图像的结构相似度得分反映了待鉴别图像上的待鉴别签名与参考图像上的真实签名在字体结构上的相似度，结构相似度得分越高，则待鉴别图像上的待鉴别签名与参考图像上的真实签名在字体结构上的相似度越高。

本实施例中，将待鉴别图像和参考图像输入至生成对抗网络中的第一鉴别模型，可在第一鉴别模型中，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，在特征提取的过程中，可侧重于提取与文字结构相关的特征。基于提取到的特征，对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行字体风格的相似度判别，得到待鉴别图像的风格相似度得分。

S204，根据风格相似度得分和结构相似度得分，确定待鉴别图像的鉴别得分。

本实施例中，结合风格相似度得分和结构相似度得分来确定待鉴别图像的鉴别得分，在鉴别时兼顾了字体风格和文字结构两方面，提高了鉴别得分的准确性。

S205，如果鉴别得分大于分数阈值，则确定待鉴别图像为真实签名图像。

本实施例中，如果鉴别得分大于分数阈值，说明待鉴别图像上的待鉴别签名与参考图像上的真实签名在字体风格和文字结构上均有较高的相似度，可确定待鉴别图像为真实签名图像，即确定待鉴别图像上的待鉴别签名为真实签名。

本申请实施例中，在生成对抗网络中，采用双鉴别模型(即第一鉴别模型和第二鉴别模型)，分别从字体风格和文字结构对待鉴别图像上的待鉴别签名进行鉴别，得到相应的相似度得分。结合字体风格和文字结构这两方面的相似度得分，来判断待鉴别图像是否为真实签名图像，有效地提高了签名真伪鉴别的准确性。

如果待鉴别图像的鉴别得分小于或者等于分数阈值，有如下可选方案：

可选的，如果待鉴别图像的鉴别得分小于或者等于分数阈值，则可确定待鉴别图像为伪造签名图像，即确定待鉴别图像上的待鉴别签名为伪造签名。

可选的，如果待鉴别图像的鉴别得分小于或者等于分数阈值，则可为确定待鉴别图像为签名存疑图像，可向用户终端发送重新签名消息，以便用户提供新的签名。

关于第一鉴别模型和第二鉴别模型，有如下可选方案：

可选的，第一鉴别模型和第二鉴别模型中分别包括特征提取网络，为了便于区分，将第一鉴别模型中的特征提取网络称为第一特征提取网络，将第二鉴别模型中的特征提取网络称为第二特征提取网络。即，第一鉴别模型包括第一特征提取网络，第二鉴别模型包括第二特征提取网络。关于第一特征提取网络和第二特征提取网络，有如下可选方案：

可选的，第一特征提取网络的网络结构与第二特征提取网络的网络结构不同，使得第一特征提取网络和第二特征提取网络可以从图像上提取到签名的不同特征。其中，第一特征提取网络侧重于从图像上提取出与字体风格相关的特征，第二特征提取网络侧重于从图像上提取出与文字结构相关的特征。从而，通过在不同的建模模型中采用不同结构的特征提取网络，从不同的侧重点进行签名特征提取，提高签名鉴别的准确性。

可选的，第一鉴别模型和第二鉴别模型分别还包括分类网络，为便于区分，将第一鉴别模型中的分类网络称为第一分类网络，将第二鉴别模型中的分类网络称为第二分类网络。即，第一鉴别器包括第一分类网络，第二鉴别器包括第二分类网络。其中，第一分类网络用于根据第一特征提取网络的输出数据确定待鉴别图像的风格相似度得分，第二分类网络用于根据第二特征提取网络的输出数据确定待鉴别图像的结构相似度得分。

图4为本申请实施例提供的一种签名鉴别方法的流程示意图二。如图4所示，签名鉴别方法包括如下步骤：

S401，获取待鉴别图像和参考图像，待鉴别图像上包含用户的待鉴别签名，参考图像上包括用户的真实签名。

其中，S401的实现原理和技术效果可参照前述实施例，不再赘述。

S402，将待鉴别图像和参考图像输入至第一特征提取网络，在第一特征提取网络中，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，得到第一特征数据，第一特征数据的形式为矩阵形式。

本实施例中，将待鉴别图像和参考图像输入至第一特征提取网络，在第一特征提取网络中，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，尤其是从字体风格对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，得到第一特征数据。第一特征数据的形式为矩阵形式，矩阵是二维的，即第一特征数据为二维数据。

在一种可能的实现方式中，第一特征提取网络包括第一卷积模块，第一卷积模块中包括卷积层和自注意力网络。S402包括：在第一特征提取网络中，通过卷积层和自注意力网络，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，得到第一特征数据。从而，利用卷积层和自注意力网络提取待鉴别签名和真实签名更多的风格特点，使得第一特征数据中可以包含签名数据在字体风格方面的特征。

其中，在第一特征提取网络中可包括多个第一卷积模块，各个卷积模块均包括卷积层和自注意力层，多个第一卷积模块可依次连接。先通过第一个第一卷积模块，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，得到第一个第一卷积模块的输出数据，将第一个第一卷积模块的输出数据，输入至第二个第一卷积模块中，通过第二个第一卷积模块，对第一个第一卷积模块的输出数据进行特征提取，如此类推，直至得到最后一个第一卷积模块的输出数据，即第一特征数据。

进一步的，第一卷积模块中卷积层为多个，在第一卷积模块中多个卷积层依次排列，自注意力网络的输入数据是根据第一卷积模块中的最后一个卷积层的输出数据确定的。从而，利用卷积模块近输出端的卷积层保留更多风格信息的特点，对在每个第一卷积模块的最后一个卷积层添加自注意力网络加强字体风格特征的提取。

S403，将第一特征数据输入至第一分类网络，在第一分类网络中，基于第一特征数据，对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行字体风格的相似度判别，得到待鉴别图像的风格相似度得分。

其中，第一分类网络用于基于签名的字体风格确定签名为真实签名的概率。

本实施例中，将第一特征数据输入至第一分类网络，由于第一特征数据包括了待鉴别图像上待鉴别签名的特征数据和参考图像上真实签名的特征数据，且这些特征数据是侧重于对待鉴别签名和真实签名进行字体风格特征提取得到的，所以，可在第一分类网络中，通过比较第一特征数据中待鉴别图像上待鉴别签名的特征数据与第一特征数据中参考图像上真实签名的特征数据之间的相似度，得到待鉴别图像的风格相似度得分。

可选的，第一分类网络包括全连接层和归一化指数函数(Softmax)层。可将第一特征数据输入至第一分类网络中的全连接层，在全连接层对第一特征数据进行处理，得到全连接层的输出数据；将全连接层的输出数据输入至Softmax层中进行分类，得到Softmax层的输出数据，Softmax层的输出数据是待鉴别图像上的待鉴别签名与参考图像上的真实签名的风格相似度，即风格相似度得分，即待鉴别图像上的待鉴别签名为真实签名的概率。

S404，将待鉴别图像和参考图像输入至第二特征提取网络，在第二鉴别模型中，对待鉴别图像和参考图像进行特征提取，得到第二特征数据，第二特征数据的形式为向量形式。

本实施例中，将待鉴别图像和参考图像输入至第二特征提取网络，在第二特征提取网络中，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，尤其是从字体结构对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，得到第二特征数据。第二特征数据的形式为向量形式，向量是二维的，即第二特征数据为二维数据。

在一种可能的实现方式中，第二特征提取网络包括第二卷积模块，第二卷积模块中包括卷积层，第二卷积模块可以是卷积神经网络(Convolutional Neural Networks,CNN)，用于提取图像中文字的几何特征。S404包括：在第二特征提取网络中，通过第二卷积模块中的卷积层，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，得到第二特征数据。从而，利用卷积层提取待鉴别签名和真实签名的几何特征，几何特征反映出文字结构特点，使得第二特征数据中可以包含签名数据在文字结构方面的特征。

其中，在第二特征提取网络中可包括多个第二卷积模块，各个卷积模块均包括卷积层，多个第二卷积模块可依次连接。先通过第一个第二卷积模块，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，得到第一个第二卷积模块的输出数据，将第一个第二卷积模块的输出数据，输入至第二个第二卷积模块中，通过第二个第二卷积模块，对第一个第二卷积模块的输出数据进行特征提取，如此类推，直至得到最后一个第二卷积模块的输出数据，即第二特征数据。

S405，将第二特征数据输入至第二分类网络，在第二分类网络中，基于第二特征数据，对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行文字结构的相似度判别，得到待鉴别图像的结构相似度得分。

其中，第二分类网络用于基于签名的文字结构确定签名为真实签名的概率。

本实施例中，将第二特征数据输入至第二分类网络，由于第二特征数据包括了待鉴别图像上待鉴别签名的特征数据和参考图像上真实签名的特征数据，且这些特征数据是侧重于对待鉴别签名和真实签名进行文字结构特征提取得到的，所以，可在第二分类网络中，通过比较第二特征数据中待鉴别图像上待鉴别签名的特征数据与第二特征数据中参考图像上真实签名的特征数据之间的相似度，得到待鉴别图像的结构相似度得分。

可选的，第二分类网络包括全连接层和Softmax层。可将第二特征数据输入至第二分类网络中的全连接层，在全连接层对第二特征数据进行处理，得到全连接层的输出数据；将全连接层的输出数据输入至Softmax层中进行分类，得到Softmax层的输出数据，Softmax层的输出数据是待鉴别图像上的待鉴别签名与参考图像上的真实签名的结构相似度，即结构相似度得分，即待鉴别图像上的待鉴别签名为真实签名的概率。

S406，根据风格相似度得分和结构相似度得分，确定待鉴别图像的鉴别得分。

S407，如果鉴别得分大于分数阈值，则确定待鉴别图像为真实签名图像。

其中，S406～S407的实现原理和技术效果可参照前述实施例，不再赘述。

本申请实施例中，在生成对抗网络的第一判别模型中，通过第一特征提取网络和第一分类网络实现对待鉴别签名和真实签名的字体风格的相似度判别，得到待鉴别签名的风格相似度得分；在生成对抗网络的第二判别模型中，通过第二特征提取网络和第二分类网络实现对待鉴别签名和真实签名的文字结构的相似度判别，得到待鉴别签名的结构相似度得分。可见，提高了风格相似度与结构相似度判别的准确性。结合风格相似度得分和结构相似度得分，得到鉴别得分，在鉴别得分大于分数阈值的情况下，确定待鉴别图像为真实签名图像。从而，提高了对签名进行鉴别的准确性。

在一些实施例中，在根据风格相似度得分和结构相似度得分，确定待鉴别图像的鉴别得分的过程中，可以对风格相似度得分和结构相似度得分进行加权求和，得到鉴别得分。从而，通过加权求和合理结合风格相似度得分和结构相似度得分，提高鉴别得分的准确性。

本实施例中，可按照字体风格对应的权重和文字结构对应的权重，对风格相似度得分和结构相似度得分进行加权求和。其中，字体风格对应的权重和文字结构对应的权重可以为预先定义的权重，专业人员可以对该权重进行调整。

图5为本申请实施例提供的一种模型训练方法的流程示意图。如图5所示，模型训练方法包括如下步骤：

S501，获取第一训练图像、第二训练图像和第二训练图像对应的标签，第一训练图像包含用户的真实签名，第二训练图像包含用户的真实签名或者虚假签名，第二训练图像对应的标签用于指示第二训练图像为真实签名图像或者虚假签名图像。

其中，在训练数据集中，可包括多个训练样本。每个训练样本可包括一个图像对和图像对中参考图像对应的标签，图像对中包括真实签名图像和参考图像，真实签名图像上的签名为真实签名，参考图像上的签名为真实签名或者虚假签名，即参考图像可以是真实签名图像，也可以是虚假签名图像。参考图像为虚假签名图像时，可以是收集到的虚假签名图像，也可以是生成对抗网络中生成模型伪造的虚假签名图像。在训练样本中，一个图像对与一个用户对应，即在一个图像对中真实签名图像上的签名为用户的真实签名，参考图像上的签名为该用户的真实签名或者该用户的虚假签名。

本实施例中，可从训练数据集中，获取第一训练图像、第二训练图像和第二训练图像对应的标签。其中，第一训练图像和第二训练图像属于同一训练样本，第一训练图像为该训练样本中的真实签名图像，第二训练图像为该训练样本中的参考图像。所以，第二训练图像可以是真实签名图像，也可以是虚假签名图像，以提高鉴别模型的签名鉴别能力。第二训练图像为虚假签名图像时，可以是收集到的虚假签名图像，也可以是生成对抗网络中的生成模型伪造的虚假签名图像。

在生成对抗网络的训练过程中，可以进行多轮训练。在一轮训练中，可以固定第一鉴别模型和第二鉴别模型不变，训练生成模型，在训练生成模型的过程中，可将随机生成的输入参数输入至生成模型中，在生成模型中根据输入参数进行图像生成，得到生成模型输出的伪造图像，基于第一训练图像与伪造图像之间的差异，对生成模型进行参数调整；之后，可固定生成模型不变，训练第一鉴别模型和第二鉴别模型，第一鉴别模型和第二鉴别模型的训练过程如S502～S505。如此，进行多轮训练，得到训练后的生成对抗网络。

其中，生成模型中包括全连接层和反卷积层。在生成模型中，接收到的输入参数为一维向量，所以在生成器中首先可使用全连接层将输入参数重塑成多维的张量，之后再对多维的张量进行若干次向上采样的反卷积，最终得到与训练图像大小一致的伪造图像。

S502，将第一训练图像和第二训练图像输入至生成对抗网络中的第一鉴别模型，在第一鉴别模型中对第一训练图像上的签名与第二训练图像上的签名进行字体风格的相似度判别，得到第二训练图像的风格相似度得分。

其中，在第一鉴别模型中对第一训练图像上的签名与第二训练图像上的签名进行字体风格的相似度判别，得到第二训练图像的风格相似度得分，可以参照将前述实施例中“在第一鉴别模型中对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行字体风格相似度判别，得到待鉴别图像的风格相似度得分”的过程，不再赘述。

S503，将第一训练图像和第二训练图像输入至生成对抗网络中的第二鉴别模型，在第二鉴别模型中对第一训练图像上的签名与第二训练图像上的签名进行文字结构的相似度判别，得到第二训练图像的结构相似度得分。

其中，在第二鉴别模型中对第一训练图像上的签名与第二训练图像上的签名进行文字结构的相似度判别，得到第二训练图像的结构相似度得分，可以参照将前述实施例中“在第二鉴别模型中对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行文字解耦股相似度判别，得到待鉴别图像的风格相似度得分”的过程，不再赘述。

S504，根据风格相似度得分和结构相似度得分，确定第二训练图像的鉴别得分。

本实施例中，可结合第二训练图像的风格相似度得分和第二训练图像的结构相似度得分，确定第二训练图像的鉴别得分。具体可参照前述实施例中根据待鉴别图像的风格相似度得分和待鉴别图像的结构相似度得分，得到待鉴别图像的鉴别得分的过程，不再赘述。

S505，根据鉴别得分和标签，对第一鉴别模型和第二鉴别模型进行参数调整，得到训练后的第一鉴别模型和训练后的第二鉴别模型。

本实施例中，可根据第二训练图像的鉴别得分与第二训练图像的标签，确定模型训练的损失值，根据损失值对第一鉴别模型和第二鉴别模型进行参数调整，得到训练后的第一鉴别模型和训练后的第二鉴别模型。

本申请实施例中，训练生成对抗网络，在训练过程中，也是通过字体风格和文字结构来鉴别签名，再通过有监督训练的方式，调整第一鉴别模型和第二鉴别模型的模型参数，从而提高了第一鉴别模型和第二鉴别模型的签名鉴别能力。

图6为本申请实施例提供的网络结构示例图二，在图6中，生成对抗网络包括生成器模块(即生成模型)和鉴别器模块(即鉴别模型)，在鉴别器模块中包括风格鉴别器(即第一鉴别模型)和结构鉴别器(即第二鉴别模型)。在训练过程中，可将随机噪声(即随机生成的输入参数)输入至生成器模块中，可以生成假样本(即伪造的签名图像)，可以从训练数据集中获取真实的签名图像，将真实的签名图像和伪造的签名图像输入至鉴别器模块中，进行鉴别。最后可以确定鉴别器模块的鉴别误差(即前述实施例中的损失值)来调整风格鉴别器和结构鉴别器。

图7为本申请实施例提供的签名鉴别装置的结构示意图。如图7所示，本实施例提供的签名鉴别装置700，包括：

获取模块701，用于获取待鉴别图像和参考图像，待鉴别图像上包含用户的待鉴别签名，参考图像上包括用户的真实签名；

风格判别模块702，用于将待鉴别图像和参考图像输入至生成对抗网络中的第一鉴别模型，在第一鉴别模型中对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行字体风格的相似度判别，得到待鉴别图像的风格相似度得分；

结构判别模块703，用于将待鉴别图像和参考图像输入至生成对抗网络中的第二鉴别模型，在第二鉴别模型中对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行文字结构的相似度判别，得到待鉴别图像的结构相似度得分；

得分确定模块704，用于根据风格相似度得分和结构相似度得分，确定待鉴别图像的鉴别得分；

图像类型确定模块705，用于如果鉴别得分大于分数阈值，则确定待鉴别图像为真实签名图像。

在一些实施例中，第一鉴别模型包括第一特征提取网络，第二鉴别模型包括第二特征提取网络，第一特征提取网络的网络结构与第二特征提取网络的网络结构不同。

在一些实施例中，第一鉴别模型还包括第一分类网络，风格判别模块702，具体用于：将待鉴别图像和参考图像输入至第一特征提取网络，在第一特征提取网络中，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，得到第一特征数据，第一特征数据的形式为矩阵形式；将第一特征数据输入至第一分类网络，在第二分类网络中，基于第一特征数据，对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行字体风格的相似度判别，得到待鉴别图像的风格相似度得分。

在一些实施例中，第一特征提取网络包括第一卷积模块，第一卷积模块中包括卷积层和自注意力网络，风格判别模块702，具体用于：在第一特征提取网络中，通过卷积层和自注意力网络，对待鉴别图像上的待鉴别签名和参考图像上的真实签名进行特征提取，得到第一特征数据。

在一些实施例中，卷积模块中卷积层为多个，在卷积模块中多个卷积层依次排列，自注意力网络的输入数据是根据卷积模块中的最后一个卷积层的输出数据确定的。

在一些实施例中，第二鉴别模型还包括第二分类网络，结构判别模块703，具体用于：将待鉴别图像和参考图像输入至第二特征提取网络，在第二鉴别模型中，对待鉴别图像和参考图像进行特征提取，得到第二特征数据，第二特征数据的形式为向量形式；将第二特征数据输入至第二分类网络，在第二分类网络中，基于第二特征数据，对待鉴别图像上的待鉴别签名与参考图像上的真实签名进行文字结构的相似度判别，得到结构相似度得分。

图8为本申请实施例提供的模型训练装置的结构示意图。如图8所示，本实施例提供的模型训练装置800，包括：

训练数据获取模块801，用于获取第一训练图像、第二训练图像和第二训练图像对应的标签，第一训练图像包含用户的真实签名，第二训练图像包含用户的真实签名或者虚假签名，第二训练图像对应的标签用于指示第二训练图像为真实签名图像或者虚假签名图像；

风格判别模块802，用于将第一训练图像和第二训练图像输入至生成对抗网络中的第一鉴别模型，在第一鉴别模型中对第一训练图像上的签名与第二训练图像上的签名进行字体风格的相似度判别，得到第二训练图像的风格相似度得分；

结构判别模块803，用于将第一训练图像和第二训练图像输入至生成对抗网络中的第二鉴别模型，在第二鉴别模型中对第一训练图像上的签名与第二训练图像上的签名进行文字结构的相似度判别，得到第二训练图像的结构相似度得分；

得分确定模块804，用于根据风格相似度得分和结构相似度得分，确定第二训练图像的鉴别得分；

调整模块805，用于根据鉴别得分和标签，对第一鉴别模型和第二鉴别模型进行参数调整，得到训练后的第一鉴别模型和训练后的第二鉴别模型。

图9为本申请实施例提供的一种电子设备的结构示意图。如图9所示，该电子设备900可以包括：至少一个处理器901和存储器902。图9示出的是以一个处理器为例的电子设备。

存储器902，用于存放处理器901的程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。

存储器902可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

处理器901配置为用于执行存储器902存储的计算机程序，以实现以上各方法实施例中签名鉴别方法中的各步骤。

其中，处理器901可能是一个中央处理器(central processing unit，简称为CPU)，或者是特定集成电路(application specific integrated circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

可选地，存储器902既可以是独立的，也可以跟处理器901集成在一起。当存储器902是独立于处理器901之外的器件时，电子设备900，还可以包括：总线903，用于连接处理器901以及存储器902。总线可以是工业标准体系结构(industry standard architecture，简称为ISA)总线、外部设备互连(peripheral component，PCI)总线或扩展工业标准体系结构(extended industry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器902和处理器901集成在一块芯片上实现，则存储器902和处理器901可以通过内部界面完成通信。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有计算机执行指令，当电子设备的至少一个处理器执行该计算机执行指令时，电子设备执行上述的各种实施方式提供的签名鉴别方法的各个步骤。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的签名鉴别方法的各个步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。