双录数据质检中的客户签名检测方法及装置

技术领域

本发明涉及音视频处理技术领域，尤指一种双录数据质检中的客户签名检测方法及装置。

背景技术

为了保护消费者的权益，监管机构要求商业银行业及金融机构在销售理财和代销保单等金融产品时，通过录音录像(双录)规范金融机构的销售行为。目前，商业银行通常采用本地缓存视频文件，等整个双录音视频录制完毕后异步上传云端保存，以备后续监管部门进行合规审查。

金融机构为保证双录视频的合规性，一般采用人工智能技术对离线音视频数据进行检查，但是存在无法对客户签名环节进行准确检测的问题，导致质检成功率不高。在客户签字动作环节，一般采用动作检测模型进行识别，但是动作检测模型本身识别准确率不高，同时客户经理展示签字内容时，有时候图片比较模糊，无法识别签字内容，导致质检不通过概率增大。

发明内容

针对现有技术中存在的问题，本发明实施例的主要目的在于提供一种双录数据质检中的客户签名检测方法及装置，实现对客户签名环节进行准确的检测。

为了实现上述目的，本发明实施例提供一种双录数据质检中的客户签名检测方法，所述方法包括：

获取双录数据及电子签名信息，并对所述双录数据进行分解，得到视频数据；

解析所述视频数据得到签名图片组，并对所述签名图片组进行识别，得到签名识别结果；

根据预设的有效性规则，对所述电子签名信息进行有效性检测，得到有效性检测结果；

根据所述签名识别结果及所述有效性检测结果，生成客户签名检测结果。

可选的，在本发明一实施例中，所述对所述签名图片组进行识别，得到签名识别结果包括：

对所述签名图片组进行签字笔识别，生成签字笔识别结果，并对所述签名图片组进行手部识别，生成手部识别结果；

根据所述签字笔识别结果与所述手部识别结果确定所述签名识别结果是否为识别通过，若所述签字笔识别结果与所述手部识别结果均为识别通过，则所述签名识别结果为识别通过。

可选的，在本发明一实施例中，所述根据预设的有效性规则，对所述电子签名信息进行有效性检测，得到有效性检测结果包括：

根据预设的有效性规则确定所述电子签名信息是否符合所述有效性规则，若所述电子签名信息符合所述有效性规则，则所述有效性检测结果为签名有效。

可选的，在本发明一实施例中，所述根据所述签名识别结果及所述有效性检测结果，生成客户签名检测结果包括：

确定所述签名识别结果是否为识别通过，以及所述有效性检测结果是否为签名有效，若所述签名识别结果为识别通过，以及所述有效性检测结果为签名有效，则所述客户签名检测结果为检测通过。

本发明实施例还提供一种双录数据质检中的客户签名检测装置，所述装置包括：

数据获取模块，用于获取双录数据及电子签名信息，并对所述双录数据进行分解，得到视频数据；

图片识别模块，用于解析所述视频数据得到签名图片组，并对所述签名图片组进行识别，得到签名识别结果；

规则检测模块，用于根据预设的有效性规则，对所述电子签名信息进行有效性检测，得到有效性检测结果；

检测结果模块，用于根据所述签名识别结果及所述有效性检测结果，生成客户签名检测结果。

可选的，在本发明一实施例中，所述图片识别模块包括：

图片识别单元，用于对所述签名图片组进行签字笔识别，生成签字笔识别结果，并对所述签名图片组进行手部识别，生成手部识别结果；

识别结果单元，用于根据所述签字笔识别结果与所述手部识别结果确定所述签名识别结果是否为识别通过，若所述签字笔识别结果与所述手部识别结果均为识别通过，则所述签名识别结果为识别通过。

可选的，在本发明一实施例中，所述规则检测模块还用于根据预设的有效性规则确定所述电子签名信息是否符合所述有效性规则，若所述电子签名信息符合所述有效性规则，则所述有效性检测结果为签名有效。

可选的，在本发明一实施例中，所述检测结果模块还用于确定所述签名识别结果是否为识别通过，以及所述有效性检测结果是否为签名有效，若所述签名识别结果为识别通过，以及所述有效性检测结果为签名有效，则所述客户签名检测结果为检测通过。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明通过对视频数据及电子签名信息进行识别及检测，提升了双录质检时客户签名环节的检测准确率，同时利用对签名图片组进行识别及检测，解决了单纯依靠电子签名信息进行检测导致的检测准确率不高的问题，进而提升双录质检检测成功率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种双录数据质检中的客户签名检测方法的流程图；

图2为本发明实施例中识别签名图片组的流程图；

图3为本发明实施例一种双录数据质检中的客户签名检测装置的结构示意图；

图4为本发明实施例中图片识别模块的结构示意图；

图5为本发明一实施例所提供的电子设备的结构示意图。

具体实施方式

本发明实施例提供一种双录数据质检中的客户签名检测方法及装置，可用于金融领域或其他领域，需要说明的是，本发明的双录数据质检中的客户签名检测方法及装置可用于金融领域，也可用于除金融领域之外的任意领域，本发明的双录数据质检中的客户签名检测方法及装置应用领域不做限定。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明实施例一种双录数据质检中的客户签名检测方法的流程图，本发明实施例提供的双录数据质检中的客户签名检测方法的执行主体包括但不限于计算机。图中所示方法包括：

步骤S1，获取双录数据及电子签名信息，并对所述双录数据进行分解，得到视频数据。

其中，通过录像录音设备对双录(录像录音)数据进行采集，并通过电子签名设备采集客户的电子签名信息，并对获取到的双录数据进行分离。具体的，可以采用FFMPEG工具对双录数据进行分离，得到视频数据及音频数据。

步骤S2，解析所述视频数据得到签名图片组，并对所述签名图片组进行识别，得到签名识别结果。

其中，可以采用现有的视频解析技术，解析双录数据中的视频数据，得到多张连续的图片，作为签名图片组。

进一步的，对签名图片组进行识别，判断图片中是否出现签字笔。具体可以采用YoloV4算法进行检测，得到签字笔识别结果。若在签名图片组中识别出签字笔，则签字笔识别结果为识别通过，否则签字笔识别结果为不通过。

进一步的，对签名图片组进行识别，判断图片中是否出现手部。具体可以采用Faster R-CNN算法进行检测，得到手部识别结果。若在签名图片组中识别出手部，则手部识别结果为识别通过，否则手部识别结果为不通过。

进一步的，若签字笔识别结果与手部识别结果均为识别通过，则说明视频数据中同时出现手部及签字笔，生成签名识别结果，且签名识别结果为识别通过。若签字笔识别结果与手部识别结果中任何一个结果为不通过，则生成签名识别结果，且签名识别结果为不通过。

步骤S3，根据预设的有效性规则，对所述电子签名信息进行有效性检测，得到有效性检测结果。

其中，预设的有效性规则可以包括字迹清晰度、签名辨识度等指标。具体的，对电子签名信息中的电子签名进行识别，可以采用现有文字识别技术，得到签名识别结果。若得到的签名识别结果，符合有效性规则中字迹清晰度、签名辨识度等指标的要求，则得到有效性检测结果，且有效性检测结果为签名有效。若得到的签名识别结果，不符合有效性规则中字迹清晰度、签名辨识度等指标的要求，则得到有效性检测结果，且有效性检测结果为签名无效。

步骤S4，根据所述签名识别结果及所述有效性检测结果，生成客户签名检测结果。

其中，若签名识别结果为识别通过，且有效性检测结果为签名有效，说明视频数据中同时出现手部及签字笔，并且产生的电子签名信息为有效签名，则生成客户签名检测结果，且客户签名检测结果为检测通过。若签名识别结果为不通过，或者有效性检测结果为签名无效，或者两个结果均不通过，说明视频数据中手部及签字笔并没有同时出现，或者产生的电子签名信息为无效签名，则生成客户签名检测结果，且客户签名检测结果为不通过。

作为本发明的一个实施例，如图2所示，对所述签名图片组进行识别，得到签名识别结果包括：

步骤S21，对所述签名图片组进行签字笔识别，生成签字笔识别结果，并对所述签名图片组进行手部识别，生成手部识别结果；

步骤S22，根据所述签字笔识别结果与所述手部识别结果确定所述签名识别结果是否为识别通过，若所述签字笔识别结果与所述手部识别结果均为识别通过，则所述签名识别结果为识别通过。

其中，对签名图片组进行识别，判断图片中是否出现签字笔。具体可以采用YoloV4算法进行检测，得到签字笔识别结果。若在签名图片组中识别出签字笔，则签字笔识别结果为识别通过，否则签字笔识别结果为不通过。

进一步的，对签名图片组进行识别，判断图片中是否出现手部。具体可以采用Faster R-CNN算法进行检测，得到手部识别结果。若在签名图片组中识别出手部，则手部识别结果为识别通过，否则手部识别结果为不通过。

进一步的，若签字笔识别结果与手部识别结果均为识别通过，则说明视频数据中同时出现手部及签字笔，生成签名识别结果，且签名识别结果为识别通过。若签字笔识别结果与手部识别结果中任何一个结果为不通过，则生成签名识别结果，且签名识别结果为不通过。

在本实施例中，根据预设的有效性规则，对所述电子签名信息进行有效性检测，得到有效性检测结果包括：根据预设的有效性规则确定所述电子签名信息是否符合所述有效性规则，若所述电子签名信息符合所述有效性规则，则所述有效性检测结果为签名有效。

其中，预设的有效性规则可以包括字迹清晰度、签名辨识度等指标。具体的，对电子签名信息中的电子签名进行识别，可以采用现有文字识别技术，得到签名识别结果。若得到的签名识别结果，符合有效性规则中字迹清晰度、签名辨识度等指标的要求，则得到有效性检测结果，且有效性检测结果为签名有效。若得到的签名识别结果，不符合有效性规则中字迹清晰度、签名辨识度等指标的要求，则得到有效性检测结果，且有效性检测结果为签名无效。

在本实施例中，根据所述签名识别结果及所述有效性检测结果，生成客户签名检测结果包括：确定所述签名识别结果是否为识别通过，以及所述有效性检测结果是否为签名有效，若所述签名识别结果为识别通过，以及所述有效性检测结果为签名有效，则所述客户签名检测结果为检测通过。

其中，若签名识别结果为识别通过，且有效性检测结果为签名有效，说明视频数据中同时出现手部及签字笔，并且产生的电子签名信息为有效签名，则生成客户签名检测结果，且客户签名检测结果为检测通过。若签名识别结果为不通过，或者有效性检测结果为签名无效，或者两个结果均不通过，说明视频数据中手部及签字笔并没有同时出现，或者产生的电子签名信息为无效签名，则生成客户签名检测结果，且客户签名检测结果为不通过。

本发明通过对视频数据及电子签名信息进行识别及检测，提升了双录质检时客户签名环节的检测准确率，同时利用对签名图片组进行识别及检测，解决了单纯依靠电子签名信息进行检测导致的检测准确率不高的问题，进而提升双录质检检测成功率。

如图3所示为本发明实施例一种双录数据质检中的客户签名检测装置的结构示意图，图中所示装置包括：

数据获取模块10，用于获取双录数据及电子签名信息，并对所述双录数据进行分解，得到视频数据。

其中，通过录像录音设备对双录(录像录音)数据进行采集，并通过电子签名设备采集客户的电子签名信息，并对获取到的双录数据进行分离。具体的，可以采用FFMPEG工具对双录数据进行分离，得到视频数据及音频数据。

图片识别模块20，用于解析所述视频数据得到签名图片组，并对所述签名图片组进行识别，得到签名识别结果。

其中，可以采用现有的视频解析技术，解析双录数据中的视频数据，得到多张连续的图片，作为签名图片组。

进一步的，对签名图片组进行识别，判断图片中是否出现签字笔。具体可以采用YoloV4算法进行检测，得到签字笔识别结果。若在签名图片组中识别出签字笔，则签字笔识别结果为识别通过，否则签字笔识别结果为不通过。

进一步的，对签名图片组进行识别，判断图片中是否出现手部。具体可以采用Faster R-CNN算法进行检测，得到手部识别结果。若在签名图片组中识别出手部，则手部识别结果为识别通过，否则手部识别结果为不通过。

进一步的，若签字笔识别结果与手部识别结果均为识别通过，则说明视频数据中同时出现手部及签字笔，生成签名识别结果，且签名识别结果为识别通过。若签字笔识别结果与手部识别结果中任何一个结果为不通过，则生成签名识别结果，且签名识别结果为不通过。

规则检测模块30，用于根据预设的有效性规则，对所述电子签名信息进行有效性检测，得到有效性检测结果。

其中，预设的有效性规则可以包括字迹清晰度、签名辨识度等指标。具体的，对电子签名信息中的电子签名进行识别，可以采用现有文字识别技术，得到签名识别结果。若得到的签名识别结果，符合有效性规则中字迹清晰度、签名辨识度等指标的要求，则得到有效性检测结果，且有效性检测结果为签名有效。若得到的签名识别结果，不符合有效性规则中字迹清晰度、签名辨识度等指标的要求，则得到有效性检测结果，且有效性检测结果为签名无效。

检测结果模块40，用于根据所述签名识别结果及所述有效性检测结果，生成客户签名检测结果。

其中，若签名识别结果为识别通过，且有效性检测结果为签名有效，说明视频数据中同时出现手部及签字笔，并且产生的电子签名信息为有效签名，则生成客户签名检测结果，且客户签名检测结果为检测通过。若签名识别结果为不通过，或者有效性检测结果为签名无效，或者两个结果均不通过，说明视频数据中手部及签字笔并没有同时出现，或者产生的电子签名信息为无效签名，则生成客户签名检测结果，且客户签名检测结果为不通过。

作为本发明的一个实施例，如图4所示，所述图片识别模块20包括：

图片识别单元21，用于对所述签名图片组进行签字笔识别，生成签字笔识别结果，并对所述签名图片组进行手部识别，生成手部识别结果；

识别结果单元22，用于根据所述签字笔识别结果与所述手部识别结果确定所述签名识别结果是否为识别通过，若所述签字笔识别结果与所述手部识别结果均为识别通过，则所述签名识别结果为识别通过。

在本实施例中，所述规则检测模块还用于根据预设的有效性规则确定所述电子签名信息是否符合所述有效性规则，若所述电子签名信息符合所述有效性规则，则所述有效性检测结果为签名有效。

在本实施例中，所述检测结果模块还用于确定所述签名识别结果是否为识别通过，以及所述有效性检测结果是否为签名有效，若所述签名识别结果为识别通过，以及所述有效性检测结果为签名有效，则所述客户签名检测结果为检测通过。

基于与上述一种双录数据质检中的客户签名检测方法相同的申请构思，本发明还提供了上述一种双录数据质检中的客户签名检测装置。由于该一种双录数据质检中的客户签名检测装置解决问题的原理与一种双录数据质检中的客户签名检测方法相似，因此该一种双录数据质检中的客户签名检测装置的实施可以参见一种双录数据质检中的客户签名检测方法的实施，重复之处不再赘述。

本发明通过对视频数据及电子签名信息进行识别及检测，提升了双录质检时客户签名环节的检测准确率，同时利用对签名图片组进行识别及检测，解决了单纯依靠电子签名信息进行检测导致的检测准确率不高的问题，进而提升双录质检检测成功率。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

如图5所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图5中所示的所有部件；此外，电子设备600还可以包括图5中没有示出的部件，可以参考现有技术。

如图5所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。