一种人脸图像比对算法评测方法和系统

技术领域

本发明涉及一种人脸图像比对算法评测方法和系统，属于图像比对技术领域。

背景技术

在法庭科学中，特征比对是进行物证检验的核心方法之一。人脸图像的特征比对分为主观方法和客观方法。主观方法即由鉴定人员依靠人体外貌各部分生长特点、运动习惯等规律，分别提取已知身份和未知身份人脸图像的特征，对特征的符合和差异进行评价，形成肯定性、否定性和无法确定的结论。客观方法是通过人脸比对算法分别提取人脸图像的特征，计算特征距离并映射到0至1的范围，通过划定阈值得到肯定性或无法确定的结论。

为测试人脸比对算法的有效性，美国国家标准与技术研究院定期基于大规模数据对各厂商提交的1:1人脸比对算法进行测试(FRVT)，其主要指标包括：首位识别准确率；中国专利CN107977647A公开了一种基于公安实战数据、根据未知身份人脸图像质量分组开展测试的方法。主要评测指标有人脸特征提取成功率(入库率)、入库速度、首位识别准确率(命中率)。中国专利CN111598132A公开了一种使用一组或者多组待测影响因子通过加权平均获得准确率评价指标的测试方法。

上述评测方法主要有三方面问题：一是在多算法评测中，随着算法训练中实战数据的增多，算法精度均有显著提升，首位识别率指标差别较小，难以区分算法优劣。二是在非全量人口数据集上，首位识别不能等同于特征相似度指标在身份认定上是有效的，方法无法获得同一人和不同人人脸图像特征比对相似度的概率分布。三是缺少法庭科学应用中最核心的对身份认定结果准确性的评测指标。

发明内容

针对上述问题，本发明的目的是提供一种人脸图像比对算法评测方法和系统，其能够通过测试正样本(同一人的两张人脸图像)、负样本(不同人的两张人脸图像)的相似度数值，得到算法相似度分数的随机抽样分布。

为实现上述目的，本发明采取以下技术方案：一种人脸图像比对算法评测方法，包括以下步骤：1)将人脸图像分为样本图像组和检材图像组；2)使用待测人脸比对算法提取样本图像组的特征，并建立样本人像特征库；3)使用待测人脸比对算法提取检材图像组的特征，将其与样本人像特征库中特征进行比对并确定相似度数值S；4)判断相似度数值S对应的为正样本还是负样本，并统计正样本相似度和负样本相似度的分布概率曲线，并根据分布概率曲线对待测人脸比对样本进行评测。

进一步，步骤1)中建立样本图像组和检材图像组的方法为：根据人脸图像对应的人，获得人脸图像对照表，并从每个人对应的人脸图像中选出一张质量最优的人脸图像，将其组成样本图像组，将其他人脸图像组成检材图像组。

进一步，步骤2)中建立样本人像特征库后，计算样本入库成功率指标。

进一步，步骤3)的具体操作方法为：3.1)从检材图像组中随机抽取1张检材图像，使用待测人脸比对算法提取人脸图像特征；3.2)如人脸图像特征提取成功，则将提取到的人脸图像特征与样本人像特征库进行逐一比对计算相似度；3.3)遍历检材图像组中的所有检材图像，获得l×n条相似度比较结果，其中l是检材图像组中能够成功提取人脸图像特征的图像数，n为样本人像特征库中的特征数。

进一步，步骤3)中获得l×n条相似度比较结果后，计算检材特征提取成功率指标。

进一步，步骤4)中正样本为同一人的两张人脸图像；负样本为同一人的两张人脸图像，根据人脸图像对照表和l×n条相似度比较结果，确定正样本相似度和负样本相似度，累计正样本相似度和负样本相似度，从而生成正样本相似度和负样本相似度的分布概率曲线。

进一步，步骤4)获得正样本相似度和负样本相似度的分布概率曲线后，设定肯定判决和否定判决对应的相似度阈值。

进一步，肯定判决阈值和否定判决阈值以错误接受率FAR为亿分之一为标准选定。

进一步，根据样本入库成功率指标、检材特征提取成功率指标、正样本相似度和负样本相似度的分布概率曲线、肯定判决准确率和否定判决准确率对待测人脸比对算法进行综合评测。

本发明还公开了一种人脸图像比对算法评测系统，包括：数据准备模块，用于将人脸图像分为样本图像组和检材图像组；特征库建立模块，用于根据待测人脸比对算法提取样本图像组的特征，并建立样本人像特征库；相似度计算模块，用于根据待测人脸比对算法提取检材图像组的特征，将其与样本人像特征库中特征进行比对并确定相似度数值S；概率曲线生成模块，用于判断相似度数值S对应的为正样本还是负样本，并统计正样本相似度和负样本相似度的分布概率曲线，并根据分布概率曲线对待测人脸比对样本进行评测。

本发明由于采取以上技术方案，其具有以下优点：

1、按照本发明的人脸比对算法评测方法，可以调用各算法厂商已集成的人脸识别系统的入库、1：N比对接口，快速获得大规模数据的正、负样本相似度分数概率分布这一核心指标，完成对系统应用的人脸图像比对算法模型的有效性、可靠性、鲁棒性评价。因此，这种评测方法适用于法庭科学嫌疑人身份认定场景下对于人脸比对算法证据转化能力的评价。

2、正、负样本概率分布作为算法评测的核心指标，具有良好的区分度，可避免测试数据重复使用导致的简单准确率、首位识别率指标失效等问题。

附图说明

图1是本发明一实施例中准备评测数据方法的流程图；

图2是本发明一实施例中建立样本人像特征库的流程图；

图3是本发明一实施例中获得正、负样本相似度概率分布方法的流程图；

图4是本发明一实施例中方法获得的评测报告的示意图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方向，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。

本发明提供了一种人脸图像比对算法评测方法和系统，其评测结果可以通过测试正样本(同一人的两张人脸图像)、负样本(不同人的两张人脸图像)的相似度数值，得到算法相似度分数的随机抽样分布。经过大规模数据随机抽取测试，可得到误差极小的算法相似度概率分布。正、负样本概率分布作为算法评测的核心指标，具有良好的区分度，可避免测试数据重复使用导致的简单准确率、首位识别率指标失效等问题。下面通过两个实施例对本发明中技术方案进行详细说明。

实施例一

本实施例公开了一种人脸图像比对算法评测方法，如图1-图3所示，包括以下步骤：

1)将人脸图像分为样本图像组和检材图像组。

如图1所示，建立样本图像组和检材图像组的方法为：根据人脸图像对应的人物身份对人脸数据集进行整理，建立人物身份ID(N个人物)和图像ID(其中M人至少有2张人脸图像，M≤N)之间1对多的人脸图像对照表A，并从每个人对应的人脸图像中选出一张质量最优的人脸图像，将其组成样本图像组，将其他人脸图像组成检材图像组，检材图像组的图像数量记为L。

2)使用待测人脸比对算法提取样本图像组的特征，并建立样本人像特征库。

如图2所示，使用待测试的人脸比对算法对所有样本图像组提取特征，建立样本人像特征库后，计算样本入库成功率指标。其中，样本人像特征库的特征数为n组，样本入库成功率指标为：P

3)使用待测人脸比对算法提取检材图像组的特征，将其与样本人像特征库中特征进行比对并确定相似度数值S。

如图3所示，步骤S3)的具体操作方法为：

3.1)从检材图像组中随机抽取1张检材图像，使用待测人脸比对算法提取人脸图像特征，如提取失败，则更新失败日志。

3.2)如人脸图像特征提取成功，则将提取到的人脸图像特征与样本人像特征库进行逐一比对计算相似度。新建以图像ID命名的csv格式的结果文档，依次写入n条样本图像ID和相似度数值S，相似度数值S

3.3)遍历检材图像组中的所有检材图像，获得l×n条相似度比较结果，其中l是检材图像组中能够成功提取人脸图像特征的图像数，n为样本人像特征库中的特征数。

步骤3)中获得l×n条相似度比较结果后，计算检材特征提取成功率指标P

4)判断相似度数值S对应的为正样本还是负样本，并统计正样本相似度和负样本相似度的分布概率曲线，并根据分布概率曲线对待测人脸比对样本进行评测。

步骤4)中正样本为同一人的两张人脸图像；负样本为同一人的两张人脸图像，根据人脸图像对照表和l×n条相似度比较结果，确定正样本相似度和负样本相似度，累计正样本相似度和负样本相似度，从而生成正样本相似度和负样本相似度的分布概率曲线。

获得正样本相似度和负样本相似度的分布概率曲线后，设定肯定判决和否定判决对应的相似度阈值。肯定判决阈值和否定判决阈值以错误接受率FAR为亿分之一为标准选定，并计算肯定判决准确率指标P

根据样本入库成功率指标、检材特征提取成功率指标、正样本相似度和负样本相似度的分布概率曲线、肯定判决准确率和否定判决准确率对待测人脸比对算法进行综合评测，生成如图4所示的法庭可续人脸比对算法评测报告，内容包括正样本数、负样本数、样本入库成功率指标、检材特征提取成功率指标、肯定判决准确率指标、否定判决准确率指标及正、负样本相似度分布概率曲线。

实施例二

基于相同的发明构思，本实施例公开了一种人脸图像比对算法评测系统，包括：

数据准备模块，用于将人脸图像分为样本图像组和检材图像组；

特征库建立模块，用于根据待测人脸比对算法提取样本图像组的特征，并建立样本人像特征库；

相似度计算模块，用于根据待测人脸比对算法提取检材图像组的特征，将其与样本人像特征库中特征进行比对并确定相似度数值S；

概率曲线生成模块，用于判断相似度数值S对应的为正样本还是负样本，并统计正样本相似度和负样本相似度的分布概率曲线，并根据分布概率曲线对待测人脸比对样本进行评测。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围。