一种基于2D/3D叠加比较的视频人像鉴定方法及装置

技术领域

本发明涉及公安视频人像检验鉴定技术领域，特别是一种基于2D/3D叠加比较的视频人像鉴定方法及装置。

背景技术

目前在公安视频人像鉴定实践中，主要是通过比较嫌疑人2D人脸图像与视频监控中2D人脸图像间相似度来判断(即2D/2D人脸图像比较)。现有的2D/2D人脸图像比较技术主要包括2D/2D人脸图像直接观察比较、2D/2D人脸图像测量比较、2D/2D人脸图像叠加比较三类人脸相似度评估方式。不论采用哪种评估方式，现有的2D/2D人脸图像比较技术一般要求两张2D人脸图像的拍摄条件一致，2D图像中的人脸方位接近正脸，且面部不能存在遮挡物。

当两张2D图像中的人物头面部方位差别较大时，即使是来自同一人的两张2D人脸图像，图像间的2D测量或2D叠加比较结果会出现明显差异。此外，若视频图像中的嫌疑人面部存在遮挡物(如口罩或墨镜)，这类检材图像一般不具备检验鉴定条件。因嫌疑人在犯罪现场通常会刻意躲避监控探头，会在面部佩戴口罩、墨镜等遮挡物，或在被调查时不配合样本图像采集，导致公安实践中视频人像鉴定工作的开展受到严重限制。

发明内容

为了解决上述问题，本发明提供了一种基于2D/3D叠加比较的视频人像鉴定的方法，所述方法包括如下步骤：

S1：通过3D人脸成像设备采集嫌疑人的3D人脸模型。

S2：加载待检验的2D视频监控图像，预处理图像得到待标记2D人脸图像。

S3：对2D/3D人脸图像进行定位点的标记，在2D人脸图像和3D模型上分别标注出一组对应特征关键点。

S4：依据2D/3D人脸图像中对应特征关键点间的坐标映射关系，解算出拍摄2D人脸图像的原始相机姿态。

S5：对2D/3D人脸图像进行定位点的标记，将3D人脸模型透视投影定位至2D人脸图像上。

S6：评估2D/3D人脸图像的面部特征重合度，计算对应特征关键点间最小二乘距离，并输出鉴定意见。

本发明还提供了一种基于2D/3D叠加比较的视频人像鉴定的装置，包括一个图像获取单元、一个图像叠加单元、一个图像鉴定单元及一个存储单元。

所述图像获取单元用于载入2D/3D人脸图像，评估2D/3D人脸图像的质量，对图像进行预处理，所述2D/3D人脸图像获取单元包括用于采集嫌疑人的3D人脸模型的3D人脸成像设备；

所述图像叠加单元用于对2D/3D人脸图像进行定位点标记处理，依据2D/3D人脸图像中对应特征关键点间的坐标映射关系，求解原始相机姿态，并将3D人脸模型定位叠加至2D人脸图像之上；

所述图像鉴定单元用于评估2D/3D人脸图像的面部特征重合度，计算对应特征关键点间最小二乘距离，并输出最终的鉴定意见；

所述存储单元用于存储鉴定人员、鉴定图像及档案等数据。

上述技术方案，通过2D人脸图像与3D人脸模型中对应特征关键点间的坐标映射关系，将3D人脸模型透视投影至2D人脸图像之上，综合评估2D/3D人脸图像的面部特征重合度及对应特征关键点间最小二乘距离两项指标来判断2D视频监控图像中的人物是否为嫌疑人。

该方法明确并扩充了2D视频监控图像检材的准入条件，可以解决因不同拍摄角度、距离引起的图像透视失真问题，使得可以对面部大角度偏离正面或部分区域存在遮挡的视频人像进行身份鉴定，拓宽了公安视频人像检验鉴定的应用场景，有效支撑打击违法犯罪活动。该方法还提供了综合鉴定人员智慧及量化的人脸图像相似评估手段，避免出现假阳性或假阴性判断结果，有效维护了司法公正。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明实施例公开的一种基于2D/3D叠加比较的视频人像鉴定的方法流程图；

图2是本发明实施例中步骤S2的图像预处理流程图；

图3是本发明实施例中步骤S4的透视投影示意图；

图4是本发明实施例中步骤S6的分步骤示意图；

图5是本发明实施例公开的一种基于2D/3D叠加比较的视频人像鉴定的装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于2D/3D叠加比较的视频人像鉴定方法，通过2D/3D人脸图像中对应特征关键点间的坐标映射关系，将3D人脸模型透视投影定位至2D人脸图像之上，综合评估2D/3D人脸图像的面部特征重合度及对应特征关键点间最小二乘距离两项指标来判断2D视频监控图像中的人物是否为嫌疑人。该方法支持对面部大角度偏离正面或部分区域存在遮挡的视频人像进行身份鉴定，拓宽了公安视频人像检验鉴定的应用场景，有效支撑打击违法犯罪及维护司法公正。

具体的，请参阅图1～图3，本发明实施例公开的一种基于2D/3D叠加比较的视频人像鉴定的方法包括如下步骤：

S1：通过3D人脸成像设备采集嫌疑人的3D人脸模型。

具体的，步骤S1中所述的3D人脸成像设备是固定式或移动便携式的3D人脸成像设备。固定式的3D人脸成像设备适用于刑事科学技术研究所等建设有专业视频人像鉴定实验室的单位。移动便携式的3D人脸成像设备适用于基层派出所、看守所等未建设有专业视频人像鉴定实验室的单位，或直接携带至犯罪现场即时采集嫌疑人的3D人脸模型。

S2：加载待检验的2D视频监控图像，预处理图像得到待标记2D人脸图像。

具体的，如图2所示，步骤S2中所述的图像预处理方法包括：对于明显的枕形畸变和桶形畸变，应采取铅垂线等方法对径向畸变参数进行估计并对图像进行几何校正；对于尺寸过大的图像，应进行适当的裁剪和缩放处理，获得所需关键区域；在裁剪完成之后，对于亮度过暗或过亮的图像，应进行伽马校正。

步骤S2中所述的待标记2D人脸图像中的人脸可以是非正面的或部分区域存在遮挡，但应至少暴露额区、眉区、眼区、颧区、耳区、鼻区、口区、下颌区、颏区中的任意四个区域。

S3：对2D/3D人脸图像进行定位点的标记，在2D人脸图像和3D模型上分别标注出一组对应面部特征关键点。

进一步的，步骤S3所述定位点标记方法具体为：依照待标记2D人脸图像中的人脸方位，判断图像中包含额区、眉区、眼区、颧区、耳区、鼻区、口区、下颌区、颏区中的哪些区域，从所含的区域中选择一组特征关键点，并在2D人脸图像和3D人脸模型上分别标注出该组特征关键点。需要注意的是，在拍摄2D人脸图像的原始相机内参数已知的情况下，只需知晓3个对应特征关键点的坐标信息即可完成2D/3D人脸姿态的恢复，但是在该相机内参数未知的情况下，至少需知道6个对应特征关键点的坐标信息才能恢复出所有未知量。

就该实施例而言，常用的人体头面部特征关键点包括：发缘点、眉间点、眉外侧点、眼内角点、眼外角点、颧突点、耳上点、耳根下点、鼻根点、鼻梁点、鼻尖点、鼻下点、鼻翼点、人中点、双侧口角点、口裂点、唇中点、下颌角点、颏唇沟点、颏前点、颏下点等。

S4：依据2D/3D人脸图像中对应特征关键点间的坐标映射关系，解算出拍摄2D人脸图像的原始相机姿态。

进一步的，步骤S4所述的2D/3D人脸图像姿态解算的具体步骤如下：

就该实施例而言，设2D相机的内参数矩阵K如下所示：

其中f为焦距，a为横纵比，s表示传感器轴间的倾斜，(c

其中，(x'

其中(x

S5：对2D/3D人脸图像进行定位点的标记，将3D人脸模型透视投影定位至2D人脸图像上。

进一步的，步骤S5所述的定位点标记方法具体为：依照待标记2D人脸图像中人脸方位，判断图像中包含额区、眉区、眼区、颧区、耳区、鼻区、口区、下颌区、颏区中的哪些区域，分别从所含的每个区域中至少选择3个特征关键点，并在2D/3D人脸图像中标注出所选择的特征关键点。

就该实施例而言，对2D/3D人脸图像进行定位点的标记后，使用S4中解算出的原始相机姿态，再次利用对应特征关键点间2D/3D坐标映射关系，计算3D人脸模型中对应特征关键点在该原始相机姿态条件下透视投影后的二维坐标，通过该二维坐标将3D人脸模型定位叠加至2D人脸图像之上，以便后续进行2D/3D人脸图像相似度评估比较。

一般的，选择更多的特征关键点有助于降低可能的误差，但往往因面部方位差异或存在部分遮挡等原因，导致没有足够的面部特征关键点可供选择。若仅在少数面部区域密集地选择特征关键点，会导致最终计算结果局部最优化，表现为最终计算的2D/3D人脸图像中对应特征关键点间最小二乘距离小于阈值，而2D/3D人脸图像间面部特征却出现明显偏离，这会严重干扰鉴定人员做出正确的判断。

为此，本实施例在步骤S2开始即明确了可用于2D/3D叠加比较的待标记2D人脸图像应至少包含额区、眉区、眼区、颧区、耳区、鼻区、口区、下颌区、颏区中的任意四个区域，并在步骤S5中明确了分别从2D人脸图像所包含的每个区域中至少选择3个特征关键点。这样，在2D/3D人脸图像中至少选择了4×3＝12个对应特征关键点，即满足原始相机姿态求解精度需要，又避免求解结果陷入局部最优解，从而为鉴定人员提供更有价值的评估信息。

S6：评估2D/3D人脸图像的面部特征重合度，计算对应特征关键点间最小二乘距离，并输出鉴定意见。

具体的，所述步骤S6进一步包括如下步骤：

S601：依据评分量表来评价定位叠加后的2D/3D人脸图像中面部特征的重合度。

本实施例中的面部特征重合度评分量表对每项面部特征设定完全重合、高度重合、中度重合、轻度重合及完全偏离五个档次，为每个档次赋分并计算加权平均值。就该实施例而言，常用的人体头面部特征包括眉形、眼型、鼻型、鼻唇沟形、唇形、发际曲线、耳轮廓曲线、下颌角曲线、下颌曲线及特殊标记(如瘢痕、痣)等。

在3D人脸模型定位叠加至2D人脸图像上之后，至少由三名鉴定人员通过完成评分量表来评价2D/3D人脸图像的面部特征重合度，最终的面部特征重合度结果取所有鉴定人员评分的平均值。这样做的优点在于：

一方面，现有的2D/2D人脸图像比较技术，主要通过直接肉眼观察比较两张2D人脸图像间面部特征重合度，较叠加比较方法而言不具备直观性；或通过2D/2D人脸图像叠加来观察，受2D视频监控图像的透视失真影响，即使来自同一个体的两张2D视频监控图像中的面部特征也不能够完全重合，进而影响鉴定人员的判断。而在本实施例中，经过2D/3D人脸图像定位叠加处理后，能消除透视失真影响，使得来自同一个体的2D/3D人脸图像中的面部特征能够完全重合，有助于鉴定人员做出正确的判断。

另一方面，现行的基于2D/2D图像比较的视频人像鉴定技术，对于面部特征重合度的描述仍然停留在类别描述的定性评估阶段。而在本实施例中，通过评分量表的形式实现对面部特征重合的半定量化评估，并综合至少3名鉴定人员的评分结果，以避免个体的强主观意识干扰判断。

S602：计算2D/3D人脸图像中对应特征关键点间最小二乘距离。

所述最小二乘距离的计算公式为：

其中，(x

S603：将2D/3D人脸图像的面部特征重合度及最小二乘距离与系统预设定阈值进行比较，输出鉴定意见。

所述的鉴定意见具体包括：若面部特征重合度高于阈值且最小二乘距离低于阈值，则认定2D视频监控图像中人物为嫌疑人，否则不予认定或排除。

就本实施例而言，面部特征重合度为半定量指标，最小二乘距离为定量指标。一般的，面部特征重合度的分值越大或最小二乘距离越小，则表明2D/3D人脸图像间相似度越高。但实践中高面部特征重合度与低最小二乘距离并非总会同时出现。

一方面，当可用的面部区域达到4个而总的特征关键点少于12个时，2D/3D人脸图像可能出现全局匹配较好情况，即面部特征重合度分值较高但最小二乘距离却高于阈值，若仅凭高于阈值的最小二乘距离而排除2D视频监控图像中人物为嫌疑人，会导致假阴性结果。另一方面，当可用的面部区域少于4个而总的特征关键点高于12个时，2D/3D人脸图像可能出现局部过拟合情况，即最小二乘距离低于阈值但面部重合度却较差，若仅凭低于阈值的最小二乘距离而认定2D视频监控图像中人物为嫌疑人，会导致假阳性结果。

因此，本实施例综合考虑面部特征重合度及最小二乘距离这两个指标来评价2D/3D人脸图像相似度，以避免出现假阳性或假阴性的鉴定意见。有且仅当面部特征重合度分值高于阈值且最小二乘距离低于阈值时，方可认定2D视频监控图像中的人物身份。就公安视频人像检验鉴定实践而言，避免出现假阳性或假阴性的结果更具维护司法公正意义。

如图5所示，在本实施例中，一种基于2D/3D叠加比较的视频人像鉴定的装置，包括一个图像获取单元、一个图像叠加单元、一个图像鉴定单元及一个存储单元。

所述图像获取单元用于载入2D/3D人脸图像，评估2D/3D人脸图像的质量，对图像进行预处理，所述图像获取单元包括用于采集嫌疑人的3D人脸模型的3D人脸成像设备；

所述图像叠加单元用于对2D/3D人脸图像进行定位点标记处理，依据2D/3D人脸图像中对应特征关键点间的坐标映射关系，求解原始相机姿态，并将3D人脸模型定位叠加至2D人脸图像之上；

所述图像鉴定单元用于评估2D/3D人脸图像的面部特征重合度，计算对应特征关键点间最小二乘距离，并输出最终的鉴定意见；

所述存储单元用于存储鉴定人员、鉴定图像及档案等数据。

综上所述，以上实施例仅用以说明本发明的技术方案，并非对其限制，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。