一种额头精准定位的多目标额温测量方法

技术领域

本发明涉及一种额头精准定位的多目标额温测量方法。

背景技术

在疫情时期，很多公共场合(如医院、学校、车站、机场等)入口都需要进行体温测量，一个便捷、高精度的测温设备就显得至关重要。

随着机器视觉技术的发展，基于双光相机(红外相机加可见光相机的组合)的非接触式测温方法得到了广泛的研究与应用。结合双光相机的主流测温方法是，在可见光图像上进行视觉人脸检测，然后将可见光图像的人脸区域映射到红外热图像获得人脸区域的红外数据——人脸测温区域，最后通过对测温区域的红外数据进行处理得到当前目标的测温结果。而人脸检测框引入干扰信息(背景、头发、帽檐等)较多，特别是夏天炎热的天气，干扰信息会对测温造成极大的影响，将导致测温设备的准确性下降。而额头精准定位，将大大减少干扰信息对测温的干扰，提高人体测温的准确性，应用该方法的测温系统能适用于炎热夏天的户外、大人流量的测温(可部署在医院、学校、车站、机场等入口处)。

发明内容

鉴于上述问题，本发明技术的任务是针对现有技术的不足，提出优化方案，并提供一种额头精准定位的多目标额温测量方法。本发明采用如下技术方案来实现上述目的：

(1)提出人脸检测、额头下沿关键点定位的多任务卷积神经网络，通过训练得到可检测可见光图像人脸、并提取人脸额头下沿关键点坐标的模型；

(2)利用人脸检测框、额头下沿关键点坐标，定位人脸额头区域；

(3)在人脸额头区域利用图像自适应二值化理论判断额头是否被完全遮挡，并选取有效的测温区域；

(4)将可见光图像的有效测温区域映射到红外热图像，进行有效测温区域红外数据分析获得当前人脸的测温结果。

进一步地，所述步骤(1)提出人脸检测、额头下沿关键点定位的多任务卷积神经网络，通过训练得到可检测可见光图像人脸、并提取人脸额头下沿关键点坐标的模型具体为：收集图片数据，预处理得到包含人脸框、额头下沿关键点标注数据的训练集；针对训练集样本特征分布，参考RetinaNet设计合适的卷积网络结构参数，网络结构如图1所示。

其中，Class、BBox、Point分别对应类别、人脸框、关键点预测子网络；图1中1-2 一列的三个立体块分别代表模型的三个子网络的预测输出；W为预测输出特征图的宽，H 为预测输出特征图的高，k为网络设定的锚点(anchor)数。特别说明，Point子网络的输出用于定位人脸额头下沿关键点，其中N为偶数，N/2为模型定义的额头下沿关键点个数(为下文描述简洁，定义M＝N/2)。

进一步地，所述步骤(2)利用人脸检测框、额头下沿关键点坐标，定位人脸额头区域具体操作为：定义(x1，y1)为人脸框左上角坐标，(x2，y2)为人脸框右下角坐标；额头下沿关键点坐标定义为：

为阐述步骤(2)的理论思想，上述步骤以“正对镜头的人脸”为例进行。由于每张检测到的人脸不可能正对镜头，同时在侧脸时也可能出现关键点定位的偏差，图2流程为普遍适用的额头定位逻辑。

进一步地，所述步骤(3)在人脸额头区域利用图像自适应二值化理论判断额头是否被完全遮挡，并选取有效的测温区域具体为：考虑到人的额头可能被头发、帽檐等部分遮挡或完全遮挡，为了获取准确的测温结果。当额头被部分遮挡时，采用图像自适应二值化处理获得额头有效测温区域；当额头被完全遮挡时，提取眉毛下沿区域作为测温有效区域。详细的流程图如图3。

进一步地，所述步骤(4)将可见光图像的有效测温区域映射到红外热图像，进行有效测温区域红外数据分析获得当前人脸的测温结果具体为：通过相机标定可获得可见光相机到红外相机的透视变换矩阵，结合这个变换矩阵就可以完成从可见光图像人脸区域映射到红外热图像；在红外热图像的额头区域进行数据处理并输出测温结果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。

图1是本发明提供的一种人脸检测及人脸额头关键点定位的网络结构图。

图2是本发明提供的一种额头定位流程图。

图3是本发明提供的一种额头有效测温区域提取流程图。

图4是本发明实施例提供的一种额头精准定位的多目标额温测量流程图。

图5是本发明实施例提供的一种额头定位示意图。

示意图中的标号说明。

1-2、模型三个子网络的预测输出。

5-1、包含人脸检测结果的人头图像。

5-2、包含人脸检测结果和额头定位结果的人头图像。

具体实施方式

本发明的整体实施流程如图4。

下面结合图例和具体实施例，进一步阐明本发明，应理解这些实例仅用于描述本发明而不用于限制本发明的范围，在阅读本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求的限定范围。

准备工作：求配准双光相机中可见光图像与红外热图像的透视变换矩阵，步骤如下。

(1)准备一块白板、四颗加热后温度明显高于环境温度的彩色纽扣吸铁石；将四颗吸铁石分散放置于白板的四个角，将白板置于双光相机的视场，同时保证四颗吸铁石在相机视场形成的四边形面积与相机视场面积比大于80％。

(2)对双光相机进行图像采集，获得可见光图像IMGrgb与红外热图像IMGifr。

(3)通过图像处理得到四颗彩色吸铁石分别在IMGrgb，IMGifr中的坐标位置。

(4)利用这四个坐标点的一一对应关系就可以求得将IMGrgb配准到IMGifr的透视变换矩阵matrix。定义(x，y)为IMGrgb中一个目标点A，(x′，y′)为目标点A在IMGifr上的坐标，满足以下关系：

其中，

以额头下沿六个关键点定位的实施方式为例，测温关键步骤。

(1)对双光相机进行图像采集，获得可见光图像IMGrgb与红外热图像IMGifr。

(2)利用本发明提出的可检测可见光图像人脸、并提取人脸额头下沿关键点坐标的模型对IMGrgb进行预测，获得图像的人脸及其关键点坐标信息，以“正对镜头的人脸”为例。如图5，5-1人头图像中矩形框为卷积网络模型预测的人脸区域——(x1，y1)为人脸框左上角坐标，(x2，y2)为人脸框右下角坐标；实心点为模型定位的额头下沿六个关键点，定义其坐标为：

(3)结合上一步得到的人脸检测框、额头下沿六个关键点坐标，定位人脸额头区域，详细逻辑参考图2(其中A取值0.2，B取值0.1)。特别说明“正对镜头的人脸”的额头区域定位：将六个关键点用五条线段连接；再结合人脸框坐标值y1，第一个关键点与第六个关键点X坐标的区间，最终得到人脸额头区域(如图5，5-2串联六个关键点的不规则多边形)。

(4)在人脸额头区域利用图像自适应二值化理论判断额头是否被完全遮挡，并选取有效的测温区域：考虑到人的额头可能被头发、帽檐等部分遮挡或完全遮挡，为了获取准确的测温结果。当额头被部分遮挡时，采用图像自适应二值化处理获得额头有效测温区域；当额头被完全遮挡时，提取眉毛下沿区域作为测温有效区域。详细逻辑参考图3(其中threshold1取值1200.0，threshold2取值120.0)。

(5)将可见光图像的有效测温区域映射到红外热图像，进行有效测温区域红外数据分析获得当前人脸的测温：通过相机标定可获得可见光相机到红外相机的透视变换矩阵，结合这个变换矩阵就可以完成从可见光图像人脸区域映射到红外热图像；在红外热图像的额头区域进行数据处理并输出测温结果。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。