热成像的降噪处理方法与系统、电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种热成像的降噪处理方法与系统、电子设备。

背景技术

自然界中的一切物体都会有红外辐射，其辐射能量与自身温度的四次方成正比，辐射出的波长与其温度成反比。热成像技术(红外热成像技术)就是根据探测到的物体的辐射能量的高低，经系统处理转变为目标物体的热图像，以灰度级或伪彩色显示出来，可以用于监测目标物体的温度分布情况。

现有热成像技术中，需要在对获取的热成像的温度阵列数据进行降噪处理，抹除图像中的噪点，从而达到提高热成像画面的平滑度。然而，在抹除图像中的噪点过程中，也会大量抹除热成像画面中人脸部的温度信息。

因此，现有技术有待改进。

发明内容

鉴于此，本申请提供一种热成像的降噪处理方法与系统、电子设备，以解决现有的降噪处理会大量抹除热成像画面中人脸部的温度信息的问题。

一方面，提供一种热成像的降噪处理方法，包括：

获取同一时刻同一区域的RGB图像和热成像温度阵列数据；

对RGB图像进行人脸检测，获取RGB图像中的人脸区域；

根据人脸区域在RGB图像中的位置与人脸温度阵列数据在热成像温度阵列数据中的位置对应关系，通过RGB图像中的人脸区域确定热成像温度阵列数据中的人脸温度阵列数据；

对热成像温度阵列数据中的非人脸温度阵列数据进行第一降噪处理，得到降噪处理后的热成像温度阵列数据；

将降噪处理后的热成像温度阵列数据映射为图像进行显示。

其中的一个实施例中，得到降噪处理后的热成像温度阵列数据之前，还包括：

对人脸温度阵列数据进行第二降噪处理，其中，第一降噪处理后的非人脸温度阵列数据的信噪比大于第二降噪处理后的人脸温度阵列数据的信噪比。

其中的一个实施例中，将降噪处理后的热成像温度阵列数据映射为彩色图像。

其中的一个实施例中，第一降噪处理和第二降噪处理采用的降噪方法均为均值滤波降噪处理、卡尔曼滤波降噪处理、双边滤波降噪、时序滤波降噪处理中的一种或多种。

其中的一个实施例中，均值滤波降噪处理的公式为：

i、j分别代表热成像温度阵列数据中的横坐标和纵坐标，A′(i,j)代表均值滤波降噪处理后的对应坐标为(i,j)的温度数据，A(i，j)代表热成像温度阵列数据中对应坐标为(i,j)的温度数据，A(i+m,j+n)代表热成像温度阵列数据中对应坐标为(i+m,j+n)的温度数据，r为滤波半径，γ为预设的调整系数，其中，γ取值为大于等于0小于等于1，且第一降噪处理采用的γ的值大于第二降噪处理采用的γ的值。

其中的一个实施例中，第一降噪处理采用的滤波半径大于第二降噪处理采用的滤波半径。

其中的一个实施例中，第一降噪处理中滤波半径的计算公式为：

其中的一个实施例中，对RGB图像进行人脸检测包括：

将RGB图像进行多尺度变换，构建图像金字塔；

将图像金字塔采用卷积神经网络处理，识别得到多个人脸窗口以及与人脸窗口对应的概率值；

将概率值大于预设概率值的人脸窗口反变换到RGB图像上，形成多个人脸框；

通过非极大值抑制算法消除交叉重复的人脸框，得到RGB图像中的人脸区域。

其中的一个实施例中，通过RGB图像中的人脸区域确定热成像温度阵列数据中的人脸温度阵列数据包括：

根据RGB图像中的人脸区域，获取RGB图像中人脸区域的坐标；

根据人脸区域在RGB图像中的坐标与人脸温度阵列数据在热成像温度阵列数据中的坐标对应关系，将RGB图像中人脸区域的坐标转换得到热成像温度阵列数据中人脸温度阵列数据的坐标；

根据人脸温度阵列数据的坐标，确定人脸温度阵列数据。

提供一种电子设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序可被处理器所执行，以用于实现如上的热成像的降噪处理方法的步骤。

提供一种热成像的降噪处理系统，包括数据获取模块、人脸检测模块、转换模块、降噪模块，其中，数据获取模块与人脸检测模块连接，人脸检测模块与转换模块连接，转换模块与降噪模块连接；

数据获取模块，用于获取同一时刻的RGB图像和热成像温度阵列数据；

人脸检测模块，用于对RGB图像进行人脸检测，获取RGB图像中的人脸区域；

转换模块，用于根据人脸区域在RGB图像中的位置与人脸温度阵列数据在热成像温度阵列数据中的位置对应关系，通过RGB图像中的人脸区域确定热成像温度阵列数据中的人脸温度阵列数据；

降噪模块，用于对热成像温度阵列数据中的非人脸温度阵列数据进行第一降噪处理。

本申请上述热成像的降噪处理方法，通过识别RGB图像中的人脸区域，并根据人脸区域在RGB图像的位置和人脸温度阵列数据在热成像温度阵列数据中的位置对应关系，确定人脸温度阵列数据，对非人脸温度阵列数据进行降噪处理，能够实现对热成像温度阵列数据中的非人脸温度阵列数据进行独立的降噪处理，避免人脸温度阵列数据采用与非人脸温度阵列数据相同的降噪处理方法导致人脸温度阵列数据中大量脸部温度细节被抹除。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有热成像的显示方法流程示意图；

图2是本申请一实施例的热成像的降噪处理方法流程示意图；

图3是本申请一实施例的热成像的降噪处理方法的应用场景示意图；

图4是本申请一实施例的RGB图像中人脸检测流程示意图；

图5是本申请一实施例的热成像的降噪处理方法流程示意图；

图6是本申请一实施例的电子设备的结构示意图；

图7是本申请一实施例的热成像的降噪处理系统结构示意图。

具体实施方式

本实施例通过区分热成像温度阵列数据中人脸温度数据和非人脸温度数据，实现对非人脸温度数据进行独立的降噪处理。下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。

一方面，提供一种热成像的降噪处理方法，请参阅图2，包括步骤100至步骤400。

步骤100、获取同一时刻的RGB图像和热成像温度阵列数据；

步骤200、对RGB图像进行人脸检测，获取RGB图像中的人脸区域；

步骤300、根据人脸区域在RGB图像中的位置与人脸温度阵列数据在热成像温度阵列数据中的位置对应关系，通过RGB图像中的人脸区域确定热成像温度阵列数据中的人脸温度阵列数据；

步骤400、对热成像温度阵列数据中的非人脸温度阵列数据进行第一降噪处理，得到降噪处理后的热成像温度阵列数据；

步骤500、将降噪处理后的热成像温度阵列数据映射为图像进行显示。

本申请上述热成像的降噪处理方法，通过识别RGB图像中的人脸区域，并根据人脸区域在RGB图像的位置和人脸温度阵列数据在热成像温度阵列数据中的位置对应关系，确定人脸温度阵列数据，对非人脸温度阵列数据进行降噪处理，能够实现对热成像温度阵列数据中的非人脸温度阵列数据进行独立的降噪处理，避免人脸温度阵列数据采用与非人脸温度阵列数据相同的降噪处理方法导致人脸温度阵列数据中大量脸部温度细节被抹除。

步骤100中，RGB图像和热成像温度阵列数据为同时获取的同一区域的数据，其中，RGB图像可以通过RGB摄像头采集获得，温度阵列数据则可以通过热成像探测器(热成像探测仪)采集获取。需要说明的是，温度阵列数据是多个温度数据排列的温度数据矩阵，其中温度数据排列情况与实际采集区域的温度分布相对应。

同一区域的RGB图像和热成像温度阵列数据是指对同一区域采集得到的RGB图像和热成像温度阵列数据，例如，请参阅图3，RGB图像430的拍摄范围为大厅进出口450的区域，热成像探测器440同样也是采集大厅进出口区域的温度阵列数据。

其中的一个实施例中，RGB摄像头与热成像探测器相邻设置，且朝向相同，以实现采用相同角度获取同一区域的RGB图像和热成像画面温度阵列数据。

步骤200中，通过对RGB图像进行人脸检测，获取RGB图像中人脸区域。其中的一个实施例中，请参阅图4，采用人工智能人脸识别算法检测RGB图像中人脸，包括：

步骤201、将RGB图像进行多尺度变换，构建图像金字塔；

步骤202、将图像金字塔采用卷积神经网络处理，识别得到多个人脸窗口和与人脸窗口对应的概率值；

步骤203、将概率值大于预设概率值的人脸窗口反变换到RGB图像上，形成多个人脸框；

步骤204、通过非极大值抑制算法消除交叉重复的人脸框，得到RGB图像中的人脸区域。

本实施例采用人工智能人脸识别算法，能够实时且精确地检测RGB图像中不同尺寸的人脸，并获取RGB图像中的人脸区域。

步骤201中，由于RGB图像数据中的人脸尺寸不同，需要使用图像金字塔(ImagePyramid)进行多尺度变换，能够实现RGB图像数据中不同尺寸人脸的检测。

步骤202中，卷积神经网络由卷积层、池化层、全连接层组成，例如，卷积神经网络包括5个卷积层，3个池化层，3个全连接层。卷积层是用于提取RGB图像高维特征。其中，卷积层中激活函数ReLU是对输出结果做一次非线性映射。池化层也称为欠采样或下采样，主要用于减少特征尺寸，压缩数据和参数的数量，减小过拟合，提高模型的容错性，使模型更快更好地朝着最优的方向拟合。具体地，卷积神经网络可以为AlexNet卷积神经网络。

步骤203中，预设概率值用于滤除概率值较低的人脸窗口，保留概率值较大的人脸窗口，能够有效减少后续处理的运算量。可选地，预设概率值为95％或98％。

本实施例将满足预设概率值的人脸窗口反变换到RGB图像上，在RGB图像上形成多个框形区域，即人脸框，其中，人脸框所覆盖的区域即为RGB图像上对应的人脸区域。可选地，人脸框的形状可以是目标人脸的轮廓线。

RGB图像上中多个框形区域为人脸区域，但同一个人脸上可能会出现多个重叠的框形区域，步骤204通过非极大值抑制算法来消除交叉重复窗口并找到较佳的人脸区域。

步骤300中，人脸温度阵列数据是由热成像温度阵列数据中对应为人脸温度组成的阵列数据。可以理解的是，人脸温度阵列数据为热成像温度阵列数据中一个或多个区域的温度数据，例如人脸温度阵列数据的位置出现在热成像温度阵列数据中部区域中。

由于RGB图像和热成像画面温度阵列为采集同一时刻同一区域的数据，即人脸在该区域中空间位置确定的，因此人脸区域在RGB图像中的位置与人脸温度阵列数据在热成像温度阵列数据中的位置具有对应关系或者说相同的位置关系。例如，人脸区域位于RGB图像的左上角，如人脸区域的中心距离RGB图像左侧边为1/4个上侧边长度，距离RGB图像上侧边为2/3个左侧边长度；同样人脸温度阵列数据也位于热成像温度阵列数据的左上角，且人脸温度阵列数据的中心距离热成像温度阵列数据左侧边为1/4个下侧边长度，距离RGB图像下侧边为2/3个左侧边长度。可见，通过RGB图像中的人脸区域可以确定热成像温度阵列数据中的人脸温度阵列数据。

在其中的一个实施例中，采用坐标系表示人脸区域在RGB图像中的位置以及人脸温度阵列数据在热成像温度阵列数据中的位置。其中，RGB图像的坐标可以通过以像素点个数为单位建立，例如RGB图像(10,10)代表从左至右第10列从下至上第10行的像素点；热成像温度阵列数据的坐标可以通过以温度个数为单位建立，例如热成像温度阵列数据(10,10)代表阵列中从左至右第10列从下至上第10行的温度数据。

可选地，根据人脸区域在RGB图像中的位置确定热成像温度阵列数据中的人脸温度阵列数据包括：

步骤301、根据RGB图像中的人脸区域，获取RGB图像中人脸区域的坐标；

步骤302、根据RGB图像中人脸区域与热成像温度阵列数据中人脸温度阵列数据坐标的对应关系，将RGB图像中人脸区域的坐标转换得到热成像温度阵列数据中人脸温度阵列数据的坐标；

步骤303、根据热成像温度阵列数据中人脸温度阵列数据的坐标，确定热成像温度阵列数据中的人脸温度阵列数据。

步骤301可以根据RGB图像的两个相邻侧边作为坐标轴建立坐标系，并获取人脸区域的坐标。根据热成像温度阵列数据的第一列和第一行作为坐标轴建立坐标系。步骤302中，根据需要，当RGB图像中像素点数量与热成像温度阵列数据的温度数据数量不相等时，对应关系可以出现一个像素点对应多个温度数据或多个像素点对应一个温度数据的情况。

步骤400中，非人脸温度阵列数据为热成像温度阵列数据除去人脸温度阵列数据剩余的温度数据。通过对非人脸温度阵列数据进行第一降噪处理，能够提高热成像画面中背景区域的图像平滑度。

其中的一个实施例中，请参阅图5，得到降噪处理后的热成像温度阵列数据之前，还包括：

步骤600、对人脸温度阵列数据进行第二降噪处理，其中，第一降噪处理后的非人脸温度阵列数据的信噪比大于第二降噪处理后的人脸温度阵列数据的信噪比。

本实施例中通过对人脸温度阵列数据进行第二降噪处理，提升得到的热成像画面中人脸区域的平滑度，改善人脸区域观感。需要说明的是，对人脸温度阵列数据进行第二降噪处理相对比较保守，不能过度降噪导致大量温度细节信息模糊化。即，第一降噪处理所采用使画面的平滑度更高的降噪参数，而第二降噪处理所采用使画面的平滑度更低的降噪参数，尽量保留较多的人脸温度细节。换个角度说，第一降噪处理比第二降噪处理的平滑效果要好，第一降噪处理后的非人脸温度阵列数据的信噪比小于第二降噪处理后的人脸温度阵列数据的信噪比。

目前，热成像的显示方法流程，请参阅图1，包括：步骤10、从热成像探测器(Sensor)读取热成像温度阵列数据；步骤20、对热成像温度阵列数据进行预处理，得到灰度数据；步骤30、将预处理后得到的灰度数据映射为彩色图像；步骤40、显示转换后的彩色图像(即热成像图)。

其中，对热成像温度阵列数据做预处理具体是对温度阵列数据进行降噪处理。如果降噪处理参数过于保守，则热成像图的平滑效果不足，导致热成像画面整体噪点偏多，观感不佳，优点是人脸(人头)能保留较多细节温度，便于直观感受人脸细节各处(如额头)的温度；如果降噪处理参数过于激进，则热成像图具有较佳的平滑效果，则热成像画面噪点很少，观感较好，但缺点是人脸处的温度细节也同时被模糊掉，难以区分人脸细节处的温度。

由于目前的降噪处理过程中，不能区分热成像温度阵列数据中人脸温度数据和非人脸温度数据，只能对热成像温度阵列数据中所有采用统一的降噪处理。

而本实施例对人脸温度阵列数据采用保守的降噪参数，从而保留更多人脸细节信息；对非人脸温度阵列数据(对应于背景区域)采用激进的降噪参数，使背景更加平滑，抹除背景噪声，提高热成像画面的整体观感。

步骤600中，采用第一降噪处理和第二降噪处理分别对非人脸区域和人脸区域进行降噪，达到使热成像画面中非人脸区域的图像更加平滑而人脸区域则保留更多人脸温度细节信息的目的。其中的一个实施例中，第一降噪处理和第二降噪处理分别包括均值滤波降噪处理、卡尔曼滤波降噪处理、双边滤波降噪、时序滤波降噪处理中的一种或多种。

其中，均值滤波降噪处理是采用邻域平均法的均值滤波器非常适用于去除通过扫描得到的图像中的颗粒噪声。卡尔曼滤波降噪处理是在线性状态空间表示的基础上对有噪声的输入和观测信号进行处理，求取系统状态或真实信号。双边滤波降噪处理是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。时序滤波降噪处理也称为时间序列去噪处理，是一种非线性阈值处理法，其原理是通过小波变换后有用信号的能量集中于少数小波系数上，而白噪声在小波变换域上仍然分散在大量小波系数之上，其中，有用信号的小波系数值大于能量分散且幅值较小的噪声的小波系数值，从而实现有用信号和噪声可以实现分离。

其中的一个实施例中，第一降噪处理和第二降噪处理均为均值滤波降噪处理，均值滤波降噪处理的公式为：

i、j分别代表热成像温度阵列数据中的横坐标和纵坐标，A′(i,j)代表均值滤波降噪处理后的对应坐标为(i,j)的温度数据，A(i，j)代表热成像温度阵列数据中对应坐标为(i,j)的温度数据，A(i+m,j+n)代表热成像温度阵列数据中对应坐标为(i+m,j+n)的温度数据，r为滤波半径，γ为预设的调整系数。可选地，γ大于等于0小于等于1。

其中，第一降噪处理采用的γ大于第二降噪处理采用的γ。可选地，第一降噪处理采用的γ大于0.5，第二降噪处理采用的γ小于0.5，第一降噪处理采用的γ为0.8或1，第二降噪处理采用的γ为0或0.1。

本实施例根据像素点所在区域的不同，设置不同的γ，达到对不同区域不同的降噪效果。具体地，第一降噪处理采用的γ大于第二降噪处理采用的γ，能够使非人脸区域的图像更加平滑，使人脸区域保留更多的人脸温度细节。

其中的一个实施例中，第一降噪处理采用的滤波半径大于第二降噪处理采用的滤波半径。在均值降噪处理时，滤波半径越大，处理后的图像越平滑。可选地，第一降噪处理中滤波半径的计算公式为：

其中，i、j分别代表热成像温度阵列数据中的横坐标和纵坐标，r为滤波半径，R为预设滤波半径，a、b分别为人脸温度阵列数据中最大温度值对应的横坐标和纵坐标，L为热成像温度阵列数据中单列温度数据的数量。

第二降噪处理中滤波半径小于第一降噪处理中滤波半径最小值。当a、b分别设定为人脸温度阵列数据中的中心温度阵列数据(中央温度阵列数据)对应的横坐标和纵坐标，则第一降噪处理中滤波半径和第二降噪处理中滤波半径的计算公式为：

本实施例中对非人脸区域进行第一降噪处理的过程，滤波半径根据与人脸温度阵列数据中最大温度值的坐标的距离进行动态调整，其中，与人脸温度阵列数据中最大温度值的坐标的距离越大，滤波半径也越大，实现热成像画面中距离人脸区域越远的区域的平滑度越大，提升画面观感。

步骤500中可以将降噪处理后的热成像温度阵列数据映射为彩色图像。

本实施例可以通过预先设置温度与可见颜色的对应关系，将热成像温度阵列数据转换为彩色图像。可以理解的是，上述方法同样可以对第一降噪处理和第二降噪处理的后的热成像温度阵列数据映射为彩色图像。

本申请上述热成像的降噪处理方法，通过识别RGB图像中的人脸区域，并根据人脸区域在RGB图像的位置和人脸温度阵列数据在热成像温度阵列数据中的位置对应关系，确定人脸温度阵列数据，对非人脸温度阵列数据进行降噪处理，能够实现对热成像温度阵列数据中的非人脸温度阵列数据进行独立的降噪处理，通过对人脸温度阵列数据采用与非人脸温度阵列数据采取不同参数降噪处理，可实现对人脸温度阵列数据采用保守的降噪参数，从而保留更多人脸细节信息；对非人脸温度阵列数据(对应于背景区域)采用激进的降噪参数，使背景更加平滑，抹除背景噪声，提高热成像画面的整体观感。

本申请实施例还提出一种电子设备，包括存储器及处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行如上任一实施例中的热成像的降噪处理方法的步骤。其中描述的电子设备可以包括诸如智能测温仪、手机、平板电脑、导航装置、可穿戴设备、智能手环、监控设备等移动终端。图6为一个实施例中电子设备的内部结构示意图。如图6所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的一种热成像的降噪处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。

后续描述中将以智能测温仪为例进行说明，本领域技术人员将理解的是，除了特别用于固定类型的终端之外，根据本申请的实施方式的构造也能够应用于移动目的的终端。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

还提出一个或多个存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上任一实施例中的热成像的降噪处理方法的步骤。

提供一种热成像的降噪处理系统，请参阅图7，包括后台服务器410、电子终端420、一个摄像机430和一个热成像探测器440，后台服务器410与电子终端420、摄像机430通信连接，电子终端420与摄像机430通信连接；；

一个摄像机430和一个热成像探测器440，分别用于获取同一时刻的RGB图像和热成像温度阵列数据，并将RGB图像和热成像温度阵列数据上传至后台服务器410；

后台服务器410，用于对RGB图像进行人脸检测，获取RGB图像中的人脸区域；根据人脸区域在RGB图像中的位置与人脸温度阵列数据在热成像温度阵列数据中的位置对应关系，通过RGB图像中的人脸区域确定热成像温度阵列数据中的人脸温度阵列数据；对热成像温度阵列数据中的非人脸温度阵列数据进行第一降噪处理，得到降噪处理后的热成像温度阵列数据；

电子终端420，用于将降噪处理后的热成像温度阵列数据转换为图像进行显示。

在其中的一些实施例中，热成像的降噪处理系统中，后台服务器410还用于对人脸温度阵列数据进行第二降噪处理，其中，第一降噪处理后的非人脸温度阵列数据的信噪比大于第二降噪处理后的人脸温度阵列数据的信噪比。

关于本申请实施例热成像的降噪处理系统的具体限定，参见前述热成像的降噪处理方法，不再赘述。前述热成像的降噪处理方法也可以参见本申请实施例中的热成像的降噪处理系统的具体限定。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。