基于毫米波和红外图像融合的低光照环境检测系统

技术领域

本发明涉及光学检测技术领域，具体涉及基于毫米波和红外图像融合的低光照环境检测系统。

背景技术

低光照条件下获取得到的图像通常光照亮度较低，图像的光照亮度较低会导致图像中细节特征丢失和有效信息减少进而得到对图像中目标物体的检测准确性显著下降。目前常见的是通过毫米波雷达和红外光实现低光照条件下对图像的采集，毫米波雷达是一种通过电磁波反射对前方目标物体进行检测的一种常用探测设备。毫米波雷达不同于摄像传感器对光照的依赖，可以通过雷达电磁波完成检测，因此对低光照环境具有较强的鲁棒性。红外可见光图像是通过红外波光波辐射生成的，生成的图像具有低光照下环境适应性强的特点。但通过毫米雷达波的获取得到的数据点不同于红外可见光图像能够直观表现目标物体的轮廓外形特点，毫米雷达波数据通常情况下稀疏，通过红外图像与毫米波图像融合可以有效地对低光照环境下的目标进行检测，故结合毫米波图像和红外图像对低光照环境下的目标特征进行提取计算是必要的。

目前常见的对待融合图像进行融合的方法，例如对毫米波图像和红外图像进行融合的方法为直接融合，但是直接融合会导致目标物体区域匹配不准确，存在融合特征效果表现较差的问题，进而会导致从融合图像中难以有效提取特征，容易产生信息丢失的问题。

发明内容

为了解决直接对待融合图像进行融合，融合特征效果表现较差的技术问题，本发明的目的在于提供基于毫米波和红外图像融合的低光照环境检测系统，所采用的技术方案具体如下：

图像获取模块，用于获取待融合图像，其中，待融合图像包括毫米波图像和红外图像，毫米波图像和红外图像中像素点对应的数据值分别为毫米波强度和红外强度；

数据处理模块，用于根据待融合图像中每个像素点与对应的临近像素点的数据值的差异，确定每个像素点的特征差异系数；根据待融合图像中各特征差异系数的占比，确定待融合图像中每个像素点的凸显差异特征；

区域匹配模块，用于分割待融合图像，得到目标区域；获取待融合图像中目标区域的特征角点；根据待融合图像的目标区域中特征角点的位置和特征角点对应的凸显差异特征，对目标区域进行匹配，得到最佳匹配区域对；

检测模块，用于基于最佳匹配区域对中各目标区域中特征角点的占比和目标区域中像素点的数据值，对待融合图像进行融合，得到融合特征图；对融合特征图进行检测，得到待检测物体。

优选的，所述根据待融合图像的目标区域中特征角点的位置和特征角点对应的凸显差异特征，对目标区域进行匹配，得到最佳匹配区域对，包括：

根据待融合图像的两两目标区域之间特征角点的位置分布和特征角点对应的凸显差异特征的差异，计算目标区域之间的区域相似度；

由最大区域相似度对应的两个目标区域构建最佳匹配区域对。

优选的，所述根据待融合图像的两两目标区域之间特征角点的位置分布和特征角点对应的凸显差异特征的差异，计算目标区域之间的区域相似度，包括：

对每张待融合图像中每个目标区域打上标签值；

选取任意待融合图像中任意目标区域作为第一区域；选取任意另一待融合图像中与第一区域的标签值相同的目标区域作为第二区域；

由第一区域中所有特征角点的凸显差异特征构建向量，作为第一向量；由第二区域中所有特征角点的凸显差异特征构建向量，作为第二向量；计算第一向量和第二向量之间的相似程度，作为特征相似度；

对每个目标区域中的特征角点打上标签值；计算第一区域和第二区域中标签值相同的特征角点之间的距离之和，作为位置差异；

根据所述特征相似度和所述位置差异确定区域相似度，其中，特征相似度和区域相似度为正相关关系，位置差异和区域相似度为负相关关系。

优选的，所述特征差异系数的计算公式为：

；

其中，Mdif

优选的，所述凸显差异特征的计算公式为：

；

其中，Mdist

优选的，所述基于最佳匹配区域对中各目标区域中特征角点的占比和目标区域中像素点的数据值，对待融合图像进行融合，得到融合特征图，包括：

将最佳匹配区域对中各目标区域中特征角点的占比和目标区域中像素点的数据值进行加权求和，得到最佳匹配区域对中目标区域中像素点的融合像素值；

对于除最佳匹配对中各目标区域中像素点外的其他像素点，将待融合图像中相同位置处像素点的数据值均值，作为其他像素点的融合像素值；

基于融合像素值，得到融合特征图。

优选的，所述分割待融合图像，得到目标区域，包括：

使用大津法对待融合图像进行分割，得到每个待融合图像中的目标区域。

优选的，所述对融合特征图进行检测，得到待检测物体，包括：

使用AlexNet卷积神经网络模型对融合特征图进行检测，得到待检测物体。

本发明实施例至少具有如下有益效果：

本发明根据低光照下待融合图像中待检测物体与周围像素点数据值差异变化特点计算构建得到像素点的特征差异系数，并根据该特征差异系数统计计算得到凸显差异特征对低光照条件下待融合图像中待检测物体的特征进行凸显表征，有效的规避了待融合图像中待检测物体像素点区域特征表征不准确的影响。进一步地，本发明结合待融合图像划分后得到的不同区域的特征角点和特征角点对应的凸显差异特征，对目标区域进行匹配得到最佳匹配对，避免了传统逐像素点计算过程中计算繁琐性的缺点。通过对待融合图像中最佳匹配区域对中目标区域的像素点特征进行融合，有效地表征了低光照条件下待检测物体像素点分布特点，从而有效解决了低光照环境下直接对待融合图像进行融合，融合特征效果表现较差的问题，提高了图像的融合效果，提高了低光照环境中待检测物体检测准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的基于毫米波和红外图像融合的低光照环境检测系统的系统框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于毫米波和红外图像融合的低光照环境检测系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例提供了基于毫米波和红外图像融合的低光照环境检测系统的具体实施方法，该系统适用于低光照环境下的物体检测场景。该场景下通过毫米波探测传感器和红外传感器采集毫米波图像和红外图像。为了解决直接对待融合图像进行融合，融合特征效果表现较差的技术问题。本发明对低光照条件下待融合图像中待检测物体的特征进行凸显表征，规避了待融合图像中待检测物体像素点区域特征表征不准确的影响，并对得到的目标区域进行匹配，通过对待融合图像中最佳匹配区域对中目标区域的像素点特征进行融合，有效地表征了低光照条件下待检测物体像素点分布特点，提高了图像的融合效果。

下面结合附图具体的说明本发明所提供的基于毫米波和红外图像融合的低光照环境检测系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于毫米波和红外图像融合的低光照环境检测系统的系统框图，该系统包括以下模块：

图像获取模块10，用于获取待融合图像，其中，待融合图像包括毫米波图像和红外图像，毫米波图像和红外图像中像素点对应的数据值分别为毫米波强度和红外强度。

通过毫米波探测传感器和红外传感器对待检测区域进行拍摄采集，获取得到低光照环境中待检测目标物体的毫米波图像和红外图像。

对于采集获取得到的低光照条件下的毫米波图像和红外图像，为了避免采集工作环境中出现的异常噪声噪点对后续进一步计算的过程中产生计算误差，使用高斯滤波方法对采集获取得到的毫米波图像和红外图像进行优化处理，尽可能减弱噪声对后续计算过程中的影响。同时，为了便于后续计算对于传感器采集获得的毫米波图像和红外图像中不同像素点的数值使用极差归一化算法将数据归一化到整数区间[0,255]上，得到处理后的毫米波图像和红外图像。后续步骤中的毫米波图像和红外图像均为处理后的毫米波图像和红外图像。

将毫米波图像和红外图像统称为待融合图像。其中，毫米波图像中像素点对应的数据值为毫米波强度，红外图像中像素点对应的数据值为红外强度。

数据处理模块20，用于根据待融合图像中每个像素点与对应的临近像素点的数据值的差异，确定每个像素点的特征差异系数；根据待融合图像中各特征差异系数的占比，确定待融合图像中每个像素点的凸显差异特征。

通过图像获取模块10可以获取得到低光照条件下环境中待检测目标物体的毫米波图像和红外图像，在采集获取得到的图像中，待检测的目标物体与周围背景区域中由于待检测目标物体与周围背景区域中不同物体对毫米波和红外辐射光波的反射强度有所差异。在毫米波图像中，由于待检测物体表面物理结构特点和背景区域中不同位置处的物理结构存在差异，此时待检测物体表面和背景位置处的像素点对毫米波和红外光波的吸收和反射强度会出现相应的差异，在采集得到的毫米波和红外图像中的像素点的数据值也会出现相应的变化。待检测物体在毫米波图像和红外图像中对应像素点区域的数值会相应变大，与背景区域的像素点的数据值出现较大的差异。

故根据待融合图像中每个像素点与对应的临近像素点的数据值的差异，确定每个像素点的特征差异系数。

该特征差异系数的计算公式为：

；

其中，Mdif

特征差异系数的计算公式通过以第i个像素点为中心的局部窗口区域中待融合图像中第i个像素点行列位置像素点数值变化情况，计算得到第i个像素点位置处特征差异系数的数值大小，当图像中存在较多的冗余数据信息，通过对第i个像素点位置处所在行列数值变化差异情况进行计算分析，有效的规避了对每个不同位置处像素点均进行计算时冗余无效信息较多的影响，当第i个像素点位于待融合图像中待检测目标物体区域时，通过特征差异系数的计算公式计算得到的第i个像素点位置处的特征差异系数的数值会相对较大。即在本发明实施例中以第i个像素点为中心的局部窗口区域的大小为5×5。

结合融合图像的特征差异系数进行进一步的计算。

以第i个像素点为中心的局部窗口区域中每个不同位置处的像素点均可以计算获取得到相应的特征差异系数。对局部窗口区域中每个不同像素点的特征差异系数进行统计计算，可以分别计算得到该局部窗口区域中特征差异系数出现的频率大小。进一步的，根据待融合图像中各特征差异系数的占比，确定待融合图像中每个像素点的凸显差异特征。

该凸显差异特征的计算公式为：

；

其中，Mdist

通过上述公式可以计算得到待融合图像的第i个像素点处的凸显差异特征，对于毫米波图像和红外图像，也即分别得到毫米波凸显差异特征和红外凸显差异特征的数值大小。假设毫米波和红外特征图像中第i个像素点位于待融合图像的待检测目标区域中，则该像素点与周围背景像素点的特征差异系数的差异会相对较大，此时计算得到的第i个像素点位置处的待融合图像中每个像素点的凸显差异特征的距离的数值会相应增大。通过对待融合图像的不同像素点位置处的特征差异系数的占比对待检测物体像素点的数据值进行凸显表征。

对于待融合图像，也即对于毫米波图像和红外图像，图像中不同位置处的像素点均可以计算获取得到相应的凸显差异特征的数值大小，从而可以得到毫米波凸显差异特征图像和红外凸显差异特征图像。在凸显差异特征图像中像素点的数值越大，说明的该像素点与周围像素点的凸显差异性越高，则该像素点越有可能为待检测目标物体的像素点。

区域匹配模块30，用于分割待融合图像，得到目标区域；获取待融合图像中目标区域的特征角点；根据待融合图像的目标区域中特征角点的位置和特征角点对应的凸显差异特征，对目标区域进行匹配，得到最佳匹配区域对。

将每张待融合图像作为输入，也即将毫米波和红外凸显差异特征图像作为输入，使用大津法（OTSU）划分得到待融合图像中目标区域和背景两个不同的区域。需要说明的是使用大津法对图像进行分割，为本领域技术人员的公知技术，在此不再进行赘述，在其他实施例中还可以采用其他方法对图像进行分割。

进一步的，获取待融合图像中目标区域的特征角点，具体的：对不同位置处的目标区域使用Harris角点检测算法提取得到对应区域中的特征角点，以便于后续对于不同目标区域之间的特征角点进行计算匹配。

根据待融合图像的目标区域中特征角点的位置和特征角点对应的凸显差异特征，对目标区域进行匹配，得到最佳匹配区域对，具体的：根据待融合图像的两两目标区域之间特征角点的位置分布和特征角点的位置分布和特征角点对应的凸显差异特征的差异，计算目标区域之间的区域相似度；由最大区域相似度对应的两个目标区域构建最佳匹配区域对。需要说明的是，最大区域相似度对应的由两个目标区域构成的目标区域对可能存在多对的情况，认为最大区域相似度对应的每对目标区域对均为最佳匹配区域对。

其中，根据待融合图像的目标区域之间特征角点的位置分布和特征角点对应的凸显差异特征的差异，计算目标区域之间的区域相似度，包括：

对每张待融合图像中每个目标区域打上标签值；选取任意待融合图像中任意目标区域作为第一区域；选取任意另一待融合图像中与第一区域的标签值相同的目标区域作为第二区域；由第一区域中所有特征角点的凸显差异特征构建向量，作为第一向量；由第二区域中所有特征角点的凸显差异特征构建向量，作为第二向量；计算第一向量和第二向量之间的相似程度，作为特征相似度。在本发明实施例中计算两个向量的余弦相似度，作为两个向量的特征相似度。对每个目标区域中的特征角点打上标签值；计算第一区域和第二区域中标签值相同的特征角点之间的距离之和，作为位置差异；根据所述特征相似度和所述位置差异确定区域相似度，其中，特征相似度和区域相似度为正相关关系，位置差异和区域相似度为负相关关系。

对于任意两张待融合图像，以标签值为c的目标区域作为第一区域和第二区域为例，该区域相似度的计算公式为：

；

其中，sim

其中，在分母上加上预设调节阈值是为了避免出现分母为0的情况，预设调节阈值的取值为0.01，在其他实施例中可由实施者根据时间情况调整该取值。通过归一化函数将第一向量和第二向量中标签值相同的特征角点的位置差异之和的数值归一化到区间[0,1]上。

通过上述公式可以计算得到待融合图像中目标区域之间区域相似度sim

检测模块40，用于基于最佳匹配区域对中各目标区域中特征角点的占比和目标区域中像素点的数据值，对待融合图像进行融合，得到融合特征图；对融合特征图进行检测，得到待检测物体。

通过上述分析计算可以获取得到毫米波和红外凸显差异特征图像中由目标区域构成的最佳匹配区域对，由于毫米波和红外凸显差异特征图像与原始图像尺寸相同，因此最佳匹配区域对的位置与待融合图像中的位置相对应。

基于最佳匹配区域对中各目标区域中特征角点的占比和目标区域中像素点的数据值，对待融合图像进行融合，得到融合特征图，具体的：将最佳匹配区域对中各目标区域中特征角点的占比和目标区域中像素点的数据值进行加权求和，得到最佳匹配区域对中目标区域中像素点的融合像素值；对于除最佳匹配对中各目标区域中像素点外的其他像素点，将待融合图像中相同位置处像素点的数据值均值，作为其他像素点的融合像素值；基于融合像素值，得到融合特征图。其中，最佳匹配区域对中各目标区域中特征角点的占比，是同一最佳匹配对中各目标区域中特征角点的占比，例如同一最佳匹配对中有两个目标区域a1和a2，当目标区域a1中特征角点数量为a3，目标区域a2中特征角点数量为a4时，则目标区域a1的特征角点的占比则为a3/(a3+a4)，同理，则目标区域a2的特征角点的占比则为a4/(a3+a4)。

以待融合的两张待融合图像为例，将其中一张待融合图像记为c1，将另一张待融合图像记为c2。

融合像素值的计算公式为：

；

其中，Vu

当目标区域中特征角点的数量越多，反映目标区域中特征影响贡献占比较大，进而使得得到的融合权值会越大，进而得到的融合像素值就会越大。相反的，当目标区域中特征角点的数量越少，反映目标区域中特征影响贡献占比较小，进而使得得到的融合权值会越小，进而得到的融合像素值就会越小。

对于低光照下的毫米波图像和红外图像中最佳匹配区域对中目标区域中的像素点使用融合像素值的计算公式可以计算得到融合特征数值Vu

最后对融合特征图进行检测，得到待检测物体，在本发明实施例中使用训练好的AlexNet卷积神经网络模型对融合特征图进行检测。具体的：使用AlexNet卷积神经网络模型对融合特征图进行检测，得到待检测物体。其中，将融合特征图作为输入，由低光照下得到的待融合图像的融合特征图构建数据集，对该数据集使用数据增强算法进行处理，并使用独热编码One-hot对数据集进行编码。AlexNet卷积神经网络的损失函数为交叉熵损失函数，使用Momentum动量优化器对AlexNet卷积神经网络模型进行训练。将融合后的融合特征图作为输入，使用训练完成后的AlexNet卷积神经网络模型输出待检测的目标物体区域。

本发明根据低光照下待融合图像中，也可以说是低光照下的毫米波图像和红外图像中，待检测物体与周围像素点辐射强度差异变化特点计算构建得到特征差异系数，并根据该特征差异系数统计计算得到凸显差异特征对低光照条件下待融合图像中待检测物体的特征进行凸显表征，有效的规避了毫米波和红外图像中待检测目标物体像素点区域特征表征不准确的影响。进一步地，本发明实施例结合毫米波图像和红外图像中凸显差异特征中划分后得到的不同区域的特征角点构造表征向量，并结合表征向量的相似性进行优化计算匹配，避免了传统逐像素点计算过程中计算繁琐性的缺点。通过对毫米波和红外图像中最佳匹配区域像素点特征进行融合，有效地表征了低光照条件下目标物体像素点分布特点，从而有效的提高了低光照环境中目标物体检测准确性效果。

综上所述，本发明涉及光学检测技术领域。该系统包括图像获取模块，获取待融合图像，其中，待融合图像包括毫米波图像和红外图像，毫米波图像和红外图像中像素点对应的数据值分别为毫米波强度和红外强度；数据处理模块，根据待融合图像中每个像素点与对应的临近像素点的数据值的差异，确定每个像素点的特征差异系数；根据待融合图像中各特征差异系数的占比，确定待融合图像中每个像素点的凸显差异特征；区域匹配模块，分割待融合图像，得到目标区域；获取待融合图像中目标区域的特征角点；根据待融合图像的目标区域中特征角点的位置和特征角点对应的凸显差异特征，对目标区域进行匹配，得到最佳匹配区域对；检测模块，基于最佳匹配区域对中各目标区域中特征角点的占比和目标区域中像素点的数据值，对待融合图像进行融合，得到融合特征图；对融合特征图进行检测，得到待检测物体。本发明针对传统算法对待融合的毫米波图像和红外图像中数据值直接融合导致的低光照目标物体区域匹配不准确，融合特征效果表现较差的问题进行优化。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。