一种基于热成像背景滤除的行人检测方法

技术领域

本发明涉及一种基于热成像背景滤除的行人检测方法，属于图像处理的目标检测领域。

背景技术

视觉是生物获取环境信息的最直接、最主要的方法，同时，通过视觉获取的信息量也十分丰富，因此视觉信息的处理在环境信息处理中占有至关重要的地位。基于视觉的目标检测是目前计算机视觉领域的研究热点。

近年来，随着人工智能、深度学习等领域的发展，基于视觉的目标检测获得了长足的发展。与传统基于特征提取的目标检测方法不同，基于深度学习的目标检测方法通过深度神经网络提取图像的深层信息，使用海量的数据进行训练，极大地提高了目标检测的准确率和速度。

在目标检测领域中，行人检测是一块重要的组成部分。行人检测就是使用计算机技术在一张图片或者一段视频中判断是否存在行人并在图中框选出行人位置。行人检测在自动驾驶、无人机、监控等领域都有着重要的应用。当前主流的行人检测方法包括：整体检测、基于局部的检测、基于运动的检测、多相机立体视觉检测。

基于可见光图像的目标检测因为其设备成本低、适用范围广等特点而受到广泛关注和研究。然而，可见光图像非常容易受到环境的影响。外观变化、遮挡和光照条件变化等因素都会对基于可见光的目标检测产生极大的影响。而红外热成像相机的出现，为解决这些问题提供了思路。与可见光图像相比，热成像图像具有独特的优势，在热成像图像中，物体是通过其温度和辐射热来展示的，这意味着热图像可以在白天和晚上使用。此外，热图像消除了颜色和光照变化对物体外观的影响。随着近年来热传感器的显著发展，人们对热图像中的行人检测和跟踪进行了大量的研究。

发明内容

本发明的目的在于解决在弱光无光条件下，可见光行人检测方法的不足。本发明提出了一种基于热成像背景滤除的行人检测方法。该方法使用热成像传感器获取环境的热成像图，通过背景滤除的预处理方法和基于改进FasterR-CNN的行人检测检测模型，提高行人检测的精度。

本发明所采用的具体技术方案如下：

一种基于热成像背景滤除的行人检测方法，其包括以下步骤：

S1：对于热成像相机获取到的热成像图，首先使用直方图均值化方法进行处理，改善热成像图的偏差与漂移问题，得到直方图均值化增强图像；

S2：基于高斯混合模型，从S1处理后得到的直方图均值化增强图像中根据前后帧之间的关系分离前景和后景，得到二值背景减法图像；

S3：使用行人在热成像图中成像的上下阈值对热成像相机获取到的热成像图进行双阈值分割，得到行人和背景分割后的二值阈值分割图像；

S4：将S2得到的二值背景减法图像和S3得到的二值阈值分割图像进行叠加，得到一个用于区分前景和背景的二值背景滤除图像，利用二值背景滤除图像对S1得到的直方图均值化增强图像进行背景去除，得到仅有前景的背景滤除图像；

S5：将S4得到的背景滤除图像输入预先构建并训练的基于改进FasterR-CNN的行人检测网络中进行人体候选区域提取和行人检测，行人检测过程中先由卷积神经网络对背景滤除图像进行特征提取获得特征图，再由改进RPN网络从特征图中提取分别对应人头、半身、人体的三种比例目标建议框，然后将目标建议框投影到所述特征图上获得相应的特征矩阵，每个特征矩阵依次通过ROIpooling层和全连接层得到类别概率和边界框回归参数，最后以人头为基准通过三种比例目标建议框之间的交集关系组合得到最终的热成像行人检测结果。

作为优选，所述S1中的具体实现方法为：

将热成像图转化为热成像灰度图后统计得到累积归一化直方图，然后根据映射关系式将热成像灰度图逐像素映射形成直方图均值化增强图像，所述映射关系式为：

p′

式中：p′

作为优选，所述S2的具体实现方法为：

S21：使用所述直方图均值化增强图像中的前若干帧增强图像训练高斯混合模型；训练时，首先用第一帧增强图像初始化基础的高斯混合矩阵，然后逐帧输入增强图像，每次新增的像素，与前面已有的高斯混合模型均值比较，如果与均值在3倍方差以内，则进行矩阵系数更新，否则创建一个新的高斯分布；

S22：针对待分割的直方图均值化增强图像，逐像素采用S21得到的混合高斯模型进行匹配，如果一个像素值能够匹配其中一个高斯混合矩阵，则认为该像素是背景，否则认为是前景。

作为优选，所述S3的具体实现方法为：

S31：对用于获取热成像图的热成像相机进行标定，确定该热成像相机中行人成像的上下阈值；

S32：将热成像图中上下阈值之间的像素视为行人区域，其余像素视为背景区域。

作为优选，所述S4的具体实现方法为：

S41：将S2得到的二值背景减法图像和S3得到的二值阈值分割图像相加，得到一个前景像素值为1背景像素值为0的二值背景滤除图像；

S42：将二值背景滤除图像和S1得到的直方图均值化增强图像逐像素点乘，得到最终的背景滤除图像。

作为优选，所述S5中，所述基于改进FasterR-CNN的行人检测网络包括卷积神经网络、改进RPN网络、ROIpooling层和全连接层，其中热成像行人检测结果的获取方式如下：

S51：将所述背景滤除图像输入卷积神经网络得到相应的特征图；

S52：将S51得到的特征图送入改进RPN网络提取目标可能存在的目标建议框；对于图像中的每一个位置，按照三种大小的面积以及三种大小的比例正交组合，初始化9个可能的候选框；最小比例对应于人头的目标建议框，中间比例对应于半身的目标建议框，所述半身为上半身或下半身，最大比例对应于人体的目标建议框；

S53：将S52得到的目标建议框均投影到S51得到的特征图上，获得相应的特征矩阵，将每个特征矩阵通过ROIpooling层缩放到7*7大小，接着展平送入全连接层得到最后的类别概率和边界框回归参数；

S54：以可信度最高的人头目标框为基准，对于每一个人头目标框，如果有半身目标框或者人体目标框与它有交集，则共同组合成一个人体，如果没有其它目标框与它有交集，则认为这是人体被遮挡检测到的人头，将这个人头目标框作为最终目标框；对于人体目标框，如果没有与任一人头目标框有交集，则认为是误判，舍弃该人体目标框。

进一步的，所述三种大小的面积分别为128*128、256*256、384*384。

进一步的，所述三种大小的比例分别为1:1、1:2、1:3。

进一步的，各目标框之间是否存在交集通过目标框之间的交并比进行判断。

作为优选，所述基于改进FasterR-CNN的行人检测网络预先使用带标注的热成像数据集进行训练。

本发明通过直方图均值化方法解决了热成像相机成像结果温度漂移的问题，使用阈值分割和背景减法进行背景滤除，能够充分利用热成像图片的特点，提高在低光、无光环境下行人检测的精度。

附图说明

图1是本发明所公开的一种基于热成像背景滤除的行人检测算法的整体流程图。

图2是改进的Faster R-CNN的神经网络结构图。

图3是用来作为示例的热成像图。

图4是直方图均值化方法处理后得到的直方图均值化增强图像。

图5是基于高斯混合模型得到的二值背景减法图像。

图6是通过双阈值分割得到的二值化双阈值分割图像。

图7是基于二值背景减法图像和二值阈值分割图像得到的背景滤除图像。

图8是改进RPN网络得到的头部目标建议框、半身目标建议框和全身目标建议框。

图9是最终的目标检测结果。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

在本发明的一个较佳实施例中，基于深度学习的开源工具Pytorch实现了基于热成像背景滤除的行人检测方法。如图1所示，在本发明公开的一种基于背景滤除的行人检测方法包含热成像图像背景滤除以及深度学习模型构建、训练和检测两部分组成，其具体实现过程如下：

一、热成像图像背景滤除处理

首先使用热成像相机获取一段热成像视频，热成像视频由一系列的热成像图连续帧组成。对t时刻的图像，如图1所示先使用直方图均值化方法进行背景滤除工作，以改善热成像图的偏差与漂移问题，具体实现过程如下：

1)对于需要进行目标检测的热成像图进行直方图均值化方法处理。

首先，将原始热成像图像转换为热成像灰度图，表示为{x}，统计每一个灰度在图像上的总体像素的占比，得到图像中灰度为i的像素出现概率为：

式中：n表示图像中所有的像素数；

上述得到的p

然后，累加得到热成像图像的累积归一化直方图：

式中：s

最后，根据映射关系式将热成像灰度图逐像素映射形成直方图均值化增强图像，其中映射关系式为：

p′

式中：p′

以图3为例，对原图像进行上述操作后，即可将每个像素映射成新的像素，得到直方图均值化增强图像，如图4所示。

2)基于高斯混合模型，从1)处理后得到的直方图均值化增强图像中根据前后帧之间的关系分离前景和后景，得到背景减法图像。在该过程中，使用直方图均值化得到的增强图像的前t帧增强图像用来训练高斯混合模型，具体t的取值可根据需要调整。高斯混合模型的训练过程如下：

首先，用第一帧增强图像初始化基础的高斯混合矩阵，对t时刻图像上每个像素点建立高斯混合模型：

式中：X

然后，逐帧输入后续的增强图像，每次新增的像素，与前面已有的高斯混合模型均值比较，如果与均值在3倍方差以内，则进行矩阵系数更新，否则创建一个新的高斯分布。模型更新公式如下：

w

μ

式中：α为模型权重更新系数，ρ为模型均值更新系数，

最后，对后续待分割的直方图均值化增强图像，采用前面得到的混合高斯模型进行背景像素匹配。如果一个像素值能够匹配其中一个高斯混合矩阵，则认为该像素是背景记为0，否则认为是前景记为1，由此最终得到的二值背景减法图像如图5所示。

3)使用行人在热成像图中成像的上下阈值对热成像相机获取到的热成像图进行双阈值分割，得到行人和背景分割后的阈值分割图像。

在进行分割之前，需要先对热成像相机的标定，确定对于该热成像相机而言的行人成像的上下阈值边界，设定该上下阈值分别为T

式中：p(x,y)表示图像中点(x,y)的像素值，f(x,y)表示得到的二值阈值分割图像，本实施例中如图6所示。

4)将前面得到的二值背景减法图像和二值阈值分割图像相加，得到一个用于区分前景和背景的二值背景滤除图像，然后将二值背景滤除图像和直方图均值化得到的直方图均值化增强图像进行逐像素点乘，从而利用二值背景滤除图像对直方图均值化增强图像进行背景去除，得到仅有前景的背景滤除图像，如图7所示。

二、基于改进FasterR-CNN的行人检测网络构建、训练和检测

在该部分中，将前述得到的背景滤除图像送入训练好的改进FasterR-CNN框架进行推理，实现人体候选区域提取和行人检测，最终得到弱光或无光条件下基于热成像图像的行人检测结果。基于改进FasterR-CNN的行人检测网络结构如如图2所示：

首先，将前述步骤得到的背景滤除图像输入卷积神经网络，得到图像的特征图。在本实施例中，卷积神经网络可采用ResNet-101网络。

然后，将图像的特征图送入改进的RPN网络(区域建议网络)提取目标可能存在的候选区域。改进RPN网络中，其相对于普通RPN网络的改进在于先从特征图中提取分别对应人头、半身(半身可以是上半身，也可以是下半身)、人体的三种比例目标建议框，其中，三种比例具体需要根据检测目标而定。在本实施例中，对于图像中的每一个位置，按照三种大小的面积(128*128,256*256,384*384)以及三种大小的比例(1:1,1:2,1:3)正交组合，初始化9个可能的候选框，128*128(1:1)，128*256(1:2)，128*384(1:3)，256*256(1:1)，256*512(1:2)，256*768(1:3)，384*384(1:1)，384*768(1:2)，384*1152(1:3)。最小比例1:1对应于人头的目标建议框，中间比例1:2对应于半身的目标建议框，最大比例1:3对应于人体的目标建议框，三者后续可用于组合构成完整的人体，如图8所示。

再后，将目标建议框投影到前述特征图上获得相应的特征矩阵，每个特征矩阵依次通过ROIpooling层缩放到7*7大小，接着展平送入全连接层得到类别概率和边界框回归参数。

最后，以人头为基准通过三种比例目标建议框之间的交集关系组合得到最终的热成像行人检测结果。以人头为基准是指以可信度最高的人头目标框为基准，对于每一个人头目标框，如果有半身目标框或者人体目标框与它有交集，则共同组合成一个人体，如果没有其它目标框与它有交集，则认为这是人体被遮挡检测到的人头，将这个人头目标框作为最终目标框；对于人体目标框，如果没有与任一人头目标框有交集，则认为是误判，舍弃该人体目标框。

具体而言，各目标框之间是否存在交集通过目标框之间的交并比进行判断。定义目标框由目标框的左下角坐标和右上角坐标表示，则人头检测框表示为D

式中：IoU

组合得到的整体行人目标框D

x

y

x

y

最终的行人检测结果如图9所示。

另外，上述基于改进FasterR-CNN的行人检测网络在用于实际检测前，需要预先使用带标注的热成像数据集进行训练，训练方法属于现有技术。在本实施例中，训练过程可采用的具体实现方式如下：

1、使用ImageNet预训练分类模型初始化前置卷积层参数，并训练的RPN网络；

2、使用得到的目标建议框训练分类和边界框回归网络；

3、使用训练好的前置卷积网络层对RPN网络进行微调；

4、使用训练好的前置卷积网络层对分类和边界框回归网络进行微调；

5、RPN网络和分类和边界框回归网络共享训练好的前置卷积网络层，构成完整的网络模型。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。