一种黑色车检测方法、系统、装置以及存储介质

技术领域

本申请涉及数据处理领域，尤其涉及一种黑色车检测方法、系统、装置以及存储介质。

背景技术

随着深度学习的快速发展与完善，计算机视觉技术取得了巨大的进步，车辆检测和车牌检测得到了广泛应用，例如考勤通行、安全监控等领域。随着城市人口水平的不断提升，大型户外停车场景已逐渐饱和，路边停车场景有待更高效的停车管控，也逐渐成为城市停车的第二缓冲带，因此基于高位检测的场景开发成为当前业内主攻方向。

现有技术提供的方案中，在车辆检测时，基于深度学习的目标检测方法是高位停车管控的核心技术，目标检测方法在白天正常光线情况下有较好的效果，但是在光线较暗的夜间情况，可见光图像存在较大的噪声和较弱的纹理细节，针对可见光图像的黑车受环境影响较大，调参过程存在较大的误检。因此，在夜晚高位停车场景，通过可见光进行黑色车检测任务由于受噪声和较弱纹理的限制，导致黑色车检测效果较差。

发明内容

为了解决上述技术问题，提高夜间黑色车检测效果，本申请提供了一种黑色车检测方法、系统、装置以及计算机可读存储介质。

本申请第一方面提供了一种黑色车检测方法，所述方法包括：

通过双目相机采集目标黑色车的红外图像以及可见光图像；

对所述红外图像以及所述可见光图像进行像素对齐；

提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；

将所述第一色彩特征图以及所述第一亮度特征图输入到预设的融合网络模型中进行特征融合，得到融合图像，所述融合网络模型为根据样本图像训练得到的网络模型。

将所述融合图像输入至检测网络模型中对所述目标黑车进行检测并得到检测结果，所述检测网络模型为训练好的用于车辆检测的网络模型。

可选的，所述双目相机包括红外相机以及可见光相机，在所述通过双目相机采集目标黑车的红外图像以及可见光图像之前，所述方法还包括：

计算所述红外相机的第一相机内参和第一相机外参以及计算所述可见光相机的第二相机内参以及第二相机外参；

所述对所述红外图像以及所述可见光图像进行像素对齐包括：

根据所述第一相机内参将所述红外图像转换到世界坐标系中；

结合所述第一相机外参将所述世界坐标系中的所述红外图像转换到相机坐标系中；

根据所述第二相机内参对所述红外图像以及所述可见光图像进行像素对齐。

可选的，在所述根据所述第一相机内参将所述红外图像转换到世界坐标系中之前，所述方法还包括：

将所述红外图像输入至预设的红外检测模型中，得到所述目标黑车的红外检测框；

所述根据所述第一相机内参将所述红外图像转换到世界坐标系中包括：

结合所述第一相机内参以及所述红外检测框的坐标信息将所述红外图像转换到世界坐标系中。

可选的，所述预设的网络模型中设置有编码网络、解码网络以及融合层，所述将所述第一色彩特征图以及所述第一亮度特征图输入到预设的网络模型中进行特征融合，得到融合图像包括：

将所述第一色彩特征图以及所述第一亮度特征图输入至所述编码网络中，得到第二色彩特征图以及第二亮度特征图；

将所述第二色彩特征图以及所述第二亮度特征图输入至所述融合层中进行融合，得到融合特征图；

将所述融合特征图输入至所述解码网络中进行解码，得到融合图像。

可选的，在所述提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图之前，所述方法还包括：

分别将所述红外图像以及所述可见光图像转换至Lab色彩空间。

可选的，所述融合网络模型通过如下方法训练得到：

通过双目相机采集目标样本图像对，所述样本图像对包括样本红外图像以及样本可见光图像；

对所述样本红外图像以及所述样本可见光图像进行像素对齐；

将对齐后的所述样本红外图像以及对齐后的所述样本可见光图像输入至初始化网络模型中进行特征融合，得到输出融合图像；

通过预设的损失函数计算所述输出融合图像分别与对齐后的样本红外图像以及对齐后的所述可见光图像之间的特征损差；

根据所述特征损差动态调整所述初始化网络模型，直至得到收敛的所述融合网络模型。

可选的，所述通过双目相机采集目标样本图像对包括：

通过双目相机采集样本视频，所述样本视频包括样本红外视频以及样本可见光视频；

从所述样本视频中提取出样本红外图像以及样本可见光图像。

本申请第二方面提供了一种黑色车检测系统，所述系统包括：

采集单元，用于通过双目相机采集目标黑车的红外图像以及可见光图像；

对齐单元，用于对所述红外图像以及所述可见光图像进行像素对齐；

提取单元，用于提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；

融合单元，用于将所述第一色彩特征图以及所述第一亮度特征图输入到预设的网络模型中进行特征融合，得到融合图像；

检测单元，用于将所述融合图像输入至检测网络模型中对所述目标黑车进行检测。

本申请第三方面提供了一种黑色车检测装置，所述装置包括：

处理器、存储器、输入输出单元以及总线；

所述处理器与所述存储器、所述输入输出单元以及所述总线相连；

所述存储器保存有程序，所述处理器调用所述程序以执行第一方面以及第一方面中任一项可选的所述方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上保存有程序，所述程序在计算机上执行时执行第一方面以及第一方面中任一项可选的所述方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供的黑色车检测方法中，终端通过双目相机采集目标黑车的红外图像以及可见光图像，并对红外图像以及可见光图像进行对齐，由于红外图像保留了更多的亮度细节，而可见光图像保留了更多的色彩细节，因此终端提取可见光头图像的第一色彩特征图以及提取红外图像的第一亮度特征图，并输入至预设的网络模型中，网络模型对特征进行融合并输出融合图像，使得融合图像同时保留较多的色彩和亮度细节，进而再通过检测模型对目标黑车进行检测，本申请提供的方法极大程度的提高了黑车的检测效果。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的黑色车检测方法的一个实施例流程示意图；

图2为本申请中训练融合网络模型的方法的一个实施例流程示意图；

图3为本申请中提供的黑色车检测系统的一个实施例结构示意图；

图4为本申请中提供的黑色车检测装置的一个实施例结构示意图。

具体实施方式

现有技术提供的方案中，在车辆检测时，基于深度学习的目标检测方法是高位停车管控的核心技术，目标检测方法在白天正常光线情况下有较好的效果，但是在光线较暗的夜间情况，可见光图像存在较大的噪声和较弱的纹理细节，针对可见光图像的黑车受环境影响较大，调参过程存在较大的误检。因此，在夜晚高位停车场景，通过可见光进行黑色车检测任务由于受噪声和较弱纹理的限制，导致黑色车检测效果较差。

基于此，本申请提供了一种黑色车检测方法，用于提高夜间黑车的检测效果。

需要说明的是，本申请提供的黑色车检测法，可以应用于终端也可以应用于系统，还可以应用于服务器上，例如终端可以是智能手机或电脑、平板电脑、智能电视、智能手表、便携计算机终端也可以是台式计算机等固定终端。为方便阐述，本申请中以终端为执行主体进行举例说明。

请参阅图1，图1为本申请中提供的黑色车检测方法的一个实施例流程示意图，该黑色车检测方法包括：

101、通过双目相机采集目标黑色车的红外图像以及可见光图像；

本申请提供的黑色车检测方法中，可以用于一些停车场上的检测终端或者系统上，首先通过双目相机采集目标黑色车的红外图像以及可见光图像，可见光图像一般会存在较大的噪声和较弱的纹理细节，并且受环境影响较大，但是会有较为显著的色彩空间，而红外图像在夜间也可以获得较好的灰度亮度信息，因此，在实际应用中可以对这两种图像进行特征融合以获得融合图像。

102、对红外图像以及可见光图像进行像素对齐；

在实际应用中，双目相机可以包括有红外相机以及可见光相机，由于两个相机位置的细微差异，所拍摄出来的红外图像和可见光图像之间存在一定的畸变，并不完全吻合，因此，需要红外图像以及可见光图像进行像素对齐，以提高最终图片融合的效果，进而提升检测成功率。

在另一个可能的实现方式中，可以通过双目相机的内参和外参来对图像进行像素对齐，其中内参分为内参矩阵和畸变参数矩阵，外参分为旋转矩阵和平移矩阵，本申请中双目相机的内参和外参包括红外相机的第一相机内参和第一相机外参，可见光相机的第二相机内参和第二相机外参，在通过双目相机采集目标黑车的红外图像以及可见光图像之前，终端还可以计算红外相机的第一相机内参和第一相机外参，以及计算可见光相机的第二相机内参以及第二相机外参，上述对红外图像以及可见光图像进行像素对齐，具体的可以是，根据第一相机内参将红外图像转换到世界坐标系中；结合第一相机外参将世界坐标系中的红外图像转换到相机坐标系中；根据第二相机内参对红外图像以及可见光图像进行像素对齐，以实现图像水平方向以及垂直方向的对齐。本申请中所称世界坐标系是为了确定相机的位置，在双目视觉中一般将世界坐标系原点定在左相机、右相机，或两者X轴方向的中点。相机坐标系是以相机的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系。相机坐标系(观察坐标系)相机坐标系的原点为相机的光心，x轴与y轴与图像的X,Y轴平行，z轴为相机光轴，它与图形平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，图像坐标系为二维直角坐标系。

本实施例提供的黑色车检测方法中，可以结合第一相机内参和红外检测框来将红外图像转换到世界坐标系中，在上述根据第一相机内参将红外图像转换到世界坐标系中之前，终端可以将红外图像输入至预设的红外检测模型中得到目标黑车的红外检测框，红外检测模型为预先训练好的网络模型，用于标定出黑色车的红外检测框，上述根据第一相机内参将红外图像转换到世界坐标系中，具体的可以是，结合第一相机内参以及红外检测框的坐标信息将红外图像转换到世界坐标系中。

本实施例提供的方法中，在将图像输入至融合网络模型之前，首先通过双目相机的内参以及外参来对红外图像以及可见光图像进行像素对齐，可以极大提高最终图像的融合效果，进而提高检测成功率。

103、提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；

终端提取可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图，可见光图像一般会存在较大的噪声和较弱的纹理细节，并且受环境影响较大，但是会有较为显著的色彩空间，而红外图像在夜间也可以获得较好的灰度亮度信息，具体的，在另一种可能实现的方式中，在提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图之前，终端可以分别将红外图像以及可见光图像转换至Lab色彩空间，Lab是由一个亮度通道(channel)和两个颜色通道组成的。在Lab颜色空间中，每个颜色用L、a、b三个数字表示，各个分量的含义是这样的：

L代表亮度；

a代表从绿色到红色的分量；

b代表从蓝色到黄色的分量。

例如：红外图像和可见光图像分别转换到Lab色彩空间，然后将可见光图像的色彩空间ab通道和红外图像的亮度信息L通道信息设置为融合网络模型的输入，即为I

104、将第一色彩特征图以及第一亮度特征图输入到预设的融合网络模型中进行特征融合，得到融合图像，融合网络模型用于对第一色彩特征图以及第一亮度特征图进行融合，并输出融合图像,融合网络模型为根据样本图像训练得到的网络模型。

将第一色彩特征图以及第一亮度特征图输入到预设的融合网络模型中进行图像特征融合，融合网络模型会输出融合图像，该融合图像融合了第一色彩特征图的色彩特征以及第一亮度特征图的亮度特征，融合网络模型为提前训练好的模型。

在实际应用中，融合网络模型可以设置有编码网络，融合层以及解析网络，网络结构可以采用编解码方式(encode-decode),同时加入稠密像素卷积结构Dense Block，大幅扩展了网络实际深度以及提高了特征利用率，有利于提取像素更高语义的分布。将第一色彩特征图以及第一亮度特征图输入到预设的融合网络模型中进行特征融合具体的，可以是，将第一色彩特征图以及第一亮度特征图输入至编码网络中，得到第二色彩特征图以及第二亮度特征图；将第二色彩特征图以及第二亮度特征图输入至融合层中进行融合，得到融合特征图；将融合特征图输入至解码网络中进行解码，得到融合图像。

例如：I

105、将融合图像输入至检测网络模型中对目标黑车进行检测并得到检测结果，检测网络模型用于对融合图像进行车辆检测。

将融合图像输入至检测网络模型中进行黑色车检测，检测网络模型可以是SSD车辆检测网络模型，最终得到检测结果。

本申请提供的黑色车检测方法中，终端通过双目相机采集目标黑车的红外图像以及可见光图像，并对红外图像以及可见光图像进行对齐，由于红外图像保留了更多的亮度细节，而可见光图像保留了更多的色彩细节，因此终端提取可见光头图像的第一色彩特征图以及提取红外图像的第一亮度特征图，并输入至预设的网络模型中，网络模型对特征进行融合并输出融合图像，使得融合图像同时保留较多的色彩和亮度细节，进而再通过检测模型对目标黑车进行检测，本申请提供的方法极大程度的提高了黑车的检测效果。

本申请提供的黑色车检测方法中，还需要提前对融合网络模型进行训练，下面将结合附图对具体的训练方法进行详细阐述。

请参阅图2，图2为本申请提供的融合网络模型训练方法的一个实施例流程示意图，该方法包括：

201、通过双目相机采集目标样本图像对，样本图像对包括样本红外图像以及样本可见光图像；

首先通过双目相机采集目标黑色车的样本图像对，其中包括样本红外图像以及可见光图像，具体的采集方法可以是通过预先布置好的双目相机录制路边的高位视频，包括红外视频和可见光视频，然后从录制的视频中抓取出样本红外图像以及样本可见光图像，可以是隔帧抓取，通过此方法获取2000对样本图像对。

202、对样本红外图像以及样本可见光图像进行像素对齐；

对样本红外图像以及样本可见光图像进行像素对齐，以提升训练效果，具体可以是通过相机标定模型进行像素对齐。

203、将对齐后的样本红外图像以及对齐后的样本可见光图像输入至初始化网络模型中进行特征融合，得到输出融合图像；

将对齐后的样本红外图像以及样本可见光图像输入至初始化网络模型中进行特征融合，初始化网络模型具有初始化参数，为未经训练的网络模型。初始化网络模型会得到输出融合图像。

204、通过预设的损失函数计算输出融合图像分别与对齐后的样本红外图像以及对齐后的可见光图像之间的特征损差；

根据预设的损失函数来计算输出融合图像和对齐后的样本图像对的特征损差，损失函数可以是：

L＝λL

其中L表示总损失，L

L

O表示输出融合图像，I表示输入的样本图像对；

L

L

O表示输出融合图像，I表示输入的样本图像对。

205、根据特征损差动态调整初始化网络模型，直至得到收敛的融合网络模型。

终端根据特征损差动态调整该初始化网络模型，直至该初始化网络模型收敛，即达到符合预期效果，即可将收敛的模型确定为融合网络模型。

上述实施例对本申请中提供的黑色车检测方法进行了详细阐述，下面将结合附图对本申请中提供的黑色车检测系统进行阐述。

请参阅图3，图3为本申请中提供的黑色车检测系统的一个实施例结构示意图，该黑色车检测系统包括：

采集单元301，用于通过双目相机采集目标黑车的红外图像以及可见光图像；

对齐单元302，用于对红外图像以及可见光图像进行像素对齐；

提取单元303，用于提取对齐后的可见光图像的第一色彩特征图以及对齐后的红外图像的第一亮度特征图；

融合单元304，用于将第一色彩特征图以及第一亮度特征图输入到预设的网络模型中进行特征融合，得到融合图像；

检测单元305，用于将融合图像输入至检测网络模型中对目标黑车进行检测。

可选的，双目相机包括红外相机以及可见光相机，可选的，该系统还包括计算单元306，计算单元306用于：

计算红外相机的第一相机内参和第一相机外参以及计算可见光相机的第二相机内参以及第二相机外参；

对齐单元302具体用于：

根据第一相机内参将红外图像转换到世界坐标系中；

结合第一相机外参将世界坐标系中的红外图像转换到相机坐标系中；

根据第二相机内参对红外图像以及可见光图像进行像素对齐。

可选的，该系统还包括：红外检测单元307，红外检测单元307具体用于：

将红外图像输入至预设的红外检测模型中，得到目标黑车的红外检测框；

对齐单元302具体用于：

结合第一相机内参以及红外检测框的坐标信息将红外图像转换到世界坐标系中。

可选的，预设的网络模型中设置有编码网络、解码网络以及融合层，融合单元304具体用于：

将第一色彩特征图以及第一亮度特征图输入至编码网络中，得到第二色彩特征图以及第二亮度特征图；

将第二色彩特征图以及第二亮度特征图输入至融合层中进行融合，得到融合特征图；

将融合特征图输入至解码网络中进行解码，得到融合图像。

可选的，该系统还包括：转换单元308，转换单元308具体用于：

分别将红外图像以及可见光图像转换至Lab色彩空间。

可选的，该系统还包括模型训练单元309，模型训练单元309具体用于：

通过双目相机采集目标样本图像对，样本图像对包括样本红外图像以及样本可见光图像；

对样本红外图像以及样本可见光图像进行像素对齐；

将对齐后的样本红外图像以及对齐后的样本可见光图像输入至初始化网络模型中进行特征融合，得到输出融合图像；

通过预设的损失函数计算输出融合图像分别与对齐后的样本红外图像以及对齐后的可见光图像之间的特征损差；

根据特征损差动态调整初始化网络模型，直至得到收敛的融合网络模型。

可选的，模型训练单元309具体用于：

通过双目相机采集样本视频，样本视频包括样本红外视频以及样本可见光视频；

从样本视频中提取出样本红外图像以及样本可见光图像。

本申请还提供了一种黑色车检测装置，包括：

处理器401、存储器402、输入输出单元403、总线404；

处理器401与存储器402、输入输出单元403以及总线404相连；

存储器402保存有程序，处理器401调用程序以执行如上任一黑色车检测方法。

本申请还涉及一种计算机可读存储介质，计算机可读存储介质上保存有程序，其特征在于，当程序在计算机上运行时，使得计算机执行如上任一黑色车检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。