一种联合语义的雾天道路目标检测算法

技术领域

本发明属于机器学习的图像处理和目标检测技术领域，具体涉及一种基于FasterRCNN的联合语义的雾天道路目标检测算法。

背景技术

为了解决雾天目标检测问题，许多研究人员分别从领域自适应和图像恢复的角度构建了各种深度学习方法。一种是基于域自适应的雾天目标检测方法，另一种是基于图像恢复的目标检测方法。

在域自适应的方法中，特别地，Xie Rongchang等人提出了一种多级域自适应Faster RCNN，使用不同的域分类器监督多尺度特征对齐，并通过增加域分类器来提高识别能力。Pan YoungSun等人提出了一种用于跨域目标检测的鲁棒多尺度对抗学习方法，通过多个扩展卷积核减少图像级域差异，通过排除迁移能力低的图像和实例来降低负迁移的影响。Shen Zhiqiang等人提出了一种基于堆叠互补损失的领域自适应方法，通过在不同的网络阶段将梯度分离为多个辅助损失来学习全面的辨识表示。

在另一个基于图像恢复的方法中包括将额外的图像恢复模块嵌入到对象检测骨干网，或者先恢复图像，然后对恢复的图像进行目标检测。Huang Shih-Chia等人提出了一个双子网网络(DSNe)，通过在RetinaNet中嵌入一个图像恢复模块来联合学习三个任务，包括可视性增强、对象分类和对象定位。Liu, W.等人提出Image-Adaptive YOLO (IA-YOLO)，在YOLO V3之前配置一个小型卷积神经网络和可微图像处理模块，以平衡雾天和弱光场景下的图像增强和目标检测两个任务。Li Boyi等人通过端到端训练将去雾模块AOD-Net与目标检测网络Faster RCNN连接起来，提高了检测性能。Chen Zeyuan等人提出了一种轻量级去雾网络PDR-Net。

上述两组方法在低层次和高层次上极大地推进了联合任务的研究。然而，前者往往忽略图像恢复潜在信息，而后者不强调目标检测性能，将目标检测作为任务驱动的图像恢复评价指标。

综上所述，当前类似方案都未能提高在雾天情况下的目标检测精度。

发明内容

为了克服上述问题，依次本文提出一种基于Faster RCNN和UNet的联合语义的雾天道路目标检测算法，在学习对图像去雾的同时学习目标检测，训练泛化性更好的网络，提高对雾天条件下的道路目标检测的精度。

本发明的技术方案是：将4层UNet的解码器嵌入到特征提取模块中，获得融合的语义信息。更精确的方法是：使用UNet解码器进行去雾，考虑到不同通道特征包含完全不同的加权信息，以及雾霾在不同图像像素上的分布不均匀，所以在UNet级联的过程中加入了注意力模块，再将恢复的干净图像的特征映射与提取到的输入图像的特征映射逐元素相加，分别输入到特征金字塔网络模块中，从而实现对不同尺度的物体进行检测。然后将特征金字塔融合的特征输入到检测模块中进行分类和定位。其实现步骤包括如下步骤：

步骤1：将从公开网站下载的Foggy Cityscapes数据集重新整理与选择后的数据按照8：2的比例分为训练数据和测试数据；

步骤2：建立特征提取模块，特征提取模块使用ResNet50从图像中提取特征映射；

步骤3：建立图像恢复模块，使用UNet进行图像的去雾，为了减小参数规模，UNet编码器与特征提取ResNet50共享参数，并将特征提取模块每一层的特征映射分别输入到注意力机制中进行雾位置的获取，再与对应层的UNet解码器相级联；

步骤4：建立多尺度信息融合模块，将特征图每一层的输出的特征映射与Unet恢复出的干净图像进行逐通道相加，进行信息的融合，并将融合后的信息分别输入到FPN网络中得到多尺度融合的特征映射；

步骤5：在特征图上生成多个候选感兴趣区域，然后利用分类器将这些ROI区分为背景和前景，同时利用回归器对这些ROI的位置进行初步的筛选；

步骤6：进行目标的定位与分类。分类损失函数用于区分不同种类的目标；回归损失函数用来对目标框进行精确调整。

步骤7：通过损失函数进行反向传播，从而训练网络模型，进行雾天条件下目标的定位和分类。

通过采用上述技术，与现有技术相比，本发明的有益效果如下：本发明对图片进行预处理，能克服复杂环境噪音的干扰，通过轻量化特征提取网络和多尺度特征融合网络得到具有关键属性的特征图，避免手工设计特征区域的局限性，达到实时准确的车辆颜色识别。

附图说明

图1为本发明的实现总流程图；

图2为本发明总体结构图；

图3为特征提取、UNet解码器与特征融合结构图。

具体实施方式

以下结合说明书附图及实施对本发明作进一步的描述，但本发明的保护范围并不仅限于此：

本发明能够提高在雾天条件下目标检测的平均精度，且可以实时检测识别，更好的满足了在恶劣天气下目标检测的需求。

如图1所示，本发明是一种基于Faster RCNN和UNet的联合语义的雾天道路目标检测算法，包括以下步骤：

步骤1：将从公开网站下载的Foggy Cityscapes数据集重新整理与选择后的数据按照8：2的比例分为训练数据和测试数据；本步骤的具体实现如下：

（1）从网站上下载Foggy Cityscapes数据进行整理，将其按照训练集、测试集为8：2的比例进行分配；

（2）由于公开的Foggy Cityscapes数据集是在Cityscapes数据集基础上合成的有雾数据集，故我们将Cityscapes作为恢复模块的真实无雾图与去雾后的图像做损失，以达到更好的去雾效果。

步骤2：建立特征提取模块，特征提取模块使用ResNet50从图像中提取特征映射；本步骤的具体实现如下：

对图像特征进行提取，本方法构建的特征提取网络的结构参数如表1所示，分为5个卷积块，共50层网络；第一个卷积块是由1个7*7大小、步长为2的卷积核构成，输出通道数为64；第二个卷积块由3个残差块级联，输出通道数为256；第三个卷积块由4个卷积块级联，输出通道数为512；第四个卷积块由6个卷积块级联，输出通道数为1024；第五个卷积块由3个卷积块级联，输出通道数为2048。

表1 ResNet50的结构参数

步骤3：建立图像恢复模块，使用UNet进行图像的去雾，为了减小参数规模，UNet编码器与特征提取ResNet50共享参数，并将特征提取模块每一层的特征映射分别输入到注意力机制中进行雾位置的获取，再与对应层的UNet解码器相级联，具体结构如图3；本步骤的具体实现如下：

将特征提取层分为五层：C1、C2、C3、C4和C5，将C2、C3、C4提取的特征映射分别输入 到注意力机制中增加对雾的关注，得到新的特征映射，再将结果分别与对应尺寸的四层 UNet解码器进行级联，得到输出结果分别为F1、F2、F2、F4，F4为图像恢复模块最终的输出结 果，与Cityscapes数据集对应的无雾图像进行MSE损失，如式（1）所示，其中

其中注意力机制AM分为两个模块：通道注意力模块和空间注意力模块，结构如下：

（1）通道注意力模块：通道维度不变，压缩空间维度。该模块更加关注输入图片中 的雾霾信息。输入的特征图经过两个并行的MaxPool层和AvgPool层，将特征图从

（2）空间注意力模块：将空间维度不变，压缩通道数。该模块关注的是雾霾的位置 信息。它将空间注意力的输出结果分别通过最大池化和平均池化得到两个

步骤4：建立多尺度信息融合模块，将特征图每一层的输出的特征映射与Unet恢复出的干净图像进行逐通道相加，进行信息的融合，并将融合后的信息分别输入到FPN网络中得到多尺度融合的特征映射。具体结构如图3。

本步骤的具体实现如下：

将特征提取层C2、C3、C4和C5的输出与每层UNet的输出进行逐元素相加，对特们进行融合，实现联合语义的学习，从而更好的得到无雾的图片，通过这种方式，保留编码部分中不同层丢失的信息，同时，在进行重新学习由于雾霾而丢失的信息时并未增加额外的参数与操作。再将融合后的特征图输入到特征金字塔网络中，FPN又依次融合特征，最后，将联合特征映射输入到检测模块中对目标进行分类和定位。

步骤5：在特征图上生成多个候选感兴趣区域，然后利用分类器将这些ROI区分为背景和前景，同时利用回归器对这些ROI的位置进行初步的筛选；

本步骤的具体实现如下：

将多尺度融合的特征输入到区域建议网络（RPN）进行建议框的生成，然后对所生 成的框计算二分类损失

RPN网络的产生的Anchor只分为前景和背景，前景的标签为1，背景的标签为0。其 中

其中：

其中R是smoothL1 函数：

步骤6：进行目标的定位与分类。分类损失函数用于区分不同种类的目标；回归损失函数用来对目标框进行精确调整。

本步骤的具体实现如下：

将RoI pooling后的特征进行全连接和展平处理，然后通过softmax对其进行分类，利用smoothL1 函数对其进行回归损失计算，分类和回归损失与RPN网络相似，不同的是RPN网络使用二分类交叉熵函数，用于背景和前景的分类，而检测的分类损失是多分类交叉熵损失函数，用于前景中各个类别的分类。

步骤7：通过损失函数进行反向传播，从而训练网络模型，进行雾天条件下目标的定位和分类。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。