一种基于密集链接网络变体的红绿灯污损检测方法

技术领域

本发明属于数字图像处理技术领域，更为具体地讲，涉及一种基于密集链接网络变体的红绿灯污损检测方法。

背景技术

智慧交通一直是智慧城的重要研究内容和评估指标，也是智慧物流、无人驾驶等前沿领域的重要基石。当前，我国的城市交通领域正处于机遇和挑战并存的关键时期：一方面随着城市化的快速发展以及老城区改造和新城建设的发展，智慧交通、智慧物流等城市交通的前沿领域飞速发展；另一方面，由于机动车等通勤工具的保有数量急速上升，拥堵加剧、设施缺损等问题日益浮现，城市交通面临着严峻的挑战。

道路交通安全是智慧交通系统的重要组成部分，而交通红绿灯又是道路交通安全体系中最重要的保障之一。诸如交通信号灯的交通安全设施，直接关乎城市居民日常交通通行安全和城市交通通行效率。因此，对于交通安全设施污损的及时检测和处理，是智慧交通和智慧城市建设的重中之重，也是以人为本原则的重要体现。

近年来，基于小样本学习和深度学习的方法在计算机视觉领域得到了广泛的应用，针对红绿灯污损的检测任务也可以作为目标检测任务来解决。目前，许多较为成熟的目标检测算法已经提出，但是，针对红绿灯目标的特点，如何深度学习目标检测算法，设计一套端到端的红绿灯污损检测流程仍然是亟待解决的问题。因此，为了满足智慧城市、智慧交通的建设，保障城市居民日常交通安全，需要对交通红绿灯污损的智能检测方法和评价指标进行研究和探索。

综上所述，道路交通红绿灯的污损检测不论是在针对红绿灯检测的目标检测领域的理论研究，还是在生活中的现实需要，都有着重要的实际意义。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于密集链接网络变体的红绿灯污损检测方法，利用变体密集连接模型自动从道路摄像头拍摄图像中学习红绿灯的特征，进而实现了红绿灯污损检测的智能提取，且提取精度较高。

为实现上述发明目的，本发明一种基于密集链接网络变体的红绿灯污损检测方法，其特征在于，包括以下步骤：

(1)、构建训练数据集；

(1.1)、利用道路摄像头拍摄不同位置处多张红绿灯图像；

(1.2)、利用目标识别标注工具标记出每张红绿灯图像中的红绿灯；

(1.3)、导出标记结果，获得图像坐标系下红绿灯的坐标标签；

(1.4)、将每一张道路摄像头拍摄的红绿灯图像与对应的坐标标签作为一组训练数据，从而构成训练数据集；

(2)、搭建并训练密集链接变体的双重自注意力网络；

双重自注意力网络包括focus模块、编码器、双重自注意力模块、解码器和目标检测模块；

其中，focus模块用于接收训练数据，再输入至编码器，编码器完成红绿灯图像的编码操作，得到编码特征图F

(3)、利用道路摄像头拍摄目标红绿灯图像；

(3.1)、在同一路口利用道路摄像头拍摄n张目标红绿灯图像，记为{P

(3.2)、筛选出明度值小于阈值的目标红绿灯图像，得到明亮数据集G＝{P

(3.3)、将明亮数据集G输入至双重自注意力网络，得到红绿灯预测坐标集Labels

(4)、构建红绿灯坐标集；

(4.1)、将红绿灯预测坐标集Labels

(4.2)、为基本坐标集Base

(4.3)、依次遍历L

(4.4)、假设遍历完成后的红绿灯坐标集Base＝{l

遍历计数值C

(5)、红绿灯标的污损检测；

(5.1)、根据红绿灯坐标集

(5.2)、遍历每一个文件夹，依次提取每一张红绿灯图像，其中第i

将红绿灯图像

设置V值阈值ξ、v

(5.3)、遍历红绿灯图像P

(5.4)、为红绿灯图像

分别统计红绿灯图像

(5.5)、若R_symbol、G_symbol和Y_symbol间有且只有一个为真，则判定红绿灯图像

(5.6)、依次对每个文件夹下的每张红绿灯图像重复(5.3)-(5.5)步，直到所有

(5.7)、依次统计每个文件夹下的所有红绿灯状态，若某一个文件夹下统计“全部熄灭”的状态的占比大于阈值T

本发明的发明目的是这样实现的：

本发明一种基于密集链接网络变体的红绿灯污损检测方法，先利用道路摄像头拍摄不同位置处多张红绿灯图像，再通过目标识别标注工具标记出图像中的红绿灯及添加标签，从而构成训练数据集，用于训练构建的密集链接变体的双重自注意力网络；然后通过训练完成的网络预测目标红绿灯图像中红绿灯的预测坐标标签，最后通过遍历红绿灯标签集完成各个红绿灯的污损检测，从而实现了道路交通红绿灯污损的精准识别和判断。

同时，本发明一种基于密集链接网络变体的红绿灯污损检测方法还具有以下有益效果：

(1)、本发明通过DCSPx密集连接型跨阶段局部网络模块提升了网络的感受野，同时缩减了网络模型的大小，提升了检测精度；。

(2)、本发明重构了主干网络结构，新增了两个注意力模块，利用两个注意力模块和空洞卷积融合全局特征，引入了双重注意力机制，提升了网络获取全局信息能力和对红绿灯目标的关注程度，增大了模型的感受野，从而提升网络对于红绿灯目标的检测精度；

(3)、针对摄像头拍摄数据的特点，设计了基于多图像的后处理算法，极大程度提升了检测效果；

(4)、利用摄像头拍摄照片时序特点，设计了红绿灯污损检测算法，排除了容易引起误检测的干扰情况，最终实现了道路摄像头拍摄照片的红绿灯目标污损检测，且精度较高。

附图说明

图1是本发明一种基于密集链接网络变体的红绿灯污损检测方法流程图；

图2是密集链接变体的双重自注意力网络结构图；

图3是focus下采样模块的结构图；

图4是编码器中各个模块的结构图；

图5是变体密集连接单元的结构图；

图6是空间自注意力模块的结构图；

图7是通道自注意力模块的结构图；

图8是红绿灯污损检测的效果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种基于密集链接网络变体的红绿灯污损检测方法流程图。

在本实施例中，如图1所示，本发明一种基于密集链接网络变体的红绿灯污损检测方法，包括以下步骤：

S1、采集红绿灯图像并构建训练数据集；

S1.1、利用道路摄像头拍摄不同位置处多张红绿灯图像；

S1.2、利用目标识别标注工具标记出每张红绿灯图像中的红绿灯；

S1.3、导出标记结果，获得图像坐标系下红绿灯的坐标标签；

S1.4、将每一张道路摄像头拍摄的红绿灯图像与对应的坐标标签作为一组训练数据，从而构成训练数据集；

S2、搭建并训练密集链接变体的双重自注意力网络；

在本实施例中，如图2所示，密集链接变体的双重自注意力网络包括focus下采样模块、编码器、双重自注意力模块、解码器和目标检测模块；

如图3所示，将大小为H×W×3红绿灯图像输入到focus下采样模块的切片操作层变为H/4×W/4×12大小的特征图，再经过一个3×3卷积层得到一个H/4×W/4×64大小的特征图。

在本实施例中，如图4所示，编码器包括四组CBS卷积操作组模块和DCSPx密集连接型跨阶段局部网络-x模块，以及一个池化金字塔模块；其中，每一个CBS模块又包含一个3×3卷积层，一个批标准化层和一个SiLU激活层。其中，特征图输入DCSPx模块时会分为两条支路，支路1会先经过一个CBS模块，然后经过图5所示的x个D-DenseUnit变体密集连接单元，再经过一个卷积层得到中间输出1，支路2直接将特征图经过一个卷积层得到中间输出2，将中间输出1和中间输出2在通道方向上链接得到中间输出3，中间输出3最后经过一个批标准化层，一个SiLU激活层，一个CBS模块就得到了DCSPx的输出；数据在输入池化金字塔模块后，会首先经过一个CBS模块，然后分为四条支路，支路a会经过一个3×3的最大值池化层得到中间输出A，支路b会经过一个2×2的最大值池化层得到中间输出B，支路c会经过一个1×1的最大值池化层得到中间输出C，支路d没有任何操作，得到中间输出D，中间输出A～D在通道方向上链接得到中间输出E，中间输出E在经过一个CBS模块后得到了池化金字塔模块的输出，即编码特征图F

在本实施例中，双重自注意力模块包括两个自注意力模块，标记为空间自注意力模块PAM和通道自注意力模块CAM；在PAM中，如图6所示，F

解码器包括5个CBS卷积操作组模块、4个DCSPx密集连接型跨阶段局部网络模块、2个上采样层和三个卷积层；在本实施例中，加权特征图F

目标检测模块包括3个不同尺度的检测框生成模块和一个非极大值抑制模块；当三种不同尺度的特征图F

最后将红绿灯的预测坐标和对应的坐标标签代入如下损失函数：

其中，B表示单个图像块内包含候选检测框的数量；λ

其中，b、b

通过反复训练至当损失函数收敛，则停止训练，从而得到训练完成的密集链接变体的双重自注意力网络；

S3、利用双重自注意力网络预测目标红绿灯的坐标；

S3.1、在同一路口利用道路摄像头拍摄n＝200张目标红绿灯图像，记为{P

S3.2、筛选出明度值小于阈值50的目标红绿灯图像，得到明亮数据集G＝{P

S3.3、将明亮数据集G输入至双重自注意力网络，得到红绿灯预测坐标集Labels

S4、构建红绿灯坐标集；

S4.1、将红绿灯预测坐标集Labels

S4.2、为基本坐标集Base

S4.3、依次遍历L

S4.4、假设遍历完成后的红绿灯坐标集Base＝{l

遍历计数值C

S5、红绿灯标的污损检测；

S5.1、根据红绿灯坐标集

S5.2、遍历每一个文件夹，依次提取每一张红绿灯图像，其中第i

将红绿灯图像

设置V值阈值ξ＝180、v

S5.3、遍历红绿灯图像P

S5.4、为红绿灯图像

分别统计红绿灯图像

S5.5、若R_symbol、G_symbol和Y_symbol间有且只有一个为真，则判定红绿灯图像

S5.6、依次对每个文件夹下的每张红绿灯图像重复步骤S5.3-S5.5，直到所有

S5.7、依次统计每个文件夹下的所有红绿灯状态，若某一个文件夹下统计“全部熄灭”的状态的占比大于阈值T

图8展示了污损检测效果的示意图，通过本发明所述方法采集图像并处理后，将有污损情况出现的红绿灯被框框出，没有污损的红绿灯没有被框出，充分体现出本发明能够准备判定红绿灯的污损。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。