道路标线破损动态检测系统

技术领域

本发明涉及智能交通研究技术领域，尤其涉及一种道路标线破损动态检测系统。

背景技术

车道线是道路交通标线和标识的重要组成部分，通过线条、箭头、文字等向交通参与者传递引导、限制、警告等交通信息，以保证车辆行人的生命安全。由于其主要划设于道路表面，经受日晒雨淋，风雨冰冻及车辆的冲击磨耗，故很容易出现破损甚至缺失的情况。

传统的车道线破损主要依靠人工目视检测，拍照进行后期破损统计，耗费时间且人工成本巨大；基于无人机航拍的公路标线破损检测，无法检测受桥梁、隧道等建筑物的遮挡的道路标线，且检测范围受电力限制；另一种基于车载相机进行车道线破损检测，只满足检测道路分界线的直线，未实现对箭头类指示标线的检测。

因此，本发明提出一种基于车载相机以及单车道的线条标线、箭头指示标线同时进行检测的道路标线破损动态检测系统，以解决上述技术问题。

发明内容

为解决上述技术问题，本发明提供一种道路标线破损动态检测系统。

本发明提供的一种道路标线破损动态检测系统，包括图像转换模块，用于利用基于仿射投影变换的鸟瞰转换将道路标线图像转换成道路标线鸟瞰图；

ROI区域提取模块，用于提取道路标线鸟瞰图的感兴趣区域，以约束道路标线鸟瞰图的检测范围；

图像去噪模块，用于在保留图像特征的前提下，消除道路标线鸟瞰图中的噪声干扰；

道路标线定位模块，用于提取道路标线鸟瞰图中的标线边缘，并基于标线边缘拟合出标线最小外接矩形；

道路标线分类模块，用于基于标线最小外接矩形的中心点坐标对道路标线进行分类，所述分类类别包括直线类分界标线和箭头类指示标线；

道路标线破损计算模块，用于采用基于形态学的填充方法检测箭头类指示标线的破损比例，以及采用像素计量方法检测直线类分界标线的破损比例。

优选的，还包括图像获取模块，用于利用视觉传感器采集道路标线图像。

优选的，所述ROI区域提取模块包括根据车道部分在道路标线图像中出现的位置，并结合行驶偏移量确定道路标线鸟瞰图中的感兴趣区域。

优选的，所述图像去噪模块包括采用二维零均值离散高斯函数作为平滑滤波器进行高斯滤波计算，获取各个点到中心点的权值，然后将权值与图像做卷积运算，进行双边滤波处理，其中，二维零均值离散高斯函数公式为：

/>

其中，σ表示高斯核的大小，

卷积运算公式为：

其中，g(i，j)代表输出点(i， j)的结果像素值；（i，j）和（k，l）分别代表图像中的点，S(i， j)的是指以(i，j)为中心的(2N+1)(2N+1)的大小范围的点的集合，f(k， l)代表点(k，l)的原始像素值，w(i， j， k，l)代表经过两个高斯函数计算出的加权系数。

优选的，所述道路标线定位模块包括：

一次边缘检测模块，用于利用边缘检测算子Sobel检测图像边缘灰度的突变，获取边缘幅度图像；

边缘图像一次增强模块，用于按最大比例增强边缘幅度图像的对比度，以及按最大化图像的灰度值增强标线边缘信息；

二次边缘检测模块，用于利用canny算子对一次增强后的图像进行二次边缘检测；

边缘图像二次增强模块，用于增强图像的高频区域（边缘和拐角）的对比度，以及再次增强标线边缘信息；

阈值分割模块，用于对边缘二次增强后的图像进行阈值分割；

形态处理模块，用于对图像进行运算操作，以消除标线边缘周围存在明显孤立的小点和毛刺；

标线拟合定位模块，用于根据提取的标线边缘，获得标线边缘的最小外接矩形。

优选的，所述对图像进行运算操作包括开运算或闭运算。

优选的，所述道路标线分类模块还包括将最小外接矩形的坐标中心点在图像的左侧三分之一范围内标记为左侧直线类分界线标线；

将最小外接矩形的坐标中心点在图像中间的三分之一范围内标记为中间箭头类指示标线；

将最小外接矩形的坐标中心点在图像的右侧三分之一范围内标记为右侧直线类分界线标线。

优选的，所述基于形态学的填充方法检测箭头类指示标线的破损比例包括以下操作步骤：

根据标线轮廓提取标线区域，对标线区域进行局部二值化操作，并计算标线面积A1；

对该区域进行形态学闭操作（即先进行膨胀操作再进行腐蚀操作），之后再次计算区域面积A2；

计算A1、A2的差值，并计算破损百分比，破损比例计算公式为

P=

优选的，所述像素计量方法检测直线类分界标线的破损比例包括以下操作步骤：

提取完整无破损标线，并计算标线面积B1；

对定位标线进行OSTU阈值分割提取标线，计算区域面积B2；

计算B1、B2的差值，并计算破损百分比，破损比例计算公式为

m=

与相关技术相比较，本发明提供的一种道路标线破损动态检测系统具有如下有益效果：

本发明通过对采集的道路标线图像进行图像转换，获取道路标线鸟瞰图，然后对鸟瞰图像进行ROI区域提取，获取图像中感兴趣区域，接着对图像的感兴趣区域进行预处理，再接着对预处理后的图像进行道路标线定位，最后根据道路标线分类结果对标线破损进行计算，最终实现对直线和箭头标线的破损检测，具有效果良好并且准确度高的优点。

附图说明

图1为本发明提供的一种道路标线破损动态检测系统的图像采集示意图；

图2为本发明提供的一种道路标线破损动态检测系统的标线破损检测算法流程图；

图3为本发明提供的一种道路标线破损动态检测系统的图像预处理流程图；

图4为本发明提供的一种道路标线破损动态检测系统的标线定位流程图；

图5为本发明提供的一种道路标线破损动态检测系统的标线分类破损计算流程图；

图6为本发明提供的一种道路标线破损动态检测系统的流程图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

实施例一

在本实施例中，如图6的流程图所示，包括如下操作：

一种道路标线破损动态检测系统，在本实施例中，如图2所示，包括与鸟瞰图转换对应的图像转换模块，其用于利用基于仿射投影变换的鸟瞰转换将道路标线图像转换成道路标线鸟瞰图；

与ROI区域提取对应的ROI区域提取模块，其用于提取道路标线鸟瞰图的感兴趣区域，以约束道路标线鸟瞰图的检测范围；

包含在图像预处理中的图像去噪模块，其用于在保留图像特征的前提下，消除道路标线鸟瞰图中的噪声干扰；

与道路标线定位对应的路标线定位模块，其用于提取道路标线鸟瞰图中的标线边缘，并基于标线边缘拟合出标线最小外接矩形；

与标线分类对应的道路标线分类模块，其用于基于标线边缘最小外接矩形的中心点坐标对道路标线进行分类，所述分类类别包括直线类分界标线和箭头类指示标线；

与标线破损计算对应的道路标线破损计算模块，其用于采用基于形态学的填充方法检测箭头类指示标线的破损比例，以及采用像素计量方法检测直线类分界标线的破损比例；

还包括与输入图像对应的图像获取模块，其用于利用视觉传感器采集道路标线图像；

结合所有模块，本发明的道路标线破损动态检测系统在具体实施时，如图2所示，包括以下操作步骤：

S101：利用图像采集设备采集道路标线图像，并输入至检测系统中；具体的，所述图像采集设备可以是视觉传感器，或者其他能够实现采集道路标线图像的设备均可，在此不作具体限定。

S102：对S101采集的道路标线图像进行基于仿射投影变换的鸟瞰转换

具体的，图像采集设备获取图像的过程是将现实世界的三维物体投影到二维平面上的过程，这一过程可根据针孔相机模型进行解释，在此不做赘述，但由于在这个透视角度下，物体将呈现出近大远小的不规则形状（如图1中左图所示），在横向区域中，道路标线在不同位置处的宽度不同，呈现近宽远窄的现象（如图1中左图所示）；在纵向区域中，每个像素所代表的实际距离是不同的（如图1中右图所示）；

因此，在本发明的道路标线破损检测中，采用鸟瞰转换将道路标线转换为道路标线俯视图。

S103：对鸟瞰转换的道路标线图像进行ROI区域提取

在具体实施过程中，通过分析鸟瞰图信息，发现图像中除了包含有用的车道部分外，还包含天空、车辆、树木、行人等形状复杂的物体，对检测造成了很大的干扰，由于车道部分在每帧图像中出现的位置固定，因此，通过选取感兴趣区域的方法来约束检测范围，排除车道以外的信息干扰，减小检测过程中的计算量；

具体的选取方式为：根据车道部分在图像中出现的位置，同时考虑行驶过程中的左右正常偏移，偏移量为左右偏移半个车道，将此部分作为感兴趣区域保留。

S104：如图3所示，对道路标线图像中的感兴趣区域进行预处理，达到保边去噪的效果

在实际的行车环境中，由于摄像头的晃动、车辆的快速移动、天气和光照等环境变化以及摄像头成像过程中产生的噪点等因素的影响，对车道线检测效果造成较大影响，因此需要运用常用的图像预处理技术来最大限度地消除干扰，其包括依次需要进行的高斯滤波处理和双边滤波处理；

其中，高斯滤波处理主要是在尽量保留图像特征的条件下，对图像的噪声进行抑制，同时由于路面的背景色相对单纯，但混凝土或沥青路面细小裂缝及坑洼较多，故采用二维零均值离散高斯函数作平滑滤波器，高斯函数如下：

其中，σ表示高斯核的大小，σ越大，高斯滤波器的平滑程度就越好，

双边滤波处理是将高斯滤波（空间临近）处理中，通过各个点到中心点的空间临近度计算的各个权值进行优化，将其优化为空间临近度计算的权值和像素值相似度计算的权值的乘积，优化后的权值再与图像作卷积运算，从而达到保边去噪的效果；其中卷积运算为

其中，g(i，j)代表输出点(i， j)的结果像素值；（i，j）和（k，l）分别代表图像中的点，S(i， j)的是指以(i，j)为中心的(2N+1)(2N+1)的大小范围的点的集合，f(k， l)代表点(k，l)的原始像素值，w(i， j， k，l)代表经过两个高斯函数计算出的加权系数。

S105：对道路标线定位，如图4所示，具体包括如下处理步骤：

S201：进行一次边缘检测，并由一次边缘检测模块完成该步骤

在本实施例中，具体的，边缘是指在图像上像素灰度变化最显著的地方，边缘检测Sobel算子则利用图像边缘灰度的突变来检测边缘，Sobel算子包含两组3x3的滤波器，分别对水平和垂直方向上的边缘敏感，两个方向模板分别沿着X轴、Y轴与图像做卷积，方向是从上到下和从左到右，将模板的中心和图像上的某个像素重合，并将该像素周围的点与模板上的系数相乘，如下所示，其中G(x)和G(y)分别表示横向及纵向边缘检测的图像梯度值。

=/>

=/>

G(X)=(X3+2X6+X9)-(X1+2X4+X7)

G(Y)=(X1+2X2+X3)-(X7+2X8+X9)

图像上每个像素点的横向及纵向梯度值通过如下公式结合，来计算该点梯度值G的大小：

S202：边缘图像一次增强

在本实施例中，具体的，Sobel一次边缘检测后得到边缘幅度图像，对边缘幅度图像按最大比例增强对比度，同时按照最大化图像的灰度值来增强标线边缘信息；具体做法为：计算像素的最大和最小值，按照最大值比例化各个像素，将灰度值拉伸到0-255。

S203：对边缘一次增强后的图像进行二次边缘检测

在本实施例中，具体的，对边缘一次增强后的图像，利用canny算子进行二次边缘检测；具体做法为：先对边缘一次增强之后的图像进行高斯模糊，然后计算高斯模糊后的图像的梯度幅值和方向，最后对幅度图像进行非极大值抑制。

S204：对canny二次边缘检测后得到边缘幅度图像进行边缘图像二次增强

在本实施例中，具体的，对canny二次边缘检测后得到边缘幅度图像，增强图像的高频区域（边缘和拐角）的对比度，再次增强标线边缘信息，得到边缘二次增强图像；具体做法为：新的像素值=原始图像该点的像素值－对内核大小范围内所有点的像素值的平均像素值，然后对这个结果近似取整（可以有负值），再把这个值加上原来这点的像素值，得到这个最终结果去替换原来这点的像素值。

S205：对边缘二次增强后的图像进行阈值分割

在本实施例中，具体的，对边缘二次增强后的图像，进行阈值分割；图像f(x,y)包括目标、背景和噪声，设定某一阈值T将图像分成两部分：大于T的像素群和小于T的像素群，由于实际得到的图像目标和背景之间不一定单纯地分布在两个灰度范围内，此时，就需要两个或以上的阈值来提取目标，

其中，T1：表示图像的灰度值阈值下限，T2：表示图像的灰度值阈值上限。

S206：对经阈值化分割后的图像进行形态学处理

在本实施例中，具体的，经阈值化分割后的图像，标线边缘周围存在明显孤立的小点和毛刺，通过对图像进行开运算操作来消除。开运算是一个基于几何运算的滤波器，包括腐蚀和膨胀两个过程，消除小点和毛刺的同时不会明显改变图像目标的面积，腐蚀是将图像与结构元素（或者也称为核）进行卷积，对结构元素的大小和形状没有要求。

S207：标线边缘拟合定位

在本实施例中，具体的，根据提取的标线边缘，分别获取左侧标线、中间标线和右侧标线检测区域的最小外接矩形，并获得标线最小外接矩形的中心点坐标。

S106：基于坐标的标线分类

在本实施例中，具体的，基于获得标线最小外接矩形的中心点坐标，将标线分为直线类分界标线和箭头类指示标线；坐标中心点在图像的左侧三分之一范围内属于左侧直线类分界线标线，坐标中心点在图像中间三分之一范围内属于中间箭头类指示标线，坐标中心点在图像的右侧三分之一范围内属于右侧直线类分界线标线；图像坐标将标线分为直线类分界线标线、箭头类指示标线，基于不同类型的标线分类计算。

S107：分别对不同种类的标线进行破损计算

在本实施例中，具体的，如图5所示，对箭头类指示标线，大多数情况为内部磨损，内部磨损表现为：出现较多裂痕或者孔洞。针对内部磨损类标线，设计了标线磨损检测算法，该算法主要采用形态学操作以及标线物理形态特征进行破损检测，因此采用基于形态学的填充方法；

通过对比形态学操作前后的标线面积差值来进行标线破损检测，检测算法具体操作如下：

根据标线轮廓提取标线区域，对标线区域进行局部二值化操作，并计算标线面积A1；

对该区域进行形态学闭操作（即先进行膨胀操作再进行腐蚀操作），之后再次计算区域面积A2；

计算A1、A2的差值，并计算破损百分比，破损比例计算公式为

P=

对直线类分界标线，主要表现为断裂、边缘腐蚀，截断式破损的主要特点是，由于某些原因导致公路标线中间某处位置出现断开，导致原本一条标线被分割成两段或多段，边缘腐蚀类标线的主要特点是，边界磨损导致标线的宽度变窄，因此采用像素计量方法；

通过对比标准完好标线和提取出的标线面积差值来进行标线破损检测，检测算法具体操作如下，如图5所示，

提取完整无破损标线，并计算标线面积B1。

对定位标线进行OSTU阈值分割提取标线，计算区域面积B2。

计算B1、B2的差值，并计算破损百分比，破损比例计算公式：

m=

实施例二

与实施例一不同的是：对经阈值化分割后的图像进行形态学处理

在本实施例中，具体的，经阈值化分割后的图像，标线边缘周围存在明显孤立的小点和毛刺，通过对图像进行闭运算操作来消除；闭运算与开运算是相对的，闭运算是对图像膨胀后再腐蚀，先对标线图像进行开运算处理后再进行闭运算处理，去除标线边缘干扰。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。