一种基于机器视觉的坑槽识别分割方法

技术领域

本发明涉及公路维护领域，更具体地说，涉及一种基于机器视觉的坑槽识别分割方法。

背景技术

坑槽是沥青路面常见的局部破损病害，其形成主要与施工不良、自然环境和交通载荷等因素相关，尤其在受到雨水冲刷、冬春季节冻融和超载等因素交互作用的影响时，更易诱发形变开裂、沥青剥离及石料松散脱落等现象，进而形成坑槽病害。

目前的坑槽修补方法主要包括填料法、挖补法、热再生法和喷射式修补法。填料法不能保证修补质量，挖补法和热再生法不能及时快速的修补坑槽，相比之下，喷射式修补法不仅能保证修补质量，而且具有绿色、快速、高效等优势。喷射式坑槽修补车从早期的拖挂式发展到了目前的半自动式，修补人员不再需要暴露在交通流中依靠人力来操作喷酒吊臂修补坑槽，仅在驾驶室内通过操作手柄即可控制伸缩臂执行修补作业，坑槽修补的安全性和操作便捷性在逐步提高。

经专利检索发现，申请号：CN201910197288.9，该专利在对公路上的坑槽进行检测时，不够便捷，且不能准确计算出坑槽的尺寸制作出合适的修补料，存在修补资源浪费的情况，并且在对坑槽修复时自动化程度较低，很多施工步骤需要依靠大量劳动力来完成，其修补时间较长，易影响交通的通畅。

发明内容

要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供一种基于机器视觉的坑槽识别分割方法，可以实现利用视觉检测系统对路面上的坑槽进行检测，并测算处坑槽的尺寸和深度，方便制作适量的修补料，减少资源浪费，提高其自动化程度。

为解决上述问题，本发明采用如下的技术方案。

一种基于机器视觉的坑槽识别分割方法，包括以下步骤：

S1、启动视觉检测系统并联网；

S2、修补车运行，开始对坑槽进行检测；其中，检测方法分为两种：结合灰度特征和纹理特征的坑槽识别分割方法和构建小波高频能量场的坑槽识别分割方法；

S3、利用视觉系统测算坑槽修补面积；

S4、开始对坑槽进行修补；

S5、修补结束，开放交通。

进一步的，所述S2中，还包括调整视觉检测系统检测范围、运行远程控制模块和修补料制作单元，修补车在运行前，需先调整视觉检测系统检测范围，在不同宽度道路上进行检测，同时运行远程控制模块，将坑槽检测信息实时传输至控制台。

进一步的，所述S2中，两种检测方法分别是：结合灰度特征和纹理特征的坑槽识别分割方法，分别提取几何特征和纹理特征来识别路面图像是否存在坑槽，结合纹理聚类结果和灰度阈值化结果来分割坑槽区域；构建小波高频能量场的坑槽识别分割方法，利用小波系数模和原始图像像素灰度构建小波高频能量场，提取几何特征来识别路面图像是否含有坑槽，以构造的小波能量场作为马尔科夫随机场的标记场来分割坑槽区域；最后，对比分析不同方法的识别分割结果，指出构建小波高频能量场方法的优势。

进一步的，所述S3中，通过S2检测出存在坑槽后，可采用双相机拼接的方式采集深度图像，并指出深度图像存在的噪声和孔洞的类别；在此基础上，选择合理的阈值参数，利用MSER最大极值区域检测方法剔除区域性噪声，对基于可信性分析的降噪方法进行改进，剔除髙频噪声；针对深度图像孔洞修复要求兼顾速度和质量的问题，提出基于多分辨率TⅤ模型的修复方法，通过和avier_Stokes方法和FMM方法修复结果的对比，指出所提方法的优势；最后，利用所提方法将不同坑槽的深度图像降噪修复，验证所提方法可以满足坑槽三维信息提取的精度和速度要求。

进一步的，所述S4中，对坑槽进行修补包括以下步骤：

A：清理坑槽，利用风机吹出的高速高压气流来清理坑槽中的灰尘、水分、老化剥落的沥青和散落的碎石等杂物，初步清洁干燥坑槽内部；

B：喷洒粘合剂，喷洒乳化沥青到坑槽内壁作为粘结层，能够将高性能的乳化沥青渗入到旧有路面；

C：喷射修补料，将气力输送的集料和压力输送的乳化沥青在混合喷嘴内均匀混合，在气流作用下，高速均匀地喷射到坑槽内部，实现坑槽喷补；

D：喷洒保护层，喷洒一层粗砂作为保护层。

进一步的，当视觉检测系统计算出坑槽的修复面积时，及时通过远程控制模块将数据信息同步至修补料制作单元，制作出合适的修补料。

进一步的，所述远程控制模块利用传输控制协议(TCP)和以太网将数据信息同步至修补料制作单元。

进一步的，所述S4中，在将修补料喷射完成后，通过外部设备进行挤压，使其与路面处于平齐状态。

进一步的，所述S1中，在视觉检测系统开机运行时，通过内部设定程序对系统进行自检。

有益效果

相比于现有技术，本发明的优点在于：

(1)本发明利用视觉检测系统可对路面上的坑槽进行有效准确检测，并利用两种检测方法测算处坑槽的尺寸和深度，同时将坑槽数据同步至制作单元，制作单元制作处适量的修补料，减少资源的情况。

(2)本发明采用自动化控制修补工艺，从清理坑槽到修补结束，全程采用机械设备，减少了工作人员的工作强度，使其坑槽修补时更加准确快速，从而可有效的提高其自动化程度。

附图说明

图1为本发明的系统流程图；

图2为本发明S2中的系统流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

请参阅图1-2，一种基于机器视觉的坑槽识别分割方法，包括以下步骤：

S1、启动视觉检测系统并联网；其中，视觉检测系统是用工业相机代替人眼睛去完成识别、测量、定位等功能。一般视觉检测系统由相机、镜头、光源组合合成，可以代替人工完成条码字符、裂痕、包装、表面图层是否完整、凹陷等检测，而视觉检测系统在现有领域中应用十分广泛；同时视觉检测系统在启动时，会利用网线与控制器进行互联，对视觉检测中的各个执行单元进行检测；若检测正常，执行单元启动运行，若出现接头连接不良、程序错乱等问题，则系统会发出警报。

S2、修补车运行，开始对坑槽进行检测；其中，检测方法分为两种：结合灰度特征和纹理特征的坑槽识别分割方法和构建小波高频能量场的坑槽识别分割方法；

S3、利用视觉系统测算坑槽修补面积；其中，当视觉检测系统检测出路面存在坑槽时，利用机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作，并将图像数据信息实时共享至制作单元中。

S4、开始对坑槽进行修补；

S5、修补结束，开放交通。

S2中，还包括调整视觉检测系统检测范围、运行远程控制模块和修补料制作单元，修补车在运行前，需先调整视觉检测系统中工业相机的检测范围，可利用工业相机上的焦距，调节工业相机的成像距离，便于在不同宽度道路上进行检测，防止路边井盖、花坛等影响检测精度，同时运行远程控制模块，将坑槽检测信息实时传输至控制台，便于工作人员对检测数据进行观测，且远程控制模块与控制台之间利用网线进行数据传输。

S2中，两种检测方法分别是：结合灰度特征和纹理特征的坑槽识别分割方法，分别提取几何特征和纹理特征来识别路面图像是否存在坑槽，结合纹理聚类结果和灰度阈值化结果来分割坑槽区域；构建小波高频能量场的坑槽识别分割方法，利用小波系数模和原始图像像素灰度构建小波高频能量场，提取几何特征来识别路面图像是否含有坑槽，以构造的小波能量场作为马尔科夫随机场的标记场来分割坑槽区域；最后，对比分析不同方法的识别分割结果，指出构建小波高频能量场方法的优势，提高坑槽识别分割的精度。

其中，灰度特征和纹理特征是采用灰度共生矩阵的基本原理，在灰度共生矩阵中的元素，表示的是具有某种空间位置关系的两个像素灰度的联合分布；且在给定空间距离d和方向θ时，灰度以i为起始点(行)，出现灰度级j(列)的概率(对频数进行归一化，即除以所有频数之和)。它构成了灰度共生矩阵的元素；

灰度共生矩阵的生成流程如下：

a、在图像中任意一点(x,y)及偏离它的一点(x+a,y+b)构成点对。设该点对的灰度值为(f1,f2),假设图像的最大灰度级为L,则f1与f2的组合共有L*L种；

b、对于整张图像，统计每一种(f1,f2)值出现的次数，然后排列成一个方阵；

c、再对(f1,f2)出现的总次数进行归一化得到概率P(f1,f2)，由此产生的矩阵为灰度共生矩阵。

其中，当灰度特征和纹理特征的坑槽识别分割方法对坑槽进行几何特征提取后，再配合小波高频能量场对坑槽区域、范围、尺寸、深度等信息进行汇总，分析出坑槽的立体模型，并通过三维建模等方式完善坑槽边角，坑槽以三维图像呈现在控制台显示器上。

S3中，通过S2检测出存在坑槽后，可采用双相机拼接的方式采集深度图像，并指出深度图像存在的噪声和孔洞的类别；在此基础上，选择合理的阈值参数，利用MSER最大极值区域检测方法剔除区域性噪声，对基于可信性分析的降噪方法进行改进，剔除髙频噪声；针对深度图像孔洞修复要求兼顾速度和质量的问题，提出基于多分辨率TⅤ模型的修复方法，通过和avier_Stokes方法和FMM方法修复结果的对比，指出所提方法的优势；最后，利用所提方法将不同坑槽的深度图像降噪修复，验证所提方法可以满足坑槽三维信息提取的精度和速度要求。

其中，MSER基于分水岭的概念：对图像进行二值化，二值化阈值取[0,255]，这样二值化图像就经历一个从全黑到全白的过程，在这个过程中，有些连通区域面积随阈值上升的变化很小；

其中，通过avier_Stokes方法和FMM方法，采用采用矩阵分解的思路，采集坑槽的图像为若干个像素点，再基于avier_Stokes算法和像素灰度特征进行快速修复，且利用avier_Stokes算法可加快系统的运算步骤，对坑槽快速做出识别。

S4中，对坑槽进行修补包括以下步骤：

A：清理坑槽，利用风机吹出的高速高压气流来清理坑槽中的灰尘、水分、老化剥落的沥青和散落的碎石等杂物，初步清洁干燥坑槽内部；

B：喷洒粘合剂，喷洒乳化沥青到坑槽内壁作为粘结层，能够将高性能的乳化沥青渗入到旧有路面；

C：喷射修补料，将气力输送的集料和压力输送的乳化沥青在混合喷嘴内均匀混合，在气流作用下，高速均匀地喷射到坑槽内部，实现坑槽喷补；

D：喷洒保护层，喷洒一层粗砂作为保护层。

其中，针对坑槽边角处可控制喷嘴气流的压力和乳化沥青的出料量，在对边角处修补时采用慢动作方式，保证修补时的准确稳定，使坑槽边缘处与马路处于同一水平线，提高坑槽的修补质量。

其中，分析集料的喷射特性和往返直线堆料模型。利用龙格库塔法求解分析集料颗粒群的运动微分方程，分析集料喷射的速度特性；建立适用于喷射式坑槽修补机气力输送系统的工作效率模型，在多变量条件下分析集料喷射的工作效率，得岀管道参数、集料-空气质量混合比和气流速度等参数的匹配原则。通过堆料高度积分过程的分析，建立集料在平面上的直线堆积模型；在堆料模型的基础上，以提高堆料平整度为目标，分析平面上相邻填充线之间的最佳交叉重叠度；针对具有特定边界的坑槽，分析计算坑槽内相邻填充线的实际间距；最后对喷嘴运动的加速度和速度进行匹配计算。

当视觉检测系统计算出坑槽的修复面积时，及时通过远程控制模块将数据信息同步至修补料制作单元，制作出合适的修补料，一方面减少资源浪费的风险，另一方面防止多余的修补料粘附在制作单元中。

本实施中，利用视觉检测系统可对路面上的坑槽进行有效准确检测，并利用两种检测方法测算处坑槽的尺寸和深度，同时将坑槽数据同步至制作单元，制作单元制作处适量的修补料，减少资源的情况。

远程控制模块利用传输控制协议(TCP)和以太网将数据信息同步至修补料制作单元。

S4中，在将修补料喷射完成后，通过外部设备进行挤压，使其与路面处于平齐状态，减少修补后过于凸起的概率。

本实施中，采用自动化控制修补工艺，从清理坑槽到修补结束，全程采用机械设备，减少了工作人员的工作强度，使其坑槽修补时更加准确快速，从而可有效的提高其自动化程度。

S1中，在视觉检测系统开机运行时，通过内部设定程序对系统进行自检，确保顺利运行。

实施例2：

请参阅图1-2，为了便于深度分析在检测和修补过程中产生的问题，可提前将本方法进行模拟实验，以确保在实际应用中的稳定性。

分析基于深度图像规划坑槽喷补路径所遇到的问题，将智能化喷补过程分为喷补前处理和喷补路径规划；针对喷补前处理问题，提出基于方向性差值最小化的平台调平方法、基于最大值査找的坑槽定位方法等前处理方法；针对坑槽喷补路径规划问题，提岀基于双漫水填充的切片获取方法、结合轮廓的喷嘴到切片初始点的连接路径规划方法和基于轮廓引导的往返直线喷补路径规划方法。最后，搭建基于杋器视觉的坑槽智能化喷补试验台，通过试验结果分析路径规划的精度速度和坑槽的喷补平整度，验证所提方法可以满足不同形状坑槽的自主修补作业。

以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。