一种航拍道路图像路面区域提取方法及系统

技术领域

本发明属于图像分割领域，具体涉及一种航拍道路图像路面区域提取方法及系统。

背景技术

在使用无人机进行沥青道路病害检测时，由于无人机拍摄到的沥青道路图像中背景区域复杂，严重影响了后续的沥青道路病害检测工作，因此需要先对图像进行预处理，即把沥青道路区域分割出来。考虑到图像的清晰度、图像中沥青道路的颜色及其面积对分割效果的影响，采用边缘检测和颜色分割相结合的方法进行沥青道路区域的提取。

边缘检测算法在图像分割中一直都有所应用，由于其适用于灰度图像，所以检测出的边缘图多作为后续分割算法执行时的一个参考或辅助。文献《完全基于边缘信息的快速图像分割算法》(计算机辅助设计与图形学学报，2012年11月，第24卷第11期)是基于改进的Canny边缘检测并配合四向扫描法提取闭合区域实现图像分割，但其仍然是在灰度图像的基础上进行图像分割，且当该方法应用于沥青道路图像分割时，对于多车道的沥青道路，该方法并不能准确地识别和分割出每一条车道。而颜色分割是根据彩色图像中颜色的不同来对图像中的感兴趣区域进行分割。但是通常颜色分割对目标和背景的分割效果并不是特别理想，由于目标区域的颜色值范围并不是完全一致，使得分割图像中不能保持目标的完整性；在图像中存在与目标颜色相近的区域时，分割图像中会出现多余的非目标区域。

发明内容

本发明的目的在于针对上述现有技术中沥青道路图像分割的准确度不高的问题，提供一种航拍道路图像路面区域提取方法及系统，提高航拍图像中沥青道路检测的效率和准确度。

为了实现上述目的，本发明有如下的技术方案：

一种航拍道路图像路面区域提取方法，包括以下步骤：

对沥青道路图像A0进行Canny边缘检测，得到边缘检测后的图像A1；

使用两遍扫描法对边缘检测后的图像A1进行颜色填充，得到填充颜色的图像A2；

获取沥青道路的H、S、V的取值范围，H指色调，S指饱和度，V指明度；并根据沥青道路的H、S、V的取值范围对沥青道路图像A0进行颜色分割，得到颜色分割后的图像A3；

剔除颜色分割后的图像A3中的孤立干扰区，得到剔除孤立干扰区后的图像A4；

将剔除孤立干扰区后的图像A4与填充颜色的图像A2进行与运算，得到与运算图像A5；

由与运算图像A5当中分割出目标区域。

优选的，所述的沥青道路图像A0取自于航拍视频当中的某一帧图像。

优选的，所述的边缘检测后的图像A1中每个道路区域边缘检测线条闭合；如果边缘检测后的图像A1中出现道路区域边缘检测线条没有闭合的情况，则采取以下方法使其闭合：①降低Canny边缘检测函数中的高低阈值；②降低图像的分辨率；③对图像数据使用闭运算。

优选的，颜色填充时用灰度值填充，填充的灰度值范围为1～255；

所述两遍扫描法的步骤包括：

①利用Threshold()函数将边缘检测后的图像A1中的边缘线的像素值设置为0，其余点的像素值设置为1，即把要填充的点的像素值设置为1，其余点的像素值设置为0；

②第一次扫描：

访问当前像素B(x,y)，当B(x,y)＝＝1时：a、如果B(x,y)的领域中像素值都为0，则赋予B(x,y)一个新的label：label+＝1，B(x,y)＝label；b、如果B(x,y)的领域中有像素值>1的像素Neighbors：1)将Neighbors中的最小值赋予给B(x,y)，即B(x,y)＝min{Neighbors}；2)记录Neighbors中各个值label之间的相等关系，即这些值label同属于同一个连通区域；labelSet[i]＝{label m,..,label_n}，labelSet[i]中的所有label都属于同一个连通区域；

③第二次扫描：

访问当前像素B(x,y)，当B(x,y)>1：a、找到与label＝B(x,y)同属相等关系的一个最小label值，赋予B(x,y)；b、完成扫描后，图像中具有相同label值的像素组成同一个连通区域。

优选的，截取沥青道路图像A0中的沥青道路区域，运用HSV颜色直方图获取沥青道路的H、S、V的取值范围。

优选的，使用inRang()函数对沥青道路图像A0进行颜色分割，目使标区域内每一点的像素值为255，其余区域内每一点的像素值为0，得到颜色分割的二值图像，即颜色分割后的图像A3。

优选的，剔除孤立干扰区时计算出面积最小的道路区域占图像面积的比例，在颜色分割后的图像A3当中，以该比例值为临界值ε，运用contourArea()函数计算每一区域的面积，剔除面积比例小于ε的区域。

优选的，所述临界值ε的确定步骤如下：

①将颜色分割后的图像A3与填充颜色的图像A2进行与运算，记与运算后的图像为A，运用直方图函数统计出图像A中的灰度值的像素个数，根据每个道路区域的面积总是大于每个干扰区域的面积，找出填充最小面积道路区域的灰度值的像素点个数，此处的灰度值为非0灰度值，计算出该像素点个数占图像总像素点数的比例；②对于视频图像，按照设定帧数间隔取多张图像，计算出临界值集合{ε1，ε2，ε3…}，由于拍摄过程中设备的视角影响，去掉临界值中过大或者过小的值，然后选取剩余值中的最小值。

优选的，运用直方图函数计算与运算图像A5中从1到255的灰度值的像素点数，并计算出每一灰度值的像素点数占图像总像素点数的比例；若对应的比例小于所确定的临界值ε，则认为在填充颜色的图像A2中由该灰度值所填充的区域为背景区域，那么在沥青道路图像A0中把所对应的此区域剔除，由此不仅剔除了颜色分割后的图像A3中与目标区域相连接的背景区域，也完成了对目标区域的分割；此外，在填充颜色的图像A2中像素值为0的像素点组成的区域也视为背景区域，这些区域是由Threshold()函数形成的边缘线条。

本发明还提出一种航拍道路图像路面区域提取系统，包括：

边缘检测模块，用于对沥青道路图像A0进行Canny边缘检测；

颜色填充模块，用于使用两遍扫描法对边缘检测后的图像A1进行颜色填充；

颜色分割模块，根据沥青道路的H、S、V取值范围对沥青道路图像A0进行颜色分割；

孤立干扰区剔除模块，用于剔除颜色分割后的图像A3中的孤立干扰区；

与运算模块，用于对剔除孤立干扰区后的图像A4与填充颜色的图像A2进行与运算；

目标区域分割模块，用于由与运算图像A5当中分割出目标区域。

相较于现有技术，本发明有如下的有益效果：结合边缘检测和颜色分割的方法，能够从无人机拍摄的沥青道路图像中分割出沥青道路区域，并且保证了分割的自动性和准确性，实现了彩色图像目标区域的完整分割，而且分割后的图像中不存在非目标区域。为后续的沥青道路病害检测的工作节约了时间，提高了工作效率，确保了沥青道路病害检测的准确度。

附图说明

图1本发明实施例的方法流程图；

图2本发明实施例无人机拍摄的沥青道路图像；

图3传统方法对沥青道路图像的颜色分割效果图；

图4本发明实施例的分割效果图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

参见图1，本发明航拍道路图像路面区域提取方法，包括以下步骤：

(1)获取沥青道路图像A0，对于无人机拍摄的视频图像，则需要逐帧处理。

(2)对沥青道路图像A0进行Canny边缘检测，边缘检测后的图像A1中每个道路区域边缘检测线条须闭合。若图像A1中出现道路区域边缘检测线条不闭合的情况，则可采取以下方法使其闭合：①适当降低Canny()函数中的高低阈值；②降低图像的分辨率；③使用形态学操作闭运算。

(3)使用两遍扫描法对边缘检测后的图像A1进行颜色填充，填充后的图像记为A2，为了后续过程的简便、准确，颜色填充时采用灰度值填充(填充的灰度值为1～255)。

两遍扫描法的简单步骤为：①利用Threshold()函数将边缘检测图像A1中的边缘线的像素值设置为0，其余点的像素值设置为1，即把要填充的点的像素值设置为1，其余点的像素值设置为0；②第一次扫描：访问当前像素B(x,y)，如果B(x,y)＝＝1：a、如果B(x,y)的领域中像素值都为0，则赋予B(x,y)一个新的label：label+＝1，B(x,y)＝label；b、如果B(x,y)的领域中有像素值>1的像素Neighbors：1)将Neighbors中的最小值赋予给B(x,y):B(x,y)＝min{Neighbors}；2)记录Neighbors中各个值(label)之间的相等关系，即这些值(label)同属同一个连通区域；labelSet[i]＝{label m,..,label_n}，labelSet[i]中的所有label都属于同一个连通区域(注：这里可以有多种实现方式，只要能够记录这些具有相等关系的label之间的关系即可)；③第二次扫描：访问当前像素B(x,y)，如果B(x,y)>1：a、找到与label＝B(x,y)同属相等关系的一个最小label值，赋予给B(x,y)；b、完成扫描后，图像中具有相同label值的像素就组成了同一个连通区域。

(4)选取HSV颜色空间(H指色调，S指饱和度，V指明度)，截取沥青道路图像A0中的沥青道路区域，运用HSV颜色直方图获取沥青道路的H、S、V的取值范围。多次进行此步操作，尽可能地得到沥青道路的H、S、V的准确取值范围。

(5)对沥青道路图像A0进行颜色分割，为使后续的分割工作简便，使用inRang()函数得到颜色分割的二值图像即可(目标区域内每一点的像素值为255，其余区域内每一点的像素值为0)，颜色分割后的图像记为A3。因为沥青道路的H、S、V取值范围并不是很准确，所以颜色分割的目标区域并不完整且存在非目标区域的干扰区域，记目标区域为C0，干扰区域为C1。

(6)对于颜色分割后的图像A3，可以发现，无论道路是多车道还是单车道，每个道路区域的面积总是大于每个干扰区域的面积，因此计算出面积最小的道路区域占图像面积的比例。在图像A3中，以该比例值为临界值ε，运用contourArea()函数计算每一区域的面积，剔除面积比例小于ε的孤立的干扰区域，对于与目标区域相连的干扰区域，并不能剔除，记剔除孤立的干扰区域后的图像为A4。临界值ε的确定步骤：①将图像A3与图像A2进行与运算，记与运算后的图像为A，运用直方图函数统计出图像A中的灰度值的像素个数，根据每个道路区域的面积总是大于每个干扰区域的面积，找出填充最小面积道路区域的灰度值的像素点个数(注意为非0灰度值)，计算出该像素点数占图像总像素点数的比例。②对于视频图像，按一定帧数间隔取多张图像(如每200帧取一张)，计算出临界值集合{ε1，ε2，ε3…}，由于拍摄过程中的设备的视角影响，应该去掉临界值中过大或者过小的值，然后选取剩余值中的最小值。

(7)将图像A4与图像A2进行与运算，记与运算后的图像为A5。

(8)运用直方图函数计算图像A5中从1到255的灰度值的像素点数，并计算出每一灰度值的像素点数占图像总像素点数的比例。若有对应的比例小于步骤(6)中确定的临界值ε，则认为在图像A2中由该灰度值所填充的区域为背景区域，那么在图像A0中把所对应的此区域剔除，这样不仅剔除了颜色分割后的图像A3中与目标区域相连接的背景区域，也完成了对目标区域的分割。此外，在图像A2中像素值为0的像素点组成的区域也应看做背景区域，是因为这些区域是由步骤(4)中Threshold()函数形成的，即为边缘检测时的边缘线条。

在高速公路方面，我国的高速公路总里程现已居世界首位。但许多公路由于超载、使用修养不当、修建时间较长，已经出现了开裂、剥落等问题，各个等级公路的路面保养维护愈发变的不可忽视了。目前，国内外的自动检测设备以检测车为主。无人机作为新型的、前沿检测平台，可以多角度灵活地采集路面图像，且具有成本低、效率高的特点，越来越多地应用到路面病害检测中，如图2所示。若人工对无人机拍摄图像直接进行病害检测，则会花费大量人力物力，收益很低；若根据图像信息加以智能化检测，由于图像背景区域的复杂性，增加了检测的难度，降低了检测结果的准确度。采用本发明方法，将沥青道路图像中背景区域剔除，只保留沥青道路，然后根据图像信息进行智能化检测，使得检测效率和准确度提高。

下面结合图2所示的具体对象为例说明本方法的实施步骤：

(1)对无人机拍摄的视频图像，截取其中一帧进行处理，截取的沥青道路图像记为A0。

(2)对沥青道路图像A0进行Canny边缘检测，记边缘检测后的图像为A1。Canny()函数的各参数设置为Canny(input,output,100,200,3)。

(3)使用两遍扫描法对边缘检测图像A1进行颜色填充，记颜色填充后的图像为A2。

(4)选取HSV颜色空间(H指色调，S指饱和度，V指明度)，截取图像A0中的沥青道路区域，运用HSV颜色直方图获取沥青道路的H、S、V的取值范围。多次进行此步操作，尽可能地得到沥青道路的H、S、V的准确取值范围。图2中H的范围取为0～120；S的范围取为0～40；V的范围取为110～170。

(5)对沥青道路图像A0进行颜色分割，使用inRang()函数得到颜色分割的二值图像即可(目标区域内每一点的像素值为255，其余区域内每一点的像素值为0)，颜色分割后的图像记为A3。

(6)在图像A3中，计算出临界值ε＝0.020。运用contourArea()函数计算图像A3中的每一区域的面积，剔除面积比例小于ε的孤立的干扰区域，对于与目标区域相连的干扰区域，并不能剔除，记剔除孤立的干扰区域后的图像为A4。

(7)将图像A4与图像A2进行与运算，记与运算后的图像为A5。

(8)运用直方图函数计算图像A5中从1到255的灰度值的像素点数，并计算出每一灰度值的像素点数占图像总像素点数的比例。若有对应的比例小于步骤(6)中确定的临界值ε＝0.020，则在图像A2中由该灰度值所填充的区域为背景区域，那么在图像A0中把所对应的此区域剔除。此外，在图像A2中像素值为0的像素点组成的区域也应视为背景区域而被剔除。

对比图3与图4可见，运用本发明不仅可以保证沥青道路图像分割目标区域的完整性，还不会出现多余区域，在后续的路面病害检测工作中，可提高效率，保障病害检测的准确性。

以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换，这些修改和替换也均属于权利要求书所涵盖的保护范围之内。