一种基于深度学习的路面病害图像分割方法和系统

技术领域

本发明涉及图像处理，尤其涉及一种基于深度学习的路面病害图像分割方法和系统。

背景技术

近年来，我国公路建设取得举世瞩目的成就，公路通车里程迅速增长。但是，无论是水 泥路面还是沥青路面，在通车使用一段时间后，由于设计、施工等因素都会陆续出现各种破 损、变形等缺陷，其中裂缝、龟裂及坑洞最为常见。如何快速、准确的在早期找到这些隐患 并进行修复，防止结构性能进一步劣化，已经成为道路工程养护领域亟待解决的问题。

针对路面病害检测问题，目前主要有两种方式。第一种是采用人工巡检的方式，主要依 靠人的主观判断，这就会造成检测精度与效率低下；第二种是基于计算机视觉：(1)病害的 灰度值小于背景区域，采用阈值分割、直方图分割等方式；(2)病害区域边缘的灰度值存在 大幅变化的，采用边缘检测的方式；(3)基于传统机器学习，采用随机森林、Adaboost或SVM (Support Vector Machine)等方法提取病害特征。因为方向不一致，纹理不规则，形状不统 一，这些方法很难完整统计病害的所有特征，且路面图像本身含有许多噪声，明暗变化，灰 尘，行车速度都对检测结果有很大的影响。

申请号为CN201910604713.1的专利文献公开了一种基于深度学习的路面裂缝分割与识 别方法，该方法首先对采集的彩色裂缝样本图像进行人工标注得到裂缝标签图像，分别对两 类图像进行相同尺寸、位置的子图像分割，并对子图像中是否包含裂缝进行标注，以标注后 的子图像训练U-Net神经网络，以U-Net神经网络最后两层的结果作为决策网络的输入，对 决策网络进行训练；最终得到训练好的网络模型，对待识别的图像进行不重叠的滑动窗口的 检测和分类，从而得到图像的分割与识别结果。但是没能有效解决上述问题。

因而现有的路面病害识别技术存在不足，还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于深度学习的路面病害图 像分割方法和系统，使用基于深度学习算法构成的。

为了达到上述目的，本发明采取了以下技术方案：

一种基于深度学习的路面病害图像分割方法，包括：

获取路面检测图像；将所述路面检测图像输入到通过由深度学习网络使用病害数据库进 行训练得到的病害分割模型中；

进行路面病害的识别与分割，得到路面病害分割图像。

优选的所述的基于深度学习的路面病害图像分割方法，所述病害分割模型的获取步骤具 体包括：

获取路面病害图像并进行预处理和标注，形成路面病害图像数据库；将所述路面病害图 像数据库分为训练集和测试集；

构建深度学习网络，使用所述训练集对所述深度学习网络进行训练；

使用测试集训练后的深度模型进行测试，输出符合测试标准的深度学习网络作为病害分 割模型。

优选的所述的基于深度学习的路面病害图像分割方法，所述预处理和标注操作具体包括：

将路面病害图像裁剪为预定像素的图像；

使用镜像、旋转以及添加高斯噪声进行数据增强；

对图像中的病害进行标注，根据病害类型分别建立不同的病害图像数据库。

优选的所述的基于深度学习的路面病害图像分割方法，对所述深度学习网络的训练包括 正向传播操作，具体包括：

对图像进行特征提取，形成提取特征图；

采用不同比例、不同尺度的anchor在所述特征图中进行滑动，得到候选区域，使用非极 大值抑制算法取出冗余候选区域，得到候选特征图；

使用双线差值算法完成候选特征图与训练图像中的目标区域的映射；对候选特征图进行 边界矫正，得到病害预分割图像；

判定所述病害预分割图像与训练图像中目标区域的误差损失值；根据所述误差损失值， 调整深度学习网络的网络参数。

优选的所述的基于深度学习的路面病害图像分割方法，所述测试标准为：所述误差损失 值小于设定损失值或训练次数达到迭代次数最大值。

优选的所述的基于深度学习的路面病害图像分割方法，对所述深度学习网络的训练还包 括反向传播操作，采用随机梯度下降法进行处理。

优选的所述的基于深度学习的路面病害图像分割方法，还包括病害测量操作，具体包括：

获取相同拍摄条件下参照物的图像数据，进而得到单位像素尺寸；

得到路面病害分割图像的测量数据。

一种使用所述的基于深度学习的路面病害图像分割方法的基于深度学习的路面病害图像 分割系统，包括能够进行数据交互的移动端和分析端；所述分析端存储有路面病害分割模型；

所述移动端包括图像采集模块、数据交互模块、定位模块和整合模块；

所述图像采集模块，用于获取路面检测图像；

所述数据交互模块，用于将路面检测图像上传到所述分析端，并接收所述分析端传回的 分类分割结果；

所述定位模块，用于获取定位数据；

所述整合模块，用于将所述分类分割结果与所述定位数据进行整合，建立路面病害信息 数据库，实现人机交互。

优选的所述的基于深度学习的路面病害图像分割系统，所述图像采集模块为高精度摄像 机。

一种计算机可读介质，存储有计算机软件，在被处理器执行时，能够实现所述的基于深 度学习的路面病害图像分割方法。

相较于现有技术，本发明提供的一种基于深度学习的路面病害图像分割方法和系统，具 有以下有益效果：

1、本发明提供的病害分割方法采用深度学习算法进行图像分割，实现路面病害区域的自 动化获取，提高工作效率的同时图像分割更加准确；

2、本发明提供的病害分割方法中图像分割使用了翻转、平移、裁剪以及添加高斯噪声等 方式进行数据增强，有利于提高所述模型的泛化能力及鲁棒性；

3、本发明提供的病害分割方法构建的基于Mask R-CNN路面多种病害像素级别智能分割 网络，采用ResNet101，并结合特征金字塔网络(Feature Pyramid Network，FPN)使高分辨 率、低语义的底层特征和低分辨率高语义的顶部特征进行融合，从而包含了更多的语义信息， 使模型的既可以保证检测的效率，还可以使检测的准确度得到提升；

4、本发明提供的病害分割系统，设计、开发了移动端，通过图像采集、上传分析、回传 模块、GPS定位模块、数据整合模块，实现了实时的人机交互。

附图说明

图1是本发明提供的路面病害图像分割方法的流程图；

图2是本发明提供的病害分割模型的获取流程图；

图3是本发明提供的预处理和标注操作流程图；

图4是本发明提供的深度学习网络的训练中正向传播操作流程图；

图5是本发明提供的病害测量操作流程图；

图6是本发明提供的Mask R-CNN网络的结构框图；

图7是本发明提供的路面病害图像分割系统结构框图；

图8是本发明提供的移动端的结构框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发 明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定 本发明。

本领域技术人员应当理解，前面的一般描述和下面的详细描述是本发明的示例性和说明 性的具体实施例，不意图限制本发明。

本文中术语“包括”，“包含”或其任何其他变体旨在覆盖非排他性包括，使得包括步骤 列表的过程或方法不仅包括那些步骤，而且可以包括未明确列出或此类过程或方法固有的其 他步骤。同样，在没有更多限制的情况下，以“包含...一个”开头的一个或多个设备或子系 统，元素或结构或组件也不会没有更多限制，排除存在其他设备或其他子系统或其他元素或 其他结构或其他组件或其他设备或其他子系统或其他元素或其他结构或其他组件。在整个说 明书中，短语“在一个实施例中”，“在另一个实施例中”的出现和类似的语言可以但不一定 都指相同的实施例。

除非另有定义，否则本文中使用的所有技术和科学术语具有与本发明所属领域的普通技 术人员通常所理解的相同含义。

请参阅图1本发明提供一种基于深度学习的路面病害图像分割方法，包括：

S1、获取路面检测图像；

具体的，所述路面检测图像的获取可以是现场拍摄的图片，也可以是图片库中需要进行 病害分割与识别的图像，即所述路面检测图像的来源，此处不做限定；作为优选方案，所述 路面图像通过高清摄像机拍摄得到，所述高清摄像机的拍摄照片的像素规格包括1024*720、 1600*1200、1920*1080、2304*1728，保证获取的路面检测图像的清晰度。

将所述路面检测图像输入到通过由深度学习网络使用病害数据库进行训练得到的病害分 割模型中；

具体的，所述深度学习网络优选为Mask R-CNN网络；所述病害分割模型提前在服务器 或一定的设备中得到，并非在此步骤中进行训练获取，具体的训练步骤可以是使用本领域常 用的训练方法，当然作为优选方案，请参阅图2，本发明提供一种所述病害分割模型的训练 操作，所述病害分割模型的获取步骤具体包括：

A1、获取路面病害图像并进行预处理和标注，形成路面病害图像数据库；将所述路面病 害图像数据库分为训练集和测试集；优选的，所述路面病害图像可以是通过所述高清摄像机 实际拍照得到，也可以是图像库中选择像素到达相当规格的路面图像；作为优选方案，请参 阅图3，本实施例中，所述预处理和标注操作具体包括：

B1、将路面病害图像裁剪为预定像素的图像；

B2、使用镜像、旋转以及添加高斯噪声进行数据增强；

B3、对图像中的病害进行标注，根据病害类型分别建立不同的病害图像数据库。

一般情况下，路面病害图像包括裂缝、龟裂及坑洞三种病害；所述预处理包括图像尺寸 批量的裁剪及数据增强，然后进行数据的标注，形成路面病害图像大数据库，用于本发明构 建深度学习模型的训练和测试。病害图像的裁剪尺寸优选为512*512像素，当然，也可以剪 裁成256*256等像素尺寸，本发明不做限定；数据增强技术包括镜像、旋转及添加高斯噪声， 有利于提高模型的泛化能力与鲁棒性；所述标注，是在图像中对病害区域进行标示，具体在 本实施例中使用开源的labelme软件，根据病害类型将图像中背景区域标注为0，裂缝区域标 注为1，龟裂区域标注为2，坑洞区域标注为3。在对图像进行标注后的数据按照4：1的比 例随机分开，分别记为训练集、测试集。使用80％的训练集用于所述Mask R-CNN网络的训 练，将学习、训练效果达到最好，从而提高模型的精度；20％测试集用于所述MaskR-CNN 网络的测试，测试出所述模型的精度。

A2、构建深度学习网络，使用所述训练集对所述深度学习网络进行训练；具体的，请参 阅图6，所述深度学习网络优选为Mask R-CNN网络，在本实施例中，包括卷积网络、区域 建议网络(Region Proposal Network，RPN)、RoIAlign模块以及分类分割网络。其中，所述卷 积网络采用ResNet101，并结合特征金字塔网络(Feature Pyramid network，FPN)进行特征 提取，使高分辨率、低语义的底层特征和低分辨率高语义的顶部特征进行融合，从而包含了 更多的语义信息，使模型的既可以保证检测的效率，还可以使检测的准确度得到提升； ResNet101包括5个卷积模块；所述区域建议网络，作为优选方案，采用尺度为64×64、128 ×128、256×256，纵横比为1:1、1:2、2:1进行候选区域的提取；使区域建议网络能够适用 不同大小、形状的损害区域，同时在去除使用非极大值抑制算法(NMS)去除冗余候选区域， 从而提高所述模型检测的效率与准确度；所述的RoIAlign模块，在本实施例中取消RoI Pooling 的取整操作，允许浮点数的存在，并且使用双线性插值算法精确完成特征图与目标区域的映 射，有效的提高了模型检测的准确度；所述的分类分割网络，作为优选方案，采用Bounding-box regression实现对候选区域边界框的矫正，使用classificationbranch实现对路面病害的分类， 在Mask Branch中输出每类病害的预测掩码，从而实现路面多种病害像素级别的分割。

A3、使用测试集训练后的深度模型进行测试，输出符合测试标准的深度学习网络作为病 害分割模型。

作为优选方案，请参阅图4，本实施例中，对所述深度学习网络的训练包括正向传播操 作，具体包括：

C1、对图像进行特征提取，形成提取特征图；

C2、采用不同比例、不同尺度的anchor(滑动框)在所述特征图中进行滑动，得到候选 区域，使用非极大值抑制算法取出冗余候选区域，得到候选特征图；

C3、使用双线差值算法完成候选特征图与训练图像中的目标区域的映射；对候选特征图 进行边界矫正，得到病害预分割图像；

C4、判定所述病害预分割图像与训练图像中目标区域的误差损失值；根据所述误差损失 值，调整深度学习网络的网络参数。

具体的，在具体图像处理中，Mask R-CNN网络的进行正向训练(同时也是图像分割的 操作)的具体操作为：

2.1、所述的卷积网络采用ResNet101，并结合特征金字塔网络(Feature Pyramidnetwork， FPN)进行特征提取，ResNet101包括5个卷积模块；

2.2、所述的区域建议网络(Region Proposal Network，RPN)采用不同比例、不同尺度的 anchor在提取的特征图中滑动，得到候选区域；并使用非极大值抑制算法(NMS)去除冗余 候选区域；

2.3、所述的RoIAlign模块取消了RoI Pooling的取整操作，允许浮点数的存在，并且使 用双线性插值算法精确完成特征图与目标区域的映射；

2.4、所述的分类、分割网络，采用Bounding-box regression实现对候选区域边界框的矫 正，使用classification branch实现对路面病害的分类，在Mask Branch中输出每类病害的预测 掩码，从而实现路面多种病害像素级别的分割。

作为优选方案，本实施例中，所述测试标准为：所述误差损失值小于设定损失值或训练 次数达到迭代次数最大值。

作为优选方案，本实施例中，对所述深度学习网络的训练还包括反向传播操作，采用随 机梯度下降法进行处理。具体步骤为：

3.1、设定初始学习率、迭代次数、Weight Decay(权重)、Momentum(动量)等模型超参数，进行训练；

3.2、计算模型实际输出与目标输出的误差损失值，若该误差损失值小于预先设定的损失 值，则生成图像分割模型；否则，返回3.1。

S2、进行路面病害的识别与分割，得到路面病害分割图像。

具体的，所述路面病害的分割过程与上述训练中的提取得到病害分割图像的步骤一致， 本发明不做限定，具体为：对图像进行特征提取，形成提取特征图；采用不同比例、不同尺 度的anchor(滑动框)在所述特征图中进行滑动，得到候选区域，使用非极大值抑制算法取 出冗余候选区域，得到候选特征图；使用双线差值算法完成候选特征图与训练图像中的目标 区域的映射；对候选特征图进行边界矫正，得到病害分割图像。

作为优选方案，请参阅图5，本实施例中，所述路面病害分割方法还包括病害测量操作， 具体包括：

S3、获取相同拍摄条件下参照物的图像数据，进而得到单位像素尺寸；

S4、得到路面病害分割图像的测量数据。

具体的，首先，对与路面病害数据相同拍摄条件(例如拍摄的拍摄距离、感光、焦距、 分辨率等)下的参照物(例如五角硬币)图像进行处理。例如，已知5角硬币的真实尺寸，然后测量出该直径的像素值，进一步计算出单位像素的真实尺寸，然后可计算出路面病害的 真实尺寸：首先基于深度学习算法生成的路面病害分割图像，提取路面病害的拓扑结构信息； 构建路面病害长度、宽度、面积计算公式，并依据公式对病害拓扑结构病害区域进行像素级 别的尺寸测量，然后计算出病害区域的真实尺寸信息。基于上述路面病害像真实尺寸测量结 果，可以针对不同程度的路面病害进行分流，对于不同损伤程度的路面病害进行分流，例如 对于损害程度轻的列后处理，损害程度大的优先处理；损害程度的区分可以病害的尺寸大小 确定，也可以通过其他参数确定；针对不同的病害类型使用不同的判定标准。

请参阅7-8，作为优选方案，本发明还提供一种使用所述的基于深度学习的路面病害图像 分割方法的基于深度学习的路面病害图像分割系统，包括能够进行数据交互的移动端和分析 端；所述分析端存储有路面病害分割模型；具体实施中，所述移动端与所述分析端的连接可 以通过无线连接，也可以通过有线连接，可以使用网络远程连接，也可以使用近端无线/有线 连接。

所述移动端包括图像采集模块、数据交互模块、定位模块和整合模块；

所述图像采集模块，用于获取路面检测图像；

所述数据交互模块，用于将路面检测图像上传到所述分析端，并接收所述分析端传回的 分类分割结果；

所述定位模块，用于获取定位数据；

所述整合模块，用于将所述分类分割结果与所述定位数据进行整合，建立路面病害信息 数据库，实现人机交互。

作为优选方案，本实施例中，所述图像采集模块为高精度摄像机。作为优选方案，所述 路面图像通过高清摄像机拍摄得到，所述高清摄像机的拍摄照片的像素规格包括1024*720、 1600*1200、1920*1080、2304*1728，保证获取的路面检测图像的清晰度。

具体的，所述的图像采集模块用于现场实时拍摄、采集路面病害图像；所述交互模块将 实时拍摄或者本地保存的路面病害图像上传到分析端、服务器端进行检测、分割，同时将病 害检测、分割结果实时接收到移动端，进行实时显示；所述定位模块优选为GPS模块，用于 病害位置的定位，可以实时显示出病害的经纬度信息，有利于维护人员的及时确定病害修复； 数据整合模块，将回传的分割后的病害信息及GPS定位信息进行整合，构建路面病害信息数 据库，实现更好的人机交互。

所述的移动端在构建内部软件组件时使用到的技术有：OKHTTP框架：HTTP是现代应 用常用的一种交换数据和媒体的网络方式，高效地使用HTTP能让资源加载更快，节省带宽。 OKHTTP是一个高效的HTTP客户端，通过构建OKHTTP框架，Android应用可以多线程访问服务器获取数据，上千MB大小的数据能够达到毫秒级下载；GSON框架：GSON来操作 对象和json数据之间的相互转换，当获取到服务器传过来的json文件时，将数据转化为移动 端适用的环境，从而极大方便了服务器数据的解析；RecyclerView框架：优化了移动端自带控件ListView中的各种不足。其可以实现数据纵向滚动,也可以实现横向滚动，将不可视的数 据释放来储存将要可视的数据，提高移动端的运行速度，使图片能够快速加载；引入GPS模 块用于实现路面病害的经纬度信息。

相应的，本发明还提供一种计算机可读介质，存储有计算机软件，在被处理器执行时， 能够实现所述的基于深度学习的路面病害图像分割方法。具体的，所述可读介质可以是单独 存在，也可以是附着于一般的电子设备中存在，只要能够被处理器运行实现相应的功能操作 即可。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思 加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。