一种基于深度卷积神经网络的桥梁病害检测识别方法

技术领域

本发明涉及智能检测技术领域，具体涉及一种基于深度卷积神经网络的桥梁病害检测识别方法。

背景技术

桥梁工程是公路交通中至关重要的组成部分，也是交通基础设施建设中的重要项目，具有复杂性大、难度高、投资大、技术含量高等特征。桥梁结构在长期使用中难免发生各种各样的损伤，造成桥梁结构抗力衰减和安全隐患。桥梁的病害问题也是公路检测行业高度关注的问题之一。通过对桥梁进行病害的检测识别，降低了桥梁出现安全隐患的可能性，为科学地保护了桥梁，桥梁的使用寿命显然得到了提高。对桥梁进行病害检查，是为了了解和掌握桥梁结构的外观损坏状况，然后根据桥梁损坏状况的打分及评定类别，方便以后对桥梁的进一步维修。

传统的桥梁病害检测除了桥梁的整体大型检测使用桥梁检测车或仪器进行检测以外，大部分的病害检测识别都是现场人工巡检的方式，重点检查桥梁各部位的裂缝和破损情况。这种检测方式需要检测人员对每一座桥梁进行实地检测和病害识别，受桥梁数量和时间要求限制大，耗费大量的人力物力，也覆盖范围有限。而通过无人机巡线技术以及基于航拍图像检测系统的桥梁病害检测技术是目前新兴的桥梁病害检测方法。通过无人机来代替人力进行检测，基于图像检测的桥梁病害监测技术则是通过将采集来的图像穿书之传输至后台检测中心，利用检测中心的图像处理监测系统对被检测桥梁上的病害状态进行自动识别和报警。与传统的人工巡检方式相比，这样的检测方式更加简单、准确、实时、经济。病害检测任务需要回答在一个图像中，采集的对象中的什么位置存在一个什么样的病害特征。与简单的分类问题不同，病害检测问题是研究输入图像X与输出窗口Y之间存在的关系，这里的Y取值不是一个实数，而是一组“结构化”的数据，制定了物体的外接窗口和类别。基于航拍图像的桥梁病害监测任务作为特征检测任务的一种，依赖于对图像特征的恰当选择与提取。病害的特征往往与其所在的构件有关，有裂缝类型、有剥落类型等等。现有的机器学习算法、模板匹配、特征匹配等方法都不能有效且全面的检测桥梁病害。卷积神经网络(Convolutional Neural Network，CNN)提供了一种端到端的学习模型，经过训练后的卷积神经网络能够较好的学习到图像中的特征，并且完成对图像特征的提取和分类。在计算机视觉领域，CNN最主要的技术优势体现在：通过充分利用图像数据的层次属性，抽象或组合低层信号来构建高层特征，即局部边缘构成主题，主题聚合成部分，部分组成物体，最终使得图像中的物体易于检测或分类。因此，CNN具有极其优良的数据表征能力。

发明内容

本发明针对桥梁智能病害检测问题，提供一种基于深度神经网络的特征检测技术对桥梁构件病害进行检测的方法，可用于不同环境、光照强度及天气情况，对于复杂环境中的桥梁病害特征，可以保证较高的检测准确性和快速性。可以智能、快速、准确地的进行检测。

一种基于深度卷积神经网络的桥梁病害检测识别方法，步骤如下：

第一步，构建带有标注和标签的图片数据库：导入包含已知桥梁病害的图像，对图片中的病害定义并对其区域进行标注，使用图像增强技术，构建符合格式要求、匹配已知桥梁病害结构的数据集；

第二步，分别训练两个深度卷积神经网络：利用所得的数据集，对分类网络VGG16进行修改，变成两个检测网络，分别对其进行训练得到常见病害粗选神经网络和常见病害细选神经网络，其中粗选网络利用在特征图上进行滑窗的方法初步判断是否为桥梁病害，然后用病害粗选区域训练病害细选网络，从而得到准确桥梁病害区域和信息；

第三步，交叉训练微调网络构建检测模型：采用交叉训练的方法，重新训练所得到的粗选神经网络和细选神经网络，使两个网络能够共享前13层卷积层参数，将两个网络组合为一个端到端的卷积神经网络，从而构成桥梁病害检测模型；

第四步，使用搭载全景相机的无人机，对桥梁路面、桥身进行图片采集，导入采集的图片进入桥梁病害检测识别模型进行病害的识别和区域标注。

优选的，第二步中，对病害粗选神经网络的训练：对VGG16网络进行修改，将分类网络变成如下的一个检测网络，保留VGG16网络的前13层卷积层作为特征提取层，去掉VGG16的全连接层，添加第14层卷积层，并在其上进行不同尺度的滑窗操作作为特征映射；再添加2个卷积层分别输出候选区域包含桥梁病害的置信度和区域框的位置参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值。

优选的，第二步中，对病害细选神经网络的训练：修改VGG16分类网络变为第二个检测网络，使用13层卷积层作为特征提取层，并且这13层的网络参数与病害粗选神经网络一致；添加ROI池化层，从特征图中直接映射出候选区域框；在其后添加2层全连接层对提取到的特征做非线性变换，再分别添加2个全连接层输出判别是否为病害的置信度和粗选回归框的位置修正参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值。

本发明利用深度卷积神经网络的算法，设计一种基于航拍图像的桥梁病害检测系统。该系统以无人机巡线获取的航拍图片库为研究对象，通过交叉训练得到两个卷积神经网络，桥梁病害粗选网络和桥梁病害细选网络，共享卷积参数构成最终的检测模型。与现有技术相比，这种方法能够有效提升复杂环境下对桥梁病害的检测，通过共享卷积层参数，使得计算量较小，并且漏检率较低。

附图说明

图1是桥梁病害粗选网络结构图；

图2是桥梁病害细选网络结构图；

图3是基于航拍图像的桥梁病害的模型结构图；

图4是未使用图像增强的识别结果；

图5是使用图像增强后的识别结果。

具体实施方式

下面结合附图和具体的实施例对本发明的基于深度卷积神经网络的桥梁病害检测识别方法做进一步的详细说明：

实施例：

基于深度卷积神经网络的桥梁病害检测识别方法，包括以下步骤：

第一步，准备数据集。

(1)准备图片数据和标签数据。

将采用无人机巡线拍摄方式获取的桥梁线路航拍图片，包括桥梁路面铺装的航拍图片收集起来，挑选出其中的桥梁立面上有病害存在的图像，对其进行人工标注。记录下病害在整张图像中的左上角点和左下角的坐标，作为图像的标签数据。为了适应神经网络的结构，对所有图片进行尺寸归一化，得到尺寸为600*400的图片集合，用于分别训练粗选网络和细选网络。

(2)进行图像增强。

考虑到桥梁可能存在的病害航拍图像的数据量小的特点，为了提高系统的鲁棒性和识别精度，我们对训练数据进行图像增强。本发明采用五种自然图像增强方法对航拍图像进行增强。

a)加入图像噪声。选取高斯噪声，椒盐噪声，泊松噪声三种常见图像噪声，并且改变不同的信噪比生成数据。

b)图像模糊化。选取均值滤波、高斯滤波、运动模糊、对比度增强滤波等常见滤波器，设定不同参数得到经过滤波器后的图像。

c)改变图像明暗度。选取不同的亮度比例20％、50％、80％，将原图像进行亮度值变换。

d)图像质量调整。将jpeg图像按照jpeg编码规范降低质量，获取75％、90％两种不同质量下的图像。

根据以上几种常见策略，通过利用该类策略对第一步的得到的训练图像进行变换，实现对航拍图像训练数据集的图像增强。增强后的数据量是原始数据量的13倍。

第二步，分别训练两个深度卷积神经网络。

(1)训练第一个神经网络作为桥梁病害粗选网络。VGG16网络具有13层卷积层、3层全连接层，在图像分类领域中获得了广泛的应用。本发明对VGG16网络进行了修改，将分类网络变成一个检测网络。保留VGG16网络的前13层卷积层作为特征提取层，去掉VGG16的全连接层，添加第14层卷积层，并在其上进行不同尺度的滑窗操作作为特征映射，从而代替在原输入图像上进行滑窗获得候选区域的方法，减少了计算复杂度。再添加2个卷积层分别输出候选区域包含桥梁病害的置信度和区域框的位置参数，使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值。桥梁病害粗选网络的结构如图1所示。

具体操作时首先对所有训练图像的计算均值文件，将训练所使用的图像减去均值文件，再输入到神经网络中，经过前向传导、反向传导后即更新一次网络的参数权重，经过多次迭代之后，即可得到训练好的神经网络作为桥梁病害粗选网络。

(2)训练第二个神经网络作为桥梁病害细选网络。由于粗选网络采用多尺度滑窗的方法，得到的候选区域框并不是十分精确，因此还需要进入细选网络对其进行修正。同样修改VGG16分类网络变为检测网络，使用13层卷积层作为特征提取层，并且这13层的网络参数与粗选网络完全一致，用以在后面的步骤中共享卷积层参数。添加ROI池化层，从特征图中直接映射出候选区域框，从而只需对整张图像进行一次卷积计算，减少计算量。在其后添加2层全连接层对提取到的特征做非线性变换，再分别添加2个全连接层输出判别是否为桥梁病害的置信度和粗选回归框的位置修正参数，同样使用SoftMax损失函数和L1-Loss损失函数分别计算置信度和位置参数的损失值桥梁病害细选网络的结构如图2所示。

将上一步桥梁病害粗选网络得到的桥梁病害粗选框前向传播，使用反向传播算法更新网络权重参数，从而不断修正候选区域框，得到训练好的神经网络作为桥梁病害细选网络。

第三步，交叉训练微调网络构建检测模型。

(1)微调桥梁病害粗选网络。将细选网络的前13层网络权重参数直接复制给粗选网络的前13层上，并且将前13层卷积层的学习率设置为0，即只微调13层之后的网络，重新训练桥梁病害粗选网络。

(2)微调桥梁病害细选网络。基于上一步微调之后的粗选网络，同样将前13层卷积层的学习率设置为0，只微调之后的卷积神经网络，重新训练桥梁病害细选网络。至此，两个网络可以共享前13层卷积层参数，整张图像先进行卷积计算提取特征，经过粗选网络得到候选桥梁病害区域，再经过细选网络修正候选框以得到最佳桥梁病害区域，通过共享卷积层参数较少计算量。

(3)构建检测模型。将微调之后的粗选网络与细选网络组合起来即得到最终的检测模型，如图3所示。

第四步，测试本系统的检测效果

(1)测试时，将待测试航拍图像输入检测模型，经过桥梁病害粗选网络后提取出候选窗口，再经过桥梁病害细选网络进行检测和边框回归，最终得到最佳的桥梁病害区域。

(2)本发明将使用图像增强前后的模型检测结果进行了对比。图4是未使用图像增强的识别结果，图5是使用图像增强后的识别结果。可发现使用图像增强技术后错误检出率从77.2％提升到79.6％，漏检率从22.8％降低到20.4％。

上面结合实施例对本发明的实例作了详细说明，但是本发明并不限于上述实例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出的各种变化，也应视为本发明的保护范围。