一种耦合传统方法和卷积自编码的道路病害图片增强方法

技术领域

本发明属于图像处理领域，涉及一种耦合传统方法和卷积自编码的道路病害图片增强方法。本发明应用于道路病害图片数据增强。

背景技术

车辆荷载和环境等因素引起的裂缝、坑槽、车辙等病害降低了行车的安全性和舒适性，需要及时对路面进行养护维修。当前，路面病害多通过人工检测的方法，该方法耗时大、成本高、效率低，难以满足现代化智能路面检测的需要。随着人工智能技术的发展，机器学习方法被逐渐应用于路面病害识别领域，能够相对快速高效地识别道路病害图片。

目前基于深度学习的路面病害识别经常面临训练数据集小，以及路面图片标注人工成本高等问题，为了使训练出来的模型效果更好，模型的泛化能力更强，就需要对数据进行扩增，从而提高样本质量。

相比于传统的数据扩增手段，卷积自编码数据增强手段有一定的优越性，重构后路面病害特征相对更加明显，能够一定程度提升机器对路面病害的识别精度。

因此，本发明提出了一种耦合传统方法和卷积自编码的道路病害图片增强方法。该方法将传统数据增强方法与卷积自编码图片重构手段相融合，运用常规图片几何变换和卷积自编码重构图片的方法扩充样本数量，使得重构后的路面病害样本集更易被机器识别，模型的泛化能力有所提高，识别精度有更明显的提升。

发明内容

本发明的目的在于通过一种耦合传统方法和卷积自编码的道路病害图片增强方法，对道路病害及其他路面对象进行识别和数据增强，生成更多的高质量图片，用于增加模型的数据量，提高模型的泛化能力。

本发明采用的卷积自编码器(Convolutional Autoencoder，CAE)将卷积神经网络结构融入自编码器中，用卷积和池化操作代替编码器中的全连接层以及用反卷积和上采样操作代替解码器中的全连接层，从而较好的保留路面病害图片特征信息。自编码器由两部分组成：编码器和解码器，如图1所示。编码器将输入的路面病害图片压缩为潜在空间表征，将高维数据压缩为低维数据；解码器将空间表征重构为输出，生成新的路面病害图片。

本发明采用的技术方案为一种耦合传统方法和卷积自编码的道路病害图片增强方法，包括原始图像预处理、传统方法数据增强、数据集制作和卷积自编码图片重构四大部分，如图2所示，具体实施步骤如下：

步骤一：原始照片预处理；

首先，进行人工标定。在本发明中，路面病害图像数据集的规模和分类特征的一致性会对网络预测精度造成很大影响。所以在此步骤中，本发明对每张路面图片进行分类和筛选，共得到路面背景、未修补裂缝、已修补裂缝、坑槽、路面标线以及路面破损标线六种分类的典型图片。

其次，调整原始路面病害照片的大小，进行批量剪裁，以防图片过大难以训练，通过双线性插值进行横向缩放至较小的统一像素。然后，对其进行连续剪裁，每张路面图像剪裁得到更小像素的子图像。

步骤二：传统方法数据增强；

第一步，将每张图片进行垂直镜像变换，扩大一倍路面图集，然后经过不同角度的旋转，再次扩大数倍路面病害图集。

步骤三：数据集制作；

按照训练集、验证集和测试集比例约为10：1：1进行划分。

步骤四：卷积自编码图片重构；

卷积自编码网络由2层编码层和2层解码层构成。编码层1的卷积核尺寸为 3×3、个数为16，使用ReLU激活函数，后接一个大小为2、步幅为2的最大池化层；编码层2的卷积核尺寸为3×3、个数为32，同样以ReLU作为激活函数，再次经过一个大小为2、步幅为2的最大池化层。解码层1的卷积核尺寸为3×3、个数为8，经过ReLU激活函数后，经过一个步幅为2的上采样层(UpSampling)；解码层2的卷积核尺寸为3×3、个数为16，同样经过ReLU激活函数后，经过一个步幅为2的上采样层。后经过输出层，在输出层仍采用尺寸为3×3的卷积核，个数为1，并且当输入小于0时，ReLU激活函数的输出值为0，采用sigmoid 激活函数，最终获得尺寸为200×200×1的路面病害图片。

本发明可以有效增加样本数据量，使路面病害特征相对更加明显，模型效果更好，泛化能力更强。同时，利用本发明可以减少人工成本和时间损耗，处理后的路面病害图片可以作为深度学习数据，进行后续训练学习。

附图说明

图1为自编码器网络结构示意图

图2为方法实施步骤图

图3为批量剪裁示意图

图4为图像集中六种分类图片：(a)路面背景(b)未修补裂缝(c)已修补裂缝(d)坑槽(e)路面标线(f)路面破损标线。

图5为传统方法进行数据增强结果

图6为卷积自编码模型架构

具体实施方式

本发明所采用的原始路面病害图像数据集均为三通道灰度图像。具体实施步骤如下：

(1)人工标记

人工标记的目的在于对路面病害数据集进行分类，以进行监督学习。在监督学习中，数据集的规模和分类特征的一致性会对网络预测精度造成很大影响。所以在此步骤中，本发明使用人工标定法对每张路面图片进行分类和筛选，用labelImg进行标定，共得到路面背景、未修补裂缝、已修补裂缝、坑槽、路面标线以及路面破损标线六种分类的典型图片，如图5。

(2)批量剪裁

本发明进行批量剪裁的目的是将原始路面病害图片尺寸缩小至一定规模，既能够不破坏路面裂缝等分类特征，又尽可能的降低图像尺寸过大带来的难以训练的问题。首先，通过双线性插值进行横向缩放。然后，对其进行连续剪裁，得到 200×200像素的子图像，如图3所示。

(3)传统方法进行数据增强

本发明采用两种传统手段进行路面病害图片数据增强：镜像和旋转。首先，将每张路面图片进行垂直镜像，如图5的(a)所示。然后，对每张路面病害图像分别进行逆时针旋转90°，180°和270°变换，如图5的(b)(c)(d)所示。故图像集经过增强后，相当于将原图像集的规模增至8倍。

(4)数据集制作

把路面病害图片集按照训练集、验证集和测试集比例约为10：1：1进行划分。在学习时，每种分类的训练集数据尽可能数量相近。

(5)卷积自编码图片重构

本发明采用的卷积自编码利用其编码器结构对路面原始图像进行数据降维并得到图片的特征空间；利用其解码器结构将图片重构，获得新的路面病害图片。该发明将卷积神经网络结构融入自编码器中，用卷积和池化操作代替编码器中的全连接层以及用反卷积和上采样操作代替解码器中的全连接层，从而较好的保留路面病害图片特征信息，提高病害识别模型鲁棒性。

卷积自编码网络由2层编码层和2层解码层构成。编码层1采用16个大小为3×3的卷积核，使用ReLU激活函数，然后接一个大小为2、步幅为2的最大池化层；编码层2的卷积核尺寸为3×3、个数为32，同样以ReLU作为激活函数，再次经过一个大小为2、步幅为2的最大池化层。此时，编码器已学得路面病害图片特征，表示在尺寸为50×50×8特征图中，随后在解码器中进行图片重构。解码层1的卷积核尺寸为3×3、个数为8，经过ReLU激活函数后，经过一个步幅为2的上采样层(UpSampling)；解码层2的卷积核尺寸为3×3、个数为16，同样经过ReLU激活函数后，经过一个大小为2、步幅为2的上采样层。此时，特征图尺寸还原为200×200×16，后经过输出层。在输出层仍采用尺寸为3×3 的卷积核，个数为1，并且当输入小于0时，ReLU激活函数的输出值为0，采用sigmoid激活函数，最终获得尺寸为200×200×1的路面病害图片。最终架构如图6所示。本发明使用的ReLU、sigmoid函数表示如下：

在卷积自编码器的训练过程中，编码器和解码器共同训练，优化目标为最小化重构误差。以自适应学习率调整算法Adadelta(Adaptive Learning Rate Method) 作为反向传播过程中梯度下降的优化算法，该算法的优势在于能够自适应调整梯度下降时的学习速率，而不需要手动设置。

由于沥青路面为黑色，受路面纹理本身因素以及采集时间、天气、光照条件等外部因素影响，路面图片的背景噪声较大，路面病害数据集中部分路面图片难以辨认。而经本发明重构后输出的路面病害图片特征相对更加明显，起到了较好的路面图片去噪和增光效果。经过卷积自编码模型的特征学习与重构增强，重新生成的图片中路面病害相对更加清晰可见。