一种基于深度学习的桥梁病害识别方法

技术领域

本发明属于桥梁病害识别技术领域，尤其涉及一种基于深度学习的桥梁结构病害识别方法。

背景技术

我国交通基础设施建设迅猛发展，为了保障桥梁安全，桥梁日常检测维护工作量很大，传统人工检测费时费力，研究快速高效的桥梁结构检测方法与技术成为桥梁检测领域研究的热点之一。近年来，利用无人机、机器人等自动化设备采集桥梁病害图像并进行分析的技术开始被应用于桥梁结构安全检测中。这项技术具有检测速度快、效率高、直观性强、数据客观等特点，具有广泛的应用前景。但是人工识别病害图像工作量大，对检测人员的经验有一定要求。近年来，随着数字图像处理算法及机器学习的发展，智能化、自动化识别桥梁结构病害图像和病害识别的研究得到了迅速发展，但目前图像处理算法需人工对图像进行调参处理，且在复杂环境下，处理效果无法得到保证。因此，研究病害图像的自动识别分类对提高桥梁检测效率具有重要的意义。

此外，目前对卷积神经网络在桥梁表面病害识别的技术主要集中在对单一裂缝病害检测识别，对锈蚀、缺损等其他多类病害识别技术研究较少，且识别算法的高准确率建立在高质量图像的基础上，缺少图像增强、复杂病害区域分割、易混淆病害特识别等情况的处理机制，无法满足实际桥梁运维的需求。

发明内容

本发明所要解决的技术问题是为了克服现有技术主要针对单一的桥梁裂缝病害而忽略锈蚀、缺损等其他多类病害的智能识别，以及病害图像的自动识别分类技术的不足，无法真正满足实际桥梁运维的需求，进而提供的技术方案。

本发明提供了一种基于深度学习的桥梁病害识别方法，所述方法包括：

S1、选取不同的桥梁结构表面病害图片作为训练样本；

S2、对所述选取的样本使用Adam优化算法进行模型训练；

S3、调整训练并验证集组合，选择表现最佳的模型；

S4、将所述最佳模型应用与实际工程测试，结合多尺度滑动窗口，完成桥梁病害识别的工作。

进一步的，所述步骤S1进一步包括以下步骤：

S11、首先对桥梁病害图片样本进行分类；

S12、将所述样本裁剪成大小为227*227的子图像，裁剪完成后，挑选符合病害样本原则的子图像；

S13、对挑选后的子图像样本再进行图像预处理。

进一步的，所述对桥梁病害图片样本进行分类，包括对裂缝、锈蚀与缺损三大类的病害图片样本进行分类。

进一步的，所述图像预处理，包括对所述子图像样本进行均值削弱处理，满足计算公式：

其中，

进一步的，所述步骤S2进一步包括以下步骤：

S21、基于Al exNet卷积神经网络的迁移学习，选取Al exNet卷积神经网络模型作为迁移对象，训练过程中将Al exNet卷积神经网络模型中所有卷积层锁定，仅对最后两个全连接层进行卷积神经网络参数微调；

S22、使用Adam优化算法对微调后的卷积神经网络参数的进行模型训练；

S23、对模型训练结果进行验证。

进一步的，所述步骤S4进一步包括以下步骤：

S41、选择待识别的图像；

S42、选择一定的大小的滑动窗和步长；

S43、提取当前滑动窗图像，结合滑动窗提出病害识别方法；

S44、通过双线性插值缩放图像以适应模型输入要求；

S45、输入识别模型，标记区域类型，滑动到最后完成桥梁病害图像识别。

进一步的，所述Al exNet卷积神经网络模型，包括3个池化层、5个卷积层、3个全连接层、1个回归层。

进一步的，所述卷积层采用的卷积核数量分别为：96、96、256、384、384、256。

本发明的有益效果：通过迁移学习技术，迁移训练Al exNet卷积神经网络，构建了桥梁结构表面病害自动识别模型，可快速识别裂缝、缺损、锈蚀三类桥梁结构表面病害，提高桥梁病害检测类型的多样性，更好地满足桥梁日常运维的需求。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种基于深度学习的桥梁病害识别方法流程示意图；

图2是本发明又一实施例一种桥梁病害识别方法流程示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

请参阅图1所示，本发明实施例一种基于深度学习的桥梁病害识别方法流程示意图，该方法具体包括：

S1、选取不同的桥梁结构表面病害图片作为训练样本；

S2、对所述选取的样本使用Adam优化算法进行模型训练；

S3、调整训练并验证集组合，选择表现最佳的模型；

S4、将所述最佳模型应用与实际工程测试，结合多尺度滑动窗口，完成桥梁病害识别的工作。

其中步骤S1进一步包括以下步骤：

S11、首先对桥梁病害图片样本进行分类；

S12、将所述样本裁剪成大小为227*227的子图像，裁剪完成后，挑选符合病害样本原则的子图像；

S13、对挑选后的子图像样本再进行图像预处理。

在本发明实施例中，常见桥梁结构表面病害主要有:混凝土构件表面裂缝、露筋、剥落、蜂窝、麻面等；桥梁钢构件锈蚀、裂缝等。考虑到各种病害图像样本数量有限，无法将各种病害单独作为一类进行训练。因此，本发明实施例根据各类病害特点将桥梁病害分为裂缝、锈蚀与缺损三大类，并整理各类病害图像共300张，其中裂缝、锈蚀、缺损各100张，样本由不同数码相机随机拍摄生成，且属于不同的桥梁，图像为1000万像素以上。

此外，由于图像中包含背景信息较多且复杂，因此为了让样本突出单一信息，减少不相关干扰因素影响，进一步将训练图像随机裁剪成大小为227*227的子图像。但由于比例缩放问题，裁剪所得图像会出现下列情况:

1、裂缝样本：理想情况下的裂缝样本；裁剪到裂缝一边；由于比例缩放问题，裂缝几乎占据了整个子图像。

2、缺损样本：缺损区域边缘，较好分辨；结构棱角产生混淆；缺损中心区域子图像特征单调，与背景图像相类似。

进一步的，针对以上裁剪后图像产生的一系列情况，本发明实施例挑选三类病害样本的原则为:裂缝，裂缝两边清晰；缺损，缺损区域边缘；锈蚀，具有锈蚀的结构分析。

在本发明实施例中，在图像采集过程中，光照情况在一定程度上影响图像的识别，为了减小对图像整体明亮度影响，进一步对样本进行均值削减处理，其计算公式为：

本发明实施例中，所述步骤S2进一步包括以下步骤：

S21、基于Al exNet卷积神经网络的迁移学习，选取A l exNet卷积神经网络模型作为迁移对象，训练过程中将Al exNet卷积神经网络模型中所有卷积层锁定，仅对最后两个全连接层进行卷积神经网络参数微调；

S22、使用Adam优化算法对微调后的卷积神经网络参数进行模型训练；

S23、对模型训练结果进行验证。

其中，训练过程中将Al exNet模型作为迁移对象，将所有卷积层锁定，仅对最后两个全连接层对网络微调后训练，具体微调后的网络参数见表1：

其中，Conv为卷积层，MaxPoo l i ng为最大池化层，FC为全连接层。

优选的，桥梁病害图像识别模型训练使用caffe深度学习框架，模型训练使用Adam优化算法，Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳,学习率采用固定值为10

本发明实施例中，所述Al exNet卷积神经网络模型，包括3个池化层、5个卷积层、3个全连接层、1个回归层，其中卷积核分别为96、96、256、384、384、256。

本发明还提供又一实施例一种桥梁病害识别方法流程示意图，如图2所示，包括以下步骤：S41、选择待识别的图像；S42、选择一定大小的滑动窗和步长；S43、提取当前滑动窗图像；S44、通过双线性插值缩放图像以适应模型输入要求；S35、输入识别模型，标记区域类型，滑动到最后完成桥梁病害图像识别。

优选的，尺寸滑动窗口按照一定步长在图像区域滑动，每滑动一次，识别窗口区域病害类型。为了避免出现不理想样本，设置为步长＝尺度滑动窗口/2，即Str i de＝S ize/2，其中S i ze为尺度滑动窗口，Str ide为步长，叠加扫描区域，防止漏检病害区域。由于拍摄时图像缩放比例影响，需要使用不同尺度滑动窗口来扫描图像。其中模型只接受227*227大小的图像，不同尺寸滑动窗口需要通过双线性插值缩放图像适应模型输入要求。

综上，本发明公开了一种基于卷积神经网络的桥梁病害识别方法，所述方法包括：S1、选取不同的桥梁结构表面病害图片作为训练样本；S2、对所述选取的样本使用Adam优化算法进行模型训练；S3、调整训练集约验证集组合，选择表现最佳的模型；S4、将所述最佳模型应用与实际工程测试，结合多尺度滑动窗口，完成桥梁病害识别的工作。本发明通过迁移学习技术，迁移训练Al exNet卷积神经网络，构建了桥梁结构表面病害自动识别模型，可快速识别裂缝、缺损、锈蚀三类桥梁结构表面病害，提高桥梁病害检测类型的多样性，更好地满足桥梁日常运维的需求。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。