一种塔式起重机裂缝图像的检测方法

技术领域

本发明涉及图像检测领域，具体涉及一种塔式起重机裂缝图像的检测方法。

背景技术

在工地施工中，塔式起重机长期超载、作业频繁、位置高、冲击力大，以及长期受自然环境影响，塔身结构容易出现裂缝，导致承载力不足，造成一定的施工风险。据统计，我国在2000—2012年间建筑起重机械责任事故发生了655起，其中塔式起重机安全事故占了472起；2012—2014年间，塔式起重机事故发生了162起，其中倒塌、折断事故占123起，占总事故的75.93％，而这主要是由于塔式起重机的金属结构开裂、出现裂纹导致承重力不够、失去平衡引起的。塔式起重机的钢结构件在焊接时基本采用手工气体保护焊,受条件和人员限制,很容易产生焊缝缺陷，同时塔式起重机主要处于工地中的复杂环境，自重高达上百吨，工作时间久了容易出现裂损的问题，由于塔式起重机的结构多，塔身高，出现的裂缝难以被及时发现，这些裂缝缺陷会削弱塔式起重机的承载力，为工地施工埋下安全隐患。近年来，塔式起重机的安全事故发生得越来越多，因此对塔式起重机的严格管理是必要的，保证塔式起重机的可靠性和安全性是非常重要的。现有的塔式起重机安全管理主要是基于人工的检查，但人工检测塔式起重机的裂缝会有主观影响，对一些小尺度的裂缝和一些结构位置较高的裂缝容易遗漏，同时将耗费大量的人力、财力、精力，难以保证效率和准确率，因此需要更多的技术支持。

发明内容

有鉴于此，本发明的目的在于提供一种塔式起重机裂缝图像的检测方法，具有更好的检测效果和更高的检测精度，实现了应用于塔式起重机裂缝图像的检测。

为实现上述目的，本发明采用如下技术方案：

一种塔式起重机裂缝图像的检测方法，包括以下步骤：

步骤S1:采集塔式起重机裂缝图像，并预处理后分为训练集和测试集；

步骤S2:构建改进Faster R-CNN模型；

步骤S3:基于训练集，采用迁移学习方法对改进FasterR-CNN模型进行学习训练，得到训练后的Faster R-CNN模型；

步骤S4:对训练后的Faster R-CNN模型进行微调，得到最终的检测模型；

步骤S5:将待测图像输入检测模型，获取裂缝的位置。

进一步的，所述步骤S1具体为：

步骤S11:获取不同的光照效果、角度、形状和尺寸大小的塔式起重机裂缝图像，得到塔式起重机裂缝数据集；

步骤S12:对塔式起重机裂缝图像进行平移、缩放和旋转，扩充塔式起重机裂缝数据集，并加入铁路裂缝图像、公路裂缝图像和桥梁裂缝图像，得到扩充后的数据集；

步骤S13:对扩充后的数据集使用LabelImg工具对裂缝目标进行标注，将其转换为VOC 2007数据集格式，并按预设比例分为训练集和数据集。

进一步的，所述改进Faster R-CNN模型采用多尺度特征金字塔结构代替原始的RPN结构，改进锚框的数量和大小；并改进RoI Pooling层，引入RoI Align方法。

进一步的，所述多尺度特征金字塔结构为基于ResNet-50，结合FPN算法，实现的多尺度特征金字塔结构。

进一步的，所述多尺度特征金字塔结构包括自下而上的通道、自上而下的通道和横向连接三部分，具体如下:

对输入的图片，其特征图提取方式采用自下而上；

通过自上而下的方法实现了2倍上采样，然后与特征图实现特征融合；

进行横向连接，通过对自下而上生成的特征图进行1x1的卷积操作。

进一步的，所述的改进锚框的数量和大小具体为：在原始三种不同的尺度及三种比例1：1，1：2，2：1上，增加尺度为32x32和64x64的锚点，改进后anchor为五种不同的尺度，分别为32x32，64x64，128x128，256x256，512x512，比例采用原始比例1：1，1：2，2：1，一共组合成15种不同尺度不同长宽比的anchor。

进一步的，所述改进RoI Pooling层具体为：采用Mask R-CNN算法中提出的RoIAlign方法，对RoI Pooling层进行改进，采用双线性插值方法，保留浮点数。

一种塔式起重机裂缝图像的检测系统，包括包括存储器、处理器，所述存储器上存储有计算机程序，处理器在运行该计算机程序时，能够实现如权利要求1-7任一项所述的方法步骤。

本发明与现有技术相比具有以下有益效果：

1、本发明能够准确地识别各种尺度的裂缝，回归定位更加准确。

2、本发明具有更好的检测效果和更高的检测精度，实现了应用于塔式起重机裂缝图像的检测。

附图说明

图1是本发明一实施例中工作流程图；

图2是本发明一实施例中的RPN结构；

图3是本发明一实施例中多尺度特征金字塔结构；

图4是本发明一实施例中迁移学习应用流程图；

图5是本发明一实施例中检测效果图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种塔式起重机裂缝图像的检测方法，包括以下步骤：

步骤S1:采集塔式起重机裂缝图像，并预处理后分为训练集和测试集；

步骤S2:构建改进Faster R-CNN模型；

步骤S3:基于训练集，采用迁移学习方法对改进Faster R-CNN模型进行学习训练，得到训练后的Faster R-CNN模型；

步骤S4:对训练后的Faster R-CNN模型进行微调，得到最终的检测模型；

步骤S5:将待测图像输入检测模型，获取裂缝的位置。

在本实施例中，所述步骤S1具体为：

步骤S11:获取不同的光照效果、角度、形状和尺寸大小的塔式起重机裂缝图像，得到塔式起重机裂缝数据集；

步骤S12:对塔式起重机裂缝图像进行平移、缩放和旋转，扩充塔式起重机裂缝数据集，并加入铁路裂缝图像、公路裂缝图像和桥梁裂缝图像，得到扩充后的数据集；

步骤S13:对扩充后的数据集使用LabelImg工具对裂缝目标进行标注，将其转换为VOC 2007数据集格式，并按预设比例分为训练集和数据集。

在本实施中，所述改进Faster R-CNN模型的CNN特征提取网络基于ResNet-50，结合FPN算法，实现多尺度特征金字塔结构，用来代替原始的RPN结构。ResNet-50可以用来解决深层网络训练困难的问题，引入bottleneck结构，利用1x1的卷积操作来使通道数减少，从而可以降低计算量，通过恒等映射实现跳层连接，使得收敛速度加快，从而减少了优化网络模型的难度。

所述RPN结构是一种全卷积网络，通过在卷积层输出的特征图上进行滑窗处理，映射成d维特征向量，然后输入到分类层和回归层，进行下一步的类别和位置的判断。在每个滑动窗口的位置上同时预测k个候选区域，回归层具有4k个输出，代表k个候选框的4个坐标，在分类层中，有2k个得分输出，代表每个候选框是否为目标的估计概率。为了能够让算法更好地适用在不同尺寸和形状的目标，将特征图上的每个位置设置多个anchor box，从而用来预测输入图像的不同长宽比和不同尺度的候选区域。训练RPN时，整体损失(loss)函数为：

其中，i表示第i个anchor，p

其中，x,y,w,h是RPN预测框的中心坐标及其宽高，x

L

L

其中，Smooth

参考图3，在本实施例中，优选的，多尺度特征金字塔算法整体分为三部分：自下而上的通道、自上而下的通道、横向连接。首先，输入一张图片，其特征图提取方式采用自下而上。其次，通过自上而下的方法实现了2倍上采样，然后与特征图实现特征融合。最后进行横向连接，通过对自下而上生成的特征图进行1x1的卷积操作，其目的是为了与上采样的结果具有相同的通道数，然后通过3x3的卷积，作用于每个融合结果，从而消除上采样带来的混叠效应。经过上述的操作，融合的特征层为(P2，P3，P4，P5)，融合了更多浅层特征目标位置细节信息。之后经过RPN网络生成候选框，进一步判断目标的类别和位置。结合了FPN算法，会获得多个特征图，RoI根据不同尺度的特征图选择不同的特征层，具体的选择方式为：

其中，k

②改进锚框：

在原始的参数下，增加尺度为32x32和64x64的锚点，改进后anchor为五种不同的尺度，分别为(32x32，64x64，128x128，256x256，512x512)，比例采用原始比例(1：1，1：2，2：1)，一共组合成15种不同尺度不同长宽比的anchor。

③改进RoI Pooling层：

采用Mask R-CNN算法中提出的RoI Align方法，对RoI Pooling层进行改进，采用双线性插值方法，保留浮点数，避免了量化带来的精度损失。将输入的图像大小设为900x900，假设待检测的塔式起重机裂缝图像中目标尺寸的大小为330x330，经过特征提取网络时会进行4次最大值池化，将区域建议框缩小为原图的1/16，尺寸变为20.63x20.63；经过第一次量化后，RoI Pooling取整，区域建议框尺寸变为20x20，RoI Align保留浮点数，尺寸还是20.63x20.63；然后将候选区域进行池化，尺寸固定为7x7，经过第二次量化，RoIPooling取20/7＝2.86，20/7＝2.86，取整后特征子图尺寸变为2x2，而RoI Align取20.63/7＝2.95，20.63/7＝2.95，保留浮点数后特征子图尺寸为2.95x2.95；最后每个特征子图取最大值进行输出，形成49个像素值，组成7x7的特征图。RoI Pooling两次量化都取整，在特征图上映射的区域建议框尺寸由20x20变为14x14，具有很大的像素偏差，不利于回归定位操作。因此，利用RoI Align方法可以更好地提高回归定位的准确性，从而获得更精确的目标区域。

参考图4，所述迁移学习具体如下，使用通过ImageNet预训练过的ResNet-50进行模型微调，从而得到适用于塔式起重机裂缝检测的模型，使得只需少量的塔式起重机裂缝的数据集就可以达到较好的识别结果。将预训练得到的初始模型的参数迁移到目标数据集后重新进行学习。在ImageNet预训练的模型学习率为0.01，其参数非常平滑，为了防止在后续迁移学习过程中参数被过度扭曲，利用SGD算法优化参数，设置迁移学习模型的初始学习率为0.001，batchsize为1，动量因子为0.9，权重衰减因子为0.0005，迭代次数为20000，之后再对模型进行微调得到最终模型。

一种塔式起重机裂缝图像的检测系统，包括包括存储器、处理器，所述存储器上存储有计算机程序，处理器在运行该计算机程序时，能够实现如权利要求1-7任一项所述的方法步骤。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。