基于仿生机器人平台的狭小空间结构裂纹检测方法

技术领域

本发明属于裂纹识别技术领域，涉及基于仿生机器人平台的狭小空间结构裂纹检测方法。

背景技术

飞机结构破坏的主要原因之一来源于疲劳损伤，因此在维护过程中需对飞机结构进行检查，确认是否存在裂纹萌生，从而及时进行维护排除隐患。

目前在维护过程中主要依靠人工目视的方法对飞机结构是否存在裂纹萌生进行排查，但是在例如进气道、中央翼盒等狭小空间区域维护人员难以甚至无法进入，进而导致难以通过人工目视的方式来检查相应区域的内结构是否存在裂纹萌生。

计算机视觉技术作为一种无损检测手段被应用于裂纹检测问题中，但狭小空间内恶劣的光照条件会极大地干扰图像中结构表面的特征信息，直接影响裂纹识别的准确率。近年来深度学习技术因其强大的特征提取能力在计算机视觉领域得到了广泛的应用，但深度学习模型的训练效果对数据集的质量有较强的依赖性，数据集样本量不足会导致模型产生明显的过拟合问题，影响模型的准确率。

进一步，现有的裂纹检测方法主要是针对裂纹的有无问题进行判断，对于裂纹长度的信息并未给出，通常依赖于维护人员的主观判断，缺少明确的定量的信息，使得维护人员并不能根据相应的检测结果对结构是否有足够的剩余强度给出直观准确的结论。

发明内容

针对上述问题，本发明提供了一种基于仿生机器人平台的狭小空间结构裂纹检测方法，以便于维护人员对飞机狭小空间区域结构裂纹进行检测。

本发明所采用的技术方案是，基于仿生机器人平台的狭小空间结构裂纹检测方法，包括以下步骤：

步骤1对裂纹图像进行采集；

步骤2基于预训练的大型通用网络模型，为适用于裂纹识别问题，对全连接层进行修改，搭建神经网络模型；所述神经网络模型包括卷积层及全连接层；

步骤3采用迁移学习的方法对模型进行训练，将预训练的大型通用网络模型的参数加载到神经网络模型中，冻结神经网络模型中卷积层的参数，仅对全连接层的参数进行训练更新，得到最优模型的参数；将神经网络模型以及训练完成后保存的最优模型的参数加载到用于检测的计算机系统中，用于对拍摄得到的图像进行裂纹识别；

步骤4基于仿生机器人平台搭载的图像采集系统，对人工难以目视检查的狭小空间区域内的结构进行检测，仿生机器人平台在预设的检测点位停顿，并控制图像采集系统对该检测点位所对应的检测区域进行拍摄，将拍摄得到的图像数据传输至用于检测的计算机系统；并对传输至计算机系统的图像进行增强及降噪处理，通过神经网络模型对处理后的图像进行裂纹识别，判断相应检测区域内是否存在裂纹萌生；

步骤5对图像采集系统进行标定，获得图像采集系统的内参、外参以及畸变参数；通过内参、外参以及畸变参数对识别判断为包含裂纹的图像进行矫正，并获取像素图像与实际长度的映射关系，采用边界框对裂纹在图像中位置的进行定位，进一步对标定的裂纹的长度进行估测。

进一步的，所述步骤1具体为：首先调用Augmentor对收集的图像数据进行数据增强，以扩充数据集的样本数量；其次，对数据集中的图像进行预处理；最后，对预处理后的图像打标签，并将图像样本按照7:2:1的比例划分为训练集、验证集和测试集。

进一步的，所述预处理包括：对图像进行滤波降噪；对图像进行标准化处理；对图像进行随机对比度偏移；对图像进行灰度变换。

进一步的，所述收集的图像数据为：

1)、通过网络渠道，搜集开源的工业表面缺陷数据集，并选取其中缺陷特征为裂纹的图像数据构建数据集；

2)、对飞机蒙皮表面出现的裂纹进行拍摄并收集；

3)、在疲劳试验中，对试验构件的表面裂纹进行拍摄并收集；

4)、在中央翼盒模拟试验件中，基于仿生机器人平台对狭小空间区域内的结构表面裂纹进行拍摄并收集。

进一步的，所述步骤3全连接层的参数进行训练更新是采用步骤1的裂纹图像对步骤2的神经网络模型进行训练，训练中，损失函数的值达到设定阈值或训练达到设定的最大迭代次数时，完成训练并保存最优模型的参数。

进一步的，所述步骤3损失函数为交叉熵损失函数。

进一步的，所述步骤3大型通用网络模型为Resnet18、Resnet50或Resnet101中的一种。

进一步的，所述步骤4对传输至计算机系统的图像进行增强及降噪处理，具体为：采用多尺度Retinex算法进行图像增强处理，并采用基于L0梯度最小化的图像平滑算法对图像进行降噪处理。

进一步的，所述步骤4图像数据传输是通过有线或无线的方式。

进一步的，所述步骤5图像采集系统进行标定，包括矫正单点透视和矫正透镜畸变。

本发明的有益效果是：

本发明基于仿生机器人平台搭载图像采集系统，对人工难以目视检查的狭小空间区域内的结构表面进行拍摄，将图像数据传输至计算机系统进行处理以及裂纹识别，极大地降低了维护人员对狭小空间区域进行裂纹检测的工作难度。

本发明采用多尺度Retinex算法进行图像增强处理，以降低光照不足对图像的影响，使裂纹特征更加突出，并采用基于L0梯度最小化的图像平滑算法，能够较好地保持图像边缘的整体特征，同时消除局部微小的噪声信号，进而对处理后的图像进行裂纹识别。

本发明基于预训练的大型通用网络模型搭建神经网络模型，采用迁移学习的方法对模型进行训练，以降低采用小样本量的数据集进行训练所导致的模型过拟合问题，使模型具有较好的泛化性，并具有较高的准确率与召回率。

本发明对图像采集系统进行标定获得其内参、外参以及畸变参数，并对图像进行矫正，获取像素图像与实际长度的映射关系，进一步对裂纹的长度进行估测，进而对狭小空间区域结构的剩余强度给出指导性意见。

附图说明

图1是本发明的基本流程图；

图2是本发明的模型训练的损失函数图；

图3是本发明的模型的准确率与召回率随训练迭代次数变化图；a为模型的准确率随训练迭代次数变化图，b为模型的召回率随训练迭代次数变化图。

具体实施方式

下面结合附图对本发明进一步说明：

如图1所示，本实例提供一种基于卷积神经网络的狭小空间区域结构裂纹识别定位方法，包括以下步骤：

S1、裂纹图像的采集，包括通过网络渠道，搜集开源的工业表面缺陷数据集，选取其中缺陷特征为裂纹的图像数据构建数据集；对飞机蒙皮表面出现的裂纹进行拍摄并收集；在疲劳试验中，对试验构件的表面裂纹进行拍摄并收集，需要图像有一定清晰度，裂纹能够较为明显的辨识；在中央翼盒模拟试验件中，基于仿生机器人平台对狭小空间区域内的结构表面裂纹进行拍摄并收集；

S2、数据增强，调用Augmentor，通过将镜像、旋转、裁剪、倾斜透视、调整对比度等方法进行随机组合，对收集的图像数据进行数据增强，以扩充数据集的样本数量，降低小样本量所导致的模型过拟合问题；进一步对数据集中的图像进行预处理，包括：对图像进行滤波降噪，采用中值滤波的方法去除图像中的噪声；对图像进行标准化处理，消除奇异样本数据的影响，提升收敛速度；对图像进行随机对比度偏移，增强模型的泛化性；对图像进行灰度变换，将三通道的RGB图像转换为单通道的灰度图像；

S3、构建数据集，预处理后的图像打标签，并将图像样本按照7:2:1的比例划分为训练集、验证集和测试集；

S4、搭建神经网络模型，基于Resnet18或Resnet50、Resnet101等网络搭建神经网络模型，因为对于裂纹有无的识别为二分类问题，因此将全连接层修改为适用于裂纹识别的结构，搭建神经网络模型。全连接层中采用ReLU激活函数可以有效地降低梯度爆炸以及梯度消失的问题。全连接层中加入BN层可以起到加快训练收敛速度、控制梯度爆炸与梯度消失、以及防止过拟合的作用；

S5、训练神经网络模型，采用步骤S3构建的数据集采用迁移学习的方法对神经网络模型进行训练，以降低采用小样本量的数据集进行训练所导致的模型过拟合问题。将预训练的Resnet18网络模型的参数加载到神经网络模型中，冻结神经网络模型中卷积层的参数，从而保留神经网络对图像基本特征的提取能力，仅对全连接层的参数进行训练更新，使模型在裂纹识别的任务上得到较好的性能提升，来满足个性化需求。为避免迭代次数过大而产生过拟合的问题，将迭代次数epoch设置为100。将一次训练所采样的数量batch size设置为32，在避免梯度振荡的同时减少所需内存。损失函数选择交叉熵损失函数，适用于分类问题。学习率设置为随迭代次数而逐渐衰减，在初期采用较大的学习率来更新参数以避免陷入局部最优，同时在后期采用较小的学习率以避免在最优值附近振荡难以收敛；

S6、若步骤S5训练中，损失函数的值达到设定阈值或训练达到设定的最大迭代次数，则完成训练并保存最优模型的参数；如图2所示，为模型在训练过程中的损失函数曲线，可以看出随着训练次数增加，误差逐渐减小。如图3a所示，为模型的准确率，图3b所示，为模型的召回率，可以看出随着训练次数增加，准确率与召回率逐渐趋近于100％。将搭建的神经网络模型以及训练完成后保存的最优模型的参数加载到用于检测的计算机系统中，用于对拍摄得到的图像进行裂纹识别；

S7、采集狭小空间区域图像，基于仿生机器人平台搭载的图像采集系统，对人工难以目视检查的狭小空间区域内的结构进行检测。仿生机器人平台应具有一定的导航与越障能力，可以依据预先规划设定好的路径前进。仿生机器人平台可以在预设的检测点位停顿，并控制图像采集系统对该检测点位所对应的检测区域进行拍摄，通过有线或无线的方式将图像数据传输至用于检测的计算机系统；此外，图像采集系统单次拍摄所能覆盖的视角即为当前检测点位所对应的检测区域，因此检测点位的设定应保证全部检测区域的组合可以包含狭小空间内所有待检测区域；

S8、图像增强，对步骤S7中传输至计算机系统的图像，采用多尺度Retinex算法进行图像增强处理，以降低光照不足对图像的影响，使裂纹特征更加突出，并采用基于L0梯度最小化的图像平滑算法对图像进行降噪处理，能够较好地保持图像边缘的整体特征，同时消除局部微小的噪声信号。进一步对处理后的图像进行裂纹识别，判断相应检测区域内是否存在裂纹萌生；

S9、图像矫正，对步骤S7中图像采集系统进行标定，包括矫正单点透视和矫正透镜畸变，获得图像采集设备的内参、外参以及畸变参数。要求步骤S7中，仿生机器人平台在检测点位停顿拍摄时，应在满足拍摄图像具有足够清晰度的前提下，保证图像采集设备的焦距以及拍摄角度保持不变，即保证对图像采集设备标定所获取的参数保持不变。进一步通过内参、外参以及畸变参数对步骤S8中识别判断为包含裂纹的图像进行矫正；

S10、裂纹长度的估测，对于步骤S9矫正后的图像，采用边界框对裂纹在图像中位置的进行标定，从而更精确地对狭小空间区域内结构萌生裂纹的位置进行定位。通过步骤S9中对图像采集设备的标定，获取像素图像与实际长度的映射，进一步对标定的裂纹的长度进行估测，进而对狭小空间区域结构的剩余强度给出指导性意见。