基于动态阈值与生成对抗网络的轴承图像数据增强方法

技术领域

本发明属于图像处理技术领域，涉及一种基于动态阈值与生成对抗网络的轴承图像数据增强方法。

背景技术

轴承作为关键基础零部件,广泛应用于航空航天、轨道交通、风力发电等领域的机械装备中。由于材料、机械加工或热处理等加工工艺的原因，滚动轴承零件表面会产生肉眼难以发现的裂纹、烧伤等缺陷。目前，磁粉检测是解决轴承零件表面和近表面缺陷探伤的主流手段。

轴承的磁粉探伤通常使用单工位检测设备，在特定的工艺规范下，操作者需要目视检测轴承的表面缺陷。然而，这种磁粉探伤方式存在工作效率低、可靠性差等问题。随着计算机视觉技术的发展，部分轴承生产工厂开始使用工业相机代替人眼，利用图像检测算法对相机采集的轴承图像进行缺陷检测，其中传统的图像处理算法需要手动提取特征且鲁棒性差，深度学习目标检测算法能够自动学习缺陷特征且鲁棒性好，因此深度学习目标检测算法搭配磁粉检测技术是未来轴承缺陷检测的创新性解决方案。

然而深度学习技术需要大数据的支撑，由于真实生产工况下缺陷件较少，无法提供深度学习模型所需的数据量，数据量过小可能导致深度学习模型出现过拟合，从而引发漏检问题。因此需要对采集到的轴承图像进行数据增强，传统的图像增强方法只是对原有的图像进行简单的仿射变换，从本质上并没有生成新图像，因此如何根据现有的缺陷图像生成全新的缺陷样本是一个亟待解决的问题。

发明内容

针对上述问题，本发明提出了一种基于动态阈值与生成对抗网络的轴承图像数据增强方法，是一种根据现有少量缺陷图像进行数据增强的方法，以解决原始数据样本较少的问题。

本发明首先利用动态阈值算法，通过均值滤波方法，平均原始图像局域灰度值，设定缺陷灰度值提取阈值，根据原始灰度图像与滤波后图像的差值进行缺陷区域动态提取，以此将缺陷部分从原始图像中分离出来；利用生成对抗网络，在生成器与判别器的博弈下生成全新的缺陷图像，将生成的缺陷图像与无缺陷轴承图像进行图像加权叠加，从而构建出全新的轴承缺陷图像，用以完成小批量缺陷样本的数据增强，从而丰富训练数据，全面提升检测模型的鲁棒性。

本发明的技术方案：

基于动态阈值与生成对抗网络的轴承缺陷图像数据增强方法，步骤如下：

步骤一、采集带有缺陷的轴承图像，对采集到的缺陷图像进行灰度化处理，从而将三通道图像转化为单通道图像。

步骤二、将步骤一中得到的灰度图像进行均值滤波，用当前像素点周围n×n(n为超参数)个像素值的均值来代替当前像素值，遍历处理图像内的每一个像素点，完成整幅灰度图像的均值滤波。

步骤三、根据要提取的缺陷的灰度值特征，设定原始灰度图像与均值滤波后灰度图像的差值阈值以及缺陷部分较周围部分的亮暗两个参数，通过n×n(n为超参数)的掩膜遍历原始图像的每一个像素点，从而完成对缺陷部分的动态提取，公式如(1)所示:

式中，g(o)为要提取的缺陷区域像素值，g(t)为均值滤波后的灰度图像像素值，Offset为LightDark为原始灰度图像与均值滤波后灰度图像的差值阈值，LightDark为缺陷部分较周围部分的亮暗。

步骤四、经过步骤三对原始图像中缺陷的动态提取，得以将缺陷从原始轴承图像中分割出来，之后采用生成对抗网络对缺陷图像进行新缺陷生成，生成器从潜在噪声空间随机取样作为输入，输出结果需要尽量模仿真实缺陷，判别器输入则为真实缺陷或生成器生成的缺陷，其目的是将生成器的输出从真实缺陷样本中尽可能分辨出来。生成器和判别器相互对抗、不断学习，最终得以生成以假乱真的缺陷样本，从而完成缺陷的数据增强，生成器和判别器的博弈过程如公式(2)所示：

式中，V(G,D)为极大估值函数，D(x)为判别器函数，G(z)为生成器函数。

步骤五、将步骤四中生成的全新缺陷图像与无缺陷轴承图像进行图像加权叠加，为了消除生成缺陷背景对叠加的干扰，在进行图像叠加之前根据公式(3)对生成缺陷的背景像素进行修正，以此模拟真实缺陷图像中的缺陷分布形态，将原数据集进行数据增强，从而构建具有真实形态的轴承数据集，有效丰富原有数据集数量，充分提高深度学习模型对缺陷特征的学习能力。

式中，imgG为生成的缺陷图像，下标r、g、b为imgG的三通道值，i、j为像素的坐标值，imgB为无缺陷的轴承图像，h

步骤六、Labelimg是目前比较流行的可视化图像标定工具，标定过程相对简单。使用Labelimg标定工具对步骤五中得到的全新轴承数据集进行缺陷标定，即确定新轴承图像中缺陷的位置和类别，最终完成标签文件的制作。

步骤七、YOLOv5是一种单阶段目标检测算法，广泛应用于工业产品的缺陷检测，使用YOLOv5单阶段目标检测算法对步骤六中得到的轴承缺陷数据集进行模型训练，使模型充分学习缺陷的特征信息，最终得到关于轴承缺陷图像的权重文件。

本发明的有益效果：

本发明提出了一种基于动态阈值与生成对抗网络的轴承缺陷图像数据增强方法。与传统的数据增强方法相比，本方法不仅限于对原有图像进行简单的仿射变换，而是通过模仿真实缺陷的形态，生成全新的缺陷。将这些全新生成的缺陷与无缺陷轴承图像随机叠加，实现了缺陷的跨背景扩增，从而有效解决了缺陷图像数据量不足的问题。通过采用本发明的方法，轴承缺陷检测精度得到显著提高，为同类型的目标检测场景提供了一种创新的数据增强思路。此外，相较于传统方法，本发明在一定程度上缩短了数据采集成本和时间跨度，为解决同类型目标检测问题提供了有价值的借鉴思路。

附图说明

图1为轴承缺陷图像灰度图；

图2为均值滤波后的轴承缺陷图像；

图3为经过动态提取后的缺陷图像合集；

图4为经过生成对抗网络生成的缺陷图像；

图5为缺陷图像与轴承图像叠加图；

图6为Labelimg标注后的轴承图像；

图7为高分辨率轴承图像缺陷检测结果；

图8为本发明的流程图。

具体实施方法

为了使本发明的目的、技术方案及优点描述得更加清楚，下面将以轴承缺陷中的常见缺陷为例，结合本发明中的附图，对本发明中的技术方案进行完整的描述。

(1)收集具有缺陷的轴承图像，轴承图像的分辨率为4096×2160，对轴承图像进行灰度化处理，将其转换为单通道，如图1所示；

(2)选用大小21×21的滤波掩膜对轴承图像的灰度图进行像素点遍历，用当前像素点周围21×21个相邻像素点的均值替代当前遍历点像素值，按照此方式遍历灰度图的所有像素点，得到均值滤波之后的灰度图像，如图2所示；

(3)设定动态提取Offset为为30，亮暗参数LightDark设置为Light，即选择原始灰度图中与周围21×21区域均值相比灰度值大于等于50的区域g(o)完成缺陷的动态提取，g(o)即为要提取的缺陷区域，提取出的缺陷合集如图3所示；

(4)将动态提取后的缺陷作为生成对抗网络中判别器的输入，设置网络的训练次数epoch为10000，网络随机初始化一个噪音分布作为生成器的输入，判别器D的训练目标是最大化分类的准确率，而生成器G的训练目标则是最小化判别器D的准确率。在10000次的训练过程中，两者按照极小化极大估值函数V(G,D)的方式进行相互博弈，10000次博弈完成之后，生成器生成的缺陷图像可以达到以假乱真的效果，生成器生成的图像如图4所示；

(5)随机取若干个生成器生成的缺陷图像，与无缺陷的轴承图像进行随机位置图像加权叠加，其中生成缺陷图像的权重为0.9，轴承图像的权重为0.1，以模拟真实轴承缺陷图像中的缺陷分布形态，数据增强后的轴承缺陷图像如图5所示；

(6)利用Labelimg图像标注工具对新生成的轴承缺陷图像进行手动标注，在轴承图像中标注出缺陷的位置和类别，标注过程如图6所示。从而完成轴承缺陷图像标签文件的构建；

(7)将处理好的图像文件及标签文件转化为YOLOv5模型所需要的格式，经过YOLOv5目标检测算法的训练之后，得到轴承缺陷图像的训练权重，利用该训练权重对测试集数据进行测试，得到高分辨率下轴承图像中缺陷的检测结果，如图7所示，从而有效解决了深度学习过程对数据量过分依赖的问题，有效提升了模型的鲁棒性及检测精度。