一种表面缺陷图像生成式数据增强方法

技术领域

本发明属于表面缺陷图像领域，特别涉及一种表面缺陷图像生成式数据增强方法。

背景技术

表面缺陷指材料表面出现的各种不均匀性、突变现象，工业品的表面缺陷不但会影响外观，甚至会对其使用性能产生严重的影响。在使用深度学习技术对表面缺陷进行识别和定位时，需要大量工业品表面图像对深度学习网络进行训练，但是在工厂中采集到的表面图像中缺陷的数量有限，难以满足深度学习网络模型的训练。

数据增强技术可以扩展表面缺陷数据量。使得在表面缺陷样本有限的的情况下，让每一个采集到的缺陷图像发挥更大的利用效率。传统的数据增强则是采用预先设置好的数据变换规则，在已经存在的数据上进行数据扩增，包括一定程度缩放、裁剪和镜像，以及在图像中添加椒盐噪声或者高斯白噪声。但是，这些方法本质上只是对现有缺陷进行变换，得到的缺陷特征和原来的特征相似性高，对于深度学习模型训练过程泛化性有限。

近些年来，深度学习生成技术快速发展，已经在人物生成、风景生成等生成任务上取得了巨大成就。在这些任务场景中，要生成的图像具有宏观上容易理解的语义，容易从原始样本中学习到要生成目标的特性。然而，表面缺陷具有表面尺寸随机、形状不均匀、分布不规则、类型多样等特征，导致现有的生成模型不能直接迁移到表面图像生成任务中。

综上所述，目前需要找到一种新的表面缺陷图像数据增强方法，首先构建能够表面真实图像与仿真图像判别模型，接着设计表面仿真图像生成模型，通过对比所生成仿真图像与真实图像的差异，优化生成模型参数，直到能够生成接近真实的表面缺陷图像，这样得到的表面仿真图像生成模型就能够用来生成表面仿真图像。

发明内容

为了解决现有技术中表面缺陷图像样本稀缺，难以满足深度学习网络模型的训练，现有数据增强技术对于深度学习模型训练过程泛化性有限，本发明提出一种表面缺陷图像生成式数据增强方法。

本发明的技术方案为：一种表面缺陷图像生成式数据增强方法，包括以下步骤：

步骤1：获取表面缺陷原始图像，去除数据质量差的图像，获得原始真实样本数据集X；

步骤2：设置表面仿真图像生成模型G(z)、表面真实图像与仿真图像判别模型D(x)的训练参数：学习率l

步骤3：搭建表面真实图像与仿真图像判别模型D(x)，随机初始化表面真实图像与仿真图像判别模型D(x)的参数θ

步骤4：设计表面仿真图像生成模型G(z)，随机初始化表面仿真图像生成模型参数θ

步骤5：将原始真实样本图像数据集X中图像的标签赋值为1；

步骤6：将原始真实样本数据集X中的图像x

步骤7：计算D(x

步骤8：随机产生n个噪声z，向表面仿真图像生成模型G(z)中输入噪声z，生成一批表面仿真缺陷图像x

步骤9：将步骤9中的表面仿真缺陷图像x

步骤10：计算步骤9中的D(x

步骤11：计算D(x

步骤12：随机生成n个噪声z，向表面仿真图像生成模型G(z)中输入噪声z，生成一批图像x，将该批次图像x使用真实图像和仿真图像的判别模型D(x)进行判别，判断为真实图像的数量在该批次图像总数的比例为p；

步骤13：重复步骤6和12，当p＞P的时候，完成训练，得到能够生成接近真实表面缺陷图像的表面仿真图像生成模型G(z)；如果训练轮数达到N，仍不满足要求，则重新初始化表面仿真图像生成模型G(z)和表面真实图像与仿真图像判别模型D(x)的参数后，再重复步骤6到12，直到能够得到满足p＞P结果的模型。

进一步的，所述步骤2中，损失函数类型L

其中，y是进行判别的真实标签，

进一步的，所述步骤3中，表面真实图像与仿真图像判别模型D(x)结构由N

进一步的，所述步骤4中，表面仿真图像生成模型G(z)由N

发明效果

本发明的技术效果在于以下几点：本发明提出了一种表面缺陷图像生成式数据增强方法，该方法通过构建生成对抗模型，实现了表面缺陷图像的生成式数据增强。具体来说优点包括以下几个方面：

(1)本发明中的模型由生成模型和判别模型两个模块组成，其中表面仿真图像生成模型负责生成新的表面缺陷图像，表面真实图像与仿真图像判别模型负责鉴别生成的图像是否真实。两种模型通过步骤6到步骤12的对抗机制实现了表面缺陷图像的数据分布学习。生成模型采用逆卷积神经网络，通过随机噪声生成新的表面缺陷图像。p判别模型采用卷积神经网络，对生成的图像和真实图像进行二分类，优化生成模型以提高生成图像的真实性。生成模型与判别模型的交替训练，使得最终生成的图像难以被判别模型区分，达到增强数据分布的效果。通过进行表面缺陷图像生成式数据增强，增加了训练数据集的数量和种类，丰富了数据的特征表达，能够为后续的其他深度学习任务减轻数据量不足的问题、提高了模型的泛化能力。

(2)该方法生成的新数据保留了真实数据的内在属性，为后续的表面缺陷检测与分类提供了更加全面真实的训练数据，实现了模型性能的提升。

(3)本方法是一种有效的以数据驱动的方法，通过学习空间数据的分布函数，实现表面缺陷图像的数据增强。

本发明的附加方面和优点将在下面的描述中部分给出，部分能从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1：表面缺陷图像生成式数据增强方法构建流程图

图2：工业品表面真实图像

图3：工业品表面仿真图像

具体实施方式

参见图1-图3，本发明针对表面缺陷图像样本稀缺的问题，提出了表面缺陷生成式数据增强方法，实现表面缺陷图像样本扩容，该方法实现的步骤如下。

步骤1：获取表面缺陷原始图像，去除数据质量差的图像，例如模糊图像等，获得高质量的原始真实样本数据集X。

步骤2：分析原始真实样本数据集X，对其中所包含的表面缺陷进行分类，归纳表面缺陷类型和特征。

步骤3：设置表面仿真图像生成模型G(z)和表面真实图像与仿真图像判别模型D(x)的训练参数：学习率l

步骤4：搭建表面真实图像与仿真图像判别模型D(x)，其由N

步骤5：设计表面仿真图像生成模型G(z)，其由N

步骤6：将原始真实样本图像数据集X中图像的标签赋值为1。

步骤7：将原始真实样本数据集X中图像通过表面真实图像与仿真图像判别模型D(x)，图像x

步骤8：计算D(x

步骤9：随机产生一批噪声z，向表面仿真图像生成模型G(z)中输入噪声z，生成一批表面仿真缺陷图像x

步骤10：将表面仿真缺陷图像x

步骤11：计算D(x

步骤12：计算D(x

步骤13：随机生成一批噪声z，像表面仿真图像生成模型G(z)中输入噪声z，生成一批图像x，将该批次图像x使用真实图像和仿真图像的判别模型D(x)进行判别，判断为真实图像的数量占据x中的比例为p。

重复步骤7和13，当p＞P的时候，完成训练。得到能够生成接近真实表面缺陷图像的表面仿真图像生成模型G(z)。如果训练轮数达到N，仍不满足要求，则重新初始化表面仿真图像生成模型G(z)和表面真实图像与仿真图像判别模型D(x)的参数后再重复步骤7到13，直到能够得到满足p＞P结果的模型。

下面详细描述本发明的实施例，所述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本例数据库介绍：本例数据库由工厂中采集到的工业品表面图像。数量总共200张。每张图像分辨率为640×640。

步骤1：对工厂中采集到的表面图像的数据进行数据清洗，去除质量差的图像，获得高质量的原始真实样本数据集X。

步骤2:分析原始真实样本数据集X，对其中所包含的表面缺陷进行分类，归纳表面缺陷类型和特征。

步骤3：设计表面仿真图像生成模型G(z)和表面真实图像与仿真图像判别模型D(x)的训练参数：设置学习率为0.0003，衰减速率为0.5，损失函数使用交叉熵损失函数：

步骤4：搭建真实图像和仿真图像的判别模型D(x)的网络结构，其结构为首先进行一个卷积操作，再通过LeakyReLU激活函数；接下来再进行卷积操作、批归一化、LeakyReLU激活函数，重复三次该种结构；接下来再经过一次卷积操作，最后通过一个Sigmoid激活函数进行分类。初始化网络参数。其中，提到的LeakyReLU的激活函数的表达式为：

步骤5：搭建表面仿真图像生成模型G(z)的网络结构，其结构组成为首先进行一次逆卷积、一次批归一化、一次ReLU激活函数，重复三次该种结构；接下来进行一个逆卷积操作，最后通过Tanh激活函数。通过添加随机噪声的方式初始化生成模型参数θ

ReLU(x)＝(x)

步骤6：将原始真实样本图像数据集X中图像的标签赋值为1。

步骤7：将原始真实样本数据集X中图像通过真实图像和仿真图像的判别模型D(x)，图像x

步骤8：计算D(x

步骤9：随机产生一批噪声z，向表面仿真图像生成模型G(z)中输入噪声z，生成一批表面仿真缺陷图像x

步骤10：将表面仿真缺陷图像x

步骤11：计算D(x

步骤12：计算D(x

步骤13：随机生成一批噪声z，像表面仿真图像生成模型G(z)中输入噪声z，生成一批图像x，将该批次图像x使用真实图像和仿真图像的判别模型D(x)进行判别，判断为真实图像的数量占据x中的比例为p。

重复步骤7和13，当p＞0.8的时候，完成训练。得到能够生成接近真实表面缺陷图像的表面仿真图像生成模型G(z)。如果训练轮数达到500后，仍不满足要求，则重新初始化表面仿真图像生成模型G(z)和判别模型D(x)的参数后再重复步骤7到13。直到能够得到满足p＞0.8结果的模型。

步骤14：使用训练好的模型G(z)生成表面仿真图像。

附图2为工业品表面真实图像，附图3为使用本专利方法生成的工业品表面仿真图像。可以看到，仿真图像的效果已经非常接近真实表面缺陷图像，可以进一步的用作深度学习任务。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。