卫浴陶瓷表面缺陷检测方法与系统

技术领域

本发明涉缺陷检测技术领域，特别涉及一种卫浴陶瓷表面缺陷检测方法与系统。

背景技术

卫浴陶瓷是日常生活中的必需品，每家每户都要用到，卫浴陶瓷的质量直接影响到用户的日常体验，因此把握好卫浴陶瓷产品出厂质量非常重要。现阶段，卫浴陶瓷表面缺陷检测主要是依赖人工完成，需要质检工人肉眼观察，鉴别工件表面存在的缺陷，效率低下而且严重依赖工人的经验，并且质检结果极其容易受到工人个人状态的影响。

随着深度学习技术的大力发展，越来越多的行业开始采用基于深度学习的图像处理技术来进行缺陷检测。现如今，很多公司和机构开始将深度学习技术应用于卫浴陶瓷表面缺陷检测，都取得了不错的成果。

目前，现有的一阶段深度学习目标检测模型具有检测精度高、速度快的特点，通用性很好，对于节拍敏感型生产工作较为适用。卫浴陶瓷的生产节拍快，表面缺陷类别多，特征复杂。鉴于此，本发明人经过大量实验探索研究后提供了一种卫浴陶瓷表面缺陷检测方法，用以解决上述问题。

发明内容

针对现有技术的不足，本发明的目的在于提出一种卫浴陶瓷表面缺陷检测方法与系统，能够显著提高检测效率和检测精度。

为了实现上述目的，本发明提出一种卫浴陶瓷表面缺陷检测方法，包括：

步骤1，采集卫浴陶瓷表面缺陷图像，并对所述表面缺陷图像中的缺陷类型和缺陷位置进行标注，获得卫浴陶瓷表面缺陷的训练数据集；

步骤2，以SSD网络模型为基准构建缺陷检测模型；

步骤3，利用所述卫浴陶表面瓷缺陷的训练数据集对所述缺陷检测模型进行训练；

步骤4，将待检测的卫浴陶瓷表面缺陷图像输入至步骤3训练得到的所述缺陷检测模型中，输出所述待检测的卫浴陶瓷表面缺陷图像的缺陷类别和缺陷位置。

上述的卫浴陶瓷表面缺陷检测方法，其中，所述缺陷类别包含以下至少一种：裂纹、缺釉、锈斑、绿斑和条状缩釉缺。

上述的卫浴陶瓷表面缺陷检测方法，其中，所述以SSD网络模型为基准构建的所述缺陷检测模型中的骨干网络替换为包含跳连结构的ResNet-50网络。

上述的卫浴陶瓷表面缺陷检测方法，其中，所述ResNet-50网络结尾的平均池化层和全连接层改为卷积层，并移除Dropout层，及增加若干个残差卷积模块。

上述的卫浴陶瓷表面缺陷检测方法，其中，采用Mish函数作为所述缺陷检测模型的激活函数。

上述的卫浴陶瓷表面缺陷检测方法，其中，所述步骤3包括：

将输入所述缺陷检测模型的图像的尺寸缩放为300×300；

从所述缺陷检测模型中选取38×38、19×19、10×10、5×5、3×3和1×1尺寸的特征图负责结果的预测任务。

上述的卫浴陶瓷表面缺陷检测方法，其中，所述步骤3还包括：

所述缺陷检测模型为每个尺寸的所述特征图的每个特征点设置不同数量的先验框，所述特征图的每个特征点对应先验框的数量分别为4、6、6、6、4、4；

所述特征图的先验框尺度s

其中，对于38×38、3×3和1×1尺寸的所述特征图不使用长宽比为3和

上述的卫浴陶瓷表面缺陷检测方法，其中，对于用于训练的所述卫浴陶瓷表面缺陷图像，单个真实目标的边界框可以对应于多个所述先验框，每个所述先验框对应于一个所述真实目标的边界框。

上述的卫浴陶瓷表面缺陷检测方法，其中，所述缺陷检测模型的损失函数为位置损失和置信度损失的加权和，如下公式：

其中，N为先验框的正样本数量，c为类别置信度预测值，l为先验框的所对应边界框的位置预测值，g为边界框的位置参数。

上述的卫浴陶瓷表面缺陷检测方法，其中，对于位置损失，采用Smooth L1Loss，公式如下：

对于置信度损失，采用Softmax Loss，公式如下：

上述的卫浴陶瓷表面缺陷检测方法，其中，在所述步骤3中采用标签平滑技术，防止网络模型过拟合。

上述的卫浴陶瓷缺陷检测方法，其中，在所述步骤3中采用迁移学习，并分两个阶段进行训练，第一阶段批大小为16，采用0.001的学习率训练若干个轮次，第二阶段的批大小为8，采用0.0001的学习率训练若干个轮次，并且在第二阶段训练时采用学习率下降策略和提前终止训练策略。

为了实现上述目的，本发明还提出一种卫浴陶瓷表面缺陷检测系统，包括：

数据采集模块，用于采集卫浴陶瓷表面缺陷图像，并对所述表面缺陷图像中的缺陷类型和缺陷位置进行标注，获得卫浴陶瓷表面缺陷的训练数据集；

模型构建模块，用于以SSD网络模型为基准构建缺陷检测模型；

模型训练模块，用于利用所述卫浴陶表面瓷缺陷的训练数据集对所述缺陷检测模型进行训练；

缺陷检测模块，用于将待检测的卫浴陶瓷表面缺陷图像输入至步骤3训练得到的所述缺陷检测模型中，输出所述待检测的卫浴陶瓷表面缺陷图像的缺陷类别和缺陷位置。

上述的卫浴陶瓷表面缺陷检测系统，其中，所述以SSD网络模型为基准构建的所述缺陷检测模型中的骨干网络替换为包含跳连结构的ResNet-50网络。

上述的卫浴陶瓷表面缺陷检测系统，其中，所述ResNet-50网络结尾的平均池化层和全连接层改为卷积层，并移除Dropout层，及增加若干个残差卷积模块。

由以上方案可知，本发明的优点在于：

第一，本发明的技术方案采用深度学习的目标检测技术作为基础框架，可以有效降低因为光照、亮度、照片曝光等因素对于检测结果的影响，大幅提高了缺陷检测精度。第二，本发明采用ResNet-50网络作为SSD模型的骨干网络，提高了模型的表达能力，在加深网络深度的同时，也减少了模型参数，可以有效提高模型检测效果。第三，在模型训练时采用实时数据增强的算法，能够实时扩充训练数据，有效缓解训练数据短缺问题，提高模型的泛化能力。第四，本发明适用于卫浴陶瓷表面裂纹、缺釉、锈斑、绿斑和条状缩釉等缺陷检测问题，检测精度高，适用范围广，对于典型的卫浴陶瓷表面缺陷都有较好的检测效果。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明一实施例的卫浴陶瓷表面缺陷检测方法的流程图。

图2为骨干网络ResNet-50网络结构的示意图。

图3为激活函数Mish的示意图。

图4为Mosaic算法实时数据增强的示意图。

图5为卫浴陶瓷表面缺陷检测结果的示意图。

图6为本发明一实施例的卫浴陶瓷表面缺陷检测系统的模块图

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例，并配合说明书附图作详细说明如下。

参见图1所示，本发明的实施例提出一种卫浴陶瓷表面缺陷检测方法100，包括步骤S110-S140，其中：

步骤S110，采集卫浴陶瓷表面缺陷图像，并对所述表面缺陷图像中的缺陷类型和缺陷位置进行标注，获得卫浴陶瓷表面缺陷的训练数据集。

具体的，在实例中可采用生产现场真实采集的卫浴陶瓷表面缺陷图像数据，其中例如包括以下几种缺陷：裂纹、缺釉、锈斑、绿斑和条状缩釉缺陷。

在本实施例中，在对采集的原始图像数据进行标注时，具体例如利用LabelImg开源辅助图像标定软件，对所有包含缺陷的图像进行标注，打上相应的缺陷标签，并且需要标注出缺陷类别以及缺陷在图像中的位置(缺陷位置)，最终，可形成一个XML格式的标注文件。

另有，将制作完毕的卫浴陶瓷表面缺陷的数据集进行划分，按照8:1:1的比例随机划分为训练集、验证集和测试集。

步骤S120，以SSD网络模型为基准构建缺陷检测模型。

具体的，例如利用Tensorflow和Keras开源深度学习框架，并以SSD网络模型为基准构建缺陷检测模型；但是，在本实施例中对其进行一定的改进，整个网络模型主要可以分为两个部分：骨干网络和检测网络。

其中，骨干网络部分采用的是ResNet-50网络，网络结构参见图2所示，骨干网络作为特征提取网络，主要负责对输入图像进行特征提取。ResNet-50的网络层数更深，而且模型的参数也有所减少，网络模型中大幅度采用跳连结构，解决了深层神经网络模型训练时梯度消失的问题。还有，在本发明中移除了骨干网络ResNet-50尾部的平均池化层和全连接层，改为卷积层，同时也移除Dropout层，在模型的结尾新增了若干个残差卷积模块(例如4个残差卷积模块)，用以提取不同尺度的特征图。

还需要说明的是，对于本发明的骨干网络ResNet-50中的激活函数全部采用Mish激活函数，参见图3所示，其数学表达式如下所示：

Mish＝x×tanh(ln(1+e

步骤S130，利用所述卫浴陶表面瓷缺陷的训练数据集对所述缺陷检测模型进行训练。

对于缺陷检测模型的所述检测网络的输入图像尺寸会被统一缩放为300×300，并且可利用特征金字塔结构提升模型的精度，从所述骨干网络的不同层次选取了38×38、19×19、10×10、5×5、3×3和1×1这6个尺寸的特征图负责结果的预测任务。

另有，缺陷检测模型为每个尺寸的特征图的每一个特征点都设置了不同数量的先验框，对于上述的6个特征图，每个特征图的每个特征点对应先验框的数量分别为4、6、6、6、4、4；六个特征图的先验框尺度s

其中，对于38×38、3×3和1×1这3个尺寸的特征图，仅使用4个先验框，它们不使用长宽比为3和

训练图像中真实目标(Ground Truth)与先验框的关系是，单个真实目标的边界框可以对应于多个先验框，但是每个先验框只能对应于一个真实目标的边界框。

缺陷检测模型的损失函数为位置损失和置信度损失的加权和，其中权重系数α通过交叉验证设置为1：

其中，N为先验框的正样本数量，c为类别置信度预测值，l为先验框的所对应边界框的位置预测值，g为真实目标(Ground Truth)的位置参数。

对于位置损失，采用Smooth L1Loss，定义如下：

对于置信度损失，采用Softmax Loss，定义如下：

模型训练时采用迁移学习，分两阶段训练，第一阶段的批次大小为16，采用0.001的学习率训练若干(例如100个)轮次，第二阶段的批次大小为8，采用0.0001的学习率训练若干(例如400个)轮次，并且在第二阶段训练时采用学习率下降策略和提前终止训练策略。

其中，学习率下降策略是网络模型经过一定轮次的训练后，网络的损失函数不再发生变化，就降低学习率，以获得更好的训练效果。提前终止训练策略是当经过一定轮次的训练后，网络的损失函数不再发生变化，认为此时网络已经收敛，提前终止训练。

在本发明的实施例中，学习率下降策略的耐心值设定为3，动量参数为0.1，提前终止训练策略的耐心值设定为10。表示当经过3个轮次的训练，模型损失函数不下降，学习率就降为之前的十分之一。当经过10个轮次的训练，模型损失函数不下降，认为此时模型已经达到收敛状态，提前终止训练。

在缺陷检测模型训练时，本发明的实施例例如可采用标签平滑技术(LabelSmoothing)，对分类准确的类别增加一点惩罚，稍微降低模型对这些类别的分类精度，借此防止网络模型出现过拟合现象。

再有可选的，在对上述缺陷检测模型训练时例如采用Mosaic在线数据增强的方法扩充训练数据，参见图4所示，例如每次随机读取四张图像，分别对四张图像进行翻转、缩放、色域变化等操作，并且按照四个方向位置摆好，进行图像的组合和框的组合，通过此种方法提高训练数据量，保证模型训练效果。

步骤S140，将待检测的卫浴陶瓷表面缺陷图像输入至步骤S130训练得到的所述缺陷检测模型中，输出所述待检测的卫浴陶瓷表面缺陷图像的缺陷类别和缺陷位置。

在本实施例中，在得到通过上述过程训练完备后的缺陷检测模型后，可以进行缺陷检测任务。具体的，向缺陷检测模型中输入待检测的缺陷检测模型，经过模型中的ResNet-50网络提取出6个不同尺寸的特征图，然后根据特征图中的信息进行结果预测。

其中，在结果预测过程中，对于每个预测框，首先，根据类别置信度的确定其类别与置信度值，并过滤掉属于背景的预测框；然后，根据置信度阈值过滤掉阈值较低的预测框，对于留下的预测框进行解码，根据先验框得到其真实的位置参数，一般需要根据置信度进行降序排列，然后仅保留例如top-400的预测框。

在得到预测框之后，进行非极大值抑制算法，过滤掉其中重叠度较大的预测框，最终剩余的预测框就是检测结果，参见图5所示，为裂纹缺陷检测结果的示意图。

参见图6所示，基于相同的发明构思，本发明的实施例提出一种卫浴陶瓷表面缺陷检测系统200，需要说明的是，所属领域的技术人员可以清楚地了解，为描述的方便和简洁，所述系统的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所述检测系统200具体包括：

数据采集模块210，用于采集卫浴陶瓷表面缺陷图像，并对所述表面缺陷图像中的缺陷类型和缺陷位置进行标注，获得卫浴陶瓷表面缺陷的训练数据集；

模型构建模块220，用于以SSD网络模型为基准构建缺陷检测模型；

模型训练模块230，用于利用所述卫浴陶表面瓷缺陷的训练数据集对所述缺陷检测模型进行训练；

缺陷检测模块240，用于将待检测的卫浴陶瓷表面缺陷图像输入至模型训练模块230训练得到的所述缺陷检测模型中，输出所述待检测的卫浴陶瓷表面缺陷图像的缺陷类别和缺陷位置。

在本发明的一实施方式中，所述以SSD网络模型为基准构建的所述缺陷检测模型中的骨干网络替换为包含跳连结构的ResNet-50网络。

在本发明的一实施方式中，所述ResNet-50网络结尾的平均池化层和全连接层改为卷积层，并移除Dropout层，及增加若干个残差卷积模块。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。