一种钢板表面缺陷检测系统

技术领域

本发明涉及钢板缺陷检测的技术领域，尤其是指一种钢板表面缺陷检测系统。

背景技术

钢板在各种场合中具有极其广泛的用途，如汽车、电器、机械等。表面质量是钢板产品质量中十分重要的部分，假如不能对钢板的表面质量引起足够的重视、不能很好地提升表面质量，钢板生产企业可能面临退货甚至倒闭的风险。

在生产钢板的过程中，由于各种原因，会有许多种表面缺陷产生，如裂纹、夹杂、斑块、麻点、压入氧化皮、划伤等。而表面缺陷对钢板的质量是有很大影响的，而且也使得外观变差，同时使得钢板的机械性能和抗腐蚀的能力变差，因此需要减少表面缺陷、提高产品质量。

传统的钢板表面检测技术主要有基于图像特征统计的检测技术、基于频谱变换的检测技术、基于马尔科夫随机场等模型的检测技术、基于机器学习的检测技术，适应性和精确率较低。

发明内容

本发明的目的在于克服传统检测技术的缺点与不足，提出了一种钢板表面缺陷检测系统，能够自动有效地提取钢板表面缺陷图片的特征，通过检测损失调整系统的权重参数，达到较高的检测精度。

为实现上述目的，本发明所提供的技术方案为：一种钢板表面缺陷检测系统，包括：

数据处理模块，用于对钢板表面缺陷图片划分训练集和测试集，并对训练集做数据增强；

特征提取模块，用于提取钢板表面缺陷图片的特征，得到各层特征图C2、C3、C4、C5；

特征金字塔模块，用于融合各层特征图C2、C3、C4、C5，得到增强后的各层特征图P2、P3、P4、P5；

区域建议模块，用于设定不同比例和大小的anchors，对特征图P2、P3、P4、P5进行建议框的提取；

池化检测模块，用于池化建议框对应的特征图，经过全连接层得到检测结果和损失。

进一步，所述数据处理模块，用于对钢板表面缺陷图片划分训练集和测试集，并对训练集做数据增强，包含以下操作：

获取钢板表面缺陷图片，含有开裂、内含物、斑块、点蚀表面、轧制氧化皮或划痕缺陷；

取70％-80％的钢板表面缺陷图片作为训练集，余下的作为测试集，对训练集进行裁剪的数据增强操作。

进一步，所述特征提取模块，用于提取钢板表面缺陷图片的特征，得到各层特征图C2、C3、C4、C5，包含以下操作：

定义一个瓶颈层bottleneck，其中一条支路依次通过卷积核大小为1x1的组卷积层、正则化BN层、卷积核大小为3x3的组卷积层、正则化BN层、卷积核大小为1x1的卷积层、正则化BN层、relu激活函数，另一条支路是恒等映射，两条支路的输出相加得到bottleneck的输出；

把训练集中的钢板表面缺陷图片归一化输入regnet骨干网络，依次经过卷积核大小为3x3、步长为2、填充为1、输出通道为48的卷积层，正则化BN层，激活函数relu，经过2个输出通道为96的bottleneck得到特征图C2，经过6个输出通道为192的bottleneck得到特征图C3，经过15个输出通道为432的bottleneck得到特征图C4，经过2个输出通道为1008的bottleneck得到特征图C5。

进一步，所述特征金字塔模块，用于融合各层特征图C2、C3、C4、C5，得到增强后的各层特征图P2、P3、P4、P5，包含以下操作：

C5经过卷积核大小为1x1、输出通道为256的卷积层得到特征图M5，再经过卷积核大小为3x3的卷积层输出为特征图P5；

C4经过卷积核大小为1x1、输出通道为256的卷积层，与M5经过采样倍率为2的上采样得到的特征图相加得到特征图M4，再经过卷积核大小为3x3的卷积层输出为特征图P4；

C3经过卷积核大小为1x1、输出通道为256的卷积层，与M4经过采样倍率为2的上采样得到的特征图相加得到特征图M3，再经过卷积核大小为3x3的卷积层输出为特征图P3；

C2经过卷积核大小为1x1、输出通道为256的卷积层输出通道为256，与M3经过采样倍率为2的上采样得到的特征图相加得到特征图M2，再经过卷积核大小为3x3的卷积层输出为特征图P2。

进一步，所述区域建议模块，用于设定不同比例和大小的anchors，对特征图P2、P3、P4、P5进行建议框的提取，包含以下操作：

根据钢板表面缺陷图片的尺寸和特征图的大小生成不同尺寸和比例的anchors；

通过卷积网络对特征图进行预测，由预测的偏移量与anchors解码生成缺陷的建议框；

按预测的置信度排序，使用NMS非极大值抑制方法来过滤建议框；

由anchors和钢板表面缺陷图片的标签编码得到真实的缺陷偏移量，与预测的偏移量比较，计算损失，其损失函数定义为：

函数优化目标为：

式中，N是缺陷个数，是第i个真实的缺陷偏移量，i的取值范围是0～N，W

进一步，所述池化检测模块，用于池化建议框对应的特征图，经过全连接层得到检测结果和损失，包含以下操作：

对建议框对应的特征图，进行池化对齐，得到尺寸统一的RoI；

RoI经过全连接层，得到检测结果，即训练集的钢板表面缺陷图片的缺陷位置和类别；

根据训练集的钢板表面缺陷图片的标签，与检测结果比较，计算得到损失，其损失函数定义为：

式中，

用随机梯度下降法SGD对系统的权重参数进行调整，迭代达到设定次数，得到权重文件；

把权重文件加载到系统中，对测试集的钢板表面缺陷图片进行检测，得到测试集的检测结果。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明使用含有regnet骨干网络的特征提取模块提取钢板表面缺陷图片特征，克服传统检测技术提取特征的程序繁杂的缺点。

2、本发明的数据处理模块对钢板表面缺陷图片的训练集进行了裁剪填充的数据增强操作，扩充了样本量，有利于系统的权重参数的调整。

3、本发明的特征提取模块通过regnet骨干网络提取特征，其恒等映射部分能够减少信息流失，提高模型的泛化性；其中使用到的组卷积可以降低系统的计算量，提高模型精度。

4、本发明的特征金字塔模块对各个特征图进行从上到下与从下到上的融合，达到高效提取钢板表面缺陷图片中各维度特征的目的。

5、本发明通过区域建议模块，在各个特征图上用滑动窗口的方式执行卷积操作，提取不同比例的anchors，按照尺寸和比例映射回原图，生成建议框，得到缺陷位置的预测信息，有利于为后面的检测回归提高精度。

6、本发明系统在钢板表面缺陷检测中具有广泛的使用空间。

附图说明

图1为本发明系统架构图。

图2为本发明使用的特征提取模块、特征金字塔模块、区域建议模块和池化检测模块的结构图。图中images表示输入的钢板表面缺陷图片，conv3x3表示卷积核大小为3x3的卷积层，BN表示正则化层，relu表示激活函数，C2、C3、C4、C5表示特征提取模块输出的特征图，conv1x1表示卷积核大小为1x1的卷积层，M5表示C5经过conv1x1之后的特征图，2x表示采样倍率为2的上采样，M4表示M5经过2x与C4经过conv1x1之后相加得到的特征图，M3表示M4经过2x与C3经过conv1x1之后相加得到的特征图，M2表示M3经过2x与C2经过conv1x1之后相加得到的特征图，2x表示采样倍率为2的上采样，P2、P3、P4、P5表示特征金字塔模块输出的特征图，RPN表示区域建议模块，RoI align表示池化综合，fc6、fc7表示全连接层，linear表示线性层，cls_score表示分类置信度，bbox_pred表示缺陷框回归预测结果。

图3为本发明实施示例loss曲线图，横轴为迭代步数，竖轴为检测损失。

图4为钢板表面缺陷图片检测结果图，图中1代表开裂，2代表内含物，3代表斑块，4代表点蚀表面，5代表轧制氧化皮，6代表划痕，黑框为预测缺陷框，文字标注为类别代号、置信度。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

本文采用东北大学发布的热轧带钢表面缺陷数据库，包括内含物、划痕、轧制氧化皮、开裂、点蚀表面和斑块6种缺陷，每类缺陷图片300张，一共1800张钢板表面缺陷图片，图片的尺寸为200px*200px。

在评估系统对钢板表面缺陷图片的检测效果上，使用mAP(mean AveragePrecision)评价指标，即不同类别的平均精度AP(Average Precision)的均值，其中平均精度AP是精度-召回率曲线下的面积。本文在交并比IoU(Interection over Union)为0.5的阈值下，用平均精度均值mAP来衡量缺陷检测的模型性能，其中交并比IoU是指预测框和真实框的交叉面积与合并面积之比。

如图1至图4所示，本实施例所提供的钢板表面缺陷检测系统，由数据处理模块、特征提取模块、特征金字塔模块、区域建议模块、池化检测模块组成。该系统各模块的作用如下：

所述数据处理模块，用于对钢板表面缺陷图片划分训练集和测试集，并对训练集做数据增强，包含以下操作：

获取钢板表面缺陷图片，含有开裂、内含物、斑块、点蚀表面、轧制氧化皮或划痕等缺陷；

取80％的钢板表面缺陷图片，即1440张作为训练集，余下的360张作为测试集，对训练集进行裁剪的数据增强操作，得到新的1440张钢板表面缺陷图片，因此训练集的图片共为2880张。

所述特征提取模块，用于提取钢板表面缺陷图片的特征，得到各层特征图C2、C3、C4、C5，包含以下操作：

定义一个瓶颈层bottleneck，其中一条支路依次通过卷积核大小为1x1的组卷积层、正则化BN层、卷积核大小为3x3的组卷积层、正则化BN层、卷积核大小为1x1的卷积层、正则化BN层、relu激活函数，另一条支路是恒等映射，两条支路的输出相加得到bottleneck的输出；

把训练集中的2880张200px*200px的钢板表面缺陷图片归一化输入regnet骨干网络，依次经过卷积核大小为3x3、步长为2、填充为1、输出通道为48的卷积层，正则化BN层，激活函数relu，经过2个输出通道为96的bottleneck得到特征图C2，经过6个输出通道为192的bottleneck得到特征图C3，经过15个输出通道为432的bottleneck得到特征图C4，经过2个输出通道为1008的bottleneck得到特征图C5。

所述特征金字塔模块，用于融合各层特征图C2、C3、C4、C5，得到增强后的各层特征图P2、P3、P4、P5，包含以下操作：

C5经过卷积核大小为1x1、输出通道为256的卷积层得到特征图M5，再经过卷积核大小为3x3的卷积层输出为特征图P5；

C4经过卷积核大小为1x1、输出通道为256的卷积层，与M5经过采样倍率为2的上采样得到的特征图相加得到特征图M4，再经过卷积核大小为3x3的卷积层输出为特征图P4；

C3经过卷积核大小为1x1、输出通道为256的卷积层，与M4经过采样倍率为2的上采样得到的特征图相加得到特征图M3，再经过卷积核大小为3x3的卷积层输出为特征图P3；

C2经过卷积核大小为1x1、输出通道为256的卷积层输出通道为256，与M3经过采样倍率为2的上采样得到的特征图相加得到特征图M2，再经过卷积核大小为3x3的卷积层输出为特征图P2。

所述区域建议模块，用于设定不同比例和大小的anchors，对特征图P2、P3、P4、P5进行建议框的提取，包含以下操作：

根据钢板表面缺陷图片的尺寸和特征图的大小生成不同尺寸和比例的anchors；

通过卷积网络对特征图进行预测，由预测的偏移量与anchors解码生成缺陷的建议框；

按预测的置信度排序，使用NMS非极大值抑制方法，来过滤建议框；

由anchors和钢板表面缺陷图片的标签编码得到真实的缺陷偏移量，与预测的偏移量比较，计算损失，，其损失函数定义为：

函数优化目标为：

式中，N是缺陷个数，是第i个真实的缺陷偏移量，i的取值范围是0～N，W

所述池化检测模块，用于池化建议框对应的特征图，经过全连接层得到检测结果和损失，包含以下操作：

对建议框对应的特征图，进行池化对齐，得到尺寸统一为7x7的RoI；

RoI经过全连接层，得到24通道和6通道的输出，即训练集的钢板表面缺陷图片的缺陷位置和类别；

根据训练集的钢板表面缺陷图片的标签，与检测结果比较，计算得到损失，其损失函数定义为：

式中，

用随机梯度下降法SGD对系统的权重参数进行调整，设置学习率为0.0025，动量为0.9，权重衰减率为0.00005，权重参数调整过程中的loss曲线如图3所示，迭代达到设定次数12，得到权重文件；

把权重文件加载到系统中，对测试集的钢板表面缺陷图片进行检测，得到测试集的检测结果，如图4所示。

综上所述，在采用以上方案后，本发明为钢板表面缺陷检测提供了新的系统，将含有regnet骨干网络的特征提取模块和特征金字塔模块结合作为特征提取的一种有效手段，能够有效缓解特征信息流失的问题，降低系统的计算量，提高检测精确率，有效推动钢板表面缺陷检测技术的发展，具有实际推广价值。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。