一种铝材表面缺陷检测装置与方法

技术领域

本发明涉及铝材表面缺陷检测技术领域，具体来说，涉及一种铝材表面缺陷检测装置与方法。

背景技术

在铝材的实际生产过程中，由于各方面因素的影响，铝材表面会产生脏点、不导电和漏底等缺陷，这些缺陷会严重影响铝材的质量。为保证产品质量，需要人工进行肉眼目测。然而，铝材的表面自身会含有纹路，与瑕疵的区分度不高，传统人工肉眼检查十分费力，不能及时准确的判断出表面缺陷，质检的效率难以把控。

随着深度学习的发展，特别是卷积神经网络在图像识别、图像检测和图像分割等方面的应用，所取得的效果是过往使用传统算法无法比拟的。图像检测处于图像识别和图像分割的衔接阶段，是一种能够检测出图像中特定类别的物体的位置并给出相应的类别置信度。基于深度学习的目标检测算法有二阶段检测算法和单阶段检测算法，二阶段检测算法速度虽较慢但具有更高的检测性能。

但是通用的目标检测算法对于铝材表面缺陷的检测性能并不近乎人意，主要原因是铝材缺陷图像数量较少，铝材表面缺陷大小变化大，形状并不固定等。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种铝材表面缺陷检测装置与方法，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

本发明一个方面：

一种铝材表面缺陷检测方法，包括以下步骤：

步骤S1，预先获取铝材表面图像信息；

步骤S2，搭建深度网络检测模型，其中包括用于共享提取特征的主干网络、用于聚焦铝材缺陷维度特征的挤压激活模块、用于金属区域分割的分割网络、用于多标签分类的分类网络和用于缺陷目标检测的检测网络，且所述铝材表面图像信息作为所述主干网络的特征输入信息，所述主干网络输出为若干不同尺度的特征张量，所述不同尺度的特征张量作为所述挤压激活模块的输入进行聚焦铝材缺陷维度特征并进行输出，将输出向量分别作为所述分割网络、所述分类网络和所述检测网络的输入；

步骤S3，将获取的多维度特征信息与铝材表面缺陷数据集进行对比获取铝材表面缺陷信息并作为识别信息。

其中，所述主干网络包括深度残差网络和特征金字塔网络，所述深度残差网络用于进行所述铝材表面图像信息特征提取，所述特征金字塔网络用于对所述深度残差网络进行拼接融合，获取多尺度的特征图。

其中，所述挤压激活模块，包括以下步骤：

步骤S201，预先基于特征张量的空间维度来进行特征压缩，包括将不同尺度的特征张量标定实数，并保持输出的维度和输入的通道数相匹配；

步骤S202，进行通过全连接层将特征维度降低到输入的标定维度，再经过ReLu激活后再升回到原来维度，并获得归一化权重；

步骤S203，进行基于ReLu激活输出的权重完成在通道维度上的对原始特征张量的重标定。

其中，所述分割网络，包括以下步骤：

步骤S204，输入聚焦铝材缺陷维度特征的特征图经连续上采样，得到尺寸与输入图像一致的多通道张量；

步骤S205，再采用Sigmoid函数进行激活，最后每个像素选取通道下标的最大值作为分类，获取包含前景和背景的分割图像。

其中，所述选取通道下标的最大值作为分类，包括将二分类交叉熵作为损失函数，表示为：

其中，

其中，所述分类网络，包括以下步骤：

步骤S206，预先基于聚焦铝材缺陷维度特征的特征图分别经自适应最大池化层和自适应平均池化层得到两个一维张量，其中，所述自适应最大池化层用于捕获特征图中的显著性缺陷区域，所述自适应平均池化层用于捕获特征图中的大面积缺陷区域；

步骤S207，再对两个张量进行拼接融合，经全连接层和Sigmoid激活函数得到每个类别的置信度，并获取分类结果。

其中，所述检测网络，包括以下步骤：

步骤S208，预先基于Faster RCNN网络，使用二阶检测框架对聚焦铝材缺陷维度特征的特征图进行检测，其中包括经区域推荐网络计算预设锚框的前景置信度；

步骤S209，通过非极大值抑制算法筛选获取锚框，将其对应的推荐区域特征图作为待检测对象；

步骤S210，获取推荐区域特征图中每个缺陷的类别和位置。

其中，还包括以下步骤：

标定Faster RCNN网络的损失函数，表示为：

L

其中，L

本发明一个方面：

一种铝材表面缺陷检测装置，用于铝材表面缺陷检测方法的检测装置，包括：图像传感模块，用于实时采集铝材表面图像信息；数据存储模块，用于存储铝材表面缺陷数据集；深度网络检测模型，用于对所述图像传感模块进行检测并基于所述数据存储模块获取多维度特征信息。

本发明的有益效果：

本发明铝材表面缺陷检测装置与方法，通过预先获取铝材表面图像信息，并搭建深度网络检测模型，将铝材表面图像信息作为主干网络的特征输入信息，主干网络输出为若干不同尺度的特征张量，不同尺度的特征张量作为挤压激活模块的输入进行聚焦铝材缺陷维度特征并进行输出，将输出向量分别作为分割网络、分类网络和检测网络的输入，在将获取的多维度特征信息与铝材表面缺陷数据集进行对比获取铝材表面缺陷信息，实现铝材表面缺陷检测，不仅基于少量数据更早的提高准确率并使模型收敛，而且铝材表面缺陷检测精度高以及稳定高效，提高了自动化程度，减轻了劳动强度，能更快速、准确的定位缺陷部位，易于维护。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种铝材表面缺陷检测方法的流程示意图；

图2是根据本发明实施例的一种铝材表面缺陷检测装置的原理框图。

图中：

1、图像传感模块；2、数据存储模块；3、深度网络检测模型。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种铝材表面缺陷检测方法。

如图1所示，根据本发明实施例的铝材表面缺陷检测方法，包括以下步骤：

步骤S1，预先获取铝材表面图像信息；

步骤S2，搭建深度网络检测模型，其中包括用于共享提取特征的主干网络、用于聚焦铝材缺陷维度特征的挤压激活模块、用于金属区域分割的分割网络、用于多标签分类的分类网络和用于缺陷目标检测的检测网络，且铝材表面图像信息作为主干网络的特征输入信息，主干网络输出为若干不同尺度的特征张量，不同尺度的特征张量作为挤压激活模块的输入进行聚焦铝材缺陷维度特征并进行输出，将输出向量分别作为分割网络、分类网络和检测网络的输入；

步骤S3，将获取的多维度特征信息与铝材表面缺陷数据集进行对比获取铝材表面缺陷信息并作为识别信息。

其中，主干网络包括深度残差网络和特征金字塔网络，深度残差网络用于进行铝材表面图像信息特征提取，特征金字塔网络用于对深度残差网络进行拼接融合，获取多尺度的特征图。

其中，挤压激活模块，包括以下步骤：

步骤S201，预先基于特征张量的空间维度来进行特征压缩，包括将不同尺度的特征张量标定实数，并保持输出的维度和输入的通道数相匹配；

步骤S202，进行通过全连接层将特征维度降低到输入的标定维度，再经过ReLu激活后再升回到原来维度，并获得归一化权重；

步骤S203，进行基于ReLu激活输出的权重完成在通道维度上的对原始特征张量的重标定。

其中，分割网络，包括以下步骤：

步骤S204，输入聚焦铝材缺陷维度特征的特征图经连续上采样，得到尺寸与输入图像一致的多通道张量；

步骤S205，再采用Sigmoid函数进行激活，最后每个像素选取通道下标的最大值作为分类，获取包含前景和背景的分割图像。

其中，选取通道下标的最大值作为分类，包括将二分类交叉熵作为损失函数，表示为：

其中，

其中，分类网络，包括以下步骤：

步骤S206，预先基于聚焦铝材缺陷维度特征的特征图分别经自适应最大池化层和自适应平均池化层得到两个一维张量，其中，自适应最大池化层用于捕获特征图中的显著性缺陷区域，自适应平均池化层用于捕获特征图中的大面积缺陷区域；

步骤S207，再对两个张量进行拼接融合，经全连接层和Sigmoid激活函数得到每个类别的置信度，并获取分类结果。

其中，检测网络，包括以下步骤：

步骤S208，预先基于Faster RCNN网络，使用二阶检测框架对聚焦铝材缺陷维度特征的特征图进行检测，其中包括经区域推荐网络计算预设锚框的前景置信度；

步骤S209，通过非极大值抑制算法筛选获取锚框，将其对应的推荐区域特征图作为待检测对象；

步骤S210，获取推荐区域特征图中每个缺陷的类别和位置。

其中，还包括以下步骤：

标定Faster RCNN网络的损失函数，表示为：

L

其中，L

另外，具体的，本技术方案中，其铝材表面图像信息作为主干网络的特征输入信息，主干网络输出为四个不同尺度的特征张量，即fpn1～fpn4，多尺度的特征张量作为挤压激活模块的输入特征并分别作为分割网络、分类网络和检测网络的输入。

此外，对于上述主干网络来说，其选用深度残差网络(ResNet50)作为检测网络的特征提取部分。

具体的，其深度残差网络(ResNet50)共包含五个卷积阶段，即conv0～conv4，每个卷积阶段的输出作为特征图，每个阶段的特征图经下采样缩小为输入图像尺寸的1/2，以增大卷积核覆盖的特征图感受野，对图像进行更大范围的特征提取。

此外，考虑到铝材图像的纹理信息在特征图下采样过程中易丢失，具体的，还包括采用特征金字塔网络(FPN)对特征提取网络进行改进，将最高特征层(conv4)的特征图进行8倍，4倍，2倍和1倍的上采样，并分别与conv1～conv4进行拼接融合，得到多个尺度的特征图，分别记为fpn1，fpn2，fpn3和fpn4，每个尺度下的特征图既能保留卷积得到的底层特征，又能融合顶层特征，能够有效避免由下采样引起的信息丢失问题。

另外，对于上述分割网络来说，其主要由输入、上采样和像素分类三部分构成。输入选择从特征提取网络得到的特征图fpn3，经连续多次上采样，每次上采样包含步长为2的反卷积、ReLU激活函数和批归一化处理，得到尺寸与输入图像一致，通道数为256的多通道张量。再进行1×1卷积，将输出通道数设为2并采用Sigmoid函数进行激活，最后每个像素选取通道下标的最大值作为分类，得到一幅包含前景和背景的分割图像。

此外，本技术方案中，分类网络将主干网络提取的特征向量进行分类，判断图像中包含哪些种类的缺陷。该网络能够训练主干网络对铝材图像全局特征的感知，这些特征向量中既包含铝材前景和背景信息，又包含缺陷特征信息，从而有助于提升特征提取网络在分割任务和检测任务中的效果。采用多标签分类网络的输入选取特征提取网络得到的特征图fpn4，分别经自适应最大池化层和自适应平均池化层得到两个一维张量。其中，自适应最大池化层用于捕获特征图中的显著性缺陷区域，自适应平均池化层用于捕获特征图中的大面积缺陷区域。再对两个张量进行拼接融合，经全连接层和Sigmoid激活函数得到每个类别的置信度，选取置信度大于0.5的类别作为分类结果。

多标签分类网络在训练过程中，计算每个样本在各个标签的损失，从而将多标签的损失计算转换成了每个标签二分类问题的损失计算，所以同样使用二分类交叉熵作为损失函数，公式为

其中，

此外，检测网络将主干网络提取的特征层进行目标检测，得到图像中缺陷的位置和分类。该网络能够训练主干网络对铝材图像局部特征的感知，从而在多标签分类任务训练过程中，提供包含局部缺陷特征的梯度信息，有助于提升分类效果。

缺陷目标检测网络基于Faster RCNN，使用二阶(two-stage)检测框架对融合多尺度特征进行检测，采用特征提取网络得到的特征图fpn1～fpn4作为输入特征，经区域推荐网络(RPN)计算预设锚框(anchor box)的前景置信度，通过非极大值抑制(NMS)算法筛选得到一定数目的锚框，将其对应的推荐区域特征图作为待检测对象。由于锚框的尺度存在差异，因此所有推荐区域特征图需经过感兴趣区域(ROI)池化层池化为统一维度的张量。对每个推荐区域特征图进行目标位置的回归预测和目标分类的概率预测，最终得到图像中每个缺陷的类别和位置。

此外，对于上述挤压激活模块来说，聚焦铝材缺陷维度特征，提升网络的检测精度，具体的，将挤压激活模块接入不同尺度的特征张量，增强特征张量之间的相关性，在对特征张量挤压时，先将其通道数降低至5，再通过卷积操作恢复至65，后接sigmoid激活函数，得到特征图的分配权值，对其进行特征图的重新标定。

根据本发明的实施例，提供了一种铝材表面缺陷检测装置。

如图2所示，根据本发明实施例的铝材表面缺陷检测装置，用于铝材表面缺陷检测方法的检测装置，包括：图像传感模块1，用于实时采集铝材表面图像信息；数据存储模块2，用于存储铝材表面缺陷数据集；深度网络检测模型3，用于对图像传感模块1进行检测并基于数据存储模块2获取多维度特征信息。

综上，借助于本发明的上述技术方案，通过预先获取铝材表面图像信息，并搭建深度网络检测模型，将铝材表面图像信息作为主干网络的特征输入信息，主干网络输出为若干不同尺度的特征张量，不同尺度的特征张量作为挤压激活模块的输入进行聚焦铝材缺陷维度特征并进行输出，将输出向量分别作为分割网络、分类网络和检测网络的输入，在将获取的多维度特征信息与铝材表面缺陷数据集进行对比获取铝材表面缺陷信息，实现铝材表面缺陷检测，不仅基于少量数据更早的提高准确率并使模型收敛，而且铝材表面缺陷检测精度高以及稳定高效，提高了自动化程度，减轻了劳动强度，能更快速、准确的定位缺陷部位，易于维护。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。