一种铝型材瑕疵检测方法

技术领域

本发明涉及图像检测技术领域，具体涉及一种铝型材瑕疵检测方法。

背景技术

在非标设计中，经常用到铝型材，工业铝型材表面经过氧化后，外观非常漂亮，组装成产品时，采用专用铝型材配件，不需要焊接，较环保，而且安装、拆卸、携带、搬移极为方便。

铝型材的生产需要进行产品合格检测，例如针对物体表面瑕疵，传统的检测方式采用人工检测，不仅费时费力，还由于铝型材纹路与瑕疵之间区分度微小、人工检测易疲劳等因素，造成漏检率高、检出率低。随着深度学习、机器视觉技术的发展，针对物体表面瑕疵的研究也出现了新的方向，但由于铝型材表面瑕疵种类较多、纹理较为复杂且细小、瑕疵大小差异较大，使得现有疵点检测算法无法在这种特定材料上得到较好的泛化，尤其是对于不同种类的瑕疵的泛化效果较差。

发明内容

有鉴于此，本发明实施例提供了一种铝型材瑕疵检测方法，以解决现有疵点检测方法无法在铝型材上得到较好的泛化，尤其是对于不同种类的瑕疵的泛化效果较差的问题。

本发明实施例提供了一种铝型材瑕疵检测方法，包括：

采用铝型材表面瑕疵检测模型对铝型材表面进行检测；

若检测出瑕疵，则对瑕疵进行类别判断和回归定位；

其中，铝型材表面瑕疵检测模型以Resnet-101为主干网络；铝型材表面瑕疵检测模型采用特征金字塔网络和形变卷积算法，用于对铝型材表面的不规则瑕疵进行针对性检测；铝型材表面瑕疵检测模型采用ROI Align提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位。

可选地，铝型材表面瑕疵检测模型采用ROI Align提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位，包括：

用双线性内插法计算浮点坐标的像素值；

ROI Align提取特征图算法的反向传播计算公式如下：

其中，x

可选地，形变卷积算法为特征金字塔网络的最后一个卷积核。

可选地，特征金字塔网络通过对原始采样点增加偏置量ΔP

可选地，在形变卷积算法中，每一个位置的可形变卷积计算公式如下：

其中，P

对输出的像素增加一个偏置量ΔP

通过全连接层将可偏置矩阵进行相加，得到形变卷积池化模型：

其中，P

可选地，特征金字塔网络还包括噪声过滤算法：将瑕疵样本特征图与正常样本特征图进行叠加，将叠加后的特征图乘以预设的卷积核得到经过过滤后输出的特征图：

其中，M

可选地，改进候选框生成网络损失函数采用两阶段损失函数，计算公式如下：

其中，

t为初始感兴趣区域；a

可选地，铝型材表面瑕疵检测模型通过以下多阶段训练方式进行训练：

阶段1，使用瑕疵样本进行训练，得到初始模型；

阶段2，使用初始模型对无瑕疵样本进行检验，得到预测无瑕疵样本组和预测有瑕疵样本组；将预测无瑕疵样本组作为预测有瑕疵样本组的对抗样本；

阶段3，将对抗样本与瑕疵样本相结合，对初始模型进行次轮训练。

可选地，多阶段训练方式还包括：在逻辑回归模型的基础上联立中心损失函数；中心损失函数为：

L＝L

其中，z

本发明实施例提供了一种铝型材瑕疵检测方法具有以下优点：

1.本发明实施例提供的铝型材瑕疵检测方法一方面通过形变卷积算法改进特征金字塔网络模型，使检测模型对于不规则瑕疵特征具有更强匹配能力；另一方面通过ROIAlign提取特征图算法及改进候选框生成网络损失函数，使检测模型对微小瑕疵的回归定位更为精确。

2.在本发明实施例提供的铝型材瑕疵检测方法中，检测模型还设置了一种噪声过滤特征金字塔，在增强整体特征语义表达、增强小目标特征映射分辨率的同时，对特征图中的噪声特征进行卷积过滤。同时采用改进RPN损失函数，提升了Region Proposal Net生成候选区域的准确率。

3.本发明实施例提供的铝型材瑕疵检测方法，采用多阶段训练的方式对数据集添加对抗样本，采用Center Loss与Softmax加权联立对损失函数进行优化，通过对不同类别瑕疵样本产生的损失进行动态加权，增强了模型在样本不均衡条件下的泛化能力。最后通过对比实验验证了本文模型的有效性，整体检测精度达到97.50％，mAP值达到84.16％，较当前主流物体目标检测模型具有更高的精度。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1示出了一种铝型材瑕疵检测方法的流程图；

图2示出了改进后的Faster RCNN整体框架；

图3示出了针对铝型材表面不规则瑕疵使用形变卷积后特征匹配效果；

图4示出了M-FPN的工作流程图；

图5示出了检测模型的多阶段训练步骤；

图6示出了训练过程Accuracy及LOSS曲线变化图；

图7示出了一组模型检测效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例提供了一种铝型材瑕疵检测方法，如图1所示，包括：

步骤1，采用铝型材表面瑕疵检测模型对铝型材表面进行检测。

步骤2，若检测出瑕疵，则对瑕疵进行类别判断和回归定位。

其中，铝型材表面瑕疵检测模型以Resnet-101为主干网络；铝型材表面瑕疵检测模型采用特征金字塔网络和形变卷积算法，用于对铝型材表面的不规则瑕疵进行针对性检测；铝型材表面瑕疵检测模型采用感兴趣区域层叠(ROI Align)提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位。

在本实施例中，铝型材表面瑕疵检测模型采用Resnet-101残差网络作为特征提取的主干网络，引入特征金字塔网络(Feature Pyramid Networks，FPN)及形变卷积(Deformable Convolutional Networks，DCN)算法，在网络中添加FPN以增强整体特征语义表达，同时增强小目标特征映射分辨率；采用DCN网络使模型对于不同形态的瑕疵能够更好地学习特征提取位置，使得卷积区域尽可能集中在瑕疵部位；对于微小瑕疵，使用ROIAlign对原始的ROI Pooling进行替换，以获取更为精准的Bounding Box，提高相应的检测性能，提高了对于微小瑕疵的定位精度。

针对目前工业现场铝型材表面瑕疵检测的准确率和实时性问题，本实施例通过形变卷积算法改进特征金字塔网络模型，使检测模型对于不规则瑕疵特征具有更强匹配能力；另一方面通过ROI Align提取特征图算法及改进候选框生成网络损失函数，使检测模型对微小瑕疵的回归定位更为精确。

作为可选的实施方式，铝型材表面瑕疵检测模型采用ROI Align提取特征图算法及改进候选框生成网络损失函数对微小瑕疵进行定位，包括：

用双线性内插法计算浮点坐标的像素值；

ROI Align提取特征图算法的反向传播计算公式如下：

其中，x

在本实施例中，检测模型采用ROI Align，取消了回归框的量化操作，通过双线性内插法求得浮点坐标的像素值，提高了微小目标回归框的精度。

作为可选的实施方式，形变卷积算法为特征金字塔网络的最后一个卷积核。

图2示出了改进后的Faster RCNN整体框架，在本实施例中，将Resnet-101原始网络中的ROI Pooling替换为ROI Align。ROI Pooling在特征候选框的映射中采用插入邻近像素值方法进行量化操作，对于微小尺寸框的回归中会产生信息丢失问题。ROI Align则取消了回归框的量化操作，通过双线性内插法求得浮点坐标的像素值，提高了微小目标回归框的精度。

作为可选的实施方式，特征金字塔网络通过对原始采样点增加偏置量ΔP

在本实施例中，通过对原始采样点设置偏置量ΔP

作为可选的实施方式，在形变卷积算法中，每一个位置的可形变卷积计算公式如下：

其中，P

对输出的像素增加一个偏置量ΔP

通过全连接层将可偏置矩阵进行相加，得到形变卷积池化模型：

其中，P

在本实施例中，卷积核的每一个位置P

作为可选的实施方式，特征金字塔网络还包括噪声过滤算法：将瑕疵样本特征图与正常样本特征图进行叠加，将叠加后的特征图乘以预设的卷积核得到经过过滤后输出的特征图：

其中，M

在本实施例中，通过FPN使得经过卷积及两倍上采样操作后的浅层结构与高层的语义信息相融合，为进一步过滤特征图中的部分噪声特征，在原有特征金字塔网络的基础上，提出一种噪声过滤特征金字塔M-FPN，图4示出了M-FPN的工作流程图，通过M-FPN，网络可对不同特征进行自适应加权求和，避免有效瑕疵语义信息损失。

作为可选的实施方式，改进候选框生成网络损失函数采用两阶段损失函数，计算公式如下：

其中，

t为初始感兴趣区域；a

由于训练样本中存在瑕疵类别样本量不均衡、尺寸差异大的问题，在本实施例中，采用一种两阶段损失函数(T-stage Loss)以提升Region Proposal Net生成候选区域的准确率。具体地，当交并比介于0.2-0.8之间时，样本类别标签

作为可选的实施方式，铝型材表面瑕疵检测模型通过以下多阶段训练方式进行训练：

阶段1，使用瑕疵样本进行训练，得到初始模型；

阶段2，使用初始模型对无瑕疵样本进行检验，得到预测无瑕疵样本组和预测有瑕疵样本组；将预测无瑕疵样本组作为预测有瑕疵样本组的对抗样本；

阶段3，将对抗样本与瑕疵样本相结合，对初始模型进行次轮训练。

作为可选的实施方式，多阶段训练方式还包括：在逻辑回归模型的基础上联立中心损失函数；中心损失函数为：

L＝L

其中，z

图5示出了检测模型的多阶段训练步骤。由于铝型材表面瑕疵大小不一、人工标注误差、图片背景干扰等原因导致模型训练易出现过拟合现象，因此本实施例通过多阶段的训练方式对模型进行训练，进一步提高模型检测精度。首先使用瑕疵样本进行训练，再使用训练后的模型对无瑕疵样本进行检验，使用预测为有瑕疵的数据生成对抗样本，最后将生成的对抗样本与原瑕疵样本相结合，对模型进行次轮训练。通过多阶段训练可降低模型的误判，使得模型具有更强的鲁棒性。

在多阶段训练的基础上，在原有的Softmax基础上联立Center Loss，在增大类间差异的同时，缩小同类别特征变化，能够进一步提升模型泛化性能。

针对目前工业现场铝型材表面瑕疵检测的准确率和实时性问题，本实施例提出一种铝型材表面瑕疵检测模型，通过改进原有卷积核计算模式，融合改进噪声过滤特征金字塔及可形变卷积以提升检测模型对多尺度及不规则瑕疵表征的学习能力；同时改用ROIAlign提取特征图及改进候选框生成网络损失函数以提高对微小瑕疵的定位能力；针对铝型材表面瑕疵多样性、类间相似问题，提出一种多阶段模型训练方法，并在原有Softmax损失函数基础上联立Center Loss优化损失函数，以提高模型的相似类别检测能力。

实施例2

本实施例中的检测模型训练所用环境配置为Intel i7-9700K处理器，64GB内存，两块NVIDIA GeForce RTX 2080Ti显卡，所用深度学习框架为Pytorch，取值为0.5，训练epochs为100，训练过程中的精度曲线(Accuracy)及损失曲线(LOSS)如图6所示。模型训练完毕后，在测试集上的部分检测效果如图7所示。

为检验本文改进模型对铝型材不同种类瑕疵的检测识别能力，首先实验选取脏点、凸粉、起坑等10类铝型材瑕疵进行验证，结果如表1所示。

表1不同瑕疵种类模型性能

对表中数据进行分析可以得出对于不同类别瑕疵检测具有较高精度，对于脏点、凸粉等微小瑕疵也有较高的检出率，平均分类精度达到97.50％，平均mAP为80.15。

其次使用YOLOv4、Mask RCNN、Cascade RCNN及本文所构建的瑕疵检测模型设计四组对比实验，对比各模型在本文所用数据集上的分类精度、mAP值、误检率及漏检率四项指标，实验结果如表2所示。

表2不同模型对比结果

由表2数据可知，本文所构建模型性能整体优于其他模型，精度较YOLOv4模型提升4.13％，mAP值较其他模型提升明显，漏检率降低4.63％，Cascade RCNN漏检率略低于本文模型，但准确率不及本文所构建模型，分析其原因，由于Cascade RCNN在对ROI框检测的过程中所采用的结构为级联结构，对阈值的提升是逐步进行的，故漏检率较低；

为验证本文模型改进方案的有效性，采用模块分离的方法对各阶段模型进行分离训练，得到相应模块添加后模型mAP值，其结果如表3所示。

表3改进Faster RCNN分模块对比结果

由表3中数据可得，本文各阶段改进模块较前阶段mAP值均有一定提升。在原网络架构上根据不同需求对特征提取方式、相应卷积核及ROI框提取替换优化后mAP值较基础模型提升7.24％，在此基础采用本文改进的两阶段候选框生成损失函数及噪声过滤特征金字塔对模型架构进行经一部优化后，mAP值较基础模型提升12.47％，模型效果得到显著提升，验证了本文改进方案的有效性。

对于实际工业生产场景中的铝型材瑕疵检测问题，本文提出一种改进FasterRCNN模型架构的铝型材瑕疵检测算法，使用DCN对原有模型中最后一个卷积核进行替换，使模型对于不规则瑕疵特征具有更强匹配能力；采用ROIAilgn替换原有模型的ROIPooling层对Bounding Box框进行优化，得到更为精确的瑕疵回归框。提出一种噪声过滤特征金字塔，在增强整体特征语义表达，增强小目标特征映射分辨率的同时对特征图中的噪声特征进行卷积过滤。同时采用改进RPN损失函数，提升了Region Proposal Net生成候选区域的准确率。

为增强模型泛化能力，采用多阶段训练的方式对数据集添加对抗样本，采用Center Loss与Softmax加权联立对损失函数进行优化，通过对不同类别瑕疵样本产生的损失进行动态加权，增强了模型在样本不均衡条件下的泛化能力。最后通过对比实验验证了本文模型的有效性，整体检测精度达到97.50％，mAP值达到84.16％，较当前主流物体目标检测模型具有更高的精度。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。