一种外包装缺陷检测方法

技术领域

本发明涉及计算机领域，具体涉及一种外包装缺陷检测方法。

背景技术

缺陷检测在纺织品、玻璃制品、钢材、道路交通、芯片等工业应用领域有非常大的需求，传统上一般使用人工和基于机器视觉的检测方法。但人工检测效率低、速度慢；而传统的机器视觉检测又需要依赖一些人为设计的特征，且鲁棒性差。近年来，随着计算机算力的提高以及深度神经网络的快速发展，使用深度学习方法，特别是使用目标检测方法进行缺陷检测逐渐成为研究热点之一，而目前的检测方法检测准确度仍然有待提高。

发明内容

为了克服上述现有技术中存在的缺陷，本发明的目的是提供一种外包装缺陷检测方法。

为了实现本发明的上述目的，本发明提供了一种外包装缺陷检测方法，包括以下步骤：

S1，获取外包装图片，作为数据集；

S2，对数据集进行数据预处理；

S3，通过聚类算法设置缺陷目标候选框尺寸；

S4，将预处理后的数据集输入Cascade R-CNN模型中进行特征提取、缺陷识别及框选；

具体为：

S4-1、将预处理后的数据集输入Cascade R-CNN模型中，对数据集进行感兴趣区域提取；

S4-2、对感兴趣区域特征图尺寸进行归一化处理；

S4-3、在Cascade R-CNN模型中采用预训练好的带可变形卷积v2的ResNet-50作为骨干网络，进行卷积，提取特征，其公式为：

S4-4、框选出缺陷并标注缺陷类别。

该外包装缺陷检测方法计算过程简单，能快速对缺陷进行定位以及识别，采用FPN特征提取方法，并将不同分辨率的特征合并，用合并的特征来增强FPN中的多级特征，使得识别更加准确。

该外包装缺陷检测方法的优选方案：所述步骤S2的具体步骤为：

S2-1，对数据集中的图片按设定尺寸进行裁剪；

S2-2，采用过采样方式对裁剪后的数据集进行数据扩充；

S2-3，选择M张背景类图片和训练集中的M张含缺陷目标的图片，将背景类图片和含缺陷目标的图片的像素相加后除以2，用处理后的图片替换之前的M张背景类图片并确定含缺陷目标的图片中缺陷目标候选框的位置，对缺陷样本进行扩充；

和/或，采用相似度匹配算法，将缺陷样本拼接于背景图片中，对缺陷样本进行扩充；

S2-4，对所有图片的色度、锐度、亮度进行等比例图片色彩调整。

这增加了缺陷样本的数量，避免缺陷样本被网络倾向性预测为背景，同时对图片色彩调整也提高了缺陷识别的准确率。

该外包装缺陷检测方法的优选方案：所述步骤S3的具体步骤为：

S3-1，随机选择一个样本作为初始的聚类中心；

S3-2，计算每个样本与当前所有聚类中心的最短距离D(X)，根据D(X)值的大小用轮盘法选出下一个聚类中心；

S3-3，重复S3-2，直到选出N组聚类中心，每组聚类中心中有α个簇，A≤α≤B,N、α、A和B均为正整数；

S3-4，分别对每组聚类中心进行试探性实验，在每次算出所有簇的聚类中心后，统计出每个簇中的图片数量，选数据分布最均匀的簇中心作为候选框的宽高比。

采用该方法对候选框的宽高比进行聚类可以有效改进候选框形状设置效果。

该外包装缺陷检测方法的优选方案：所述步骤S4-3中需对样本进行采样，采样时采用如下两种之一方法：

采用OHEM算法进行采样：

在OHEM算法寻找K个难分样本时，先从正样本中找出N个难分样本；如果正样本不够N则正样本全部采用，再从负样本中找出K-N个样本；

采用IoU对难分负样本进行均匀采样：

把难分负样本在IoU进行均匀采样，其公式如下：

该外包装缺陷检测方法的优选方案：所述步骤S4-3中特征提取采用如下步骤：

FPN提取特征：采用FPN特征提取方法；

缩放:将通过FPN提取的特征缩放到处于中间分辨率所在的特征层的尺寸；

合并：把所有缩放后的特征进行加权求平均，得到平衡语义特征；

精炼：使用non-local模块进行精炼，按照非局部均值的定义，其公式为：

增强：使用精炼后的平衡语义特征缩放到原FPN中特征的尺寸，增强最初的各层特征。

该方法能快速准确的对缺陷特征进行提取。

该外包装缺陷检测方法的优选方案：所述步骤S4-1中对数据集进行感兴趣区域提取时，引入交叉熵公式：

预测候选框中心位置：将真实值中心对应在特征图上的区域标为目标中心区域，作为正样本，其他区域按照离中心距离划为负样本或忽略，通过1×1卷积得到物体的对象性分数，即此区域含有目标中心可能性的分数，通过sigmoid得到概率，选择概率大于阈值的区域的小于1/2部分作为候选中心点区域，降低候选框的数量；

预测候选框形状：在给定的候选框中心直接使用IoU作为监督来学习w和h，采用Bound IoU Loss让网络自动优化使得IoU最大，通过以下公式进行形式变换：

w＝σ·s·e

特征自适应：将候选框的w和h经过一个1×1的卷积得到偏移量，根据这个偏移量设置一个3×3的可变形卷积修正特征图。

Guided Anchoring可以自适应候选框的宽高比，在多形状目标检测中比RPN预设候选框的方法有更好的效果。

该外包装缺陷检测方法的优选方案：所述步骤S4-2的具体步骤为：

在计算感兴趣区域原图坐标在特征图上的映射时，使用双线性插值法求得位置坐标，保留浮点数运算，在分割特征图上的感兴趣区域为单元格之后，再把每个单元格划分为N个小块，以每个小块的中心作为采样点，对采样点像素进行双线性插值得到该点像素，然后对每个单元格内的N个点进行最大池化，完成归一化处理，得到最终的感兴趣区域特征图。

该外包装缺陷检测方法的优选方案：所述步骤S4-4的具体步骤为：

在Cascade R-CNN网络中设置3级R-CNN，设置其IoU阈值分别为0.5、0.6、0.7，并进行随机采样，正负样本比例为1:3，在Faster R-CNN网络中设置单级R-CNN，其IoU阈值为0.6，并进行随机采样，正负样本比例为1:3，每个R-CNN中，设置两个全连接层用于分类和BBox回归。

该外包装缺陷检测方法的优选方案：在进行感兴趣区域提取时，采用软化非极大值抑制法，降低与当前得分最高的感兴趣区域IoU最高的区域的置信度，具体为：

若M是当前得分最高感兴趣区域，b

本发明的有益效果是：该外包装缺陷检测方法采用改进Cascade R-CNN网络结构的方式，在骨干网络引入可变形卷积v2来增加骨干网络的特征提取能力，且本发明解决了样本不均衡问题和目标重叠的问题，对感兴趣区域的提取准确度高，提高了缺陷检测效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是卷积神经网络特征的区域选择网络结构图；

图2是图1的中文翻译对照图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1和图2所示，本发明提供了一种外包装缺陷检测方法，包括以下步骤：

S1，获取外包装图片，作为数据集。

S2，对数据集进行数据预处理。

由于数据集中的图片中很有可能有比较大的空白区域或无用区域，并且这些区域并不能表征缺陷目标的位置信息，所以预处理的第一步S2-1就是对数据集中的图片按设定尺寸进行裁剪。

由于数据集的缺陷样本数量可能存在不均衡，因此需要进行预处理的第二步S2-2，采用过采样方式对裁剪后的数据集进行数据扩充。

预处理的第三步S2-3，选择M张背景类图片和训练集中的M张含缺陷目标的图片，将背景类图片和含缺陷目标的图片的像素相加后除以2，用处理后的图片替换之前的M张背景类图片并确定含缺陷目标的图片中缺陷目标候选框的位置，对缺陷样本进行扩充；

和/或，采用相似度匹配算法，将缺陷样本拼接于背景图片中，对缺陷样本进行扩充。

这里的训练集可以是从数据集中分离的一部分，也可以是系统本身自带有的训练集库。

S2-4，对所有图片的色度、锐度、亮度进行等比例图片色彩调整。

由于缺陷大多是十分细微的，可能仅占据了几十个像素点，若候选框选择过大，首先干扰了模型对于缺陷类型的判断，其次候选框框中的像素面积越大，那么预测的效率也会有所下降。因此需要一种预先去确定宽高比的预处理方法来目标候选框尺寸。

因此，步骤S3为通过聚类算法设置缺陷目标候选框尺寸。

所述步骤S3的具体步骤为：

S3-1，随机选择一个样本作为初始的聚类中心；

S3-2，计算每个样本与当前所有聚类中心的最短距离D(X)，根据D(X)值的大小用轮盘法选出下一个聚类中心；

S3-3，重复S3-2，直到选出N组聚类中心，每组聚类中心中有α个簇，A≤α≤B,N、α、A和B均为正整数；

S3-4，分别对每组聚类中心进行试探性实验，在每次算出所有簇的聚类中心后，统计出每个簇中的图片数量，选数据分布最均匀的簇中心作为候选框的宽高比，这样的候选框宽高比几乎能涵盖所有缺陷框范围的一系列宽高比。

具体的，本实施例中选了7组聚类中心，α的范围是3～9，不选9以上是因为k取太大会显著影响训练速度，并分别对不同α值进行实验，在每次算出所有簇的聚类中心后，统计出每个簇数据量。本实施例中的宽高比总共有6369个数据，其统计数据如下：

①α＝3时，每个簇分别有5234、408、727个数据。

②α＝4时，每个簇分别有4062、589、317、1401个数据。

③α＝5时，每个簇分别有505、3714、214、391、1545个数据。

④α＝6时，每个簇分别有257、3516、339、1648、151、458个数据。

⑤α＝7时，每个簇分别有215、3050、146、489、290、1833、346个数据。

⑥α＝8时，每个簇分别有304、1079、268、2065、206、393、1910、144个数据。

⑦α＝9时，每个簇分别有2075、375、120、1068、298、244、1901、98、190个数据。

可以看出，在α＝8和α＝9的时候，数据分布比较平均，且没有数据量特别大的簇，选取这样的簇中心作为候选框的宽高比，会有更好的适应性。所以本文最终选取α＝9时的9个簇的聚类中心作为候选框的宽高比，分别为：0.5、1、1.8、3、4.2、5.7、8.4、11.6、17.2。

S4，将预处理后的数据集输入Cascade R-CNN模型中进行特征提取、缺陷识别及框选。

具体为：

S4-1、将预处理后的数据集输入Cascade R-CNN模型中，对数据集进行感兴趣区域提取。

对数据集进行感兴趣区域提取时，引入交叉熵公式：

具体步骤为：预测候选框中心位置：将真实值中心对应在特征图上的区域标为目标中心区域，作为正样本，其他区域按照离中心距离划为负样本或忽略(在训练阶段输入的图像中，一幅图片有多个缺陷，对于某一缺陷，我们有它的中心点坐标x,y，如果此时将该缺陷判定为正样本，那么该x,y位置就作为正样本区域，而其他的非该缺陷的中心位置x1,y1、x2,y2、...就作为负样本，而图像中不是任何缺陷框中心的像素点，就忽略掉)，通过1×1卷积得到物体的对象性分数，即此区域含有目标中心可能性的分数，通过sigmoid得到概率，选择概率大于阈值的区域的小于1/2部分(即一小部分)作为候选中心点区域，降低候选框的数量。

数据集是一幅图片对应[(缺陷类别1,缺陷框中心x轴坐标，缺陷框中心y轴坐标,缺陷框宽度,缺陷框高度)，...，]，这里真实值中心相当于就是(缺陷框中心x轴坐标，缺陷框中心y轴坐标)。

预测候选框形状：在给定的候选框中心直接使用IoU作为监督来学习w和h，采用Bound IoU Loss让网络自动优化使得IoU最大，通过以下公式进行形式变换：

w＝σ·s·e

特征自适应：将候选框的w和h经过一个1×1的卷积得到偏移量，根据这个偏移量设置一个3×3的可变形卷积修正特征图。

在进行感兴趣区域提取时，采用软化非极大值抑制法，降低与当前得分最高的感兴趣区域IoU最高的区域的置信度，具体为：

若M是当前得分最高感兴趣区域，bi为待处理感兴趣区域，si为bi的得分，Nt为非极大值抑制阈值，通常设置成0.7，使用线性加权函数：

Guided Anchor ing的训练损失由四部分构成：

L＝λ

其中L

L

Guided Anchoring可以自适应候选框的宽高比，在多形状目标检测中比RPN预设候选框的方法有更好的效果。

S4-2、对感兴趣区域特征图尺寸进行归一化处理；

具体步骤为：

在计算感兴趣区域原图坐标在特征图上的映射时，使用双线性插值法求得位置坐标，保留浮点数运算，在分割特征图上的感兴趣区域为单元格之后，再把每个单元格划分为N个小块，以每个小块的中心作为采样点，对采样点像素进行双线性插值得到该点像素，然后对每个单元格内的N个点进行最大池化，完成归一化处理，得到最终的感兴趣区域特征图。

S4-3、在Cascade R-CNN模型中采用预训练好的带可变形卷积v2的ResNet-50作为骨干网络，进行卷积，提取特征，其公式为：

该步骤中需对样本进行采样，采样时采用如下两种之一方法：

采用OHEM算法进行采样：

在OHEM算法寻找K个难分样本时，先从正样本中找出N个难分样本；如果正样本不够N则正样本全部采用，再从负样本中找出K-N个样本；

采用IoU对难分负样本进行均匀采样：

把难分负样本在IoU进行均匀采样，其公式如下：

该步骤中特征提取采用如下步骤：

FPN提取特征：采用FPN特征提取方法；

缩放:将通过FPN提取的特征缩放到处于中间分辨率所在的特征层的尺寸；

合并：把所有缩放后的特征进行加权求平均，得到平衡语义特征；

精炼：使用non-local模块进行精炼，按照非局部均值的定义，其公式为：

增强：使用精炼后的平衡语义特征缩放到原FPN中特征的尺寸，增强最初的各层特征。

这里采用FPN特征提取方法，并将不同分辨率的特征合并，用合并的特征来增强FPN中的多级特征。

这里的特征提取还可采用如下方法：

用FPN特征提取方法提取特征后，将特征进行1×1卷积运算减少通道数，得到通道特征；再将通道特征进行1×n,n×1的卷积运算减少特征参数，得到精简特征；再将精简特征进行空洞卷积运算，扩大特征感受野，得到语义特征；然后再将语义特征通过拼接操作，得到与FPN特征提取方法提取到的特征相同维度的语义权重特征；将语义权重特征和FPN特征提取方法提取到的特征进行卷积运算，确保特征的判别性，得到语义聚集模块的上下分支权重特征；最后将上下分支权重特征以点积方式融合从而增加了FPN特征提取方法提取到的特征的语义信息，得到了最终的语义特征；将最终的语义特征与FPN特征提取方法提取的特征进行融合，完成特征提取。

S4-4、框选出缺陷并标注缺陷类别。

所述步骤S4-4的具体步骤为：

在Cascade R-CNN网络中设置3级R-CNN，设置其IoU阈值分别为0.5、0.6、0.7，并进行随机采样，正负样本比例为1:3，在Faster R-CNN网络中设置单级R-CNN，其IoU阈值为0.6，并进行随机采样，正负样本比例为1:3，每个R-CNN中，设置两个全连接层用于分类和BBox回归，这里分类就是预测出缺陷所属类别，Bounding-BOX回归相当于是调整框的位置，因为一开始根据Guided Anchoring所得到的候选框不一定恰好将缺陷框完整，因此此时需要利用Bounding-BOX回归将该候选框进行调整。

当所需要检测的对象为大面积区域时，将所采集的图像平均切割为多张子图像，再将这些子图像作为样本进行缺陷检测。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。