一种基于机器视觉的布匹瑕疵实时检测方法

技术领域

本发明涉及纺织业质量控制领域，是一种基于机器视觉对多种布匹瑕疵进行检测的方法。

背景技术

布匹瑕疵检测是人工智能领域的一个重要研究方向，它可以应用于鉴别织物质量，减少人力成本，提高验布效率。

近年人工智能发展快速，基于深度学习的算法在目标定位与分类识别方面表现出巨大的优势，可以快速而有效地提取和分析图像中复杂深层次地特征，对于图像目标检测、定位、分类具有很好的效果。在实时目标检测领域，精度和速度是最重要的两个指标。但是在现有技术中，智能检测方法不仅前期处理复杂，精度和速度方面也达不到实际需求。

公开号为CN115239615A的中国专利文献公开了一种基于CTPN的布匹缺陷检测方法；将原始的VGG16更换为Molilenetv2的网络作为特征提取器，利用双向LSTM对时序特征进行检测，该方法增加了模型的鲁棒性，大大提升了布匹缺陷定位的准确率，但速度不够快。

公开号为CN115393265A的中国专利文献公开了一种基于视觉域自适应学习的跨布匹瑕疵精准检测方法；该方法集成的前景目标对齐模块和全局特征对齐模块，实现了对布匹瑕疵检测任务领域偏差的有效修正，大大提升了模型的泛化性，使得瑕疵检测模型在新的布匹类别上拥有更高的检测精准度，但速度太慢。

公开号为CN115205274A的中国专利文献公开了一种基于轻量化级联网络的布匹瑕疵检测方法；该方法构造了一个适用于布匹缺陷检测的YOLOv5s-GSBiFPN轻量化检测模型。在主干网络特征提取阶段，设计了全新的双路注意力CSPGhostSE结构，并通过堆叠多层CSPGhostSE结构提取深层特征。在特征融合阶段使用了三层堆叠的加权双向金字塔BiFPN结构，充分融合多尺度特征。其次针对检测缺陷特征不明显样本易出现误检的问题，提出了检测+分类的级联网络架构，对预测框进一步进行是否为瑕疵的二分类判断过滤误检。本发明设计的轻量化级联检测模型显著提升了小目标和困难样本检出能力，误检较少且模型较小，易于实现低性能设备端部署，但精度方面还有很大的提升空间。

上述技术方案虽然在瑕疵检测的某一方面有很大的性能提升，或速度，或精度，但都牺牲了其它方面性能为代价，无法使速度和精度同时达到更高的水平。本发明专利同时兼顾检测速度和精度，更加符合现代工厂对验布速度和精度的要求。

发明内容

本发明通过以下技术方案来实现：

一种基于机器视觉的布匹瑕疵实时检测方法，包括以下内容：

第一步：通过高清摄像头获取带有瑕疵的布匹图像，瑕疵包括破洞、污渍、毛疵。所述带有瑕疵的布匹图像包括：训练图像和测试图像。

第二步：使用Gan网络对训练图像进行数据倍增；使用Mosaic-4数据增强手段对所述训练图像进行数据增强，得到增强后的训练图像。

第三步：准备YOLO格式的数据集。即通过ImageLabel软件对瑕疵进行框选和分类。

第四步：基于YOLOv7进行网络模型的构建与改进：

(1)将骨干网络的CBS结构全部替换为深度可分离卷积网络和注意力机制模块。通过深度可分离卷积网络达到大幅度减少参数量，提高效率的效果。通过所述注意力机制模块，得到每个特征通道的重要程度，基于所述重要程度，得到布匹瑕疵的局部信息。

(2)将原YOLOv7网络中的20*20尺寸特征图检测层删除。

(3)将采样倍数增加至YOLOv7网络的FPN结构中，对带疵点图像的小尺寸目标进行识别，得到新尺寸160*160的特征图，其中所述新尺寸特征图为位置信息。

(4)采用EIOU损失函数。对锚点的长宽和位置进行回归，并预测锚点的类别，最终输出回归分类好的锚点。

第五步：将训练图像以YOLO格式输入到改进的YOLOv7模型中进行训练。设置好训练次数，训练结束之后获取best.pt模型。

第六步：采用训练好的模型，使用测试数据集进行性能评估。

附图说明

图1为本发明实施例的步骤流程图；

图2为Gan原理图；

图3为Mosaic-4原理图；

图4为神经网络模型示意图；

图5为逐通道卷积原理图；

具体实施方式

下面结合实施例中的附图，对本发明实施例中的技术方案进行详细的阐明。注意，实施例仅用于说明本发明，而不用于限制本发明的范围。

本实施例中提供一种基于机器视觉的布匹瑕疵实时检测方法，具体步骤如图1所示，包括：第一步：通过相机获取布匹瑕疵图像，所述布匹瑕疵图像包括：训练图像、测试图像。第二步：对瑕疵图像进行扩容和增强；Gan的实现原理如图2所示，通过Gan对原始训练图片数量进行倍增，利用Gan可以生成图片的特性来扩充布匹瑕疵的数量和种类。起增强效果的Mosaic-4的基本实现原理如图3所示，Mosaic-4是指随机挑选出四张图片，通过采用随机裁剪、随机排序、随机组合的原则生成数据增强后的图片。经过数据增强之后可以增加训练的数据量，提高模型的泛化能力，增加噪声数据，提升模型的鲁棒性，减少过拟合的发生；第三步：构建神经网络，对目标检测模型YOLOv7网络进行结构改进，得到改进YOLOv7模型，如图4所示。其中，所述改进YOLOv7模型包括backbone层、neck层、预测层。Backbone层主要包括注意力机制模块CBAM、深度可分离卷积DSC、ELAN模块、EP模块、SPPCSPC模块，neck层主要包括Upsample模块、ELAN模块、MP模块、RepConv模块。通过所述预测层网络输出三层不同尺寸的特征图用于预测瑕疵位置和类型，分别为40*40，80*80，160*160尺寸大小；

本实施例提出一种改进的YOLOv7网络。在YOLOv7网络的基础上进行改进，在原有的网络结构上去除20*20尺寸的特征图，具体操作是将SPPCSPC模块与MP模块的连接断开,SPPCSPC模块位置是由图4中的标记3所示。新增160*160尺寸的特征图来提高对小目标的检测能力，如图4中的标记4所示，具体操作则是将网络模型第一个ELAN模块直接分支出来以此来达到对160*160尺寸特征图获取的要求，第一个ELAN模块是图4中的标记2。在骨干网络中引入深度卷积可分离网络+注意力模块机制CBAM的组合，具体位置为图4中的标记1所示。在减少参数量的同时更好的聚焦于局部信息。下面对神经网络模型的整体结构、Backbone结构、特征提取、损失函数进行详细的实施叙述：

1、神经网络模型的整体结构：

首先对输入图片resize为640*640大小，输入到骨干网络就(Backbone网络)中，然后经过neck层网络输出三层不同尺寸的特征图，经过RepConv输出预测的结果。在本网络结构图中以voc数据集为例。在输出特征图部分，voc数据集的输出类别为20，每个输出(x,y,w,h,o)即坐标位置以及前后背景，锚点的数量为3，因此每一层的输出为(20+5)*3＝75再与特征图的大小相乘，得到的就是最终的输出。

2、Backbone结构：

首先，通过一层CBS卷积层，根据图4，CBS主要有Conv(Convolution)+BN(BatchNormalization)+SiLU(Sigmoid线性单元)组成。经过1个CBS之后，随后会经过3个深度可分离卷积+注意力机制模块CBAM组合，深度可分离卷积主要分为两个过程，分别为逐通道卷积(DepthwiseConvolution)和逐点卷积(PointwiseConvolution)。

逐通道卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，这个过程产生的featuremap通道数和输入的通道数完全一样。以一张5*5像素、三通道彩色输入图片(shape为5*5*3)为例，DepthwiseConvolution首先经过第一次卷积运算，DW完全是在二维平面内进行。卷积核的数量与上一层的通道数相同。所以一个三通道的图像经过运算后生成了3个Featuremap，如图5所示。PointwiseConvolution的运算与常规卷积运算非常相似，它的卷积核的尺寸为1×1×M，M为上一层的通道数。所以这里的卷积运算会将上一步的map在深度方向上进行加权组合，生成新的Featuremap。有几个卷积核就有几个输出Featuremap。经过3个深度可分离卷积模块和注意力机制模块CBAM组合之后，随后会经过ELAN模块。ELAN由多个CBS组成，经过ELAN输入输出的特征大小保持不变。通道数会在前两个CBS中发生变化，在之后输入和输出的通道数保持一致。

深度可分离卷积模块使backbone网络更加轻量化，大大提高了模型的效率。

3、特征提取：

在改进前的YOLOv7网络结构中，存在3种不同尺度的特征图来检测大小不同的目标。通过不同的采样倍数得到不同尺度的特征图，将其输入到后续网络结构中。YOLOv7所使用的特征金字塔结构是PaFPN。特征金字塔主要是用来提高模型对不同输入图像及目标检测问题中不同的大小物体的鲁棒性。

在工厂实际的布匹瑕疵检测时，大部分的瑕疵特征都特别小不容易被发现，所以在原本YOLOv7网络基础上新增一个采样倍数，对小尺寸目标更好的进行识别，从而得到新尺寸160*160的特征图。同时删除20*20尺寸特征图的检测头，以此减少适量的参数。

4、改进的损失函数：

作为YOLOv7的优化，本实施例使用EIoU(Efficient-IoU)作为损失函数。损失函数如下：

ρ--两个中心点之间的欧氏距离；

c--包含预测框和真实框的最小重合区域的对角距离；

b,bgt--预测框和真实框的中心点；

CIoULoss虽然考虑了边界框回归的重叠面积、中心点距离、纵横比。但是通过其公式中的v反映的纵横比的差异，而不是宽高分别与其置信度的真实差异，所以有时会阻碍模型有效的优化相似性。在CIOU的基础上将纵横比拆开，提出了EIOULoss，并且加入Focal聚焦优质的锚框。EIOU的惩罚项是在CIOU的惩罚项基础上将纵横比的影响因子拆开分别计算目标框和锚框的长和宽，该损失函数包含三个部分：重叠损失，中心距离损失，宽高损失，前两部分延续CIOU中的方法，但是宽高损失直接使目标盒与锚盒的宽度和高度之差最小，使得收敛速度更快。将纵横比的损失项拆分成预测的宽高分别与最小外接框宽高的差值，加速了收敛提高了回归精度。引入了FocalLoss优化了边界框回归任务中的样本不平衡问题，即减少与目标框重叠较少的大量锚框对BBox回归的优化贡献，使回归过程专注于高质量锚框。

第四步：将增强后的训练图像输入到构建好的网络模型，得到训练好的权重文件。利用得到的权重文件对测试图像进行检测，得到布匹瑕疵的检测结果。