一种基于级联RCNN网络的复杂印花布料瑕疵检测方法

技术领域

本发明涉及瑕疵检测技术领域，具体为一种基于级联RCNN网络的复杂印花布料瑕疵检测方法。

背景技术

织物瑕疵检测系统是用人工智能的方法代替人工检测，它可以克服人工验布的易漏检、误检高、速度慢等缺点，符合工业自动化生产的发展趋势和人们对纺织品质量要求的不断提高，因此对该系统的探索性研究，具有一定的科技和市场价值，并且随着工业技术不断更新升级，尤其是纺织工业的发展不断进步，面临的工业生产问题也不断升级，比如瑕疵样本少，类纯色布面的微小瑕疵检测，以及我们常见印花织物生产过程中的瑕疵问题，这些问题在实际工业问题中非常重要，常常会影响工厂项目的进程、布匹出厂价格，进而造成巨大的经济损失，因此织物缺陷检测研究是一项重要的质量控制程序研究，这对制造业发展、企业生产工艺以及企业竞争都有一定推动作用，因此织物瑕疵检测算法的研究意义十分重大。

目前，自动化纺织机已经拥有较强的普及度，但是与之匹配的检测瑕疵的设备却没有得到很好的发展，传统上，工厂中由工人来完成瑕疵检测工作，这种人工检测方式基本上只能满足工厂的普通要求，当我们追求更高品质更高效率时，就面临着较大的阻碍，首先，人工检测效率很低，检测速度只有约20m/min；其次，质检员无法长时间保证注意力集中，这也会减少检测效率；另外，人工检测标准因人而异，个人主观判断对检测结果有着很大的影响，特别是细小瑕疵问题，更是成为漏网之鱼，难以避免，所以人工检测时均面临一个成本过高，检测效率低的问题，故而提出一种基于级联RCNN网络的复杂印花布料瑕疵检测方法来解决上述所提出的问题。

发明内容

(一)解决的技术问题

本发明通过自动化机器代替人工无聊繁琐抵消的筛查，进而提高瑕疵检测的效率和准确率，而提出的一种基于级联RCNN网络的复杂印花布料瑕疵检测方法。

(二)技术方案

本发明解决上述技术问题的技术方案如下：

一种基于级联RCNN网络的复杂印花布料瑕疵检测方法，包括IOU阈值训练调参和引入孪生网络对比学习，提升织物检测效果，其中IOU阈值训练调参包含Concat模块，Concat模块是将一对图片进行连接,实现两张三通道的图片连接成一张六通道的图片，在concat后还会接一些其他的conv层，比如1x1卷积，这些层把连接的特征重新排列组合，形成新的特征，新的特征在损失函数的约束下不断更新权重，不断产生更符合要求的特征，而新的特征就是融合了被concat的特征，下一步将特征反映在图像特定的细节上，其中引入孪生网络对比学习，提升织物检测效果中在面对背景信息复杂多变、瑕疵种类繁多的印花织物瑕疵检测场景中有效提升孪生网络效果，改造cascade rcnn网络。

在上述技术方案的基础上，本发明还可以做如下改进。

优选地，所述对于一张经过数据预处理的六通道输入图像，先经过一个主干网络，也就是conv卷积层，将卷积层提取的特征图经过RPN提取一系列的候选区域。

优选地，所述经过阈值为0.5的检测网络H1，当经过分类器和回归器之后，输出的IOU相较于之前有所提升，将修正后的新的候选区域重采样后再送入阈值为0.6的检测网络H2,再依次类推输入检测网络H3，最后H3得到的类别以及位置就是最终整个网络的输出结果。

优选地，所述在这个阶段，网络改进主要主要体现在加入前置模板对齐算法，解决在实际应用问题中存在的图像来自不同的采集设备、取自不同的时间、不同的拍摄视角等棘手的影响检测效果的现实问题，横向对比多种图像配准方法，最终拟定尺度不变特征变换(sift)算法加入孪生Csacade R-CNN性能提升明显。

优选地，所述图像配准的方法大致分为三类：第一类是基于灰度和模板的、第二类是基于特征的匹配方法、第三类是基于域变换的方法。

(三)有益效果

与现有技术相比，本申请的技术方案具有以下有益技术效果：

1、在原始cascade rcnn基础上，引入孪生网络，使其能够缓解特征提取时丢失细节信息，提升网络检测效率及效果。

2、前置模板对齐算法，即sift模板对齐，提升孪生网络效果，优化cascade rcnn网络，提升瑕疵目标检测效果。

附图说明

图1为本发明的总体模块图；

图2为本发明的RPN框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例中，由图1-2给出，一种基于级联RCNN网络的复杂印花布料瑕疵检测方法，包括IOU阈值训练调参和引入孪生网络对比学习，提升织物检测效果，其中IOU阈值训练调参包含Concat模块，Concat模块是将一对图片进行连接,实现两张三通道的图片连接成一张六通道的图片，在concat后还会接一些其他的conv层，比如1x1卷积，这些层把连接的特征重新排列组合，形成新的特征，新的特征在损失函数的约束下不断更新权重，不断产生更符合要求的特征，而新的特征就是融合了被concat的特征，下一步将特征反映在图像特定的细节上，其中引入孪生网络对比学习，提升织物检测效果中在面对背景信息复杂多变、瑕疵种类繁多的印花织物瑕疵检测场景中有效提升孪生网络效果，改造cascade rcnn网络，从而进一步提升瑕疵目标检测效果。最终实现的网络不仅轻盈，其检测精度于误检率得到有效平衡，且速度相比于同类型检测框架有明显优势；

Pooling层表示的是ROI区域的特征提取池化，其优越性在于输入的特征图尺寸不固定，但是输出特征图尺寸固定，同时其输入由两部分组成，第一部分：feature map，即图1所示的conv输出的feature map；第二部分：rois，即图1所示的B0，也就是Cascade R-CNN中指的是RPN的输出，RPN网络如图2，输出约2000个矩阵候选框，借助于RoI pooling，cascadeR-CNN可以复用卷积特征，考虑到所有候选区域均位于一张图片上，cascade R-CNN对图像整体进行卷积，RoI pooling为每个候选区域提取固定大小的特征图，R-CNN在原始图像上进行裁剪，而cascade R-CNN在特征图上进行裁剪，有效减少了计算量，提升网络速度；

对于一张经过数据预处理的六通道输入图像，先经过一个主干网络，也就是conv卷积层，将卷积层提取的特征图经过RPN提取一系列的候选区域；

经过阈值为0.5的检测网络H1，当经过分类器和回归器之后，输出的IOU相较于之前有所提升，将修正后的新的候选区域重采样后再送入阈值为0.6的检测网络H2,再依次类推输入检测网络H3，最后H3得到的类别以及位置就是最终整个网络的输出结果；

图1框架中H1、H2、H3为训练调参后的IOU阈值，Cascade三个head的iou阈值在后续实验中调整(0.4 0.5 0.6或者是0.3 0.4 0.5)，经过一系列训练和不断调参，H不相同，意味着可以适应多级的分布，将实现一个逐级递增IOU的detector训练并顺序组合的网络，每一阶段的输出分布都比较好,这样就方便继续进入下一阶段，对这些逐级递增地proposalresampling保证positive set的尺寸都相等,这样能缓解过拟合问题，因为逐级提升的缘故,因此可以使用一些比较差的数据,这样就扩充了positive set从而对过拟合缓解，在复杂花纹的多种瑕疵应用场景下，发挥其优越的性能，提升检测精度；

第一部分中H1阈值为0.5，使得正样本数量足够，保证模型不会过拟合，保障准确率，并且阈值为0.5时对于低IOU样本位置的修正效果最为显著，而当修正后的高IOU再由更高阈值的回归器进行修正，这样能够大大提高了位置的准确性，通过级联机构，解决了传统单个网络设置阈值时对于高阈值正样本数量不够以及低阈值对于高IOU区域修正效果降低之间的矛盾，同时由于级联导致的速度下降，本课题在原有网络基础上引入孪生网络对比学习，减少不必要的检测框数量，有效提升整体网络提升速率；

在这个阶段，网络改进主要主要体现在加入前置模板对齐算法，解决在实际应用问题中存在的图像来自不同的采集设备、取自不同的时间、不同的拍摄视角等棘手的影响检测效果的现实问题，横向对比多种图像配准方法，最终拟定尺度不变特征变换(sift)算法加入孪生Csacade R-CNN性能提升明显；

图像配准的方法大致分为三类：第一类是基于灰度和模板的、第二类是基于特征的匹配方法、第三类是基于域变换的方法；

选择两个图像中的兴趣点，将参考图像中的每个兴趣点与浮动图像中的对应点相关联，并对浮动图像进行变换，以使两个图像对齐，工业生产场景中，印花织物中的印花即为明显的有效兴趣点，所以对齐效果显著，简要分析基于特征的匹配方法中的点特征和边缘特征的方法，例如点特征的Harris、HOG、LBP、SIFT；边缘特征的Log算子、Robert算子、Canny算子等，最终选定SIFT，同时SIFT的优点有以下几大方面：1、图像的局部特征，对旋转、尺度缩放、亮度变化保持不变，对视角变化、仿射变换、噪声也保持一定程度的稳定性。2、独特性好，信息量丰富，适用于海量特征库进行快速、准确的匹配。3、多量性，即使是很少几个物体也可以产生大量的SIFT特征。4、高速性，经优化的SIFT匹配算法甚至可以达到实时性。5、扩招性，可以很方便的与其他的特征向量进行联合。因此，可以巧妙的提升孪生学习Csacade R-CNN的网络性能。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。