一种基于孪生神经网络的数码印花步进道检测方法

技术领域

本发明属于缺陷检测技术领域，具体涉及一种基于孪生神经网络的数码印花步进道缺陷检测方法。

背景技术

随着高速计算机的发展，数码印花技术日趋成熟，其具有高速高分辨率等特点且产品图案更加精细，带来了纺织业的重大技术革命。数码印花的过程中，由于设备的故障或布料的缺陷可能会使产品产生多种多样的缺陷，为了材料成本，需要对生产过程进行实时自动监测，以确保产品质量，否则产生大量残次品会带来巨大的经济损失。由于传统的人力目视抽查可能出现漏检误检的情况，通过采集图像进行缺陷在线检测的方法是不可或缺的。

在数码印花缺陷检测领域中，传统的算法研究主要针对单一颜色或者纹理的布料，这类算法在面对色彩丰富图案复杂的印花产品时的检测效率和准确性并不高。传统的用于检测步进道的算法包括LBP(局部二值模式)算法以及基于直方图的分析算法等，此类算法在检测复杂图案中的步进道和打印缺陷时表现较差，尤其是缺陷表征和印花图案或布纹有相似的情况下。

由于印花机无可避免地产生机械误差，会导致每次步进的距离不同，印花产品会出现步进道的缺陷，具体的表现形式为：当步进距离小于正确阈值时会出现两次印刷的交界区域重叠出现深色步进道，步进距离大于正确阈值时会出现两次印刷的交界区域有留白出现浅色步进道。由于这种缺陷实际物理尺寸在1mm以下，且可能和布纹或图案互相干扰，难以使用传统的图像处理方法进行检测。

目前还少有步进道检测的相关算法，其中基于深度学习的步进道检测算法更是几乎没有。相比于传统的直方图相似度和背景差分检测算法，基于深度学习技术的步进道检测方法拥有更强的特征学习能力，可以更高效率且准确的检出可能出现的步进道缺陷。

由于需要判断待检测图像中的线性特征是印花固有图案的一部分还是步进道缺陷，因此需要一种特殊的检测方法能够实现该步进道检测。

发明内容

本发明的目的是提供一种基于孪生神经网络的数码印花步进道检测方法，能够实现对于数码印花步进道缺陷的准确实时检测。

为实现上述发明目的，实施例提供的一种基于孪生神经网络的数码印花步进道检测方法，包括以下步骤：

采集数码印花机的检测图像及模板图像，并进行图像标注以构建图像集；

建立孪生神经检测网络模型，利用图像集和损失函数训练立孪生神经检测网络模型，以调整模型参数；

将参数调整的孪生神经检测网络模型以及检测代码安装在检测环境中进行实际检测。

优选地，所述采集数码印花的检测图像及匹配图像，并进行图像标注以构建图像集，包括：

利用架设在数码印花机导轨上方的相机采集检测图像，其中，检测图像包括无缺陷图像、深色步进道图像、浅色步进道图像；

使用拼接算法将周期内无缺陷图像拼接获得正确的印花图案模板，利用模板匹配算法得到检测图像在印花图案模板中对应的匹配图像，将检测图像和匹配图像作为一组图像；

将每组图像整理为统一格式，并进行分类标注，以建立带有标注的图像集。

优选地，所述孪生神经检测网络模型，包括两个resnet18网络，检测图像和匹配图像分别经过resnet18网络提取特征图后，两个特征图拼接后经过平均池化层、卷积层以及全连接层，获得检测图像的分类预测概率。

优选地，每个resnet18网络的主体由残差块组成，每个残差块包含卷积层，每个卷积层后接一个批量规范化层和relu激活函数，设计一个跨层的数据传递路线，将输入直接加在relu激活函数前。

优选地，所述利用图像集和损失函数训练立孪生神经检测网络模型，以调整模型参数，包括：

将检测图像和匹配图像进行预处理和亮度矫正后，根据步进道出现的位置将检测图像和匹配图像裁剪n张224*224的待检测图片，进行滤波处理后分别送入孪生神经检测网络模型中，经过计算输出检测图像分别属于无缺陷、深色步进道、浅色步进道的概率；

依据概率和图像标签计算损失函数，依据损失函数调整模型参数。

优选地，所述损失函数采用交叉熵损失函数。

优选地，所述将参数调整的孪生神经检测网络模型以及检测代码安装在检测环境中进行实际检测，包括：

(a)对于训练好的孪生神经模型进行pytorch-onnx模型转换，生成TensorRT推理引擎部署在基于C++语言的Xavier平台上；

(b)采集一定数量的图片进行拼接得到模板图像；

(c)数码印花机每次步进，进行拍照获取检测图像，对检测图像进行预处理和二次匹配，获得精确的检测图像与匹配图像，将检测图像和匹配图像裁切出n张图像，经过归一化处理后符合模型的输入要求；

(d)将裁剪的图像输入到由模型转换的TensorRT推理引擎，推导出检测结果，对每个检测结果后进行投票，如果检测结果超过第一阈值则判断图像疑似步进道缺陷，将图像送入异常队列中，当出现多个疑似步进道缺陷的图像后，异常队列中图像个数超过第二阈值，判断图像存在步进道缺陷并上报检测结果。

优选地，所述第一阈值取值范围为[4,8]。

优选地，所述第二阈值取值范围为[3,6]。

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的一种基于孪生神经网络的数码印花步进道检测方法，能够实现数码印花步进道缺陷的实时检测，基于孪生神经网络，通过采集实际印花产品的图像进行训练，根据标注信息和损失函数结果进行参数调整，得到训练好的模型，对于两种步进道缺陷都能够实时准确检测。该方法克服了相似图案以及布匹纹理的干扰，能够对于各种图案的数码印花产品进行准确的步进道缺陷检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明提供的一种基于孪生神经网络的数码印花步进道检测方法的流程图；

图2是本发明提供的一种孪生神经检测网络模型的结构示意图；

图3是本发明提供的一种孪生神经检测网络模型的训练过程图；

图4是本发明提供的一种步进道缺陷检测的工作流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

由于需要判断待检测图像中的线性特征是印花固有图案的一部分还是步进道缺陷，所以本发明将待检测图案和用于参照的正确匹配图案一起送入神经网络中提高检测的准确率，对于这种差异比较的需求，拥有双分支结构的孪生神经网络相比于传统的分类网络更加合适。孪生神经网络的两个分支网络通过共享网络权值，从两张对比的图像提取出在同一个域中的特征信息，进而得出两张图片的相似性，来判断当前检测的图像是否可能存在步进道缺陷。基于此背景，本发明提供了一种基于孪生神经网络的数码印花步进道检测方法。

图1是本发明提供的一种基于孪生神经网络的数码印花步进道检测方法的流程图。如图1所示，实施例提供的基于孪生神经网络的数码印花步进道检测方法，包括以下步骤：

步骤1，采集数码印花机的检测图像及模板图像，并进行图像标注以构建图像集。

实施例中，印花打印机逐张地打印周期性图案的图片，利用架设在数码印花机导轨上方的相机进行检测图像采集，印花机每完成一次打印，检测系统采集得到一张检测图像，检测图像精度为3000*4096，实机视场大小为31.6cm*43.1cm。在实现本方法之前，模板拼接算法将周期内无缺陷图像拼接可以获得正确的印花图案模板，可以假设第一个周期是正确的，即可以将第一个周期内的所有无缺陷图案拼接得到正确的印花图案模板；然后采用模板匹配算法可以得到检测图像在印花图案模板中对应的正确匹配图像，将检测图像和匹配图像作为一组数据进行存储。为了进行分类训练，采集了30种图案各两百张图像，其中通过设置数码印花机电机参数分别获取深色步进道和浅色步进道的检测图像，这些作为有步进道缺陷的检测图像，还采集了无缺陷的检测图像，将检测图像和匹配图像整理为统一格式，并对检测图像和匹配图像进行分类标注，建立模型训练所用的数据集，包括训练集、测试集以及验证集。

步骤2，建立孪生神经检测网络模型，利用图像集和损失函数训练立孪生神经检测网络模型，以调整模型参数。

实施例中，如图2所示，构建的孪生神经检测网络模型，包括两个resnet18网络，resnet18网络结构的主体由普通残差块BasicBlock组成，每个所述残差块包含两个3*3的卷积层，每个所述卷积层后接一个批量规范化层和relu激活函数，并设计一个跨层的数据传递路线，将输入直接加在所述激活函数前。整个孪生神经检测网络模型中，检测图像和匹配图像分别输入至resnet18网络，经过7*7的卷积层接3*3的最大池化层接4个残差块，最后两个resnet18网络输出的特征图拼接后经过平均池化层、1*1的卷积层以及两个进行特征提取分类的全连接层，获得检测图像的分类预测概率。

实施例中，孪生神经检测网络模型的训练过程在linux服务器上进行，使用的是python编程语言、pytorch深度学习框架。如图3所示，具体训练过程包括：

对检测图像和匹配图像进行预处理，首先对检测图像和匹配图像进行亮度校正，避免开放光环境对检测图像和匹配图像颜色的干扰。然后根据步进道出现的位置对检测图像和匹配图像进行裁剪，步进道缺陷可能发生在每次步进时两个印刷块的交接位置，因此其在图像中的纵坐标是一个固定的位置，分别在检测图像和匹配图像的纵坐标裁剪n张224*224的待检测图片，进行滤波处理后分别送入模型中，经过卷积层、批量规范化层、最大池化层、4个残差块后，将两个特征图拼接后通过平均池化层、卷积层和两个全连接层得到图像分别属于无缺陷、深色步进道、浅色步进道的概率，通过交叉熵损失函数对模型进行参数调整，公式如下，得到训练好的孪生神经检测网络模型。

步骤3，将参数调整的孪生神经检测网络模型以及检测代码安装在检测环境中进行实际检测。

实施例中，如图4所示，对于训练好的孪生神经检测网络模型进行pytorch-onnx模型转换，生成TensorRT推理引擎部署在基于C++语言的Xavier平台上。具体检测流程为：采集一定数量的图片进行模板图像的拼接。模板图像拼接完成后，数码印花机每次步进，数码相机拍照获取3000*4096的检测图像，对检测图像进行预处理，进行步进道位置的截取，截取位置根据步进长度变化，截取的长度略大于步进长度并进行二次匹配，获得精确的检测图像与匹配图像。将检测图像和匹配图像裁切出n张224*224的图像，图像经过归一化处理后符合模型的输入要求。将图像输入到由模型转换的TensorRT推理引擎推导出检测结果。得到图像的检测结果后进行投票，对每个检测结果如果超过第一阈值则判断图像疑似步进道缺陷，将图像送入异常队列中，当出现多个疑似步进道缺陷的所述图像后，异常队列中所述图像个数超过第二阈值，判断图像存在步进道缺陷并上报检测结果。

实施例中，第一阈值取值为6，第二阈值取值为4。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。