融合语义分割网络和模糊决策的织物瑕疵智能识别方法

技术领域

本发明属于织物表面瑕疵检测技术领域，具体是涉及融合语义分割网络和模糊决策的织物瑕疵智能识别方法。

背景技术

织物瑕疵指的是纺织品表面存在的不完美或缺陷，它们会影响纺织品的外观、质量、功能和性能。这些瑕疵的产生原因可能包括纺织原料的不良品质、纺织设备的不合格、生产工艺的问题、操作工人的错误等，织物表面的瑕疵会削弱其质量和外观。

传统的织物瑕疵识别是指通过人工视觉或机器视觉对织物表面的瑕疵进行检测识别，不仅会损耗大量人力以及物力，往往还伴随着识别准确率不高的问题。因此随着信息技术和人工智能的迅速发展，基于深度学习的自动检测识别逐渐成为市场的主流。而语义分割作为图像处理领域中十分重要的一种方法，与目标检测相比，在处理长宽比极为特殊的织物图像时具有较为明显的优势。但是，目前采用深度学习网络语义分割，只是利用所采集的当前时刻的织物图像通过语义分割网络获得分割结果，对于分割结果的改进思路通常也仅聚焦于对语义分割网络进行改进，并没有考虑利用织物图像的空间和时间上的信息对预测方法进行改进。

发明内容

本发明要解决的技术问题是提供融合语义分割网络和模糊决策的织物瑕疵智能识别方法，用以对织物表面瑕疵通过语义分割网络进行识别的基础上，再通过模糊决策系统对识别结果进行智能决策，从而快速准确地获得织物表面瑕疵的判断结果。

为了解决上述技术问题，本发明提供融合语义分割网络和模糊决策的织物瑕疵智能识别方法，包括：具体过程为实时采集织物表面图片，在计算机中，对当前时刻和前一时刻的织物表面图片进行图像缩放处理后输入改进U-Net网络，分别获得带有语义信息的当前时刻和前一时刻的预测结果，然后再将当前时刻和前一时刻的预测结果一起输入到模糊决策系统中，从而获得当前时刻织物表面是否有瑕疵的判断结果。

作为本发明的融合语义分割网络和模糊决策的织物瑕疵智能识别方法的改进：

所述模糊决策系统包括纵向的时序决策子系统和横向的空间决策子系统；

所述当前时刻的预测结果和前一时刻的预测结果分别通过隶属度函数将瑕疵语义像素点个数映射成当前时刻和前一时刻的隶属度值，作为时序决策子系统的模糊规则的输入，时序决策子系统的输出作为空间决策子系统的模糊规则的输入。

作为本发明的融合语义分割网络和模糊决策的织物瑕疵智能识别方法的进一步改进：

所述改进U-Net网络为基于U-Net网络，包括编码器和解码器，编码器主要由4组卷积模块-下采样模块嵌套组成，再经过一个卷积模块；解码器主要由4组上采样模块-卷积模块嵌套组成，再经过一个卷积层。

所述卷积模块为先进行两次卷积操作，同时在每次卷积之后，按照镜像对称的方式进行边缘填充；

所述下采样模块采用卷积代替最大池化进行下采样；

所述上采样模块采用最近邻插值法。

作为本发明的融合语义分割网络和模糊决策的织物瑕疵智能识别方法的进一步改进：

所述隶属度函数为：

f

f

f

其中，x为瑕疵像素点个数，f

F

F

F

其中，F

作为本发明的融合语义分割网络和模糊决策的织物瑕疵智能识别方法的进一步改进：

所述时序决策子系统的模糊规则如下表所述：

其中，

作为本发明的融合语义分割网络和模糊决策的织物瑕疵智能识别方法的进一步改进：

所述空间决策子系统的模糊规则如下：

if any(y

if num(y

if num(y

if any(y

if num(y

otherwise,y

其中，any(·)代表括号内只要有一个满足条件即可，num(·)代表括号内满足条件的图片的数量。

本发明的有益效果主要体现在：

1、本发明通过对现有U-Net网络进行改进，通过添加边缘填充的方式，使得网络能更方便地完成损失函数的计算及反向传播的迭代；在不改变网络层数的情况下，通过将卷积代替池化的方式提高网络对竖状小尺寸瑕疵的识别能力；

2、本发明借助模糊决策系统充分利用实际视觉采集系统中多相机的横向分布信息及纵向时序信息，有效提高了织物瑕疵的识别精度；

3、本发明提出了网络模型和知识模型进行有效融合的解决方案，解决了实际应用中知识信息难以与数据模型融合的困难，为基于机器视觉的瑕疵识别系统构建提供了一种新的实现思路。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1为本发明改进前的现有的U-Net网络的结构示意图；

图2为本发明的改进U-Net网络的结构示意图；

图3为本发明的织物表面图像采集使用的相机排列分布俯视图；

图4为本发明的模糊决策系统的结构示意图；

图5为本发明的模糊决策系统输入变量的模糊集合划分示意图；

图6为本发明的模糊决策系统输出变量的模糊集合划分示意图；

图7为本发明的改进U-Net网络与现有的U-Net网络对比实验的部分测试效果示例图(a为紧档子瑕疵的对比检测结果，b为双径瑕疵的对比检测结果，c为正常无瑕疵的对比检测结果，d为曲纡瑕疵的对比检测结果，e为带纬瑕疵的对比检测结果，f为断径瑕疵的对比检测结果)。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1、融合语义分割网络和模糊决策的织物瑕疵智能识别方法，采用语义分割网络+模糊决策系统的融合方案，在改进U-Net网络识别结果的基础上，加入模糊决策系统对织物表面瑕疵进行智能识别，具体过程包括采集布匹的表面图片，在计算机中将采集的图片预处理后输入改进U-Net网络中，输出带有语义信息的织物瑕疵图片，通过隶属度函数将瑕疵语义像素点个数映射成图像瑕疵隶属度值，根据隶属度值构建模糊系统，根据人工经验及纵向时序信息构建模糊规则，再借助横向分布信息完成决策。

1、改进U-Net网络

本发明在现有的U-Net网络(如图1所示)结构的基础上进行了改进，改进U-Net网络结构如图2所示，由U型对称的编码器-解码器结构组成。编码器部分，由4组卷积模块-下采样嵌套组成，最后经过1024个卷积核的卷积模块输出32×2大小1024通道的特征图像。解码器部分，由4组上采样-卷积模块嵌套组成，最后经过一个1×1的卷积层进行通道数修正，最终输出512*32大小3通道的输出图像。

1.1、卷积模块

卷积模块的结构为：先进行两次3*3步长为1的卷积操作，同时在每次卷积之后，按照镜像对称的方式进行边缘填充处理，很好地解决了卷积操作之后图像尺寸的缩小，导致后续不利于损失函数计算及反向传播迭代的问题。在卷积部分中，在每次的卷积操作之后都进行一次填充数为1的边缘填充处理，这样不仅实现了图像的特征提取而且在不改变图像原有尺寸大小的情况下修改了图像的通道数。

1.2、下采样模块

本模型中，为提高模型对竖状小尺寸瑕疵的识别能力，采用卷积操作代替池化操作进行下采样，下采样模块采用3*3步长为2的卷积实现，在不改变通道数的情况下将图像的尺寸减少一半。采用3*3步长为2的卷积代替最大池化进行下采样，在不改变网络层数的情况下，通过将卷积代替池化的方式提高网络对竖状小尺寸瑕疵的识别能力，如图7(f)所示，对于断径瑕疵的识别，改进U-Net网络的检测效果明显优于改进前的U-Net网络。

1.3、上采样模块

上采样模块采用最近邻插值法，将图像尺寸放大两倍，通道数减少一半，便于后续特征的融合。在完成了图像的特征融合之后再使用1*1的卷积进行降通道的操作。最近邻插值法的基本原理是在进行图像放大或缩小过程中，找到最接近像素位置的取整值，并将其赋值给新像素。最近邻插值法坐标变换计算公式：

AX＝BX*(AW/BW) (1)

AY＝BY*(AH/BH) (2)

其中BX和BY为缩放后某个像素的横、纵坐标，BW和BH为缩放后图像的长与宽；AW和AH为原图像的长与宽，AX、AY为BX、BY对应的原图像素的横纵坐标。

1.4、改进U-Net网络的训练和测试

(1)、数据集的建立

采集企业生产完成的织物表面图片，数据集的织物表面图像由摆放于出布口的六个面阵CCD相机实时拍摄而成，相机排列分布俯视图如图3所示。在计算机中先对所采集的织物表面图片进行图像预处理，图像预处理包括数据增强及图像缩放。数据增强采用水平翻转，部分类别的瑕疵(断经、双经)通过数据增强提高样本数量；图像缩放为将数据增强后的所有图片统一缩放到512*32像素大小。

然后将512*32像素的图片均进行人工标注瑕疵类别，其中，瑕疵分为八类，加上正常无瑕疵的布料一共有九个类别。每种瑕疵的名称以及样本数如表2所示。

表2瑕疵样本数统计表

将人工标注后的图片共1281张，按9:1比例随机划分为训练集和测试集。

(2)训练和测试

将训练集中的图片输入改进U-Net网络获得带有语义信息的预测结果，训练过程中通过计算损失函数值并反向传播迭代优化模型参数。本发明的改进U-Net网络旨在解决瑕疵是否存在的二分类问题，因此损失函数采用加权交叉熵BCEloss损失函数，其计算公式如下：

其中，y为真实值，y

第100次epoch完成则结束训练。

测试过程就是将测试集图片放入训练好的改进U-Net网络，生成带有语义信息的预测结果图片，然后统计预测结果图中瑕疵像素点的个数，排除织物表面纹理所造成的微小干扰，当瑕疵像素点个数小于500时是正样本，大于500时是负样本，采用准确率(Accuracy)为评价指标，评价指标达到A＝95.24，从而获得可在线使用的改进U-Net网络。

2、模糊决策系统

在语义分割模型(步骤1构建的改进U-Net网络)的基础上，基于视觉采集系统中横向分布的6个相机的图像检测结果及纵向前后连续的2个时序的检测结果，构建时空两个维度的模糊决策系统，完成织物瑕疵的在线检测，结合时空信息进行预测推理以提高检测精度。

模糊决策系统的结构如图4所示：图中两条横向绘制的长方形分别代表t-1时刻、t时刻的布匹图像，由6个横向排列的工业相机拍摄。

2.1、模糊集合的定义

输入、输出变量的模糊集合定义：12个输入变量为改进U-Net网络的预测结果，即每张图片中包含的瑕疵像素点的个数。本发明中设12个输入变量的论域均为[0,1200]，在该论域上定义三个模糊集合S(Small)、M(Middle)、B(Big)。12个输入变量的模糊集合划分均相同，其隶属度表示如图5所示，其公式如(4-6)所示：

f

f

f

其中，x为瑕疵像素点个数，f

输出变量的论域为[0,1]，在该论域上同样定义三个模糊集合S(Small)、M(Middle)、B(Big)，其隶属度表示如图6所示，输出域模糊集合S、M、B的隶属度函数公式如(7-9)所示：

F

F

F

2.2、模糊规则的凝练

模糊决策系统由纵向的时序决策子系统和横向的空间决策子系统两部分构成。时序决策子系统利用了向前后时序的信息进行决策，以

表1时序决策子系统模糊规则表

空间决策子系统利用横向6个相机的空间分布信息进行决策，以时序决策子系统的输出y

if any(y

if num(y

if num(y

if any(y

if num(y

otherwise,y

上式中any(·)代表括号内只要有一个满足条件即可，num(·)代表括号内满足条件的图片的数量，如：第一条规则if any(y

3、在线使用

实时采集企业生产完成的织物表面图片，织物表面图片由水平并排设置于出布口正上方的六个面阵CCD相机实时拍摄而成，在计算机中先分别对6台相机所采集的织物表面图片进行图像缩放处理，再输入步骤1.4获得的可在线使用的改进U-Net网络中得到6个当前时刻和6个前一时刻的带有语义信息的预测结果，再将12个预测结果输入到步骤2构建的模糊决策系统中进行模糊判断及最终决策，从而完成当前时刻织物表面是否有瑕疵的决策判断。

实验：

1、实验的数据集采用实施例1中步骤1.4所构建的数据集。

2、评价指标

实验评价指标包括正确率(Accuracy)、精确率(Precision)、误报率(FalseAlarm)、漏报率(Miss Rate)、交并比(Intersetion Over Union，IoU)。其公式如(10-14)所示：

其中，TP为预测正确的正样本数量；FP为将正样本错误预测成负样本的数量；TN为预测正确的负样本数量；FN为将负样本错误预测成正样本的数量；A为预测图；B为标注图。

3、语义分割网络对比实验结果

将本发明的改进U-Net网络与现有的的U-Net网络在同一实验数据集上进行对比实验，得到改进前后U-Net网络的对比结果如表3所示。

表3网络性能对比表

其中部分测试集的瑕疵检测效果如图7所示，(a)–(f)6幅图分别为不同类型瑕疵的测试结果，a为紧档子瑕疵的对比检测结果，b为双径瑕疵的对比检测结果，c为正常无瑕疵的对比检测结果，d为曲纡瑕疵的对比检测结果，e为带纬瑕疵的对比检测结果，f为断径瑕疵的对比检测结果；每幅图均由上下2幅子图组成：上面为现有的的U-Net网络的检测结果图，下面为改进U-Net网络的检测结果图。

6、融合网络的实验结果

对6台相机所采集的图像分别采用改进U-Net网络进行了分割预测之后，再利用6台相机的横向分部信息进行决策，将6台相机中置信度最大的值作为当前时刻的置信度值。取阈值为0.5，当t时刻置信度值大于0.5时，认为布料有瑕疵，反之，认为布料正常。将经过模糊决策系统的预测结果(即采用本发明的融合语义分割网络和模糊决策的织物瑕疵智能识别方法的预测结果)与仅仅采用本发明的改进U-Net网络的预测结果进行对比，具体测试结果如表4所示。

表4有无模糊决策系统的实验结果对比表

本发明提出一种数据模型和知识模型用于织物瑕疵识别的融合决策方案，数据模型采用改进的语义分割网络，知识模型采用模糊决策系统，在使用语义分割网络完成织物表面瑕疵检测识别的基础上，充分利用实际视觉采集系统中多相机的横向分布知识及纵向时序知识，将特征提取和计算性能强大的深度神经网络(数据模型)与善于综合决策的人类大脑(知识模型)进行了巧妙的结合，有效提高了织物表面瑕疵的识别精度。

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。