织带机器视觉在线质量检测方法

技术领域

本发明涉及织带瑕疵质量检测技术领域，特别涉及织带机器视觉在线质量检测方法。

背景技术

织带是以各种纱线为原料制成狭幅状织物或管状织物，织带物品种繁多，广泛用于服饰、鞋材、箱包、工业、农业、军需、交通运输等各产业部门。目前织带用原料大多为锦纶、维纶、涤纶、丙纶、氨纶、粘胶等，形成机织、编结、针织三大类工艺技术，织物结构有平纹、斜纹、缎纹、提花、双层、多层、管状和联合组织。织带在生产过程其产量较大，因此对于织带的生产质量检测成为了较多企业所要着重思考的问题。传统的都是采用人工进行检测，检测效率低且人工耗费大，然而在近年来织带瑕疵检测的方法技术发展迅速，为不少企业解决了织带质量瑕疵检测困扰，其主要有以下几种检测方法：1.利用高速图像扫描算法，利用动态大小、阈值和变换的线性和非线性滤波器检测边缘和边界，进行进一步分析；2.进行模版匹配，从而找到瑕疵所在的位置；3.从局部区域提取图像描述规则。

但本申请发明人在实现本发明技术方案的过程中，发现上述技术至少存在如下技术问题：1.上述检测方法采用的是图像差分方式进行检测，且大多适用于不能制备瑕疵模型的瑕疵检测问题，如划痕或叠加检测、纹理图像分析等，对于多品类和多结构的织带瑕疵检测效果却不佳；2.瑕疵检测中需要摄像头进行图像拍摄后通过硬件以及软件进行处理，采用上述方法对图像的分辨率以及摄像头和硬件处理器的性能均有较高的要求，整体软硬件成本较高；3.传统的检测方法中还有利用深度学习来制作模型，其往往需要提供大量的瑕疵样本进行训练，然而对于部分企业来说瑕疵样本往往难以提供，从而导致深度学习的检测方法难以展开使用。

发明内容

本发明要提供了织带机器视觉在线质量检测方法，通过采用无缺陷样本进行训练实现判断目标样本是否含有瑕疵，能够适用于大部分企业或厂房，另外对图像分辨率以及摄像头和硬件处理器要求低，有效降低了项目硬件成本与维护成本，通过智能化深度学习和训练无瑕疵模型，织带瑕疵检测效率和检测效果均有一定程度的提升。

为解决上述技术问题，本发明公开了织带机器视觉在线质量检测方法，该检测方法基于设置在涤纶织带机器一侧的视觉在线质量检测装置实现，其检测对象为：由织带机生产制造的织带；该检测方法利用加载于硬件开发板上的权重文件实现瑕疵判断，基于织带不同品类的权重文件取得方式如下：S01、创建数据集；分别采集有瑕疵和无瑕疵的织带图片，对其进行转换后得到有瑕疵数据集和无瑕疵数据集；S02、训练模型；利用无瑕疵数据集训练人工智能模型，并导出权重文件；S03、放置权重文件；将上述步骤中训练得到的权重文件放置于硬件开发板上。

检测过程具体如下：通过检测装置的摄像设备对织带实时拍照采集，将采集到的织带图片进行转换后通过加载S03中的分类权重文件对其先进行分类，后基于修改的STPM算法判断瑕疵程度是否超过阈值；在瑕疵程度超过阈值时，通过GPIO发送瑕疵超过阈值的电平信号并进行警报停机。

本发明技术方案具有较高的拓展性同时能够提供独立的神经网络计算单元，在平衡性能和可扩展性的前提下降低整体的成本；采用无瑕疵数据集来训练和学习模型，并利用有瑕疵数据集进行检测评估，能够实现对目标样本的瑕疵质量检测进行判断，检测效率和检测效果在一定程度上得到提升。

作为本发明的优选，在S01中具体包括如下子步骤：

S011、图片尺寸处理以及预处理去除背景亮噪点，通过织带上的图案种类与织带是否是坏品分别进行分类成有瑕疵图片和无瑕疵图片。

S012、转化图片为张量并进行归一化处理，利用PIL方案将图片转为张量并通过ImageNet数据库中的mean均值＝[0.485，0.456，0.406]和std标准差＝[0.229，0.224，0.225]对图片数据采用OpenCV函数Normalize进行归一化处理。

S013、调整并统一图片亮度，将图片从RGB模式转为HSV模式后，通过PILImageEnhance将所有转换后的图片亮度调至相等。

本发明技术方案将图片进行预先种类分类处理，能够提升同等情况下对图片的识别度，从而确保在同一识别率下进一步降低图像分辨率和运算量实现识别速度的提高；在S013中能够避免实际情况下环境光线变化对识别结果的影响，提高瑕疵识别检测效果。

作为本发明的优选，在S02中具体包括如下子步骤：

S021、修改模型输出为STPM的金字塔结构算法，在Torchvision标准ResNet18神经网络基础上，去除二维平均池化层、全连接层，第三层和第四层，然后将模型输出改为STPM的金字塔结构，将第一层的结果X

S022、声明教师模型和学生模型，基于S021中的STPM算法，教师模型为经ImageNet数据集预训练并已经得到权重，学生模型为待训练的S01中数据集。

S023、训练学生模型以及导出教师模型和学生模型权重，对学生模型的无瑕疵数据集进行Online Learning在线学习并通过Step LR学习率调整使学生模型趋向于教师模型优化，导出和保存两者权重文件：学生权重文件a和教师权重文件b。

S024、训练单类织带模型，将步骤S01中的每一个织带种类数据集分别执行S022和S023，并对应导出单类学生权重文件a

S025、训练分类准确度以及权重导出，通过MobileNetV2神经网络嵌入式设备对S01中的数据集进行epoch＝13训练，并在织带分类准确度大于98％后导出分类权重文件c。

本发明技术方案通过在Torchvision标准ResNet18神经网络基础上，去除二维平均池化层、全连接层，第三层和第四层，牺牲轻微准确性来换取速度提升以适应嵌入式应用环境，同时通过Online Learning和MobileNetV2对无瑕疵数据集进行训练学习和分类，能够保证权重文件更加全面，对不同种类的织带图案均能够保证其瑕疵检测识别效果。

作为本发明的优选，在S023中具体包括如下子步骤：

S0231、确定模型之间平均损失，设定数据集样本数量batch size＝1并采用Online Learning模型训练方法，用无瑕疵数据集对学生模型进行训练，得到学生模型与教师模型之间运算结果并归一化后得到每一层的损失Loss为L

S0232、优化学生模型，使用步进学习率调整机制Step LR的梯度下降法SGD优化器向损失较低方向优化，即学生模型趋向于教师模型优化，训练后保存分别保存学生模型与教师模型权重文件。

本发明技术方案通过设定数据集样本数量为1能够降低模型运算用时，并通过对训练学习和归一化后的模型进行学习率调整优化，能够提高瑕疵检测的准确度以及减少检测误差。

作为本发明的优选，通过检测装置的摄像设备对织带实时拍照采集和转换过程中具体包括如下子步骤：

S041、织带图案分类，检测装置中的摄像头采集织带实时图片且将其转为float32浮点数组，加载S025中的分类权重文件c并得到织带图案分类结果d。

S042、计算获得瑕疵分布图；加载与织带图案分类结果d对应的S041中单类学生权重文件an和单类教师权重文件bn，基于S02中修改的STPM金字塔结构算法输入图片数组并执行以下步骤：

S0421，分别通过学生模型、教师模型对每一层金字塔生成w×h的特征向量元组F

S0422，根据计算得到瑕疵分布图如下：

式中w、h分别为图片数组的尺寸；

通过矩阵计算进行双线性插值Bilinear Interpolation并缩小为w

在S0422中，基于超限程度的函数记分，若在n次内超过阈值的累计分数达到特定瑕疵判定数值时，执行S05中的通过GPIO发送瑕疵超过阈值的电平并进行警报停机；在S0422中，若瑕疵程度未超过阈值则执行S05中将瑕疵未超过阈值的电平数据发送至云平台。

本发明技术方案全过程在本地嵌入式设备上运行完成，不需上传数据至服务器或中心机房，在不影响织带瑕疵检测的效率的同时对于算力较弱的嵌入式设备也能够适用，适用范围更广。

作为本发明的优选，若电平信号为瑕疵程度超过阈值则执行如下步骤：

S051、将电平信号发送至物联网平台，通过物联网平台发送硬件停机信号使织带机停止工作并进行闪光警告。

还包括以下子步骤：

S052、物联网平台将瑕疵情况发送给服务器端完成记录，服务器端收到后实时发送给前端大屏与手机终端，在前端经过处理后，将瑕疵情况即时呈现给现场工作人员。

本发明技术方案结合物联网平台和检测装置，将检测信号直接发送并在前端和终端进行显现，能够有效地降低传统对于人工成本的耗费，实现检测自动化和智能化操作。

附图说明

图1为本发明的织带机器视觉在线质量检测方法流程框图；

图2为本发明的织带机器视觉在线质量检测方法分类图案示意图；

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。以下没有详细说明的内容均属于本领域技术常识。

参阅图1和图2，在具体实施例中，该方法基于设置在涤纶织带机器一侧的视觉在线质量检测装置实现，其检测对象为：由织带机生产制造的织带；织带机检测装置包括：用于数据处理、发送和记录的终端处理设备，对涤纶织带进行拍照并将图像数据输送至终端处理设备的摄像处理设备，对摄像处理设备识别后的瑕疵涤纶织带进行声光警报的警报设备。

该检测方法需要加载硬件开发板上的权重文件实现瑕疵判断，基于织带不同品类的权重文件保存和导出具体方式如下：

S01、创建数据集，分别采集有瑕疵和无瑕疵的织带图片，对其进行转换后得到有瑕疵数据集和无瑕疵数据集。

S012、转化图片为张量并进行归一化处理，利用PIL方案将图片转为张量并通过ImageNet数据库中的mean均值＝[0.485，0.456，0.406]和std标准差＝[0.229，0.224，0.225]对图片数据采用OpenCV函数Normalize进行归一化处理；S013、调整并统一图片亮度，将图片从RGB模式转为HSV模式后，通过PIL ImageEnhance将所有转换后的图片亮度调至相等。

S02、训练模型，利用无瑕疵数据集训练人工智能模型，并导出权重文件。

S021、修改模型输出为STPM的金字塔结构算法，在Torchvision标准ResNet18神经网络基础上，去除二维平均池化层、全连接层，第三层和第四层，然后将模型输出改为STPM的金字塔结构，将第一层的结果X

S022、声明教师模型和学生模型，基于S021中的STPM算法，教师模型为经ImageNet数据集预训练并已经得到权重，学生模型为待训练的S01中数据集。

S023、训练学生模型以及导出教师模型和学生模型权重，对学生模型的无瑕疵数据集进行Online Learning在线学习并通过Step LR学习率调整使学生模型趋向于教师模型优化，导出和保存两者权重文件：学生权重文件a和教师权重文件b；在S023中具体包括如下子步骤：

S0231、确定模型之间平均损失，设定数据集样本数量batch size＝1并采用Online Learning模型训练方法，用无瑕疵数据集对学生模型进行训练，得到学生模型与教师模型之间运算结果并归一化后得到每一层的损失Loss为L

S0232、优化学生模型，使用步进学习率调整机制Step LR的梯度下降法SGD优化器向损失较低方向优化，即学生模型趋向于教师模型优化，训练后保存分别保存学生模型与教师模型权重文件。

S024、训练单类织带模型，将步骤S01中的每一个织带种类数据集分别执行S022和S023，并对应导出单类学生权重文件a

S025、训练分类准确度以及权重导出，通过MobileNetV2神经网络嵌入式设备对S01中的数据集进行epoch＝13训练，并在织带分类准确度大于98％后导出分类权重文件c。

通过在Torchvision标准ResNet18神经网络基础上，去除二维平均池化层、全连接层，第三层和第四层，牺牲轻微准确性来换取速度提升以适应嵌入式应用环境，同时通过Online Learning和MobileNetV2对无瑕疵数据集进行训练学习和分类，能够保证权重文件更加全面，对不同种类的织带图案均能够保证其瑕疵检测识别效果。

S03、放置权重文件，将上述步骤中训练得到的权重文件放置于硬件开发板上。

本实施例中的硬件开发板为Sipeed Maix II Dock硬件，并基于ArmV7l平台和Linux系统，使其具有较高的拓展性同时能够提供独立的NPU神经网络计算单元，在平衡性能和可扩展性的前提下降低整体的成本；S01中图片的尺寸格式分别保存为144×144，244×244，并通过Normalize进行归一化处理能够方便对图片数据进行处理；另外PILImageEnhance对图片进行转换并调整至相同亮度，避免环境对其造成影响。

织带机器视觉在线质量检测方法通过加载上述权重文件实现，具体如下：对织带图片进行实时检测，将检测装置的摄像头所采集到的织带图片进行转换后通过加载S03中的分类权重文件对其先进行分类，后基于修改的STPM算法判断瑕疵程度是否超过阈值；通过GPIO发送瑕疵超过阈值的电平并进行警报停机，或将瑕疵未超过阈值的电平数据发送至云平台并对新的织带继续进行检测。

通过检测装置的摄像设备对织带实时拍照采集和转换的检测过程为织带图片进行实时检测，其过程具体包括如下子步骤：

S041、织带图案分类，检测装置中的摄像头采集织带实时图片且将其转为float32浮点数组，加载S025中的分类权重文件c并得到织带图案分类结果d。

S042、计算获得瑕疵分布图；加载与织带图案分类结果d对应的S041中单类学生权重文件an和单类教师权重文件bn，基于S02中修改的STPM金字塔结构算法输入图片数组并执行以下步骤：

S0421，分别通过学生模型、教师模型对每一层金字塔生成w×h的特征向量元组F

S0422，根据计算得到瑕疵分布图如下：

式中w、h分别为图片数组的长宽尺寸；

通过矩阵计算进行双线性插值Bilinear Interpolation并缩小为w

在S0422中，基于超限程度的函数记分，若在n次内超过阈值的累计分数达到特定瑕疵判定数值时，执行S05中的通过GPIO发送瑕疵超过阈值的电平并进行警报停机；在S0422中，若瑕疵程度未超过阈值则执行S05中将瑕疵未超过阈值的电平数据发送至云平台且。

对织带图案先通过分类权重文件进行分类后，对应其图案种类加载权重文件，基于修改的STPM金字塔结构算法来实现计算处理得到瑕疵分布图，其中一个平衡了时间与质量的较优解为：18×18。

在具体实施例中若瑕疵程度未超过阈值时，将电平信号发送至中央服务器或云平台进行数据存储处理，若电平信号为瑕疵程度超过阈值则执行如下步骤：

S051、将电平信号发送至物联网平台，通过物联网平台发送硬件停机信号使织带机停止工作并进行闪光警告。

S052、物联网平台将瑕疵情况发送给服务器端完成记录，服务器端收到后实时发送给前端大屏与手机终端，在前端经过处理后，将瑕疵情况即时呈现给现场工作人员。

本实施例通过采用无缺陷样本进行训练实现判断目标样本是否含有瑕疵，能够适用于大部分企业或厂房，另外对图像分辨率以及摄像头和硬件处理器要求低，有效降低了项目硬件成本与维护成本，通过智能化深度学习和训练无瑕疵模型，织带瑕疵检测效率有一定程度的提升；结合检测装置能够对织带实现自动化智能化瑕疵质量检测以及警报处理，减少人工成本同时保证检测效果。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。