用于工业领域表面缺陷检测的大模型图像分割方法

技术领域

本发明涉及一种图像分割方法，尤其涉及一种用于工业领域表面缺陷检测的大模型图像分割方法。

背景技术

对于现有的工业品制造来看，往往需要对产品的表面缺陷进行检测。目前，表面缺陷检测大致经历了三个阶段，分别是人工目视法检测、单一机电或光学技术检测以及机器视觉检测。人工目视法起源最早应用最广，然而，随着人口红利的消失，以及工作枯燥、自由度低、薪酬较少，愿意从事质检的越来越少，用工难问题愈发凸显。因此机器视觉等先进检测系统将逐渐取代人工。

同时，伴随着技术的发展，深度学习技术在表面缺陷检测领域的应用也越来越广。目前较常见的方式是目标检测、图像分割的方法来解决缺陷的识别定位问题。并且，预训练大模型的出现展示了其优秀的图像分割能力，且大模型的终极愿望是不再需要针对特定单一的场景进行训练，只需结合prompt的使用实现所有场景下的图像分割。

但是，由于目前大模型的泛化能力并不完美，对于常见的场景容易获得较多的训练数据因此其分割能力较好。然而对于某些细分领域数据并不充分大模型的分割能力就相对较弱，为了解决这个问题就需要利用某细分领域的数据对大模型进行微调提高分割准确率。另一个问题是工业领域上深度学习的使用场景通常是要求部署在边缘端，大模型较耗费算力很难部署到边缘设备运行。因此针对特定场景的分割任务需要对大模型进行压缩蒸馏，既能保留大模型的关键知识信息，又可以缩小其模型规模可以部署到边缘设备上。

有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种用于工业领域表面缺陷检测的大模型图像分割方法，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种用于工业领域表面缺陷检测的大模型图像分割方法。

本发明的用于工业领域表面缺陷检测的大模型图像分割方法，其包括以下步骤：步骤一，对工业产品数据集进行收集、整理、标注。步骤二，对数据做图像增广。步骤三，以SAM大模型为基础，构建深度学习模型。步骤四，对深度学习模型进行知识蒸馏，将SAM里的部分知识蒸馏迁移到新构建的深度学习模型中作为训练的初始权值。步骤五，对深度学习模型进行微调。步骤六，进行部署。

进一步地，上述的用于工业领域表面缺陷检测的大模型图像分割方法，其中，步骤一中，所述工业产品数据集包括已公开的数据集，还包括有实施者自有的数据集。

更进一步地，上述的用于工业领域表面缺陷检测的大模型图像分割方法，其中，步骤一中，所述收集的方式为通过爬虫、数据库导入、人工辅助录入中的一种或是多种；所述整理的方式为，按照设备、零部件归属、产品领域划分图像；所述标注的方式为，标注当前图像关联的设备或是产品，备注当前图像中存在的表面缺陷内容、位置。

更进一步地，上述的用于工业领域表面缺陷检测的大模型图像分割方法，其中，所述步骤二中，增广的方式包括镜像，旋转，随机裁剪，缩放，平移，随机噪声，色彩、亮度、饱和度、对比度变化，变形处理中的一种或是多种。

更进一步地，上述的用于工业领域表面缺陷检测的大模型图像分割方法，其中，所述步骤三中，深度学习模型包含，图像编码模组、提示器编码模组、解码器编码模组，

所述图像编码模组负责将输入的图像编码到图像特征空间；

所述提示器编码模组负责将输入的提示信息编码转入到提示信息的特征空间；

所述解码器编码模组负责整合图像编码和提示器编码分别输出的两个特征映射，然后从特征映射中的特征图解码出最终的分割掩码。

更进一步地，上述的用于工业领域表面缺陷检测的大模型图像分割方法，其中，所述提示信息编码仅包含文本。

更进一步地，上述的用于工业领域表面缺陷检测的大模型图像分割方法，其中，所述步骤四中，采用的知识蒸馏方式为，将SAM的图像编码器VIT-H蒸馏到更小的VIT-tiny结构上；对于prompt-guided Mask解码器不做蒸馏处理，将其与图像编码器蒸馏后的结构一起进行再训练。

更进一步地，上述的用于工业领域表面缺陷检测的大模型图像分割方法，其中，所述步骤五中，通过标注、增广后的数据对深度学习模型进行微调。

再进一步地，上述的用于工业领域表面缺陷检测的大模型图像分割方法，其中，所述步骤六中，将深度学习模型部署到边缘设备。

借由上述方案，本发明至少具有以下优点：

1、能够实现模型的预先训练，且无需机型分类人物，只需要进行分割任务，对于缺陷类别识别以prompt的形式解决。

2、若后续存在新的缺陷检测场景，无需重新设计模型，且对于常见的缺陷不需要训练即可达到一定精度的识别效果。

3、可在已有预训练模型的基础上用新数据做迁移学习训练，能够针对工业缺陷检测来实现便捷化的数据更新。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是发明实施期间的构建示意图。

图2是本发明实施期间遇到的手机屏幕实际瑕疵示意图。

图3是本发明方法处理后的手机屏幕缺陷示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1的用于工业领域表面缺陷检测的大模型图像分割方法，其与众不同之处在于包括以下步骤：

步骤一，对工业产品数据集进行收集、整理、标注。实施期间，工业产品数据集包括已公开的数据集，还包括有实施者自有的数据集。为了满足不同的数据收集需求，采用的收集的方式为通过爬虫、数据库导入、人工辅助录入中的一种或是多种。同时，为了实现有效的数据归整，便于构建模型期间的学习标注，采用的整理的方式为，按照设备、零部件归属、产品领域划分图像。同时，为了建立准确的图像表述，采用的标注的方式为，标注当前图像关联的设备或是产品，备注当前图像中存在的表面缺陷内容、位置。

步骤二，对数据做图像增广。考虑到直接获取的图像可能存在一定的显示缺陷，为了避免后续学习期间造成非必要的误判，且可以有效展示可能存在的表面缺陷状态，采用的增广的方式包括镜像，旋转，随机裁剪，缩放，平移，随机噪声，色彩、亮度、饱和度、对比度变化，变形处理中的一种或是多种。当然，可以根据检测对象的不同，采用其他方式来处理图像，在此不再赘述。

步骤三，以SAM大模型为基础，构建深度学习模型。考虑到针对图像处理进行优化，深度学习模型包含，图像编码(imageencoder)模组、提示器编码(promptencoder)模组、解码器编码(maskencoder)模组。具体来说，图像编码(imageencoder)模组负责将输入的图像编码到图像特征空间(imageembedding)。提示器编码(promptencoder)模组负责将输入的提示信息(prompt)编码转入到提示信息(prompt)的特征空间(promptembedding)。解码器编码(Maskencoder)模组负责整合图像编码(image encoder)和提示器编码(promptencoder)分别输出的两个特征映射(embedding)，然后从特征映射(embedding)中的特征图(feature map)解码出最终的分割掩码(mask)。为了优化处理效率，采用的提示器(prompt)编码仅包含文本。这样，在实施期间，只需要考虑文本的形式，无需考虑目标框、点等其他方式，可自动分割出所需的缺陷。

步骤四，对深度学习模型进行知识蒸馏，将SAM里的部分知识蒸馏迁移到新构建的深度学习模型中作为训练的初始权值。具体来说，采用的知识蒸馏方式为将SAM的图像编码器VIT-H蒸馏到更小的VIT-tiny结构上；对于prompt-guided Mask解码器不做蒸馏处理，但需要与图像编码器蒸馏后的结构一起进行再训练。

这样，新的模型规模相对较小有利于部署到边缘端。

步骤五，对深度学习模型进行微调。实施期间，可通过标注、增广后的数据对深度学习模型进行微调。具体来说，微调过程为使用蒸馏再训练后的轻量化模型文件进行参数初始化，适配器使用LORA Adapter，优化器使用ADAM Optimizer，初始学习率为0.003，权值衰减参数为0.00005，Momentum为0.9，30个epoch。

步骤六，进行部署。根据使用需要，将深度学习模型部署到边缘设备。实施期间，将微调训练好的模型动态转换成ONNX格式，然后再将ONNX格式做tensorRT格式的转换，格式转换成功后就可以通过tensorRT边缘设备进行推理了。

本发明的工作原理如下：

SAM模型本身就是一个专注图像分割的大模型，本发明基于SAM进行蒸馏操作获得的小模型也是延续了SAM的图像分割功能。

如图2所示的表面玻璃缺陷，在通过本发明处理后，呈现图3的影响，比纳与第一时间进行识别。

通过上述的文字表述并结合附图可以看出，采用本发明后，拥有如下优点：

1、能够实现模型的预先训练，且无需机型分类人物，只需要进行分割任务，对于缺陷类别识别以prompt的形式解决。

2、若后续存在新的缺陷检测场景，无需重新设计模型，且对于常见的缺陷不需要训练即可达到一定精度的识别效果。

3、可在已有预训练模型的基础上用新数据做迁移学习训练，能够针对工业缺陷检测来实现便捷化的数据更新。

4、该方法与SAM相比，模型更加轻量化可以部署到边缘设备上，且对工业领域的数据分割效果更好。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。