一种交互式工业冷启动缺陷检测系统和方法

技术领域

本发明涉及工业产品表面缺陷检测，特别是涉及一种交互式工业冷启动缺陷检测系统和方法。

背景技术

工业产品的表面缺陷检测是保证产品质量最重要的环节之一。当前，大多数企业主要依靠人工目检，这种检测方式极大的损害了工人的身体健康，并且难以保证检测准确率和检测标准，进而影响着企业的生产水平。近年来，随着人工智能深度学习技术的快速发展，基于深度学习的目标检测和实例分割技术广泛应用于各个领域，如人脸识别等，也有越来越多的学者专家将其引入到工业生产中，但通常受到很多限制，原因是目前能达到较高准确率的算法非常依赖于大规模的已标注的数据集，而在工业零部件的生产中，出现不良品概率低且缺陷种类变化随机，这导致项目初期常常需要数月收集数据以及标注，非常影响项目冷启动部署。此外，随着缺陷数据量的增加，标注的效率会影响到模型的热更新迭代工作。

显然，目前的工业质检有以下几个弊端：1.工业数据难以收集，模型部署周期长，需要人工参与环节较多，难以快速冷启动；2.热更新阶段，标注人员难以全神贯注完成大量标注工作，常常忽视关键缺陷，标注效率低、模型迭代周期长。

现有基于深度学习的工业冷启动主要通过扩充缺陷数据集达到快速冷启动。已申请专利的有CN113850790A通过构建不同领域的缺陷数据扩充前期缺陷数据，但不同领域的数据分布不同，可能导致模型性能不佳。CN111127454A通过深度学习生成缺陷扩充缺陷数据集。CN114463316A通过构建正样本学习法快速实现项目冷启动，并随着数据的增加，逐步应用少样本和全监督方法，但数据的回流主要由人工处理，模型难以快速地热更新。

目前常用的2D图像标注工具主要以LabelMe为代表，通过点和线对图像进行标注，并导出json格式的标注文件。它的优点是部署简单，缺点是仅展示原图，缺少预处理，需要标注员仔细寻找缺陷区域，不同的标注人员标注难以统一。

基于快速扩充数据集达到冷启动的方法存在以下缺点：一是通过生成的工业缺陷通常很模糊，且难以生成指定的缺陷类型，同时生成模型也需要足量的数据来支撑，这是图像生成在工业难以应用的主要原因；二是不同方式扩充的数据难以拟合真实的缺陷分布，存在着过多的人为干预，无法快速利用到产线的实际缺陷数据。

基于正常样本的冷启动方法同样存在一些缺点：一是随着数据增多，在热更新阶段，仍需要大量时间进行缺陷标注，有监督模型无法及时迭代；二是良品模型的检测能力的限制，基于正常样本的异常检测算法存在漏报误报较严重的问题，仍需要大量的人工进行数据清洗；

总之，现有的基于深度学习的缺陷检测系统，面对复杂多变的工业生产环境，在完整的冷启动和热更新以及其间的数据回流存在着问题。

需要说明的是，在上述背景技术部分公开的信息仅用于对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明克服上述背景技术的缺陷，提供基于深度学习的交互式冷启动缺陷检测系统和方法，实现以下两个目的：一是依赖正常数据构建良品的特征模型，快速筛选大量的缺陷数据，缩短数据采集时间，达到项目的冷启动。二是通过良品模型给出缺陷区域的辅助定位，提高产线数据的分析和标注效率，缩短依赖于数据的热更新模型迭代周期。

为实现上述目的，本发明采用以下技术方案：

一种交互式工业冷启动缺陷检测系统，包括冷启动模块、交互式标注模块和热更新模块；

所述冷启动模块包括基于异常检测算法，使用不含缺陷的正常数据构建的良品模型，所述良品模型对产线数据进行快速筛选，找出其中的异常数据送入所述交互式标注模块，实现冷启动过程；

所述交互式标注模块获取冷启动的异常检测算法结果，显示由良品模型给出的可视化检测结果以便人工标注，随后将有标注的数据送入所述热更新模块；

所述热更新模块包含基于目标检测的有监督模型，，通过基于深度学习的目标检测算法检测产线缺陷数据；其中，所述有监督模型通过有标注的缺陷数据训练；

所述有监督模型和所述良品模型将检测结果输入到交互式标注模块，通过所述交互式标注模块将标注的缺陷检出和良品未检出数据分别放入可检出缺陷库和良品库中，将标注的缺陷未检出和良品检出数据分别放入不可检出缺陷库和非缺陷误报库中，以用于迭代更新所述良品模型和所述有监督模型。

进一步地：

通过调整所述良品模型的阈值以使所述良品模型未检出的都是正常数据。

所述冷启动模块基于深度学习的异常检测算法，包括重构网络和分割网络；在训练阶段，使用的样本均为正常数据，通过U-Net结构的神经网络能够完成端到端的重构降噪，使得网络能够重构为正常的数据；在测试阶段，良品的重构是其本身，含缺陷样本也会重构为良品，通过比较测试图片和其重构图片的差异，作为缺陷检测的判据；其中，通过分割网络来捕捉输入图和重构图之间的差异。

所述训练阶段通过相似度损失函数来引导重构网络的梯度变化，以使重构后的样本和输入样本的差异最小化。

所述相似度损失函数采用SSIM结构相似度损失函数和L2正则相似度损失函数；SSIM结构相似度损失函数如下：

其中，I和I

L2正则相似度损失函数和整个网络的损失为：

L

其中i,j为像素位置，μ为平衡两者的超参数。

所述分割网络采用平衡类别不平衡的Focal Loss作为损失函数，Focal Loss为：

Loss

其中，p

所述冷启动模块输出一张二值化后的分割图，显示可能出现异常区域的位置。

所述交互式标注模块显示检测原图和包含疑似缺陷区域的结果图，所述结果图为示出缺陷区域热力图。

所述热更新模块采用Faster R-CNN目标检测算法。

一种交互式工业冷启动缺陷检测方法，使用所述的系统进行交互式工业冷启动缺陷检测。

本发明具有如下有益效果：

本发明提出了一种基于深度学习的交互式工业冷启动的缺陷检测系统和方法，通过冷启动模块、交互式标注模块和热更新模块，在快速冷启动后完成产线缺陷数据的收集、标注和热更新迭代，实现在复杂的工业现场能够仅依靠大量的良品数据，快速地搭建起冷启动的缺陷检测系统，实现缺陷检测。一方面，本发明通过依赖正常数据构建良品的特征模型，快速筛选大量的缺陷数据，缩短数据采集时间，达到项目的冷启动，另一方面，本发明通过良品模型给出缺陷区域的辅助定位，提高产线数据的分析和标注效率，缩短依赖于数据的热更新模型迭代周期。本发明模块内耦合程度高，模块间耦合程度低，能够直接在现有基于深度学习的缺陷检测场景中验证效果至替代，增强了系统迁移到不同业务场景的灵活性，降低了企业部署人工智能进行表面缺陷检测的难度和门槛。

附图说明

图1为本发明实施例的交互式工业冷启动的缺陷检测系统示意图。

图2为本发明实施例的冷启动算法模型框图。

图3为本发明实施例的交互式工业冷启动缺陷检测流程图。

图4为本发明实施例的冷启动模块输入输出结果示意图。

图5为本发明实施例的交互式标注模块输出结果示意图。

图6为本发明实施例的热更新模块输出结果示意图。

具体实施方式

以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

本发明实施例提出了一种基于深度学习的交互式工业冷启动的缺陷检测系统和方法，以实现在复杂的工业现场，能够仅依靠大量的良品数据，快速地进行工业产品的表面缺陷检测。该系统主要包括三个部分，分别是冷启动模块，热更新模块和交互式标注的数据管理模块。本发明在快速冷启动后，能够快速地完成产线缺陷数据的收集、标注和热更新迭代。

工程师通过冷启动模块、交互式标注模块和热更新模块，能够快速部署冷启动，完成产线缺陷数据的收集、标注和热更新迭代，实现在复杂的工业现场能够仅依靠大量的良品数据，搭建起冷启动的缺陷检测系统，快速地完成缺陷检测。

参阅图1，本发明实施例提供一种交互式工业冷启动缺陷检测系统，包括冷启动模块、交互式标注模块和热更新模块；通过所述冷启动模块、所述交互式标注模块和所述热更新模块，在快速冷启动后完成产线缺陷数据的收集、标注和热更新迭代；其中，所述冷启动模块包括基于异常检测算法使用不含缺陷的正常数据构建的良品模型，所述良品模型对产线数据进行快速筛选，找出其中的异常数据送入所述交互式标注模块，实现冷启动过程；所述交互式标注模块获取冷启动的异常检测算法结果，显示由良品模型给出的可视化检测结果以便人工标注，随后将有标注的数据送入所述热更新模块；所述热更新模块包含基于目标检测的有监督模型，通过基于深度学习的目标检测算法检测产线缺陷数据；其中，所述有监督模型通过有标注的缺陷数据训练；所述有监督模型和所述良品模型将检测结果输入到交互式标注模块，通过所述交互式标注模块将标注的缺陷检出和良品未检出数据分别放入可检出缺陷库和良品库中，将标注的缺陷未检出和良品检出数据分别放入不可检出缺陷库和非缺陷误报库中，用于迭代更新所述良品模型和所述有监督模型。

本发明实施例作为工业交互式冷启动缺陷检测的解决方案，主要实现工业产品交互式冷启动的表面缺陷检测，能被快速部署在缺乏缺陷数据的工业现场，并能够与现有的基于深度学习的检测和分割算法兼容，增加检测算法部署效率。

冷启动模块基于异常检测算法开发，即通过大量的正常数据构建良品模型，在项目初期被部署，对产线数据进行快速筛选，找出其中的异常部分送入交互式标注的数据管理模块；交互式数据管理模块基于开源的LabelMe标注平台，内嵌冷启动的异常检测算法结果，能够同时显示原图和包含所有疑似缺陷区域的结果图，便于标注员快速地进行标注，随后将标注信息送入热更新模块；热更新模块是最后上线检测的主要部分，根据实际需要，包括基于深度学习的检测和分割算法，随着缺陷数据量的增加，初步具备了检测能力。此后，工程师将产线数据先后送入良品模型和有监督模型，并把所有良品模型判断为异常的数据送入交互式标注数据管理模块，管理有监督模块误、漏检的数据，快速完成热更新模型的迭代。

本系统的三个模块均为模块化设计，冷启动模块基于异常检测算法，构建良品模型；热更新模块基于深度学习的目标检测算法，是产线缺陷主要的检测模块；交互式标注数据处理模块是通过内嵌冷启动所使用的异常检测算法，给出缺陷区域热力图，提高了工程师数据处理速度，高效完成冷启动和热更新的数据流动工作。本系统有一个非常鲜明的特点：模块内耦合程度高，模块间耦合程度低，能够直接在现有基于深度学习的缺陷检测场景中验证效果至替代，增强了系统迁移到不同业务场景的灵活性，降低了企业部署人工智能进行表面缺陷检测的难度和门槛。

图1是本发明实施例的交互式冷启动缺陷检测系统示意图。系统主要包括：包含基于异常检测算法的良品模型的冷启模块；包含基于目标检测的有监督模型的热更新模块；以及包含交互式标注的数据传输模块(简称交互式标注模块)。

首先是整个检测系统的部署，其中异常检测算法仅仅根据不含缺陷的标准件作为样本学习，该模块部署后，能够起到筛选异常(暂不能区分何种异常)数据的作用，随后将该异常数据送入交互式标注模块。交互式标注模块内嵌了良品模型给出的可视化检测结果，可由人工进行快速地标注和筛选，将真实的缺陷进行分类标注送入缺陷库中，将良品送入到正常样本库中，用来迭代更新异常检测算法。随着缺陷库的数据量能够满足有监督学习算法需求后，将正负样本送入到有监督模型，完成热更新模块的启动。本申请人在先的中国专利申请202111449025.6公开了一种基于深度学习的交互式图像标注方法，本申请中的交互式标注模块可采用该交互式图像标注方法来实现交互式标注。专利申请202111449025.6公开的内容以全文引用方式并入本申请中。

随着整个检测系统的启动，工业相机收集源源不断的产线数据，将收集到的数据分别被送入良品模型和有监督模型。首先，通过阈值设置保证良品模型未检出的都是正常数据，工程师将包含有监督算法结果的良品模型检出数据送入到交互式标注模块，快速地将有监督检出的缺陷数据放过(监督能检出)，将未检出的缺陷进行标注送入缺陷库中(监督不能检出)，将误报的良品加入到正常数据库，迭代更新良品模型和有监督模型。

图2为本发明实施例基于深度学习的异常检测算法模型结构图，主要的思路是基于重构的方式，在训练阶段，使用的样本均为正常数据，人为的增加噪音，通过U-Net结构的神经网络能够完成端到端的重构降噪，使得网络能够重构为正常的数据，即不论给予何种输入，输出均保证为正常样本。在测试阶段，良品的重构依然是其本身，含缺陷样本也会重构为良品，这样通过比较测试图片和其重构图片的差异，就可以作为缺陷检测和定位的判据。为了准确给出异常的区域，设计一个分割网络来捕捉输入图和重构图之间的差异。

训练阶段，通过设计相似度损失函数来引导重构网络的梯度变化，即重构后的样本和输入样本的差异越小越好，一个实施例采取了SSIM结构相似度和L2的正则相似度。SSIM结构相似度损失函数如下：

其中，I和I

L2正则相似度和整个网络的损失为：

L

其中i,j为像素位置，μ为平衡两者的超参数。

分割网络的损失函数采用平衡类别不平衡的Focal Loss作为损失函数，FocalLoss为：

Loss

p

本设计的热更新模块采用目标检测算法Faster R-CNN目标检测算法，实际部署通过转换交互式标注模块的输出格式，可以适用于任意的目标检测算法。

冷启动模块包括重构网络和分割网络，最终输出一张二值化后的分割图，显示可能出现异常区域的位置。交互式标注模块将此分割图转换为热力图提供给标注人员，便于其标注。

一个实施例设计的工业冷启动缺陷检测流程如图3所示。

项目开始部署，工程师收集大量的正常数据构建良品库和良品模型，待到收集到足量缺陷数据，冷启动初步完成；算法工程师通过有标注的缺陷数据训练有监督模型，启动热更新模块，通过调节良品模型的阈值，将有监督和良品模型结果输入到交互式标注模块，结果可能情况有四种：缺陷检出、未检出、良品检出、未检出。工程师将缺陷检出和良品未检出数据分别放入可检出缺陷和良品库中，将缺陷未检出和良品检出放入不可检出缺陷和非缺陷误报库中，完成有监督模型的热更新迭代。专业人员通过分析不可检出缺陷、可检出缺陷、非缺陷误报数据进行工艺分析，提出生产工艺改进，从源头解决产品的缺陷问题。

本发明实施例在冷启动模块，交互式标注模块，热更新模块均做了测试，结果如图4至图6所示。图4示出冷启动模块输入输出结果，图4中左侧为输入冷启动的缺陷原图，中间为重构后的正常图，右侧为分割网络的结果，主要是左侧和中间图的不一样区域。图5示出交互式标注模块输出结果，图5中左侧是冷启动分割网络的分割结果转换的热力图，右侧为原图，该模块基于LabelMe平台，能够快速给出对应的异常区域，通过交互式的方式能够显著提高标注人员的工作效率。图6示出热更新模块输出结果。热更新模块所使用的为目标检测算法Faster R-CNN，通过冷启动收集到的缺陷数据集进行训练，热更新模块是独立的，可以更换为其他的目标检测算法，如YOLO系列等。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。