基于弱监督目标检测的工业品表面缺陷位置检测方法

技术领域

本发明涉及一种基于深度学习的工业品表面缺陷位置检测方法，属于表面缺陷检测领域。

背景技术

工业生产流程中，表面缺陷检测技术对产品的品控至关重要，而依靠人工的质量检查费时费力。为了提升生产的自动化水平，往往采用机器视觉方法来进行检测。但是传统机器视觉方法难以适应复杂的生产环境，鲁棒性差，需要针对不同的问题设计不同的针对方案。随着人工智能技术的发展，深度学习技术逐渐被应用于表面缺陷检测领域，展现出更强的性能。

深度学习技术以卷积神经网络、注意力机制、transformer等高性能深度学习框架作为基础，在计算机视觉、自然语言处理乃至材料学生物学等领域都取得了巨大的进展，显示了人工智能技术的优越性。

然而实际工业生产环境中，现有的深度学习算法要想实际应用还面临着如下挑战：(1)收集数据费时费力。深度学习技术往往需要收集大量的样本，这对于工业检测场景的早期快速部署是一项挑战；(2)标注、清洗数据困难。对收集到的原始数据，仍然需要专业人员甚至相关领域专家来进行样本标注。且任务越复杂(如分割、检测)需要的标注程度越高，这无疑需要高额的时间与人力成本。

因此，如何面对有限的数据、简易的标注(如图像级别的标注)等复杂场景下的挑战，是实现表面缺陷检测自动化、智能化的关键。

发明内容

针对如何利用有限数据、简易标注的样本实现高精度表面缺陷检测的问题，本发明提供一种基于弱监督目标检测的工业品表面缺陷位置检测方法。

本发明的一种基于弱监督目标检测的工业品表面缺陷位置检测方法，包括：

步骤1、建立工业品表面缺陷数据集，获取工业品表面缺陷的基础分类模型，将基础分类模型作为主干模型f

然后在基础分类模型的N个卷积块后各增加一路分支，构成N个分类器，每路分支为一个全连接层；

冻结主干模型f

步骤2、检测时，将待检测的工业品表面图像输入到基础分类模型中，计算步骤1获得的N+1个分类器的弱监督定位结果，并将N+1个分类器的弱监督定位结果进行合并，获得结果S；

步骤3、对结果S进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。

作为优选，步骤2中，采用CAM方法依次计算N+1个分类器的弱监督定位结果，获得N+1个分类器的显著度图S

其中，k＝1,2,…,N+1，

作为优选，步骤2中，采用插值φ

S＝∑

本发明的有益效果，本发明相较于传统的CAM等弱监督目标检测方法，可以产生更高精度的语义分割结果。本发明减少了数据的标记难度，只需要提供图像级别的标签(类别标签)，就可以完成对缺陷位置的检测。

附图说明

图1为本发明的原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本实施方式基于弱监督目标检测的工业品表面缺陷位置检测方法，该方法通过训练一组分类模型，只需要图像级的标签，就能实现对表面缺陷的像素级分割。具体来说，本实施方式由分类模型与弱监督定位算法两个部分组成。分类模型部分包括基础分类模型。基础分类模型也可以根据任务难度选择不同容量的模型，如VGG16、ResNet50等。除此之外，为了获得更高精度的语义分割性能，本实施方式分类模型在基础分类模型的基础上，在每个卷积块后增加一个分支，每个分支由一个全局平均池化和输出层组成的全连接层构成(即softmax分类器)，如图1所示。设额外连接的分支数为N，则总共需要训练N+1次，即第一次正常训练，然后冻结基础分类模型的参数，单独训练每一个额外分支。检测时，将待检测的工业品表面图像输入到基础分类模型中，N+1个分类器的弱监督定位结果，并将N+1个分类器的弱监督定位结果进行合并，获得结果S；对结果S进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。

不同于以往的弱监督方案，本方法发现，高层特征图中的语义依然具有较强的判别性，且具有更多的语义信息，因此会获得更高精度的缺陷检测效果。

本实施方式中基础分类模型采用常规的训练方法，如迁移学习策略、数据增强方法等；

迁移学习策略为：将现有工业品表面缺陷分类模型的参数迁移到所述基础分类模型中。

数据增强方法：获取工业品表面缺陷数据，并进行图像增强(如随机翻转，随机裁剪等)，建立工业品表面缺陷数据集；利用工业品表面缺陷数据集对基础分类模型进行训练，确定基础分类模型的权重。

以训练ResNet50模型为例，简记为f，将基于imagenet预训练的ResNet50模型的参数迁移到待训练的基础分类模型中，然后在数据增强后的缺陷数据上进行微调训练可以获得主干模型f

本实施方式中，弱监督定位算法则采用CAM(类激活图)方法，采用CAM方法依次计算N+1个分类器的弱监督定位结果，获得N+1个分类器的显著度图s

其中，如图1所示，全连接层包括全平均池化层和输出层；k＝1,2,…,N+1，

将所有定位结果合并，由于不同分类器的底层特征图大小一般不一致，因此采用插值方法φ

与经典CAM方法不同的是，由于分类器额外训练了N个分支，则对于这N个额外的分类器，可以额外生成N个显著度图(即CAM)，最终的定位结果，由合并这N+1张显著度图获得。

缺陷定位后，对弱监督定位的结果S进行阈值分割后处理，可以选择若干张工业品表面缺陷数据集样本，选择多个二值化阈值，如δ＝0.1,0.3,0.5,0.8，然后进行人眼评判合适的值，或者选择使工业品表面缺陷数据集语义分割指标(F1 score、mIoU等)最高的二值化阈值，确定为最终的二值化阈值，生成缺陷的位置掩膜。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。