一种基于深度学习的铝压铸件表面缺陷检测方法

技术领域

本发明公开涉及数字图像处理技术领域，尤其涉及一种基于深度学习的铝压铸件表面缺陷检测方法。

背景技术

铝压铸件在汽车变速箱的生产中有着重要的应用，汽车行业的快速发展带动了铝压铸件的大批量生产，铝压铸件作为变速箱的关键零部件，其表面质量直接影响零件的装配和使用性能。铸造过程中由于受生产设备、铸造工艺、人工技术和外部环境等因素的影响，铝压铸件表面不可避免地产生气孔、裂纹、划痕等缺陷，影响成品的外观、密封性、抗磨性等性能，甚至影响变速箱的正常使用。

目前，针对铝压铸件的表面缺陷的检测仍以人工目视为主。在长期的单一重复性工作中，工人容易产生疲劳，导致不合格的产品流入到应用市场中。不同的工人操作的手法力度宽严也不尽相同，对于极限件合格性的判断会产生主观不一致。铝压铸件表面形状复杂、缺陷类型多样，并且在生产过程中出现的水渍、油污、加工纹理等易被误识别为缺陷，对检测结果造成干扰。Femandez.C开发了连铸铝合金铸件在线表面检测视觉系统，采用面阵CCD进行图像采集，利用相似性算法和纹理算法实现了多种表面缺陷检测和分类识别。Robles.L采用改进的模糊模式识别算法进行铸件表面的缺陷分类和识别，对裂纹和孔洞等缺陷具有良好的分类效果。Timothys.Newan等人研究设计了一套用于铸件表面自动视觉检测系统，适合测量大量存在表面缺陷的金属铸件。但是针对气孔、裂纹、划痕等缺陷，因产品状态不一致，未能准确识别。随着近年来深度学习在工业检测领域的应用越来越广泛，效果越来越好，本发明提出了一种基于深度学习的铝压铸件表面缺陷检测算法。

鉴于上述分析，现有技术存在的问题是：

(1)以人工目视为主的铝压铸件的表面缺陷的检测过程中，工人容易产生疲劳，导致不合格的产品流入到应用市场中。

(2)不同的工人操作的手法力度宽严也不尽相同，对于极限件合格性的判断会产生主观不一致。

(3)铝压铸件表面形状复杂、缺陷类型多样，并且在生产过程中出现的水渍、油污、加工纹理等易被误识别为缺陷，对检测结果造成干扰。

解决上述技术问题的难度在于：

针对铝压铸件表面缺陷检测的研究成果较少.由于铝压铸件形状复杂，最常见的气孔缺陷尺寸细微，难以准确分割出缺陷区域，并且在生产过程中出现的水渍、油污等易被误识为缺陷，对传统方式的检测结果造成干扰。

铝压铸件存在各种形态，为降低企业生成成本，增加算法的有效检出能力，需要算法具有一定的通用性，通过对缺陷进行标注训练识别，需要适应不同型号的产品。

解决上述技术问题的意义在于：

考虑到传统人工检测方式以及传统视觉的检测方式，采用本文提出的检测方法可以适应不同表面形态、不同类型的缺陷，降低因水渍、油污对算法的影响，提高了检测的效率。

同一套算法模型适用不同类型的铝压铸件产品缺陷的检测，实现了一次标注训练，适应所有类似的缺陷检测，降低了企业的运营成本，提高后期设备的研发效率。

发明内容

为克服相关技术中存在的问题，本发明公开实施例提供了一种基于深度学习的铝压铸件表面缺陷检测方法。所述技术方案如下：

该基于深度学习的铝压铸件表面缺陷检测方法包括：

步骤一、通过光度立体法，将多张不同角度照明的图片合成一张格式的图片，使缺料、划伤等缺陷更加明显；

步骤二、应用深度学习方法，训练出目标检测模型，检测图像中的缺陷。

作为本发明的优选实施例，在步骤一中，图像合成后，采用了YOLO-v3目标检测算法，将合成的图像加载进预先设置好的网络框架中进行训练。

作为本发明的优选实施例，在步骤一中，保持相机镜头模组于被摄物体之间的相对位置不变，变化光源的照明角度，拍摄多张图片；

利用光度立体法，将多张图片合成一张tiff格式的图，从合成图可看出，合成后，缺陷比合成之前更明显。

作为本发明的优选实施例，变化光源的照明角度为至少三个不同的角度。

作为本发明的优选实施例，光度立体法采用图像中各点的亮度方程，即辐照方程，其数学描述如下：

I(x，y)＝k

其中I是表面点的亮度，S为光源向量，N为表面法向量，k

给定三幅光度立体图像I

这里I

设三个光源方向为

其中，

如果三个光源方向向量不共面，那么

作为本发明的优选实施例，在步骤二中，将tiff格式图片的灰度值由0-1映射到0-255，得到png格式图片；

将采集的所有图片分类，按7∶3的比例分为训练集和测试集两部分，对训练集进行人工标注，标签按缺陷类型分类；

标注完成后，将标注好的图片导入到YOLOv3目标检测算法中进行训练，训练完成后，得到训练模型；

将模型载入预测程序，传入图像后开始进行目标检测。

作为本发明的优选实施例，在YOLOv3目标检测算法的处理过程中，使用加权K-means算法对目标样本进行聚类。

作为本发明的优选实施例，加权K-means算法分配聚类中心并设置每一个样本的权重参数，再进行聚类计算；调整YOLOv3的网络结构，增加残差单元和一个大尺度的特征图层输出。

作为本发明的优选实施例，加权K-means算法的实现步骤为：

(1)设置3个feature map的中心点，每1个中心点对应3个聚类中心；

(2)求出每一个样本与中心点之间的距离，距离计算公式如式(5)所示：

其中，box

(3)求权重矩阵，即每个样本对应每个聚类中心的权重，属于同一个中心点的聚类中心共用相同的权重；权重为样本到聚类中心距离z-score标准化后的相反数，将距离较远的样本权重直接设置为0，降低数据不平衡样本的干扰；式(6)为所有样本到某一中心点距离的均值，式(7)为权重的计算公式：

其中，l为中心点，d

(4)迭代更新所有聚类中心，直到聚类中心不再发生变化。

作为本发明的优选实施例，在YOLOv3网络的基础上，将FPN中上一个检测层的输出上采样，与增加了残差单元的浅层输出融合，经卷积后形成新的特征图。

本发明公开的实施例提供的技术方案可以包括以下有益效果：

(1)本发明采用普通FA镜头和定制的环形光源来完成光度法的打光。环形光源平均分成四部分，使用控制程序依次控制每部分光源的开光，每次只亮一部分，且同时采集图像。采集完图像后，使用光度立体法将四张图像合成一张tiff格式图像。从合成的图像可以看到，划伤等缺陷被明显地呈现出来，说明改良后的光度法打光方式效果达到理想预期，检出能力高达99％。

(2)图像合成后，将合成的图像加载进预先设置好的网络框架中进行训练。训练完成后，使用得到的模型来进行在线缺陷检测。

(3)本发明使用加权K-means算法代替原来的K-means算法对目标样本进行聚类：首先分配聚类中心并设置每一个样本的权重参数，再进行聚类计算，避免了缺陷尺寸不平衡对聚类结果的影响，提高了先验框与特征图层的匹配度；同时调整YOLOv3的网络结构，增加了残差单元和一个大尺度的特征图层输出，提高了算法对铝压铸件表面缺陷的检测能力，提高了检测精度。

(4)同一套算法模型，针对不同产品的铝压铸件表面缺陷适用率高达98％，针对新设备的研发，降低了算法研发的周期，提升企业的生产效率。

当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本发明提供的基于深度学习的铝压铸件表面缺陷检测方法的流程图。

图2为本发明实施例中提供的发明中涉及到铝压铸件示意图；

图3为本发明实施例中提供的发明中涉及到打光环境示意图；

图4为本发明实施例中提供的发明中涉及到不同角度照明图；

其中，a、0°图；b、90°图；c、180°图；d、270°图；

图5为本发明实施例中提供的发明中涉及到光度法合成图；

图6为本发明实施例中提供的发明中涉及到标注过程图；

图7为本发明实施例中提供的发明中涉及到改进的YOLOv3网络结构图；

图8为本发明实施例中提供的发明中涉及到训练过程loss曲线图；

图9为本发明实施例中提供的发明中涉及到的模型；

图10为本发明实施例中提供的发明中涉及到深度学习目标检测图；

图11为本发明实施例中提供的发明中涉及到深度学习目标检测图的局部放大图；

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本发明所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。

除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本发明所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明实施例提供一种基于深度学习的铝压铸件表面缺陷检测方法，以解决现有技术中铝压铸件缺陷检测存在准确度、精度不高的技术问题。本发明充分利用工业光源与工业相机，采用机器视觉的检测方法，实现了对铝压铸件表面缺陷进行快速并准确地检测，并把数据进行实时处理。本发明的技术方案如下：

该方法包括：通过光度立体法，将多张不同角度照明的图片合成一张特殊格式的图片，使缺料、划伤等缺陷更加明显；应用深度学习方法，训练出目标检测模型，检测图像中的缺陷。

上述方法中，传统的光度立体法采用的是远心镜头与远心光源，由于本发明中的拍摄对象面积较大(120mm*120mm)，相应地，需要使用拍摄视野范围较大的远心镜头和光照射范围较大的远心光源。但该类远心镜头和远心光源不仅占用空间，价格昂贵，且进一步提升了机械方面的成本，导致总成本骤升。改进后的打光方式，不仅保证了缺陷的拍摄效果，还节约了空间，节省了成本。

图像合成后，将合成的图像加载进预先设置好的网络框架中进行训练。本发明采用了改进的YOLO-v3目标检测算法，提升了检测精度。

本实施例提供了一种基于机器视觉的铝压铸件缺陷检测方法，请参见图1，所述方法包括：

步骤S101：通过光度立体法，将多张不同角度照明的图片合成一张特殊格式的图片，使缺料、划伤等缺陷更加明显。

步骤S102：应用深度学习方法，训练出目标检测模型，检测图像中的缺陷。

下面结合图1对本申请提供的基于机器视觉的铝压铸件缺陷检测方法进行详细介绍：

首先执行步骤S101，通过光度立体法，将多张不同角度照明的图片合成一张特殊格式的图片，使缺料、划伤等缺陷更加明显。

具体地，上述对通过光度立体法，将多张不同角度照明的图片合成一张特殊格式的图片，使缺料、划伤等缺陷更加明显，具体包括：

保持相机镜头模组于被摄物体之间的相对位置不变，变化光源的照明角度(至少三个不同的角度，四到六个为佳)，拍摄多张图片。如图4所示。

利用光度立体法，将多张图片合成一张特殊格式(tiff格式)的图，从合成图可看出，合成后，缺陷比合成之前更明显。如图5所示。

光度立体法的核心是图像中各点的亮度方程，即辐照方程，其数学描述如下：

I(x，y)＝k

其中I是表面点的亮度，S为光源向量，N为表面法向量，k

给定三幅光度立体图像I

这里I

设三个光源方向为

其中，

如果三个光源方向向量不共面，那么

综上所述，如果能得到物体表面的三幅光度立体图像，其表面的法向量场N(x，y)是可以直接求出来的。

然后执行步骤S102：应用深度学习方法，训练出目标检测模型，检测图像中的缺陷。

在具体的实施过程中，由于tiff格式的图片无法直接应用于深度学习的标注与训练，需将tiff格式的图片转化为png格式。具体操作是将tiff格式图片的灰度值由0～1映射到0～255得到png格式图片。

将采集的所有图片分类，按7∶3的比例分为训练集和测试集两部分，对训练集进行人工标注，标签按缺陷类型分类。如图6所示。

标注完成后，将标注好的图片导入到YOLOv3目标检测算法中进行训练，训练过程loss曲线如图7所示。

训练完成后，得到训练模型，如图8所示。将模型载入预测程序，传入图像后开始进行目标检测，检测结果如图9所示。

为提高YOLOv3的检测精度，本发明对该算法进行了改进。使用加权K-means算法代替原来的K-means算法对目标样本进行聚类：首先分配聚类中心并设置每一个样本的权重参数，再进行聚类计算，避免了缺陷尺寸不平衡对聚类结果的影响，提高了先验框与特征图层的匹配度；同时调整YOLOv3的网络结构，增加了残差单元和一个大尺度的特征图层输出，提高了算法对铝压铸件表面缺陷的检测能力。

加权K-means算法具体的实现步骤如下：

(1)设置3个feature map的中心点，每1个中心点对应3个聚类中心。

(2)求出每一个样本与中心点之间的距离，距离计算公式如式(5)所示：

其中，box

(3)求权重矩阵，即每个样本对应每个聚类中心的权重，属于同一个中心点的聚类中心共用相同的权重。权重为样本到聚类中心距离z-score标准化后的相反数，将距离较远的样本权重直接设置为0，降低数据不平衡样本的干扰。式(6)为所有样本到某一中心点距离的均值，式(7)为权重的计算公式：

其中，l为中心点，d

(4)迭代更新所有聚类中心，直到聚类中心不再发生变化。

在铝压铸件表面缺陷检测的问题上，不同种类的缺陷在形态、大小等方面差异很大，若使用原始的YOLOv3网络进行检测，微小缺陷的检测效果较差。以大小为256x256的图片为例，原始的YOLOv3网络最终划分的网格大小分别为32x32、16x16、8x8，能够得到的最大预选框数量仅有1344个，难以满足检测需求。

改进的YOLOv3网络结构图如图7所示。CONV+BN+LeakyRelu是卷积层、批归一化以及激活函数层LeakyRelu的集成，在所有的卷积层后增加批归一化，有助于加快训练过程并提高性能，同时可以缓解梯度消失的问题。Res是指残差单元，这一结构有助于解决网络层数增加后梯度爆炸和梯度消失的问题。Upsampling为上采样层，使用插值的方法将图片放大，图中所有的上采样层将图片放大到原来的2倍。Out为最终得到的特征图层。

在原始YOLOv3网络的基础上，本发明调整了网络结构，将FPN中上一个检测层的输出上采样，与增加了残差单元的浅层输出融合，经卷积后形成新的特征图，图7中虚线框内为改进部分。新的特征图不仅继承了原始YOLOv3网络输出的深层特征，同时也包含了浅层特征，提取特征能力更强。新得到的特征尺度宽、高分别为原图像的1/4，网络数量为64x64，网格大小仅为4x4，改进后的网络对小目标的检测能力更强。同时，保持每个feature map上的先验框的数量为3个，则总的先验框数量由9个增加到12个。相比原始网络结构，使用改进后的网络结构得到的特征图数量从3个增加到4个，每张图片上最大预选框数量可达到5440个。特征图数量的增加可以更好地划分缺陷尺寸的层别，增强网络对不同尺寸缺陷的检测能力。而每张图片上预选框数量的提高可以增加检测密度，防止发生缺陷漏检，影响检测精度。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。