基于深度学习的六面体缺陷检测方法及介质

技术领域

本发明涉及计算机及电子元器件检测领域，具体涉及了一种基于深度学习的六面体缺陷检测方法及介质。

背景技术

在生产电子元器件过程中，难免会受到各种工艺、材料、温度、搬运等外界不可控因素影响，进而导致电子元器件会产生划痕、黑点、裂纹、裂缝等缺陷，而这种缺陷严重会直接导致电路短路等问题。六面体缺陷检测是只指对这种产品表面可见的缺陷进行判断并挑选出来。

传统的方式是基于图像处理分析，每个产品由震动盘上料到一个旋转的玻璃圆盘上排列，并依次经过6个相机，6个相机分别拍下电子元器件的6个表面的图像进而分析。每个相机的图片需要分别写缺陷检测算法，挑选出需要检测的部分，进而判断并测量挑选出来的区域是否在正常品的规格之内，然后通过六面体检测设备挑选出来。

基于传统算法的检测技术，在一定程度上解决了检测电子元器件的需求，实现了自动化检测。但是传统算法有几点弊端无法解决，难以进一步发展下去。

1、传统算法切换产品时，需要图像处理工程师重新开发；

2、传统算法基于CPU检测，在检测速度上容易遇到瓶颈；

3、开发的程序需要调试大量的参数；

4、复杂表面的缺陷开发难度大。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供了一种基于深度学习的六面体缺陷检测方法及介质，在低成本的设备条件下，实现便捷及较高精度的缺陷检测。

本发明的技术方案包括一种基于深度学习的六面体缺陷检测方法，其特征在于，该方法包括：S100，通过摄像装置采集电子元器件的图像数据，将图像数据转化为深度学习的图像矩阵，并归一化保存于队列中；S200，队列中的图片数据满足深度学习处理时，将图片数据进行打包发送至已训练的Unet模型；S300，通过Unet模型输出语义分割结果，根据语义分割结果执行形状判断；S400，根据判断结果，通过检测设备对电子元器件的对应部位进行检测。

根据所述的基于深度学习的六面体缺陷检测方法，其中将图像数据转化为深度学习的图像矩阵包括：对不同摄像装置所采集的图像的原始数据进行多样化处理，并通过统一接口转换为深度学习的矩阵结构数据。

根据所述的基于深度学习的六面体缺陷检测方法，其中Unet模型的训练包括：S210，将待检测产品经过六面体机器采集图片，将图片按照掩膜的方式标注图像区域，并进行区域分类；S220，对图片进行数据扩增和数据增强，得到图片集；S230，将图片集按照设定比例划分为训练集和测试集，本发明使用是8：2，根据实际情况不限于此比例；S240，获取标签数据的区域分类面积，计算区域分类面积与分类区域的总面积的比例；S250，通过随机梯度下降执行收敛处理；S260，基于4层下采样及4层上采样的Unet模型，对每层相同维度之间进行特征融合；S270，收敛采用增加权重的softmax交叉熵，其中总loss＝权重*分类loss；S280，对Unet模型生成的热度图采用softmax和argmax的结合进行分类汇总，计算每个像素点属于对应分类的概率。

根据所述的基于深度学习的六面体缺陷检测方法，其中数据增强包括旋转角度、增加噪点及动态生成缺陷图片。

根据所述的基于深度学习的六面体缺陷检测方法，其中计算区域分类面积与图片区域的总面积的比例包括：以所有分类总面积数/分类面积作为权重进行计算。

根据所述的基于深度学习的六面体缺陷检测方法，其中随机梯度下降通过ADAM或者NADAM优化算法实现。

根据所述的基于深度学习的六面体缺陷检测方法，其中该方法还包括：通过增加批次执行多次训练。

根据所述的基于深度学习的六面体缺陷检测方法，其中该方法还包括：基于mxnet深度学习框架，通过.net封装mxnet深度学习框架的C接口，执行深度学习训练模型静态图的构建。

根据所述的基于深度学习的六面体缺陷检测方法，其中该方法还包括：所述Unet模型可以通过fcn及MaskRCNN进行替换。

本发明的技术方案还包括一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现任一所述的方法步骤。

本发明的有益效果为：深度学习的训练方式代替传统算法，降低了开发周期；深度学习运算在GPU上，不受CPU的限制，节省了设备成本；深度学习的所圈即所检，无需调参数，无需专业人员，操作简单；在优质的数据标签下，复杂背景可轻易挑选出来，能够更加精确的检测缺陷。

附图说明

下面结合附图和实施例对本发明进一步地说明；

图1所示为根据本发明实施方式的总体流程图；

图2所示为根据本发明实施方式的Unet训练流程图；

图3所示为根据本发明实施方式的产品结果检测图；

图4所示为根据本发明实施方式的深度学习部分部署结构；

图5所示为根据本发明实施方式的装置介质图；

图6所示为根据本发明实施方式的系统框图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。

在本发明的描述中，对方法步骤的连续标号是为了方便审查和理解，结合本发明的整体技术方案以及各个步骤之间的逻辑关系，调整步骤之间的实施顺序并不会影响本发明技术方案所达到的技术效果。

本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

术语解释

六面体：六面体检测设备；

电子元器件：电子元器件是电子元件和小型的机器、仪器的组成部分，其本身常由若干零件构成，可以在同类产品中通用；常指电器、无线电、仪表等工业的某些零件，是电容、晶体管、游丝、发条等电子器件的总称。常见的有二极管等。电子元器件包括：电阻、电容、电感、电位器、散热器、机电元件、连接器、半导体分立器件、电声器件、激光器件、电子显示器件、光电器件、传感器、电源、开关、微特电机、电子变压器、继电器、印制电路板、集成电路、各类电路、压电、晶体、石英、陶瓷磁性材料、印刷电路用基材基板、电子功能工艺专用材料、电子胶(带)制品、电子化学材料及部品等；

语义分割：让计算机根据图像的语义来进行分割；

Unet：一种基于医疗图像分割的深度网络模型。

图1所示为根据本发明实施方式的总体流程图，该流程包括：S100，通过摄像装置采集电子元器件的图像数据，将图像数据转化为深度学习的图像矩阵，并归一化保存于队列中；S200，队列中的图片数据满足深度学习处理时，将图片数据进行打包发送至已训练的Unet模型；S300，通过Unet模型输出语义分割结果，根据语义分割结果执行形状判断；S400，根据判断结果，通过检测设备对电子元器件的对应部位进行检测。

结合图1，本发明提出了如下的实施例，其流程包括：相机拍照获取图像数据，图像数据转化为深度学习的图像矩阵并归一化保存在队列；深度学习模块检测有图像数据，加入批次缓冲，深度学习模块检测批次达到检测个数并触发检测；检测数据打包发送到提前训练好的Unet模型；Unet将语义分割结果返回到输出队列，Unet不判断产品的好坏；规格判断模块判断语义分割后的形状大小，进而判断是否良品；规格判断模块将判断的结果返回机器，机器操作硬件来分来不良品；规格判断的阈值是一个通用模块，可对阈值参数的调控来确定哪些部分属于缺陷。

Unet是一个适合医学图像分割的模型，其某些特性天然适应于工业检测场景。传统的Unet模型速度达不到工业的检测速度要求。在六面体系统中针对Unet进行了优化，通过调参手段减少了Unet的参数量。主体运用了BN层，且工业检测的场景比较简单，无需预训练模型，少批量的图片就能很快收敛并达到检测效果。针对工业场景的不良品极难收集的场景，训练前对数据集的类别球权，训练时的收敛加权，对小缺陷能达到更加好的检出效果。初始学习率为0.0001，用随机下降梯度算法。小图片的极限条件下，有比传统算法还高的速度，一张2080TI显卡的算力，能超过500FPS。

深度模型由Unet换成其他的语义分割模型，比如fcn、MaskRCNN等。

图2所示为根据本发明实施方式的Unet训练流程图，包括：

将待检测产品经过六面体机器采集图片，图片按照掩膜的方式标注图像区域，区域分类从1开始，背景设为0；

对图片进行数据扩增和数据增强。本发明的数据增强方式采用的旋转角度、加噪点、数据增强、动态生成缺陷图片等；

把图片按照8：2的分成训练集和测试集，本发明使用是8：2，根据实际情况不限于此比例；

获取标签数据的区域分布面积，求面积所占总体的比例。本发明采用的权限比例为：所有分类总面积数/分类面积，但不限于使用其他权限比例方式；

收敛方式采用(SGD)随机梯度下降，初始学习率设置为0.0001，随训练时间增大，学习率增大。本发明使用的随机梯度下降(SGD)，但不限于使用单一的收敛方式，根据实际情况会选择ADAM或者NADAM等优化算法；

模型采用4层下采样，4层上采样，每层相同维度之间进行特征融合。采样的维度根据速度和实际检测效果进行调整；

收敛采用加权重的softmax交叉熵，总loss＝权重*分类loss；

模型出来的热度图采用softmax+argmax对分类汇总，求出每个像素点属于某一分类的概率；

训练需加大批次(batchsize)的大小，能更好的学习小缺陷的特征。具体情况需根据数据样本参数调整。

图3所示为根据本发明实施方式的产品结果检测图，图3所示从左至右分别为，原图、标签图、结果图，结合实施例2的图可以知道，在有效的调参下，图片分割边界线比较精准。

图4所示为根据本发明实施方式的深度学习部分部署结构，具体如下：本发明的技术方案部署采用的是深度学习框架为mxnet。开发语言用.net。通过.net封装mxnet的C接口，完成对深度学习训练模型静态图的构建。通过封装mxnet的推理接口来加载训练后的模型及参数，进而实现高速推理。

图5所示为根据本发明实施方式的装置介质图。装置包括存储器100及处理器200，其中处理器200存储有计算机程序，计算机程序用于执行：通过摄像装置采集电子元器件的图像数据，将图像数据转化为深度学习的图像矩阵，并归一化保存于队列中；队列中的图片数据满足深度学习处理时，将图片数据进行打包发送至已训练的Unet模型；通过Unet模型输出语义分割结果，根据语义分割结果执行形状判断；根据判断结果，通过检测设备对电子元器件的对应部位进行检测。其中，存储器100用于存储数据。

图6所示为根据本发明实施方式的系统框图，包括：主要包括了图像数据转换模块、推理模块、训练模型模块、AI结果判断模块(现有的判断模块)。图像数据转换模块：不同相机采图的原始数据多样化，要统一成深度学习的矩阵结构数据，需要统一接口转换。推理模块：加载训练模块生产的参数，运行过程中缓冲图片，批量处理并输出分割结果的主要模块训练模块：训练出模型用于推理；AI结果判断模块：推理和训练都会产生语义分割图，根据分割图进一步确定产品属于良品或不良品。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。