基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法

技术领域

本发明属于深度学习的图像识别领域，具体为基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法。

背景技术

导光板(light guide plate)是液晶显示器(Liquid Crystal Display)背光源的主要部件，通过各种疏密、大小不一的导光点控制光的散射方向，把冷阴极灯管的线光源转化为均匀面光源，为液晶显示器提供稳定的光源。在导光板的丝印制作、化学蚀刻、激光加工和撞点加工等生产制造过程中，由于原料成分、设备使用情况、加工工艺以及人工操作等因素的影响，其表面不可避免地会出现亮点、线划伤、刮伤等加工缺陷，有缺陷的导光板会直接影响液晶屏的显示效果。根据缺陷的形状，将缺陷分为三大类：点缺陷、线缺陷与面缺陷。点缺陷主要指的是在导光板内部形成的点状缺陷，主要包括亮点与压伤。在塑化过程中，塑胶原料因温度过低从而导致不能完全熔化、成型机周围粉尘较重或者塑胶原料不干净，掺杂着白色的杂质等，会呈现出亮点缺陷，而线缺陷与面缺陷指的是在导光板表面形成的线状和面状缺陷，主要表现为导光板表面出现划伤与刮伤痕迹。在导光板生产过程中，由于导光板接触面的不洁净，如抛光机、滚轮清洁等，或者与运输皮带存在相对位移，导致导光板在运动过程中产生较大的摩擦，从而在导光板表面形成条状划痕或者面状刮伤痕迹。

目前，国内导光板缺陷检测主要依靠人工操作去完成，但人工检测缺陷的局限性非常明显，主要在于：(1)人工检测环境不佳，工人长期面对导光板，会严重损害员工视力；(2)导光板缺陷检测主要凭借人眼判断识别，存在着人为主观因素，难以形成可以量化的质量标准；(3)人工操作易受到多种因素干扰，如外界环境，人眼疲劳等，使得实际检测效率与精度都会受到一定的影响；(4)导光板检测复杂度高，难度大，缺陷种类多，员工很难掌握相关检测技术。

目前手机导光板缺陷检测主要通过验光人员人工完成，在检验治具的打光条件下，点亮导光板，检测人员目测导光板某处或多处是否出现亮点、划伤、刮伤等缺陷，从而判定导光板是否存在缺陷。由于人工检测缺陷的各种局限性，人工亮点检测的精度、效率、稳定性等很难适应企业的要求。为取得高质量导光板检测图像，需要采用高分辨率的线扫相机进行取像，获得的导光板缺陷图像大小在420M左右。在工业现场，企业要求在6秒之内完成对一张导光板的缺陷检测，这也对缺陷的检测效率提出了更高的要求。

发明内容

本发明要解决的技术问题是基于AYOLOv3-Tiny新框架，提出一种PAD导光板缺陷可视化检测方法，能同时完成对导光板上的点、线、面缺陷的定位和分类。

为了解决上述技术问题，本发明提供基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，包括的过程如下：

在手机导光板生产线末端，采用高分辨率线扫相机采集获得导光板图像，然后截取成一组分辨率为416×416的小图像，输入上位机中的具有在线生成能力的PAD导光板缺陷检测模型，输出获得带有缺陷标记及置信度的导光板图像，将结果输出并存储在上位机中；

所述PAD导光板缺陷检测模型基于YOLOv3-Tiny网络构建，包括主干网络层和检测层，主干网络层包括7层网络结构，依次为：第1层为卷积层、第2、3层均为最大池化层+OSM模块、第4-7层均为最大池化层+卷积层，第5层输出的26×26特征图和第7层输出的13×13特征图作为检测层的输入；检测层包括第8层的卷积层、第一预测通道和第二预测通道，主干网络层输出的13×13特征图经过第8层后分别进入第一预测通道和第二预测通道，第一预测通道依次包括第9-11层，13×13特征图依次通过第9层的DCM模块、第10层的卷积层和第11层的第一预测头层；第二预测通道依次包括第12-16层，第12层卷积层输出的13×13特征图与第五层输出的26×26特征图在第13层的上采样层进行concatenate连接后输出26×26的特征图，再依次通过第15层的卷积层和第16层的第二预测头层；最终输出具有缺陷标记和置信度的导光板图像。

作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的改进：

所述OSM模块包括一个大小为2、步长为1的重叠池化层、一个3*3的卷积模块和一个空间注意力模块，将重叠池化后的特征图经过空间注意力模块，并与卷积模块输出进行element-wise乘法，空间注意力模块连接重叠池化层的输出和卷积模块的输出；

OSM模块的计算过程如下：

其中，F为重叠池化后的特征图，

其中，

作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：

所述DCM模块包括一个膨胀率为2的膨胀卷积和一个1*1的卷积层，并且通过shortcut直接连接DCM模块的输入和输出，膨胀卷积后执行批归一化操作和激活函数。

作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：

所述主干网络层中第7层最大池化层大小为2，步长为1，其余最大池化层大小和步长均为2；所述主干网络层和检测层中的卷积层均包含一次卷积操作、批归一化BN以及激活函数。

作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：

所述具有在线生成能力的PAD导光板缺陷检测模型的获取过程为：

1)、采集在线生产的1300幅导光板图像，然后截取了2104幅包含点、线、面三类缺陷的小图像，每幅小图像分辨率为416×416，对每个小图像进行数据增强的处理，包括对原图像进行50％概率的镜像，以及对亮度进行120％～150％的增强，获得包含缺陷的图像共计3680幅；然后针对数据增强后的图像中的每个缺陷类型，按照6：2：2的比例将预处理后的图像划分训练集、验证集及测试集；

2)、第一预测头层选取(62，35)、(138，111)、(414，205)三组先验框；第二预测头层选取(31，28)、(35，35)、(47，58)三组先验框；建立损失函数如下：

Loss＝ω

其中，ω

3)、训练总轮数为200，训练中的batch size取8；优化器采用SGD优化器，初始学习率和最终学习率为0.01和0.0001，学习率更新策略采用lamda函数λ(x)；动量为0.9，权重衰减为0.0005，非极大抑制NMS方法采用merge法，数据增强采用Mosaic方法，

将训练集输入PAD导光板缺陷检测模型，在每轮训练结束时，使用验证集对当前轮次的PAD导光板缺陷检测模型进行检测，以mAP作为当前模型的检测精度，共计训练200轮，取精度最高的模型作为具有在线生成能力的PAD导光板缺陷检测模型。

作为本发明的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的进一步改进：

所述坐标预测误差L

其中，S

其中，A

所述置信度误差L

其中，λ

所述分类误差L

其中，p

本发明的有益效果主要体现在：

本发明构建的OSM模块可以将浅层语义特征向后传播，更加有利于网络对缺陷特征的提取，提高了检测的准确率，构建的DCM模块可以扩大卷积核的感受野，提升面积比较大的缺陷的检测能力；基于YOLOv3-Tiny网络构建PAD导光板缺陷检测模型，可以同时预测缺陷的位置以及类别，解决了以往只能进行有无缺陷的二分类问题；实验结果表明，该检测方法速度快，而且准确率高。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1为本发明的PAD导光板缺陷检测模型的结构示意图；

图2为缺陷数据集中的样本展示图；

图3为图1中的OSM模块的结构示意图；

图4为图3中OSM模块中的空间注意力模块的结构示意图；

图5为图1中的的DCM模块的结构示意图；

图6为实验1中指标随迭代次数的变化曲线示意图；

图7为实验1中对比检测效果展示图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1、基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法，如图1-5所示，包括步骤如下:

S01、构建PAD导光板缺陷检测模型

基于YOLOv3-Tiny网络构建PAD导光板缺陷检测模型(AYOLOv3-Tiny)，如图1所示，包括主干网络层和检测层，在主干网络层结合重叠池化和空间注意力构建OSM模块，使用OSM模块取代原YOLOv3-Tiny网络的第二以及第三次普通卷积，主干网络层采用传统的卷积来提取导光板缺陷的特征，采用最大池化层进行下采样；在检测层中借鉴了残差网络的结构并使用了空洞卷积构建一个DCM模块，然后对PAD导光板缺陷检测模型(AYOLOv3-Tiny)进行训练和测试从而获得可以在线检测使用的PAD导光板缺陷检测模型，具体过程如下：

S0101、构建OSM模块

OSM模块的结构如附图3所示，包括一个大小为2、步长为1的重叠池化层(Overlapping Pooling)、一个卷积模块(Conv3*3)和一个空间注意力模块(SpatialAttention Module)。在OSM模块中，构造了类似残差的结构，将重叠池化后的特征图经过空间注意力模块(Spatial Attention Module)，并与卷积模块(Conv3*3)输出进行element-wise乘法。空间注意力模块(Spatial Attention Module)如附图4所示，该模块连接重叠池化层(Overlapping Pooling)的输出和卷积模块(Conv3*3)的输出，首先，空间注意力模块(Spatial Attention Module)对输入特征图分别进行最大池化和平均池化[Maxpool,Avgpool]，其次，再将最大池化和平均池化的结果级联操作送入卷积层(conv layer)，卷积层(conv layer)输入通道为2，输出通道为1，卷积核大小为3，步长为1；最后，经过sigmoid函数激活，得到空间注意力M(F)，M(F)的计算方法如下：

其中，F为重叠池化后的特征图即空间注意力模块(Spatial Attention Module)的输入，

OSM模块的输出为：

其中，F为重叠池化后的特征图即卷积层(conv layer)的输入，B为批归一化(Batch Normalization)，L为LeakyRelu激活函数，

OSM模块可以将浅层语义特征向后传播，更加有利于网络对缺陷特征的提取，提高了检测的准确率。

S0102、构建DCM模块

DCM模块的结构如附图5所示，该模块结构类似于残差结构，DCM模块可以扩大卷积核的感受野，提升面积比较大的缺陷的检测能力，包括一个膨胀卷积(Dilated Conv3*3)和一个卷积层(Conv1*1)，输入的特征图通过膨胀率为2的空洞卷积得到中间层，通道数翻倍，再通过1*1的卷积层还原通道数，此外，模块加入了shortcut，直接连接DCM模块的输入和输出，膨胀卷积(Dilated Conv3*3)后执行批归一化(Batch Normalization，BN)操作和激活函数。

S0103、建立PAD导光板缺陷检测模型

PAD导光板缺陷检测模型(AYOLOv3-Tiny)包括主干网络层和检测层，主干网络层包括7层网络结构，依次为：第一层为卷积层(Convolutional)、第二层和第三层均为最大池化层(Maxpool)+OSM模块、第四、五、六和七层均为最大池化层(Maxpool)+卷积层(Convolutional)；主干网络层的输入为416*416的图像，第五层输出的26×26特征图和第七层输出的13×13特征图作为主干网络层的两种不同尺度的特征图的输出，并作为检测层的输入，主干网络层中第七层最大池化层(Maxpool)大小为2，步长为1，其余最大池化层(Maxpool)大小和步长均为2。

检测层包括第八层至第十六层并分为第一预测通道和第二预测通道，主干网络层的第七层输出的13×13特征图经过第八层卷积层(Convolutional)后分别进入第一预测通道和第二预测通道，第一预测通道依次包括第九层DCM模块、第十层卷积层(Convolutional)和第十一层第一预测头层(Pred_head1)，第二预测通道依次包括第十二层卷积层(Convolutional)、第十三层上采样层(Upsampling)、第十四层route层、第十五层卷积层(Convolutional)和第十六层第二预测头层(Pred_head2)；检测模型中的主干网络层和检测层中的卷积层(Convolutional)均包含一次卷积操作、批归一化BN以及激活函数；

在检测层的第二预测通道中，通过第十二层卷积层输出的13×13特征图与主干网络层中的第五层输出的26×26特征图在第十三层上采样层进行concatenate连接，然后输出26×26的特征图，再通过第十五层卷积层(Convolutional)进入第十六层第二预测头层(Pred_head2)；而在检测层的第一预测通道中，13×13特征图通过第九层DCM模块，然后通过第十层卷积层(Convolutional)进入第十一层第一预测头层(Pred_head1)，两个预测头分别在两个尺度上预测缺陷的位置以及类别，第一预测头层(Pred_head1)主要预测大目标，比如面缺陷以及比较长的线缺陷，第二预测头层(Pred_head2)主要预测小目标，比如点缺陷以及较细较短的线缺陷。最终PAD导光板缺陷检测模型(AYOLOv3-Tiny)输出标记好缺陷的导光板图像，图像上包含了缺陷的类别以及位置信息，其中类别附有置信度，位置信息由一个矩形边框将缺陷的位置标记出来。

PAD导光板缺陷检测模型(AYOLOv3-Tiny)的结构如下表1所示：

表1：PAD导光板缺陷检测模型的详细结构

在表1中，卷积层(Convolutional)均包含一次卷积操作、批归一化(BatchNormalization，BN)以及激活函数；批归一化是指将输入像素点x

其中，n为批处理大小，ε为固定值，为了防止除0错误，γ和β是网络学习到的参数。

网络中对应的卷积层之后默认进行BN操作，有利于网络的正则化。

本发明中利用到的激活函数有LeakyRelu和Sigmoid，具体如下：

式中，a是区间(1，+∞)内的固定参数，默认在BN操作之后紧接一个激活函数，当要求输出范围在0到1之间时，采用Sigmoid，其他情况下均采用LeakyReLU。

S0104、训练和测试模型

在手机导光板生产线末端，设置导光板图像采集装置，采用高分辨率线扫相机进行图像采集，然后将采集到的导光板图像传到上位机进行处理。在采集的1300幅原图像基础上，截取了2104幅包含点、线、面三类缺陷的图像，每幅图像分辨率为416×416，此时样本中各种缺陷数量不平衡，其中包含绝大多数无缺陷的样本与少量有缺陷的样本，作为网络的输入；然后通过数据增强的方式来平衡样本中各种缺陷的数量，数据增强包括对原图像进行50％概率的镜像，以及对亮度进行120％～150％的增强，最后获得包含缺陷的图像共计3680幅。

然后针对预处理后的图像中的每个缺陷类型，按照6：2：2的比例将预处理后的图像划分训练集、验证集及测试集，具体构成如下表2所示。

表2PAD导光板缺陷数据集的组成

数据集中的缺陷样本如图2所示，其中图2(a)为点缺陷，图2(b)为线缺陷，图2(c)为面缺陷。

PAD导光板缺陷检测模型(AYOLOv3-Tiny)使用6组先验框，由K-means聚类算法计算得出，它们为别为(31，28)、(35，35)、(47，58)、(62，35)、(138，111)及(414，205)；26×26尺度的预测头即第二预测头层(Pred_head2)选取较小的(31，28)、(35，35)、(47，58)三组先验框，13×13尺度的预测头即第一预测头层(Pred_head1)选取较大的(62，35)、(138，111)、(414，205)三组先验框。

PAD导光板缺陷检测模型(AYOLOv3-Tiny)损失函数如下所示：

Loss＝ω

其中，根据超参数进化实验,ω

L

其中，S

其中，A

L

其中，λ

L

其中，p

在训练阶段，设定训练总轮数为200，训练中的batch size取8；优化器采用SGD优化器，初始学习率和最终学习率为0.01和0.0001，学习率更新策略采用lamda函数λ(x)；动量为0.9，权重衰减为0.0005，非极大抑制(Non-maximum suppression，NMS)方法采用merge法，数据增强采用Mosaic方法，学习率更新策略中使用的λ(x)如下：

将训练集输入PAD导光板缺陷检测模型，在每轮训练结束时，使用验证集对当前轮次的PAD导光板缺陷检测模型进行检测，以mAP作为当前模型的检测精度。共计训练200轮，取精度最高的模型作为所述训练好的PAD导光板缺陷检测模型。

S02、在线缺陷检测并输出结果

从手机导光板生产线末端采用高分辨率线扫相机获得导光板图像，然后截取成一组分辨率为416×416的小图像并输入上位机中的PAD导光板缺陷检测模型(AYOLOv3-Tiny)，获得带有缺陷标记及置信度的导光板图像，将上述结果输出并存储在上位机中，供实时显示结果和事后查询分析使用。

实验1：

利用实施例1中步骤S0104建立的测试集数据，对PAD导光板缺陷检测模型(AYOLOv3-Tiny)、SSD、YOLOV3及YOLOv3-Tiny等目标检测网络的进行对比实验，结果如表3所示，训练过程中YOLOv3-Tiny和PAD导光板缺陷检测模型(AYOLOv3-Tiny)的Train_loss、Val_loss、mAP、F1随网络迭代次数的变化曲线如图6所示，部分实验测试结果如图7所示，对比测试结果如表3所示。

其中，训练损失(Train_loss)定义为在训练集上的损失函数的数值，验证损失(Val_loss)定义为在验证集上的损失函数的数值，mAP的定义如下：

式中，AP为P-R曲线和坐标轴包围的面积，用于表示每类缺陷的预测准确度，mAP为每类缺陷AP的平均值；

F1作为评估模型的综合指标，被定义为准确率和召回率的调和平均，其公式如下：

式中，

表3对比测试结果

从表3可以看出，本发明提出的网络具有较高的准确率，mAP和F1可以分别达到99.38％和99.61％，同时检测速度较快，可以达到144fps，证明了本发明提出的基于AYOLOv3-Tiny新框架的PAD导光板缺陷可视化检测方法的优异性能。

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。