一种基于深度学习网络的手机导光板模号识别方法

技术领域

本发明涉及图像识别领域，具体是一种基于深度学习网络的手机导光板模号识别方法。

背景技术

导光板(light guide plate)是利用光学级的亚克力/PC板材，然后用具有极高反射率且不吸光的高科技材料，在光学级的亚克力板材底面用激光雕刻、V型十字网格雕刻、UV网版印刷技术印上导光点。导光板是背光模组中的关键组件，其主要功能是将LED发出的点光源转化为均匀的面光源，通过导光板上导光点疏密排布，使得导光板均匀发光。由于导光板具有体积小、发光均匀且发光效率高等优点，因此被广泛应用于液晶显示器背光源、超薄广告灯箱、医疗X光看片器、平板型的灯饰照明、亮光工程的光效运用、发光标示牌等场合。手机导光板是背光模组的重要组成部分，其质量直接影响屏幕的显示效果。在手机导光板生产线上，手机导光板具有一模两穴的特点，即一组模具，同时生产出两片导光板，而在视觉的缺陷检测中，出于工业控制流程复杂性与经济性方面的考虑，在检测过程中，两片导光板的检测会共用一套视觉成像装置，用于图像采集与工业检测。为了避免两片导光板在检测过程中产生混乱，需要根据导光板上的模号数字的奇偶来区分导光板具体来自哪条生产线。

发明内容

本发明要解决的技术问题是提供一种基于深度学习网络的手机导光板模号识别方法，用以根据导光板上的模号数字的奇偶来区分导光板。

为了解决上述技术问题，本发明提供一种基于深度学习网络的手机导光板模号识别方法，包括步骤如下：采集导光板图像F，传到上位机进行处理，对导光板图像F进行倾斜校正处理得到倾斜校正后的导光板图像F′；在导光板图像F′上截取模号区域，得到手机导光板模号区域图像M作为模号识别网络的输入进行模号识别，获得模号位置以及模号数字结果；

所述倾斜校正处理包括对导光板图像F进行灰度拉伸、边缘检测、最小二乘法线段拟合获得导光板四条边界所在的直线方程以及边界线段的端点坐标，然后计算边界所在直线两两交点坐标和计算边界线段最小距离，利用投影变换进行倾斜校正。

作为本发明的一种基于深度学习网络的手机导光板模号识别方法的改进：

所述灰度拉伸为：

使用线性灰度变换对所述导光板图像F进行线性拉伸获得导光板灰度拉伸图像，线性灰度变换公式如下：

其中，f(x,y)为初始图像，g(x,y)为初始图像经过线性变换后的输出图像，[a,b]为初始图像f(x,y)中需调整的灰度范围区间，[m,n]为调整后g(x,y)中对应的灰度范围区间。

作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：

所述边缘检测为：

采用高斯导数滤波对所述导光板灰度拉伸图像进行边缘检测，分别在x方向、y方向进行滤波，获得手机导光板边缘图像，得到导光板上下横向边界、左右纵向边界所在边缘，若高斯模板的尺寸为(2k+1)×(2k+1)，则高斯模板H(x,y)中元素值为：

其中σ是高斯滤波器的标准差，i、j分别对应高斯模板中横、纵坐标的索引；

二维高斯函数在x方向、y方向上的偏导数为：

高斯导数滤波的表达式为：

F

F

其中F(x,y)为原始图像，H(x,y)为高斯滤波模板，H

作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：

所述最小二乘法线段拟合为：

对所述边缘检测获取到导光板的上、下、左、右四条边界所在边缘利用最小二乘法对边界边缘进行线段拟合，得到四条边界所在的直线方程以及边界线段的端点坐标，最小二乘法拟合过程如下：

假设导光板边界拟合线段所在的直线方程为y＝kx+b，导光板边界上点集{(x

err

点集中所有点到拟合直线的误差平方和为：

令

则最佳的拟合参数k

其中m为点集中点的数目；

得到拟合的直线方程：y＝k

作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：

所述计算边界所在直线两两交点坐标为：联立两两相邻边界所在直线方程，分别得到两两边界相交的四个交点坐标为O

作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：

所述计算边界线段最小距离为：

以所述两两边界相交的四个交点坐标中的左上角坐标为矩形左上角坐标，以横向最小距离为宽，以纵向最小距离为高，构建矩形L，导光板边界线段间最小距离问题，转化为有约束条件下的最优化问题；若空间线段l

P(λ

Q(λ

其中，λ

转化为最优化问题为：

min f(λ

s.t.0≤λ

可求得最佳取值：

若λ

根据线段间最小距离可求得导光板横向边界最小距离d

作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：

所述利用投影变换进行倾斜校正的过程为：

通过所述两两边界相交的四个交点坐标、所述矩形L的四个顶点坐标计算投影变换矩形L’，根据投影变换矩形L’对所述导光板图像F进行变换，从而得到倾斜校正后的导光板图像F′，若点(x,y)经过投影变换后的坐标为(x′,y′)，则这两点之间的投影变换关系可用矩阵表述如下式所示：

其中，

作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：

所述截取模号区域的过程为：所述投影变换后的左上角O

作为本发明的一种基于深度学习网络的手机导光板模号识别方法的进一步改进：

基于Yolov4网络构建所述模号识别网络，然后采集所述导光板图像F，然后对导光板图像F进行所述倾斜校正，然后进行所述截取模号区域，获得的所述手机导光板模号区域图像M作为样本图像并进行标注，将标注后的样本图像分为训练集、验证集和测试集对模号识别网络进行训练，通过反向传播算法和Adam优化器调整网络参数使训练集损失不断下降，训练完成后得到训练好的模号识别网络，使用训练好的模号识别网络利用测试集进行检测从而获得适合在线生产的所述模号识别网络。

本发明的有益效果主要体现在：

1、本发明模号识别过程中，对生产过程中的手机导光板图像进行了倾斜校正，避免了手机导光板因倾斜造成的模号误识别，提高了算法的鲁棒性；

2、模号识别的定位与识别采用深度学习中目标检测完成，可以在定位模号位置的同时完成对模号数字的识别，同时应对工业光线照明变化的能力更强；

3、本发明检测算法通用性强，稳定性强，降低误判和漏检，提高检测精度。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1为本发明一种基于YOLOv4的手机导光板模号识别方法的流程示意图；

图2为生产过程中采集到的手机导光板原图；

图3为本发明中的图2经过倾斜校正后的效果图；

图4为本发明中的YOLOv4网络的结构示意图；

图5为图4中的YOLOv4网络中的组件的结构示意图；

图6为利用本发明进行手机导光板模号识别的检测结果示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例1、一种基于深度学习网络的手机导光板模号识别方法，如图1中虚线路径为网络建立、训练过程，实线路径为在线生产过程，从工业现场采集到的导光板图像经过倾斜校正后，截取模号区域图像，建立数据集，然后输入到构建好的网络进行训练；在实际生产过程中，获取到导光板图像后，经过倾斜校正后，截取模号区域图像后送入训练好的网络进行预测，得到模号识别结果。具体包括步骤如下:

S01、采集导光板图像

在手机导光板生产线末端，设置导光板图像采集装置，采用高分辨率线扫相机进行图像采集，然后将采集到的导光板图像F传到上位机进行处理。

S02、倾斜校正处理

S0201、灰度拉伸

使用线性灰度变换对步骤S01获得的导光板图像F进行线性拉伸，提高导光板图像边缘的对比度，得到导光板灰度拉伸图像，线性灰度变换公式如下：

其中，f(x,y)为初始图像，g(x,y)为初始图像经过线性变换后的输出图像，[a,b]为初始图像f(x,y)中需调整的灰度范围区间，[m,n]为调整后g(x,y)中对应的灰度范围区间。

S0202、边缘检测

使用高斯导数滤波对步骤S0201获得的导光板灰度拉伸图像进行边缘检测，分别在x方向、y方向进行滤波，获得手机导光板边缘图像，从而得到导光板上下横向边界、左右纵向边界所在边缘。

采用高斯导数滤波对导光板灰度拉伸图像进行边缘检测，若高斯模板的尺寸为(2k+1)×(2k+1)，则高斯模板H(x,y)中元素值为：

其中，σ是高斯滤波器的标准差，i，j分别是高斯模板中横纵坐标的索引，(2k+1)为高斯模板的尺寸大小；

二维高斯函数在x方向、y方向上的偏导数为：

高斯导数滤波的表达式可写作为：

F

F

其中F(x,y)为原始图像，H(x,y)为高斯滤波模板，H

S0203、最小二乘法线段拟合

利用步骤S03边缘检测获取到导光板的上、下、左、右四条边界所在边缘后，利用最小二乘法对边界边缘进行线段拟合，得到四条边界所在的直线方程以及边界线段的端点坐标。

最小二乘法拟合过程如下：

假设导光板边界拟合线段所在的直线方程为y＝kx+b，导光板边界上点集{(x

err

点集中所有点到拟合直线的误差平方和为：

令

则最佳的拟合参数k

其中m为点集中点的数目；

从而得到拟合的直线方程y＝k

S0204、计算边界所在直线两两交点坐标

得到导光板上下、左右条边界后，即步骤S0203中得到的四条线段所在直线，联立两两相邻边界所在直线方程，可分别得到两两边界相交的四个交点坐标，按照位置分别将左上、右上、左下、右下坐标点记为O

S0205、计算边界线段最小距离

通过计算两条横向线段、两条纵向线段之间的最小距离，以步骤S0204中获得的左上点坐标为矩形的左上角坐标，以横向最小距离为宽，以纵向最小距离为高，构建矩形。导光板边界线段间最小距离问题，可转化为有约束条件下的最优化问题；假设平面内有两条线段，分别是l

P、Q点坐标可如下表示，记s

P(λ

Q(λ

其中，λ

转化为最优化问题为：

min f(λ

s.t.0≤λ

可求得最佳取值：

其中，A、B、C、D为线段l

若λ

根据线段间最小距离可求得导光板横向边界最小距离d

S0206、利用投影变换进行倾斜校正

通过步骤S0204获得的四个交点坐标、步骤S0205中构建矩形的四个顶点坐标计算投影变换矩形，根据投影变换矩形对步骤S01中获得的导光板图像F进行变换，从而得到倾斜校正后的导光板图像F′；若点(x,y)经过投影变换后的坐标为(x′,y′)，则这两点之间的投影变换关系可用矩阵表述如下式所示：

其中，

倾斜校正效果前、后对比图如图2、图3所示，图2为生产过程中采集到的导光板原图，图3为图2经过倾斜校正后的效果图。

此处对导光板图像的倾斜校正，避免了手机导光板因倾斜造成的模号误识别，能够提高模号识别的准确率，避免模号误识别。

S03、截取模号区域

根据步骤S0206中得到的导光板图像F′，根据人为先验知识截取模号所在的搜索区域图像，进行水平镜像，得到手机导光板模号区域图像M；此处人为先验知识即为下面所属描述的模号数字所处的位置，由现场调研得到。

导光板图像分辨率达到4096×7200，若通过搜索全局图像的方式定位模号并识别，将非常耗时耗力，本发明中通过人为先验知识确定模号的待搜索区域，缩小模号的搜索范围。经现场调研，模号数字位于手机导光板中间靠近入光测的区域，与导光板入光测边界非常接近。记步骤S0206中投影变换后左上角O

以

S04、建立模号识别数据集

按步骤S01在手机导光板生产线末端，通过导光板图像采集装置采集工业现场的导光板图像，通过步骤S02倾斜校正处理，然后通过步骤S03截取获得手机导光板模号区域图像，从而作为数据集中样本图像，利用labelimg标注软件对图像进行标注，如此重复步骤S01-S03，获得样本图像共有1809张，然后将样本图像分为训练集716张，验证集180张，测试集913张。

S05、搭建并训练模号识别网络

利用Pytorch框架搭建如图4所示的Yolov4网络作为本发明的模号识别网络并进行训练，图5为图4中组件的详细结构，其中Conv为卷积层，BN为批归一化层，Mish、Leakyrelu均为非线性激活函数，Add为张量相加操作，Concat为张量拼接操作，Maxpool为最大池化层。

训练中batch size取6，优化器采用Adam，学习率为0.001；将步骤S04中获得的手机导光板模号数据集中训练集输入到所述建立好的YOLOv4网络中进行训练，通过反向传播算法和Adam优化器调整网络参数使训练集损失不断下降；共训练300轮，训练完成后得到训练好的模号识别网络，并将其保存到模型文件中。

S06、离线测试

使用训练好的YOLOv4网络进行检测，在IOU阈值取0.6，置信度阈值取0.4的情况下统计离线测试结果：2张误检，911张检测正确，准确率达到99.78％，测试集上预测的部分结果如图6所示，模号数字周围的框线为网络预测的位置，左上角是识别到的数字以及对应的置信度。测试集检测准确率如表1；

表1模号识别结果统计

准确率Acc定义如下：

从上述结果可以发现，本发明中模号识别具有较高的准确率，准确率达到99.78％，证明了本发明模号识别准确率较高，在导光板模号识别的任务上能够取得优异的效果，同时由于训练集和测试集均为生产线上实际的导光板图像，也验证了本发明适用于在线生产的检测，从而获得适合在线生产的模号识别。

模号识别的定位与识别采用深度学习中YOLOv4网络完成，可以在定位模号位置的同时完成对模号数字的识别，同时应对工业光线照明变化的能力更强；从图6中可以看出，第一行前两张为光照弱的情况下的导光板模号区域图像，而余下几张为光照强的情况下导光板模号区域图像，模号均能准确识别与定位，说明该方法可以应对一定条件下工业现场光线照明变化。

S07、使用模号识别网络进行模号识别

实际生产时，按步骤S01采集工业现场的导光板图像，传到上位机进行处理，然后在上位机中，按步骤S02对导光板图像进行倾斜校正处理，包括使用线性灰度变换对导光板图像F进行线性拉伸，使用高斯导数滤波对拉伸后的导光板图像进行边缘检测得到导光板上下横向边界、左右纵向边界所在边缘，然后利用最小二乘法对边界边缘进行线段拟合，得到四条边界所在的直线方程以及边界线段的端点坐标，联立两两相邻边界所在直线方程，分别得到两两边界相交的四个交点坐标，计算上下边界线段的最小距离d

最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。