一种基于深度学习的自动识别斜线网的方法及系统

技术领域

本发明涉及深度学习的图像处理技术领域，具体涉及一种基于深度学习的自动识别斜线网的方法及系统。

背景技术

目前光伏行业中，在硅块的切片过程中所使用的金刚线是在切片机的主辊上进行布线的。切片机的左辊、右辊及下辊的布线位置将直接影响到整体的切片效果，进一步导致所生产的硅片存在线痕、厚薄及翘曲等一系列问题。

现有的质量控制手段是员工对左辊、右辊及下辊的斜线网进行拍照，然后根据工艺切割要求对斜线网线槽数进行比对核实，判断其是否满足工艺切割要求。

但是按照现有技术进行控制存在以下问题：

(1)在整个核实过程中，由于切割机台环境复杂、操作空间受限，员工稍微操作不慎很容易损坏斜线网。同时，员工拍照难度大，容易出现拍照不清晰的现象；

(2)因主辊上的线槽槽径极为微小(约0.193-0.221mm)，所以员工在数线槽的过程中极容易出现数错、漏数的情况。同时，每个斜线网需要数15-100个线槽左右，需要耗费大量的人力和时间。

以上问题的存在将导致所生产出的硅片出现线痕、厚薄及翘曲等问题。

发明内容

为了克服现有技术的不足，本发明提供一种基于深度学习的自动识别斜线网的方法及系统，用于解决采用人工对斜线网线槽数进行核实，存在损坏斜线网、数错、漏数以及耗费大量人力和时间等的问题，从而实现对斜线网线槽数进行自动检测的目的。

为解决上述问题，本发明所采用的技术方案如下：

一种基于深度学习的自动识别斜线网的方法，包括以下步骤：

构建一网络输入层、斜线网训练数据集以及斜线网测试数据集，并将所述斜线网训练数据集和所述斜线网测试数据集送入所述网络输入层；

所述网络输入层将接收到的所述斜线网训练数据集和所述斜线网测试数据集送入到特征提取网络进行特征提取，得到斜线网特征图；

将用于测试的斜线网特征图进行更深的特征提取，得到候选框；

将用于训练的斜线网特征图进行更深的特征提取，得到每一个锚框的预测得分和预测偏移值，并根据所述预测得分和所述预测偏移值得到精确的候选框；

在测试阶段，将所述候选框直接作为RoI，送入RoI池化层；

在训练阶段，对所述精确的候选框进行筛选得到符合条件的RoI，送入RoI池化层；

所述RoI池化层将所述RoI池化到固定的维度后，得到固定维度RoI，并将所述固定维度RoI送入全连接层；

利用所述全连接层将所述固定维度RoI的特征全部进行连接，再将通过所述全连接层后的每个所述固定维度RoI分别接入分类与回归的全连接网络；

通过分类网络获得每个所述固定维度RoI的所属类别，并输出类别的概率向量；

通过回归网络获得每个所述固定维度RoI的位置偏移量，并根据所述概率向量和所述位置偏移量得到精确的目标检测框；

使用非极大值抑制去除冗余的目标检测框，并获得剩余的目标检测框中最佳的目标检测框，根据所述最佳的目标检测框对斜线网进行自动识别；

其中，所述特征图包括：所述用于测试的斜线网特征图和所述用于训练的斜线网特征图，所述分类与回归的全连接网络包括：分类网络和回归网络。

作为本发明优选的实施方式，在构建斜线网训练数据集以及斜线网测试数据集时，包括：

接收图像采集装置所采集的真实场景下切片机的图像，从所述切片机的图像中提取斜线网图像；

对所述斜线网图像进行数据增强，生成所述斜线网样本图像；

将所述斜线网样本图像按8：2划分成训练数据集和测试数据集，从而完成所述斜线网训练数据集合和所述斜线网测试数据集的构建；

其中，在对所述斜线网图像进行数据增强时，包括：

利用数据增强算法对所述斜线网图像中左辊的斜线网图像、右辊的斜线网图像以及下辊的斜线网图像进行加权融合，具体如公式1和公式2所示：

λ

式中，

作为本发明优选的实施方式，在将用于测试的斜线网特征图进行更深的特征提取，得到候选框时，包括：

将所述用于测试的斜线网特征图通过3×3的卷积进行更深的特征提取，再进行1×1的卷积运算，得到所述候选框；

其中，在通过3×3的卷积进行更深的特征提取和1×1的卷积运算时，包括：

将输入向量与卷积核向量和卷积核向量对应位置元素相乘再相加。

作为本发明优选的实施方式，在得到每一个锚框的预测得分时，包括：

将所述用于训练的斜线网特征图用3×3的卷积进行更深的特征提取，得到若干锚框，再利用1×1的卷积实现分类网络，生成Positive锚框；

其中，在实现分类网络，生成Positive锚框时，包括：

将物体标签输入softmax层，利用softmax公式获得所述物体标签的概率值，并将所述概率值作为阈值，所述softmax公式具体如公式3所示：

/>

式中，x为输出向量；n为该神经网络的多个输出或类别数；x

将所述若干锚框输入softmax层，利用所述softmax公式输出一结果，将所述结果与所述阈值进行匹配，获得相应的匹配结果；

根据所述匹配结果判断每个锚框属于Positive或Negative，从而生成Positive锚框。

作为本发明优选的实施方式，在得到每一个锚框的预测偏移值时，包括：

将所述用于训练的斜线网特征图用3×3的卷积进行更深的特征提取，得到若干锚框，再利用1×1的卷积实现回归网络，生成每一个锚框的预测偏移值；

其中，在实现回归网络，生成每一个锚框的预测偏移值时，包括：

将物体标签和所述若干锚框输入bounding box regression层，利用偏移量公式获得锚框的预测偏移值，具体如公式4、公式5、公式6以及公式7所示：

式中，x

根据所述Positive锚框和所述锚框的预测偏移值获得精确的候选框。

作为本发明优选的实施方式，在对所述精确的候选框进行筛选得到符合条件的RoI时，包括：

获得所述精确的候选框与所有的物体标签的IoU矩阵，具体如公式8所示：

该式表示物体标签M与锚框A之间的重合度，其中分子表示两个框的交集，分母表示两个框的并集，它们的比值代表交并比即重合度；

并根据所述IoU矩阵的值来筛选符合条件的RoI。

作为本发明优选的实施方式，在根据所述IoU矩阵的值来筛选符合条件的RoI时，包括：

若任意一个候选框与所有的物体标签所构成的IoU矩阵里所存在的最大值≥0.5，则视该候选框为正样本，即为符合条件的RoI；

若任意一个候选框与所有标签所构成的IoU矩阵里所存在的最大值≥0且＜0.5，则视该候选框为负样本，即不是符合条件的RoI。

作为本发明优选的实施方式，在通过分类网络获得每个所述固定维度RoI的所属类别，并输出概率向量时，包括：

所述分类网络通过全连接层和概率归一化函数得到每个所述固定维度RoI的所属类别，并输出类别的概率向量；

其中，将原始归一化函数中的初始交叉熵函数替换成Focal loss函数得到所述概率归一化函数，具体如公式9所示：

Focal loss＝-alpha*(1-f(z

式中，z

作为本发明优选的实施方式，在使用非极大值抑制去除冗余的目标检测框时，包括：

利用筛选关系式对所述目标检测框进行筛选，具体如公式10所示：

式中，y为目标检测框重叠程度阈值，A

一种基于深度学习的自动识别斜线网的系统，包括：

构建单元：用于构建一网络输入层、斜线网训练数据集以及斜线网测试数据集，并将所述斜线网训练数据集和所述斜线网测试数据集送入所述网络输入层；

特征提取单元：用于所述网络输入层将接收到的所述斜线网训练数据集和所述斜线网测试数据集送入到特征提取网络进行特征提取，得到斜线网特征图；将用于测试的斜线网特征图进行更深的特征提取，得到候选框；将用于训练的斜线网特征图进行更深的特征提取，得到每一个锚框的预测得分和预测偏移值，并根据所述预测得分和所述预测偏移值得到精确的候选框；

RoI获取单元：用于在测试阶段，将所述候选框直接作为RoI，送入RoI池化层；在训练阶段，对所述精确的候选框进行筛选得到符合条件的RoI，送入RoI池化层；所述RoI池化层将所述RoI池化到固定的维度后，得到固定维度RoI，并将所述固定维度RoI送入全连接层；

目标检测框获取单元：用于利用所述全连接层将所述固定维度RoI的特征全部进行连接，再将通过所述全连接层后的每个所述固定维度RoI分别接入分类与回归的全连接网络；通过分类网络获得每个所述固定维度RoI的所属类别，并输出类别的概率向量；通过回归网络获得每个所述固定维度RoI的位置偏移量，并根据所述概率向量和所述位置偏移量得到精确的目标检测框；

检测单元：用于使用非极大值抑制去除冗余的目标检测框，并获得剩余的目标检测框中最佳的目标检测框，根据所述最佳的目标检测框对斜线网进行自动识别；

其中，所述特征图包括：所述用于测试的特征图和所述用于训练的特征图，所述分类与回归的全连接网络包括：分类网络和回归网络。

相比现有技术，本发明的有益效果在于：

(1)本发明结合基于FasterRCNN算法的神经网络，实现了对斜线网线槽数的自动检测，并且检测时间极短；

(2)本发明还解决了员工数线槽过程中出现的数错、漏数的问题，同时减少了大量人力和时间的投入；

(3)本发明有效地解决了因斜线网而造成的线痕、厚薄及翘曲等问题，进而提升了硅片的生产良率。

下面结合附图和具体实施方式对本发明作进一步详细说明。

附图说明

图1-是本发明实施例的基于深度学习的自动识别斜线网的方法步骤图；

图2-是本发明实施例的基于深度学习的自动识别斜线网的方法逻辑框图；

图3-是本发明实施例的斜线网视觉检测装置图；

图4-是本发明实施例的采用人工核实斜线网线槽数的实物图；

图5-是本发明实施例的采用本发明核实斜线网线槽数的实物图。

附图标号说明：1、工业相机；2、LED灯珠；3、工业平板电脑；4、数据线；5、电源线；6、移动电源。

具体实施方式

本发明所提供的基于深度学习的自动识别斜线网的方法，如图1所示，包括以下步骤：

步骤S1：构建一网络输入层、斜线网训练数据集以及斜线网测试数据集，并将斜线网训练数据集和斜线网测试数据集送入网络输入层；

步骤S2：网络输入层将接收到的斜线网训练数据集和斜线网测试数据集送入到特征提取网络进行特征提取，得到斜线网特征图；

步骤S3：将用于测试的斜线网特征图进行更深的特征提取，得到候选框；

步骤S4：将用于训练的斜线网特征图进行更深的特征提取，得到每一个锚框的预测得分和预测偏移值，并根据预测得分和预测偏移值得到精确的候选框；

步骤S5：在测试阶段，将候选框直接作为RoI，送入RoI池化层；

步骤S6：在训练阶段，对精确的候选框进行筛选得到符合条件的RoI，送入RoI池化层；

步骤S7：RoI池化层将RoI池化到固定的维度后，得到固定维度RoI，并将固定维度RoI送入全连接层；

步骤S8：利用全连接层将固定维度RoI的特征全部进行连接，再将通过全连接层后的每个固定维度RoI分别接入分类与回归的全连接网络；

步骤S9：通过分类网络获得每个固定维度RoI的所属类别，并输出类别的概率向量；

步骤S10：通过回归网络获得每个固定维度RoI的位置偏移量，并根据概率向量和位置偏移量得到精确的目标检测框；

步骤S11：使用非极大值抑制去除冗余的目标检测框，并获得剩余的目标检测框中最佳的目标检测框，根据最佳的目标检测框对斜线网进行自动识别；

其中，特征图包括：用于测试的斜线网特征图和用于训练的斜线网特征图，分类与回归的全连接网络包括：分类网络和回归网络。

在上述步骤S1中，在构建斜线网训练数据集以及斜线网测试数据集时，包括：

接收图像采集装置所采集的真实场景下切片机的图像，从切片机的图像中提取斜线网图像；

对斜线网图像进行数据增强，生成斜线网样本图像；

将斜线网样本图像按8：2划分成训练数据集和测试数据集，从而完成斜线网训练数据集合和斜线网测试数据集的构建；

其中，在对斜线网图像进行数据增强时，包括：

利用数据增强算法对斜线网图像中左辊的斜线网图像、右辊的斜线网图像以及下辊的斜线网图像进行加权融合，具体如公式1和公式2所示：

λ

式中，

进一步地，图像采集装置为工业相机1。

进一步地，数据增强算法为MixUp数据增强算法。

在上述步骤S3中，在将用于测试的斜线网特征图进行更深的特征提取，得到候选框时，包括：

将用于测试的斜线网特征图通过3×3的卷积进行更深的特征提取，再进行1×1的卷积运算，得到候选框；

其中，在通过3×3的卷积进行更深的特征提取和1×1的卷积运算时，包括：

将输入向量与卷积核向量和卷积核向量对应位置元素相乘再相加。

在上述步骤S4中，在得到每一个锚框的预测得分时，包括：

将用于训练的斜线网特征图用3×3的卷积进行更深的特征提取，得到若干锚框，再利用1×1的卷积实现分类网络，生成Positive锚框；

其中，在实现分类网络，生成Positive锚框时，包括：

将物体标签输入softmax层，利用softmax公式获得物体标签的概率值，并将概率值作为阈值，softmax公式具体如公式3所示：

式中，x为输出向量；n为该神经网络的多个输出或类别数；x

将若干锚框输入softmax层，利用softmax公式输出一结果，将结果与阈值进行匹配(锚框的softmax公式输出的结果除以阈值)，获得相应的匹配结果；

根据匹配结果判断每个锚框属于Positive或Negative，从而生成Positive锚框。

进一步地，当匹配结果接近1时，则判断该锚框属于Positive，当匹配结果远远不到1时，则判断该锚框属于Negative。

在上述步骤S4中，在得到每一个锚框的预测偏移值时，包括：

将用于训练的斜线网特征图用3×3的卷积进行更深的特征提取，得到若干锚框，再利用1×1的卷积实现回归网络，生成每一个锚框的预测偏移值；

其中，在实现回归网络，生成每一个锚框的预测偏移值时，包括：

将物体标签和若干锚框输入bounding box regression层，利用偏移量公式获得锚框的预测偏移值，具体如公式4、公式5、公式6以及公式7所示：

式中，x

根据Positive锚框和锚框的预测偏移值获得精确的候选框。

在上述步骤S6中，在对精确的候选框进行筛选得到符合条件的RoI时，包括：

获得精确的候选框与所有的物体标签的IoU矩阵，具体如公式8所示：

该式表示物体标签M与锚框A之间的重合度，其中分子表示两个框的交集，分母表示两个框的并集，它们的比值代表交并比即重合度；

并根据IoU矩阵的值来筛选符合条件的RoI。

进一步地，在训练阶段，步骤S4所得到精确的候选框数量还是太多，因此需要进一步筛选候选框得到RoI。

在上述步骤S7中，将RoI池化到固定的维度是为了方便送到全连接层中，因为全连接层要求特征的维度固定，而每一个RoI对应的特征大小各不相同，无法直接送入到全连接层。

进一步地，在根据IoU矩阵的值来筛选符合条件的RoI时，包括：

若任意一个候选框与所有的物体标签所构成的IoU矩阵里所存在的最大值≥0.5，则视该候选框为正样本，即为符合条件的RoI；

若任意一个候选框与所有标签所构成的IoU矩阵里所存在的最大值≥0且＜0.5，则视该候选框为负样本，即不是符合条件的RoI。

在上述步骤S9中，在通过分类网络获得每个固定维度RoI的所属类别，并输出概率向量时，包括：

分类网络通过全连接层和概率归一化函数得到每个固定维度RoI的所属类别，并输出类别的概率向量；

其中，将原始归一化函数中的初始交叉熵函数替换成Focal loss函数得到概率归一化函数，具体如公式9所示：

Focal loss＝-alpha*(1-f(z

式中，z

在上述步骤S10中，回归网络利用边界框回归获得每个固定维度RoI的位置偏移量。

在上述步骤S11中，在使用非极大值抑制去除冗余的目标检测框时，包括：

利用筛选关系式对目标检测框进行筛选，具体如公式10所示：

式中，y为目标检测框重叠程度阈值，A

本发明所提供的基于深度学习的自动识别斜线网的系统，包括：

构建单元：用于构建一网络输入层、斜线网训练数据集以及斜线网测试数据集，并将斜线网训练数据集和斜线网测试数据集送入网络输入层；

特征提取单元：用于网络输入层将接收到的斜线网训练数据集和斜线网测试数据集送入到特征提取网络进行特征提取，得到斜线网特征图；将用于测试的斜线网特征图进行更深的特征提取，得到候选框；将用于训练的斜线网特征图进行更深的特征提取，得到每一个锚框的预测得分和预测偏移值，并根据预测得分和预测偏移值得到精确的候选框；

RoI获取单元：用于在测试阶段，将候选框直接作为RoI，送入RoI池化层；在训练阶段，对精确的候选框进行筛选得到符合条件的RoI，送入RoI池化层；RoI池化层将RoI池化到固定的维度后，得到固定维度RoI，并将固定维度RoI送入全连接层；

目标检测框获取单元：用于利用全连接层将固定维度RoI的特征全部进行连接，再将通过全连接层后的每个固定维度RoI分别接入分类与回归的全连接网络；通过分类网络获得每个固定维度RoI的所属类别，并输出类别的概率向量；通过回归网络获得每个固定维度RoI的位置偏移量，并根据概率向量和位置偏移量得到精确的目标检测框；

检测单元：用于使用非极大值抑制去除冗余的目标检测框，并获得剩余的目标检测框中最佳的目标检测框，根据最佳的目标检测框对斜线网进行自动识别；

其中，特征图包括：用于测试的特征图和用于训练的特征图，分类与回归的全连接网络包括：分类网络和回归网络。

进一步地，上述图像采集装置(工业相机1)通过数据线4与工业平板电脑3连接，工业平板电脑3内搭载有上述系统，其中工业相机1需附带LED灯珠2，起到辅助打光的作用，具体如图3所示。

更进一步地，工业相机1可以通过电源线5与移动电源6连接，进行充电。

具体地，将工业相机1放在目标区域，此时工业相机1会立即自动对焦，这时在工业平板电脑3上点击拍照按钮，工业相机1将自动采集到一张图像，并自动把采集到的图像上传显示在工业平板电脑3上，此时只需用手指在图像上划一道横线，上述系统将自动检测所画横线下面区域的线条数量，并自动将检测结果显示到屏幕上。传统的采用人工核实斜线网线槽数，容易因人工因素而导致所生产的硅片出现线痕、厚薄及翘曲等异常，具体如图4所示。采用本发明对斜线网进行检测，只需用手指在工业平板电脑3上画一道红线，程序会自动显示线条数量，具体如图5所示。

进一步地，本发明利用5G网络，借助其低延时、高带宽、广联结等特性，实现工业相机1采集图像的上传在毫秒时间内高效完成，整个过程，从拍照到显示检测结果用时小于0.5秒。

相比现有技术，本发明的有益效果在于：

(1)本发明结合基于FasterRCNN算法的神经网络，实现了对斜线网线槽数的自动检测，并且检测时间极短；

(2)本发明还解决了员工数线槽过程中出现的数错、漏数的问题，同时减少了大量人力和时间的投入；

(3)本发明有效地解决了因斜线网而造成的线痕、厚薄及翘曲等问题，进而提升了硅片的生产良率。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。