一种基于深度学习的MicroLED缺陷实时检测方法

技术领域

本发明涉及缺陷检测领域，更具体地说，它涉及一种基于深度学习的MicroLED缺陷实时检测方法。

背景技术

MicroLED是一种新型的显示技术，可以提供高亮度、高响应速率、广色域和高分辨率的显示效果，在虚拟现实眼镜、智能手表、柔性屏幕、车载显示器等应用领域都有着广阔的前景。与传统液晶和有机发光二极管相比，MicroLED还能够提供更高的亮度和更鲜明的颜色。然而，由于其制造过程的复杂性和高度精密性，MicroLED在生产过程中容易出现各种缺陷，而且MicroLED显示器中的组成单元MicroLED非常微小且数量庞大，靠人工进行缺陷检测极为困难。为了避免缺陷产品的流入市场，降低售后维修和替换的成本，提高生产效率和质量，提高用户满意度，研发一种实时、准确的MicroLED缺陷检测自动化系统成为了一个重要课题。

缺陷目标检测是计算机视觉应用领域中的一个基本任务，其目标是在图像中找出缺陷的位置和类别。传统的目标检测算法主要有基于特征的目标检测算法，基于模板匹配的目标检测算法和级联分类器目标检测算法等。传统目标检测算法存在精度低、缺陷定位困难、实时性能差和鲁棒性差等问题，最近发展起来的深度学习技术克服了传统缺陷检测方法的缺点，SSD，RetinaNet，Faster R-CNN，YOLO等网络模型陆续被提出，在许多视觉任务上取得了显著的效果。尤其是单阶段目标检测算法YOLO的提出实现了基于深度学习的实时目标检测，与使用两阶段检测框架的Fast R-CNN模型不同，YOLO模型采用全卷积神经网络，将目标提议和目标分类合并为一个网络，直接从图像中输出目标的类别和位置信息，具有快速检测速度和较高的检测准确率。然而，由于MicroLED缺陷检测的速度和精度要求很高，MicroLED尺寸小、目标数量多和特征区别度低，对现有方法的检测仍然不理想。因此，开发一种高精度的实时MicroLED缺陷实时检测方法非常有助于MicroLED产业的发展和应用。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于深度学习的MicroLED缺陷实时检测方法，具有能够在多种尺度下精确预测出MicroLED图形中存在的缺陷的类别与位置，实现MicroLED低区分度缺陷的实时检测的优点。

本发明的上述技术目的是通过以下技术方案得以实现的：一种域深度学习的MicroLED缺陷实时检测方法，包括以下步骤：

S1、通过自动扫描系统采集MicroLED图像，对所述图像制作标签文件并进行数据增强；

S2、将增强后的数据用于训练端到端的MicroLED缺陷检测深度神经网络中，并通过执行注意力残差模块、多尺度特征快速融合模块及选择特征金字塔模块，评估并保存最优模型参数；

S3、将未标注的MicroLED图像输入到所述端到端的MicroLED缺陷检测深度神经网络中，利用预测模块的检测头检测不同尺度的MicroLED缺陷，得到MicroLED缺陷的预测坐标与类别信息。

在其中一个实施例中，所述S2的步骤还包括：

S201、执行所述注意力残差模块，以在所述端到端的MicroLED缺陷检测深度神经网络内的骨干网络中提取多层次的特征信息；

S202、执行所述多尺度特征快速融合模块，以对所述特征信息进行快速融合；

S203、执行所述选择特征金字塔模块，以在所述端到端的MicroLED缺陷检测深度神经网络的颈部网络中对不同层次的特征进行选择融合。

在其中一个实施例中，所述注意力残差模块的网络架构包括第一分支及第二分支。

在其中一个实施例中，所述第一分支的运行过程包括：

S201A、输入X先经过卷积模块得到特征图U，然后进入由n个通道注意力模块组成的注意力层，输入U在经过两个卷积模块后进行挤压操作，并通过全局平均池生成通道统计信息，随后将全局空间信息压缩到信道描述符中，其等式表示为：

其中，空间维度为H×W×C的输入P通过压缩空间维度生成维度为1×1×C的向量z，i，j分别表示输入特征图P的第i行和第j列；

S201B、激励操作使用两个全连接层和非线性结构显式地建模信道之间的非线性依赖关系，获得各个信道的权重值，其等式表示为：

s＝F

其中，z为信道描述符，σ为sigmoid激活函数，δ为ReLU激活函数，W

S201C、通过信道权重激活输入特征，将特征图P的每一个通道特征与在激活截断时所获得的的权重值相乘并与所述特征图U进行残差计算，其等式表示为：

Q＝F

在其中一个实施例中，所述第二分支的执行过程还包括：

输入X经过一个卷积模块并输出V，并与所述第一分支所输出的结果进行拼接，随后经过一个卷积模块获得所述注意力残差模块的最终输出结果，即表示为：

Y＝SiLU(BN(Conv([V；Q])))；

其中，BN为批量归一化，SiLU为swish激活函数，Conv为标准二维卷积。

在其中一个实施例中，所述多尺度特征快速融合模块的执行过程包括：

S202A、将所有的特征图利用第一等式合并并获得到特征图集合K；

S202B、利用所述特征图集合K通过一个卷积模块将所有所述特征图进行融合，得到一个执行所述多尺度特征快速融合模块后的输出结果，所述输出结果表示为：

T＝SiLU(BN(Conv(K)))；

其中，BN为批量归一化，SiLU为swish激活函数，Conv为标准二维卷积。

在其中一个实施例中，所述第一等式表示为：

K＝[MaxPool

其中，MaxPool

在其中一个实施例中，所述选择特征金字塔模块的执行步骤还包括：

S203A、将不同层次的特征信息进行整合，并通过元素求和的方法合并浅层特征A与深层特征B，其合并式表示为：

D＝A+B；

S203B、通过使用全局平均池嵌入全局信息，以生成信道统计，表示为：

S203C、通过一个全连接层生成一个用于实现精确和自适应选择指导的特征，所述特征的等式表示为：

v＝F

其中，δ为ReLU激活函数，BN为批量标准化，W为线性全连接层；

S203D、利用特征v生成不同层次特征信息的权重；

用于生成所述不同层次特征信息的权重的等式表示为：

其中，W

S203E、最后输出融合特征；

用于输出所述融合特征的等式表示为：

H＝[(a+1)·A；(b+1)·B]。

在其中一个实施例中，所述检测头设置有三个，三个所述检测头的输出维度分别为R

上述一种基于深度学习的MicroLED缺陷实时检测方法，与现有技术相比，本发明通过多种数据增强的方式扩充MicroLED图像数据集，提高了模型的泛化能力，本发明设计使用的一种注意力残差模块，具有强大的自适应调整结构，能够极大提升骨干网络对关键特征的提取能力；所设计使用的多尺度特征快速融合模块，有利于加速网络特征的融合，增加模型的感受野，从而更好地捕捉输入图像的全局信息；所设计使用的选择特征金字塔模块，通过过滤冗余信息对不同层次、不同通道的特征进行加权融合，生成更具强语义表达能力的特征，从而提高网络对目标的识别和定位能力；

本发明建立了一个端到端的缺陷检测深度神经网络，克服了传统算法低准确率、低召回率、低鲁棒性等难题，能够在多种尺度下精确预测出MicroLED图形中存在的缺陷的类别与位置，实现MicroLED低区分度缺陷的实时检测。

附图说明

图1是本实施例中MicroLED缺陷检测方法的总流程图；

图2是本实施例中注意力残差模块的网络架构；

图3是本实施例中多尺度特征快速融合模块的网络架构；

图4是本实施例中选择特征金字塔模块的网络架构；

图5是本实施例中端到端的MicroLED缺陷检测深度神经网络的流程图。

具体实施方式

下面结合附图和实施例，对本发明进行详细描述。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或彼此可通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

一种基于深度学习的MicroLED缺陷实时检测方法,如图1所示，包括以下步骤：

S1、通过自动扫描系统采集MicroLED图像，对所述图像制作标签文件并进行数据增强；

S2、将增强后的数据用于训练端到端的MicroLED缺陷检测深度神经网络中，并通过执行注意力残差模块、多尺度特征快速融合模块及选择特征金字塔模块，评估并保存最优模型参数；

S3、将未标注的MicroLED图像输入到所述端到端的MicroLED缺陷检测深度神经网络中，利用预测模块的检测头检测不同尺度的MicroLED缺陷，得到MicroLED缺陷的预测坐标与类别信息。

在一个实例中，采集到的图像为1920x1080的三通道图像，需要检测的MicroLED类型有五种：正常、黑片、空片、偏移、偏转，通过手工标注的方式将图像中所有MicroLED的坐标，长宽，类别记录到对应TXT文件中作为标签，

同时，为了提高模型的鲁棒性和满足多尺度检测的需求，本发明通过将初始数据的图像进行随机缩放，随机裁剪，随机旋转，随机拼接等操作对数据集进行扩充，并保证数据增强后的图像尺寸均为1920x1080，标签文件也按照相同的方式生成对应的扩充文件，最后按照8:1的比例将增广数据集划分训练集和测试集。

具体的，S2的步骤还包括：

S201、执行所述注意力残差模块，以在所述端到端的MicroLED缺陷检测深度神经网络内的骨干网络中提取多层次的特征信息；

S202、执行所述多尺度特征快速融合模块，以对所述特征信息进行快速融合；

S203、执行所述选择特征金字塔模块，以在所述端到端的MicroLED缺陷检测深度神经网络的颈部网络中对不同层次的特征进行选择融合。

具体的，注意力残差模块的网络架构包括第一分支及第二分支；

具体的，第一分支的运行过程如下：

S201A、输入X先经过卷积模块(包括标准的二维卷积、批处理归一化和SiLU激活函数)得到特征图U，然后进入由n个通道注意力模块组成的注意力层，其主要分为挤压、激发、融合这三个步骤；

输入U在经过两个卷积模块后进行挤压操作，通过使用全局平均池生成通道统计信息并将全局空间信息压缩到信道描述符中，其等式表示为：

在此等式中，空间维度为H×W×C的输入P通过压缩空间维度生成维度为1×1×C的向量z；i，j分别表示输入特征图P的第i行和第j列。

S201B、激励操作使用两个全连接层和非线性结构显示地建模信道之间的相互依赖性，其结构灵活，能使学习信道之间的非线性相互作用，在极小的计算代价下获得各个信道的权重值，其等式表示为：

s＝F

在此等式中，z为信道描述符，σ为sigmoid激活函数，δ为ReLU激活函数，W

S201C、通过信道权重激活输入特征，将特征图P的每一个通道特征与在激活截断时所获得的的权重值相乘并与特征图U进行残差计算，其等式表示为：

Q＝F

具体的，第二分支的运行过程如下：

输入X并经过一个卷积模块以输出V，并与第一分支输出的Q进行拼接，随后经过一个卷积模块便可得到通道注意力模块的最终输出结果，即表示为：

Y＝SiLU(BN(Conv([V；Q])))；

其中，BN为批量归一化，SiLU为swish激活函数，Conv为标准二维卷积。

基于上述设计，注意力残差模块能使骨干网络有选择性地关注与差异化特征信息，提高对相似缺陷特征的区分能力，并且，注意力残差模块具有强大的自适应调整结构，有利于直接嵌入网络，以极小的额外计算成本为模型带来了显著的性能改进。

具体的，多尺度特征快速融合模块的执行过程包括：

S202A、将所有的特征图利用第一等式合并并得到特征图集合K：

S202B、利用特征图几何K∈

T＝SiLU(BN(Conv(K)))；

其中，BN为批量归一化，SiLU为swish激活函数，Conv为标准二维卷积。

具体的，第一等式表示为：

K＝[MaxPool

其中，MaxPool

经过上述设计，所设计的多尺度特征快速融合模块具有简单、灵活的特点，参数量几乎可以忽略不计，非常适合嵌入到下采样的网络中，特别是轻量型网络，有利于加速网络特征的融合，增加模型的感受野，从而更好地捕捉输入图像的全局信息。

具体的，选择特征金字塔模块的执行步骤还包括：

S203A、将不同层次的特征信息进行整合，通过元素求和的方法合并浅层特征A与深层特征B，其合并式表示为：

D＝A+B；

S203B、通过使用全局平均池来嵌入全局信息，以生成信道统计，并表示为：

S203C、通过一个全连接层生成一个用于实现精确和自适应选择指导的特征，并表示为：v＝F

其中，δ为ReLU激活函数，BN为批量标准化，W为线性全连接层；

S203D、利用特征v生成不同层次特征信息的权重：

其中，W

S203E、最后输出的融合特征，用于输出所述融合特征的等式表示为：

H＝[(a+1)·A；(b+1)·B]

上述设计方案中所使用的选择特征金字塔模块，其优点在于可将网络中冗余和无用的特征进行过滤，从而提高网络的效率，通过自适应地对不同层、不同通道的特征进行加权融合，生成更强语义表达能力的特征，从而提高网络对目标的识别和定位能力。

具体的，检测头设置有三个，三个检测头的输出维度分别为R

如图5所示，本发明中所使用的MicroLED缺陷检测深度卷积神经网络包括三个主要组成部分，分别为用于多级特征提取的骨干网络，用于融合上下文特征的颈部网络和用于输出结果的预测模块，

在一个应用实例中，在骨干网络中，输入图像经过卷积模块进行下采样，其目的是为减小计算量和模型复杂度，使网络注意力集中于有效的特征信息，以提取到关键特征，参照本技术方案，在骨干网络中采用了注意力残差模块进行提取多层次的有效特征信息。而在神经网络中，浅层特征图的分辨率很高，但网络提取的特征语义信息很弱，随着网络层的加深，特征图的分辨率降低，而提取的高级特征语义信息增强。为了快速融合不同层次的特征，骨干网络的末端采用了提出的多尺度特征快速融合模块，其仅需极小的参数，将骨干网络的特征融合起来；

其后，将骨干网络提取到的特征输入到颈部网络，颈部网络通过构件特征金字塔对上下文特征进行聚合和增强，此设计的有益之处在于能通过自主学习赋予不同尺度特征图权重并进行融合，以加强MicroLED缺陷类别和位置的特征语义；

最后，在预测模块，为了最大限度地适应不同尺寸的缺陷特征，充分利用卷积神经网络在深层的高级语义信息，在颈部网络连接了三个检测头，在不显著增加网络模型的大小和算法的复杂性的情况下，检测不同尺度的MicroLED缺陷，三个检测头的输出维度分别为R

通过采用上述设计方案，其所形成的一种基于深度学习的MicroLED缺陷实时检测方法，其自适应能力强，能够检测到不同尺度下的MicroLED缺陷，具有很高的准确率和召回率，还有高速度和低计算杂度的特点，满足工业流水线上实时检查的需求。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。