基于深度学习的缺陷检测方法、系统、装置和存储介质

技术领域

本申请涉及图像识别技术，特别是一种基于深度学习的缺陷检测方法、系统、装置和存储介质。

背景技术

现有技术中，常见有采用图像识别的方法来识别产品缺陷的技术。这些算法有的基于神经网络技术来检测缺陷，有的基于测距技术来检测缺陷。对于光学组件，如手机光学镜片等，出厂前需要进行瑕疵检测。

目前采用图像测量的方案对于微小缺陷的检测不够灵敏，有待改善。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于深度学习的缺陷检测方法、系统、装置和存储介质，以改善微小缺陷的灵敏度。

本申请实施例提供了一种基于深度学习的缺陷检测方法，包括以下步骤：

S1、获取待检测目标的第一图像；

S2、获取所述第一图像的平均灰度，将所述平均灰度作为分割阈值；

S3、根据分割阈值对所述第一图像进行二值分割，将所述第一图像中灰度小于所述分割阈值的像素置0，将所述第一图像中灰度大于等于所述分割阈值的像素置1，得到分割模板；

S4、将所述第一图像和分割模板相与，得到第二图像；

S5、将所述第一图像和第二图像送入经过训练神经网络模型中得到目标识别结果。

在一些实施例中，所述神经网络模型为yolov5模型；

所述步骤S5具体为：

将所述第二图像输入到yolov5模型中得到第二图像的第一识别框；

将所述第一识别框对应在所述第一图像的区域作为注意力区域，由所述yolov5模型识别，得到目标识别结果。

在一些实施例中，还包括以下步骤：在第一光源模式和第二光源模式下分别执行步骤S1～S5；

根据两次目标识别结果得到缺陷位置。

在一些实施例中，还包括以下步骤：

执行步骤S1～S5对待检测目标的正面和反面进行检测。

在一些实施例中，待检测目标为光学器件。

在一些实施例中，所述待识别目标为光学组件。

本实施例公开了一种基于深度学习的缺陷检测系统，包括：

获取模块，用于获取待检测目标的第一图像；

阈值确定模块，用于获取所述第一图像的平均灰度，将所述平均灰度作为分割阈值；

分割模板获取模块，用于根据分割阈值对所述第一图像进行二值分割，将所述第一图像中灰度小于所述分割阈值的像素置0，将所述第一图像中灰度大于等于所述分割阈值的像素置1，得到分割模板；

分割模块，用于将所述第一图像和分割模板相与，得到第二图像；

结果输出模块，用于将所述第一图像和第二图像送入经过训练神经网络模型中得到目标识别结果。

在一些实施例中，所述神经网络模型为yolov5模型；

所述结果输出模块的工作步骤具体为：

将所述第二图像输入到yolov5模型中得到第二图像的第一识别框；

将所述第一识别框对应在所述第一图像的区域作为注意力区域，由所述yolov5模型识别，得到目标识别结果。

另一方面，本实施例公开了一种基于深度学习的缺陷检测系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的基于深度学习的缺陷检测方法。

另一方面，本实施例公开了一种计算机可读存储介质，其存储有程序，所述程序被处理器执行时，实现所述的基于深度学习的缺陷检测方法。

本申请实施例通过将第一图像进行二值化，得到第二图像，凸显了缺陷的位置和轮廓特征，弥补了按照正常图像进行图像识别的识别能力不足的问题，通过将第一图像和第二图像作为共同的识别对象，可以增强模型的识别能力，改善小目标的识别能力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种基于深度学习的缺陷检测方法的流程图；

图2是本申请实施例提供的一种基于深度学习的缺陷检测方法的模块框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大。本申请主要涉及图像识别技术，采用深度学习模型作为图像识别的基础，具体地，主要将图像识别技术应用在缺陷检测之中。

参照图1，本实施例公开了一种基于深度学习的缺陷检测方法，包括以下步骤：

S1、获取待检测目标的第一图像。在本实施例中，待检测目标是光学镜片、玻璃镜头盖等光学器件，其特点是容易产生反光等问题，容易干扰模型。

S2、获取所述第一图像的平均灰度，将所述平均灰度作为分割阈值。

在本步骤中，根据第一图像的平均灰度确定分割阈值，不受设备环境、测试目标和光源参数调整的影响，能够自动化得到分割阈值。

S3、根据分割阈值对所述第一图像进行二值分割，将所述第一图像中灰度小于所述分割阈值的像素置0，将所述第一图像中灰度大于等于所述分割阈值的像素置1，得到分割模板。

S4、将所述第一图像和分割模板相与，得到第二图像。在本实施例中，第一图像和分割模板中对应的像素点进行相与，例如，(255,255,255)与0相与就是(0,0,0)，(255,255,255)与1相与就是(255,255,255)，这样可以凸显缺陷。

S5、将所述第一图像和第二图像送入经过训练神经网络模型中得到目标识别结果。

可以理解的是，可以通过训练一个以第一图像和第二图像作为输入值的模型，使得模型可以从两个图像中获取更多的信息，从而输出一个更加准确的识别目标，以增加微小下次的检出率。

在一些实施例中，所述神经网络模型为yolov5模型；

所述步骤S5具体为：

将所述第二图像输入到yolov5模型中得到第二图像的第一识别框。在本实施例中，采用的模型为yolov5模型，在模型基础上引入注意力机制。在第二图像输入时，注意力参数可以是为空或者为默认值。

将所述第一识别框对应在所述第一图像的区域作为注意力区域，由所述yolov5模型识别，得到目标识别结果。在对第一图像进行识别的时候，可以利用，从第二图像中得到的识别框作为注意力区域，增强这一区域权重，以使得模型更加关注这一区域，提高微小瑕疵的检出率。

yolov5，是一种目标检测算法。yolo-attention，在yolo模型中引入注意力机制，以改善yolo模型结构的一种算法模型。attention-yolo算法，该算法借鉴了基于项的注意力机制，将通道注意力及空间注意力机制加入特征提取网络之中，使用经过筛选加权的特征向量来替换原有的特征向量进行残差融合，同时添加二阶项来减少融合过程中的信息损失并加速模型收敛。

本方案采用二值化图像来发现疑似缺陷的位置，再通过提高模型注意力的方式来从原始图像中进行识别，最终确定是否瑕疵。这样可以在误判和提高灵敏度这两种参数之间作平衡。

在一些实施例中，还包括以下步骤：在第一光源模式和第二光源模式下分别执行步骤S1～S5；

根据两次目标识别结果得到缺陷位置。

在上述实施例中，由于本方案主要针对的检测对象是光学组件，不同的光源照射对光学组件的瑕疵检出有不同的效果，这些光源模式包括反射、透射、不同颜色光源、不同强度光源等。

在一些实施例中，还包括以下步骤：

执行步骤S1～S5对待检测目标的正面和反面进行检测。

在瑕疵检测中，会对正反面进行检测，以确保正反面都没有瑕疵，而对于边缘而言一般作为连接处，无需要关心侧面是否有瑕疵。

在一些实施例中，所述待检测目标为光学组件。

参照图2，本实施例公开了一种基于深度学习的缺陷检测系统，包括：

获取模块，用于获取待检测目标的第一图像；

阈值确定模块，用于获取所述第一图像的平均灰度，将所述平均灰度作为分割阈值；

分割模板获取模块，用于根据分割阈值对所述第一图像进行二值分割，将所述第一图像中灰度小于所述分割阈值的像素置0，将所述第一图像中灰度大于等于所述分割阈值的像素置1，得到分割模板；

分割模块，用于将所述第一图像和分割模板相与，得到第二图像；

结果输出模块，用于将所述第一图像和第二图像送入经过训练神经网络模型中得到目标识别结果。

本申请实施例通过将第一图像进行二值化，得到第二图像，凸显了缺陷的位置和轮廓特征，弥补了按照正常图像进行图像识别的识别能力不足的问题，通过将第一图像和第二图像作为共同的识别对象，可以增强模型的识别能力，改善小目标的识别能力。

在一些实施例中，所述神经网络模型为yolov5模型；

所述结果输出模块的工作步骤具体为：

将所述第二图像输入到yolov5模型中得到第二图像的第一识别框；

将所述第一识别框对应在所述第一图像的区域作为注意力区域，由所述yolov5模型识别，得到目标识别结果。

yolov5，是一种目标检测算法。yolo-attention，在yolo模型中引入注意力机制，以改善yolo模型结构的一种算法模型。attention-yolo算法，该算法借鉴了基于项的注意力机制，将通道注意力及空间注意力机制加入特征提取网络之中，使用经过筛选加权的特征向量来替换原有的特征向量进行残差融合，同时添加二阶项来减少融合过程中的信息损失并加速模型收敛。

本方案采用二值化图像来发现疑似缺陷的位置，再通过提高模型注意力的方式来从原始图像中进行识别，最终确定是否瑕疵。这样可以在误判和提高灵敏度这两种参数之间作平衡。

本申请实施例通过将第一图像进行二值化，得到第二图像，凸显了缺陷的位置和轮廓特征，弥补了按照正常图像进行图像识别的识别能力不足的问题，通过将第一图像和第二图像作为共同的识别对象，可以增强模型的识别能力，改善小目标的识别能力。

本实施例公开了一种基于深度学习的缺陷检测系统，包括：

存储器，用于存储程序；

处理器，用于加载所述程序以执行所述的基于深度学习的缺陷检测方法。

本实施例公开了一种计算机可读存储介质，其存储有程序，所述程序被处理器执行时，实现所述的基于深度学习的缺陷检测方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。