一种玻璃缺陷检测方法、装置、电子设备及存储介质

技术领域

本发明涉及检测技术领域，尤其是一种玻璃缺陷检测方法、装置、电子设备及存储介质。

背景技术

玻璃在制造过程中可能会发生形变，出现各种表面缺陷，如凹陷、凸起、污迹和划痕等。现有的玻璃缺陷检测方法通过人工视觉进行检查或者采用机器视觉设备对玻璃表面进行分析检测。其中，人工视觉检查不仅效率低下，而且检测结果的移植性较差，难以保证准确度；机器视觉方法能够对比较明显的缺陷进行识别检测，但由于玻璃是透明的，机器视觉方法难以甚至无法实现大多数缺陷的正常成像，缺陷漏检的情况比较严重，检测结果准确性较低。

发明内容

为解决上述现有技术问题，本发明提供玻璃缺陷检测方法、装置、电子设备及存储介质，提升了玻璃缺陷检测的准确性和效率。

为了达到上述技术目的，本申请实施例所采取的技术方案包括：

第一方面，本申请实施例提供了一种玻璃缺陷检测方法，包括以下步骤：

扫描待测玻璃，获取待测玻璃表面的辉度数据和高度数据；

分别合并辉度数据和高度数据，生成由辉度数据构成的辉度图像以及由高度数据构成的高度图像；

提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像；

分别将第一可疑区域图像和第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果，目标检测模型用于采用目标框和对应的目标框类型对第一可疑区域图像和第二可疑区域图像中的缺陷的位置和对应的类型进行标注；

确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，根据目标检测结果在待测玻璃的原始图像中标注出缺陷的位置和类型。

另外，根据本申请上述实施例的一种玻璃缺陷检测方法，还可以具有以下附加的技术特征：

进一步地，本申请实施例的一种玻璃缺陷检测方法中，提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像，包括：

分别对辉度图像和高度图像进行预处理，得到第一可疑区域图像和第二可疑区域图像，预处理包括去噪、图像增强和边缘检测。

进一步地，在本申请的一个实施例中，目标检测模型的训练包括：

获取图像样本集，图像数据集中包括正常样本和缺陷样本，缺陷样本中的缺陷采用边界框标注；

构建目标检测模型；

将图像样本集划分为训练集、验证集和测试集；

采用训练集训练目标检测模型；

采用验证集验证目标检测模型，得到验证结果；

根据验证结果调整目标检测模型的模型参数；

采用测试集评估目标检测模型的性能，其中，若性能达到预设目标，完成目标检测模型的训练；若性能低于预设目标，返回采用训练集训练目标检测模型这一步骤。

进一步地，在本申请的一个实施例中，目标检测模型包括区域建议网络和目标检测网络；

采用所述训练集训练目标检测模型，包括：

依次将训练集中的样本输入目标检测模型；

根据训练集中的样本，通过区域建议网络生成候选目标框，并采用候选目标框标注训练集中的样本的缺陷的可能位置；

通过所述目标检测网络对所述候选目标框进行分类和回归。

进一步地，在本申请的一个实施例中，在将图像样本集划分为训练集、验证集和测试集这一步骤之前，目标检测模型的训练还包括：

对图像样本集中的各个样本进行图像大小调整和归一化。

进一步地，在本申请的一个实施例中，检测方法还包括：

确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，发出报警信息。

进一步地，在本申请的一个实施例中，扫描待测玻璃，包括：

控制线激光位移传感器扫描待测玻璃。

第二方面，本申请实施例提出了一种玻璃缺陷检测装置，包括：

扫描模块，用于扫描待测玻璃，获取待测玻璃表面的辉度数据和高度数据；

合并模块，用于分别合并辉度数据和高度数据，生成由辉度数据构成的辉度图像以及由高度数据构成的高度图像；

提取模块，用于提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像；

检测模块，用于分别将第一可疑区域图像和第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果，目标检测模型用于采用目标框和对应的目标框类型对第一可疑区域图像和第二可疑区域图像中的缺陷的位置和对应的类型进行标注；

标注模块，用于确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，根据目标检测结果在待测玻璃的原始图像中标注出缺陷的位置和类型。

第三方面，本申请实施例提出了一种电子设备，包括：

至少一个存储器以及至少一个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被所述至少一个处理器执行，使得至少一个处理器实现第一方面的玻璃缺陷检测方法的步骤。

第四方面，本申请实施例提出了一种存储介质，存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现第一方面的玻璃缺陷检测方法的步骤。

本发明的有益效果体现在，通过扫描待测玻璃获取辉度数据和高度数据，分别合并辉度数据和高度数据生成辉度图像和高度图像，进而后续通过预训练好的目标检测模型输出目标检测结果，并在目标检测结果中包含标注有缺陷的位置和类型的图像时在待测玻璃的原始图像中标注出缺陷的位置和类型，相较于人工视觉方法和机器视觉方法，提高了玻璃玻璃缺陷检测的准确性和效率；通过在辉度图像和高度图像中提取第一可疑区域图像和第二可疑区域图像来进行后续的缺陷目标检测，进一步提高了玻璃玻璃缺陷检测的效率。

附图说明

图1为本发明所提供的玻璃缺陷检测方法具体实施例的流程示意图；

图2为本发明所提供的玻璃缺陷检测装置具体实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参照图1，本申请实施例中的一种玻璃缺陷检测方法，包括以下步骤：

S101、扫描待测玻璃，获取待测玻璃表面的辉度数据和高度数据。

其中，通过扫描装置扫描待测玻璃，扫描得到的辉度数据表示扫描装置接收到的待测玻璃表面各点的亮度，高度数据表示扫描装置与待测玻璃表面各点的距离。

具体地，通过扫描装置发射激光照射待测玻璃的表面各点，并实时接收待测玻璃反射回来的光线，对反射回来的光线进行数据处理，得到待测玻璃表面各点的光强度变化(亮度变化)，并结合扫描角度和光的传播时间，计算扫描装置与待测玻璃表面各点的距离，从而得到待测玻璃表面的辉度数据和高度数据。

可选地，在一些实施例中，扫描装置为线激光位移传感器，控制线激光位移传感器扫描待测玻璃。

可以理解的是，线激光位移传感器由激光发射器、光学系统、激光线阵列传感器和数据处理单元组成。线激光位移传感器工作时，激光发射器会发射一束脉冲激光光束，该激光光束经过光学系统被聚焦成一条细线。激光线阵列传感器将这条细线投影到待测玻璃上，形成一条激光线。随着待测玻璃或线激光位移传感器的移动，激光线在待测玻璃表面形成一条亮度变化线。当激光线照射到待测玻璃表面时，一部分光被待测玻璃表面反射回来，经过光学系统后，被激光线阵列传感器接收。激光线阵列传感器将接收到的激光信号转换为电信号，并通过数据处理单元进行处理。通过分析接收到的光强度变化，结合扫描角度和光的传播时间，线激光位移传感器可以计算出物体的距离，从而得到待测玻璃表面的辉度数据和高度数据。

S102、分别合并辉度数据和高度数据，生成由辉度数据构成的辉度图像以及由高度数据构成的高度图像。

可以理解的是，辉度图像表示了待测玻璃表面的光反射强度，为一幅灰度图像，该灰度图像中每个像素的灰度值表示待测玻璃表面在对应位置的光反射强度或亮度。辉度图像显示了待测玻璃的外观特征，比如颜色、纹理等。在辉度图像中，待测玻璃的轮廓、形状和边缘信息都可以被清晰地观察到。高度图像是根据扫描装置测得的距离信息生成的图像，它表示了待测玻璃表面各个点的高度或距离。高度数据本身不可见，需要转换为高度图像，在高度图像中每个像素的灰度值表示该位置到扫描装置的距离或高度，通常以灰度级或伪彩色来表示不同高度的区域。高度图像可以用于显示待测玻璃表面的高度信息，凹陷、凸起等缺陷在高度图像中较为明显。因此，本申请实施例基于辉度图像和高度图像进行待测玻璃的缺陷检测，相较于人工视觉方法和机器视觉方法能够更加准确地检测到待测玻璃表面的缺陷，并大大减少了缺陷漏检情况。此外，本申请实施例同时获取辉度图像和高度图像进行缺陷检测，充分利用了多源信息，提高了缺陷检测的准确性，特别是在复杂场景下或缺陷形状不规则的情况下，可以更好地满足缺陷检测的需求。

S103、提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像。

可以理解的是，在对待测玻璃进行缺陷检测时，往往待测玻璃绝大部分区域都是无缺陷区域，这些区域体现在辉度图像和高度图像上都比较平坦。若直接采用步骤S102得到的辉度图像和高度图像进行缺陷检测，需要耗费较多的时间在待测玻璃的无缺陷区域上。因此，本申请实施例考虑到有缺陷的区域在辉度图像或者高度图像上有明显的变化，通过提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，作为可能存在缺陷的区域，分别得到第一可疑区域图像和第二可疑区域图像，并在后续基于尺寸较辉度图像和高度图像小的第一可疑区域图像和第二可疑区域图像进行缺陷检测，在不影响缺陷检测准确性的情况下减少了缺陷检测的工作量，提高了缺陷检测的效率。

可选地，在一些实施例中，步骤S103具体包括：

分别对辉度图像和高度图像进行预处理，得到第一可疑区域图像和第二可疑区域图像。

其中，预处理包括去噪、图像增强和边缘检测。

S104、分别将第一可疑区域图像和第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果。

其中，目标检测模型用于采用目标框和对应的目标框类型对第一可疑区域图像和第二可疑区域图像中的缺陷的位置和对应的类型进行标注。

具体地，在一些实施例中，采用YOLO(You Only Look Once)、Faster R-CNN，SSD(Single Shot Multibox Detector)、RetinaNet、Mask R-CNN等目标检测模型对第一可疑区域图像和第二可疑区域图像进行缺陷检测，输出目标检测结果。可以理解的是，将第一可疑区域图像输入预训练好的针对辉度图像的目标检测模型中，将第二可疑区域图像输入预训练好的针对高度图像的目标检测模型，输出目标检测结果。

可以理解的是，本申请实施例选用目标检测模型对第一可疑区域图像和第二可疑区域图像进行缺陷检测，相较于传统的需要工程师进行大量图像分析的方式，具有周期短、检测速度快的优势，同时还具有较高的准确性，能够实现多尺度检测，并且具有可迁移性。

可选地，在一些实施例中，目标检测模型的训练具体包括：

1)获取图像样本集，图像数据集中包括正常样本和缺陷样本，所陷样本中的缺陷采用边界框标注；

2)构建目标检测模型；

3)将图像样本集划分为训练集、验证集和测试集；

4)采用训练集训练目标检测模型；

5)采用验证集验证目标检测模型，得到验证结果；

6)根据验证结果调整目标检测模型的模型参数；

7)采用测试集评估目标检测模型的性能，其中，若性能达到预设目标，完成目标检测模型的训练；若性能低于预设目标，返回步骤4)。

可选地，在一些实施例中，采用Faster R-CNN作为目标检测模型，目标检测模型包括区域建议网络和目标检测网络。采用训练集训练目标检测模型，包括：

a.依次将训练集中的样本输入目标检测模型；

b.根据训练集中的样本，通过区域建议网络生成候选目标框，并采用候选目标框标注训练集中的样本的缺陷的可能位置；

c.通过目标检测网络对候选目标框进行分类和回归。

可选地，在一些实施例中，在步骤3)之前，目标检测模型的训练步骤还包括：

对图像样本集中的各个样本进行图像大小调整和归一化，使得图像样本集中的各个样本适合输入到目标检测模型中。

S105、确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，根据目标检测结果在待测玻璃的原始图像中标注出缺陷的位置和类型。

具体地，若第一可疑区域图像或第二可疑区域图像上标注有缺陷的位置和类型，则根据该缺陷位置和类型在待测玻璃的原始图像中对应标注出缺陷的位置和类型。可选地，在一些实施例中，采用边界框、类别标签和置信度在待测玻璃的原始图像中对应标注缺陷。

可选地，在一些实施例中，确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，发出报警信息，便于进行及时地查验和处理。

综上所述，上述步骤S101-S105的玻璃缺陷检测方法，通过扫描待测玻璃获取辉度数据和高度数据，分别合并辉度数据和高度数据生成辉度图像和高度图像，进而后续通过预训练好的目标检测模型输出目标检测结果，并在目标检测结果中包含标注有缺陷的位置和类型的图像时在待测玻璃的原始图像中标注出缺陷的位置和类型，相较于人工视觉方法和机器视觉方法，提高了玻璃缺陷检测的准确性和效率；通过在辉度图像和高度图像中提取第一可疑区域图像和第二可疑区域图像来进行后续的缺陷目标检测，进一步提高了玻璃缺陷检测的效率。

其次，参照附图描述根据本申请实施例提出的一种玻璃缺陷检测装置。

图2是本申请一个实施例的一种玻璃缺陷检测装置结构示意图。

玻璃缺陷检测装置具体包括：

扫描模块201，用于扫描待测玻璃，获取待测玻璃表面的辉度数据和高度数据；

合并模块202，用于分别合并辉度数据和高度数据，生成由辉度数据构成的辉度图像以及由高度数据构成的高度图像；

提取模块203，用于提取辉度图像和高度图像中数据变化幅度超过预设阈值的区域，分别得到第一可疑区域图像和第二可疑区域图像；

检测模块204，用于分别将第一可疑区域图像和第二可疑区域图像输入对应的预训练好的目标检测模型中，输出目标检测结果，目标检测模型用于采用目标框和对应的目标框类型对第一可疑区域图像和第二可疑区域图像中的缺陷的位置和对应的类型进行标注；

标注模块205，用于确认目标检测结果中包括标注有缺陷的位置和类型的第一可疑区域图像以及标注有缺陷的位置和类型的第二可疑区域图像中的至少一个，根据目标检测结果在待测玻璃的原始图像中标注出缺陷的位置和类型。

可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本申请实施例还提出了一种电子设备，包括：

至少一个存储器以及至少一个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被所述至少一个处理器执行，使得至少一个处理器实现如步骤S101-S105所述的玻璃缺陷检测方法的操作。

对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提出了一种存储介质，存储介质中存储有计算机程序，计算机程序被处理器执行时实现如步骤S101-S105所述的玻璃缺陷检测方法的操作。

存储介质为计算机可用的，包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(R AM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本申请的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本申请，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本申请是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本申请。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本申请的范围，本申请的范围由所附权利要求书及其等同方案的全部范围来决定。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。其中，“里侧”是指内部或围起来的区域或空间。“外围”是指某特定部件或特定区域的周围的区域。

在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的实施例的描述中，需要理解的是，“-”和“～”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A～B”表示大于或等于A，且小于或等于B的范围。

在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。