一种工业产品缺陷智能检测方法、装置及其计算机存储介质

【技术领域】

本发明属于工业产品检测的技术领域，具体是指一种工业产品缺陷智能检测方法、装置及其计算机存储介质。

【背景技术】

工业产品缺陷检测领域中机器视觉系统主要分为两部分：由传统相机、镜头、光源、相机固定及运动机构构成图像采集单元，由PC主机和图像采集卡等构成图像处理单元的机器视觉检测系统。这种机器视觉具有较高的延展性和可塑性，可以针对不同的产品缺陷进行定制硬件和定制软件开发。

现有的技术中检测方法分两类，一类是纯深度学习目标检测和目标分割，这种方法无法获取到目标的精确特征参数，即无法满足客户精确和高速检测要求的问题；另一类是传统机器学习方式检测，需要专家模式来调节参数，且准确率无法稳定达到99％以上的识别率。

【发明内容】

本发明要解决的技术问题在于提供一种基于传统机器学习与深度学习相结合的工业产品缺陷智能检测方法、装置与计算机存储介质。

第一方面，本发明提供例如一种基于传统机器学习与深度学习相结合的工业产品缺陷智能检测方法，包括如下步骤：

步骤1：对图像数据使用双线性插值缩放算法进行缩放，得到缩放后图像数据；

步骤2：对缩放后的图像数据进行归一化，归一化算法包括：先计算图像数据的均值和方差，然后每个数据减去均值再除以方差；

步骤3：对归一化后的图像数据使用分割模型进行第一次粗检测，得到目标位置ROI矩形框；

步骤4：将ROI矩形框的图像数据裁剪出来并使用分割模型进行精细推理检测，得到分割后目标图像数据；

步骤5：对分割后的目标图像数据使用轮廓提取算法，得到所有目标轮廓坐标序列；

步骤6：根据多目标轮廓坐标序列对图像数据中的轮廓内目标数据进行统计分析，得到目标特征参数，包括：对比度、亮度和平均灰度和类别信息；

步骤7：根据多目标轮廓坐标序列进行轮廓特征参数计算，包括：面积、周长、长度、宽度、圆形度，得到目标轮廓特征参数，进而对产品图像进行缺陷识别。

第二方面，本发明提供了一种基于传统机器学习与深度学习相结合的工业产品缺陷智能检测装置，用于实现如第一方面所述的方法，具体包括：

图像缩放模块，用于对图像数据使用双线性插值缩放算法进行缩放，得到缩放后图像数据；

归一化模块，用于对缩放后的图像数据进行归一化，归一化算法包括：先计算图像数据的均值和方差，然后每个数据减去均值再除以方差；

粗检测模块，用于对归一化后的图像数据使用分割模型进行第一次粗检测，得到目标位置ROI矩形框；

精细推理检测模块，用于将ROI矩形框的图像数据裁剪出来并使用分割模型进行精细推理检测，得到分割后目标图像数据；

轮廓提取模块，用于对分割后的目标图像数据使用轮廓提取算法，得到所有目标轮廓坐标序列；

目标数据统计分析模块，用于根据多目标轮廓坐标序列对图像数据中的轮廓内目标数据进行统计分析，得到目标特征参数，包括：对比度、亮度和平均灰度和类别信息；

轮廓特征参数计算模块，用于根据多目标轮廓坐标序列进行轮廓特征参数计算，包括：面积、周长、长度、宽度、圆形度，得到目标轮廓特征参数，进而对产品图像进行缺陷识别。

第三方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的方法。

本发明的优点在于：本发明具有适合低成本规模化，高准确率和高效率检测的特点，它解决了纯深度学习目标检测和目标分割无法获取到目标的精确特征参数，即无法满足客户精确和高速检测要求的问题；解决了传统机器学习方式检测需要专家模式来调节参数，且准确率无法稳定达到99％以上的识别率的问题；深度学习内先粗后细的方式解决了高速流水线上的检测要求。

【附图说明】

下面参照附图结合实施例对本发明作进一步的描述。

图1为本发明实施例一方法的流程图。

图2为本发明实施例二装置的结构示意图。

图3为本发明实施例三计算机可读存储介质的结构示意图。

【具体实施方式】

实施例一：

本实施例提供了一种基于传统机器学习与深度学习相结合的工业产品缺陷智能检测方法，具体操作时，首先，在X86PC终端打开本地硬盘上的图片文件获取到图像数据(也可以是从工业相机摄像头获取)，图像数据传输到PC终端的内存中，本实施例PC终端处理器为X86处理器处理内存中的图像数据；然后，X86处理器(处理器包括但不限于CPU，GPU，FPGA，ASIC处理器)对图像数据进行处理，如图1所示，具体包括如下步骤：

步骤1：对图像数据使用双线性插值缩放算法进行缩放，得到缩放后图像数据；

步骤2：对缩放后的图像数据进行归一化，归一化算法包括：先计算图像数据的均值和方差，然后每个数据减去均值再除以方差；

步骤3：对归一化后的图像数据使用分割模型(例如，可以是UNet++模型)进行第一次粗检测，得到目标位置ROI矩形框；

步骤4：将ROI矩形框的图像数据裁剪出来并使用分割模型(UNet++模型)进行精细推理检测，得到分割后目标图像数据；

步骤5：对分割后的目标图像数据使用轮廓提取算法，得到所有目标轮廓坐标序列；

步骤6：根据多目标轮廓坐标序列对图像数据中的轮廓内目标数据进行统计分析，得到目标特征参数，包括：对比度、亮度和平均灰度和类别信息；

步骤7：根据多目标轮廓坐标序列进行轮廓特征参数计算，包括：面积、周长、长度、宽度、圆形度，得到目标轮廓特征参数，进而对产品图像进行缺陷识别。

对精确检测结果进行处理，处理方式包括但不限于本地显示或网络发送给外部设备或串口发送给外部设备，外部设备包括但不限于PC终端或PLC。

基于同一发明构思，本发明申请还提供了与实施例一中的方法对应的装置，详见实施例二。

实施例二：

本发明提供了一种基于传统机器学习与深度学习相结合的工业产品缺陷智能检测装置，如图2所示，包括：

图像缩放模块，用于对图像数据使用双线性插值缩放算法进行缩放，得到缩放后图像数据；

归一化模块，用于对缩放后的图像数据进行归一化，归一化算法包括：先计算图像数据的均值和方差，然后每个数据减去均值再除以方差；

粗检测模块，用于对归一化后的图像数据使用分割模型(例如，可以是UNet++模型)进行第一次粗检测，得到目标位置ROI矩形框；

精细推理检测模块，用于将ROI矩形框的图像数据裁剪出来并使用分割模型(UNet++模型)进行精细推理检测，得到分割后目标图像数据；

轮廓提取模块，用于对分割后的目标图像数据使用轮廓提取算法，得到所有目标轮廓坐标序列；

目标数据统计分析模块，用于根据多目标轮廓坐标序列对图像数据中的轮廓内目标数据进行统计分析，得到目标特征参数，包括：对比度、亮度和平均灰度和类别信息；

轮廓特征参数计算模块，用于根据多目标轮廓坐标序列进行轮廓特征参数计算，包括：面积、周长、长度、宽度、圆形度，得到目标轮廓特征参数，进而对产品图像进行缺陷识别。

由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

基于同一发明构思，本申请提供了实施例一对应的计算机可读存储介质，详见实施例三。

实施例三：

本发明提供了一种计算机可读存储介质，如图3所示，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的较佳实施用例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。