一种基于深度学习的金属曲面缺陷分析系统及方法

技术领域

本发明涉及高光金属曲面缺陷检测领域，尤其涉及一种基于深度学习的金属曲面缺陷分析系统及方法。

背景技术

随着科技的发展，精密光学系统对高光金属零件表面疵病的要求也越来越高，国内对高光金属零件曲面疵病检测主要为人工目视检测法，或者通过一些市面上普通的视觉算法，人眼长期检测容易产生视觉疲劳，普通算法难以覆盖所有缺陷，存在漏检，且效率低下，造成判断标准不一，难以定量判断。目前已有不少基于机器视觉技术的光学检测软件，但都是针对平面且背景纹理不复杂的技术方案。因此，需要一种针对金属高光曲面疵病检测的系统软件。

现有技术缺点：在航空发动机叶片缺陷检测识别中，由于叶片型号种类多、加工工艺复杂，导致其表面缺陷成像差异大，基于机器视觉的图像处理算法在进行缺陷检测时，存在识别准确率低等问题。

发明内容

为了解决上述技术所存在的不足之处，本发明提供了一种基于深度学习的金属曲面缺陷分析系统及方法。

为了解决以上技术问题，本发明采用的技术方案是：一种基于深度学习的金属曲面缺陷分析系统，它包括主界面、图像预处理模块、图像训练库模块、卷积神经网络算法模块和输出模块。

进一步地，主界面模块的作用是对图像实时采集及可视化；对相机参数进行设置；对检测结果进行可视化包括结果图像和统计结果可视化。

进一步地，图像预处理模块的作用是采用预处理算法使图像滤波、图像对比度增强，用于减少图像噪声，提高缺陷图像质量。

进一步地，图像训练库模块用于深度识别的基础训练，包含各种缺陷的图像库；缺陷的特征库；图像预处理后的图像增强库。

进一步地，卷积神经网络算法模块对图像各种缺陷的特征提取、分类、卷积计算、模型训练以及缺陷检测。

进一步地，输出模块用于输出识别结果并输出到用户主界面，识别结果可外部保存。

一种基于深度学习的金属曲面缺陷分析系统的方法，方法的步骤为，

步骤一，通过相机实时采集图像作为输入图像，输入图像包括缺陷图像和待识别图像，用户可通过主界面设置工业相机采集参数；

步骤二，用户通过手动标注方式进行高光金属曲面缺陷有效监测区域粗定位，系统存储目标区域在图像中的坐标RECT建立图像样本库包括无缺陷样本、划痕缺陷样本、崩缺缺陷样本、麻点缺陷样本等收集建立起所有缺陷样本库；

步骤三，对样本库进行噪声处理，包括图像均值滤波，并对图像进行对比度增强和阈值分割；

1)图像均值滤波用其像素点周围像素的平均值代替原像素值，在OpenCV中，可以使用boxFilter和blur函数进行均值滤波；均值滤波的核为：

其中，ksize表示滤波核，ksize.width，ksize.height分别表示滤波核的长和宽；

2)对比度增强：使用伽马变换将灰度过高或者灰度过低的图片进行修正，增强对比度，使缺陷特征更加明显；变换公式就是对原图像上每一个像素值做乘积运算：

s＝cr

其中，c和γ为正常数，r为输入像素值，s为输出像素值；

3)图像阈值分割利用图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域，即目标区域和背景区域的组合，选取一个比较合理的阈值，以确定图像中每个像素点应该属于目标区域还是背景区域，从而产生相应的二值图像；

步骤四，收集建立起所有缺陷样本库输入至基于深度学习开源库搭建适用于金属表面缺陷检测的深度网络，进行特征提取与分类回归得到待检测目标的位置和置信度；

步骤五，搭建神经网络层，推算损失函数；

神经网络层包括五个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、归一化层、最大值池化层和平均值池化层；

卷积层利用卷积核对图像进行卷积计算，得到初步特征图；

归一化层采用7像素*7像素的核，在卷积层中得到的初步特征图上，对像素值进行均值和方差的归一化，归一化公式为：

Z＝P-u/σ

其中，Z表示结果值，P表示初始像素值，μ表示输入像素值的均值，σ表示输入像素值的方差；

最大值池化层，在归一化特征图上对7像素*7像素内的像素值取最大值，缩小数据量，实现特征的平移不变，得到特征图；

平均值池化层，在最大池化层中得到的特征图上，并对每个7像素*7像素核内的所有像素值取平均值，提供提前特征对于微小形变的鲁棒性，上述特征图即最终输出的特征图；

经过五个依次级联的神经网络特征提取，最终输出特征图像；

步骤六，在提取好的特征图上生成候选区域，用来判断区域内是否存在缺陷，对候选框进行分类与回归，判断每个候选框内是否包括待检测的物体，并将将所有可能包含待检测物体的区域进行组合、合并，并对区域位置进行调整；进行候选区域分类与回归的网络结构由全连接层完成；至此特征提取已经完成，并生成了候选区域，并对可能包含缺陷的候选区域进行了分类；

调整深度网络中的各个参数，包括卷积核，过拟合调整参数、损失函数等；

步骤七，完成参数调整，即完成模型训练，系统再读入需识别图像通过以上的神经网络模型，将得到的目标位置和置信度于训练模型结果进行对比，计算判断出缺陷位置和类型；

步骤八，输出检测结果，并对检测结果和结果图像进行可视化。

本发明公开了一种基于深度学习的金属曲面缺陷分析系统及方法，其通过深度学习的智能检测技术，对待识别的金属曲面图像进行检测识别，采用深度学习技术不断训练系统对于金属曲面各种缺陷组成的检测过程，对金属曲面如叶片表面的各种缺陷进行识别、分类、分析、图像分割，最终达到对金属曲面已定义的各种缺陷的智能高精度识别和检测，为金属曲面各种缺陷类型检测提供有意义的方法。

附图说明

图1为本发明基于深度学习的金属曲面缺陷分析系统的结构示意图。

图2为本发明基于深度学习的金属曲面缺陷分析系统的操作步骤示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示的基于深度学习的金属曲面缺陷分析系统，包括主界面、图像预处理模块、图像训练库模块、卷积神经网络算法模块和输出模块；

主界面模块的作用是：对图像实时采集及可视化；对相机参数进行设置，包括曝光时间、采集帧率等参数设置；对检测结果进行可视化包括结果图像和统计结果可视化；

图像预处理模块的作用是：即预处理算法，包括图像滤波、图像对比度增强等，用于减少图像噪声，提高缺陷图像质量；

图像训练库模块的作用是：用于深度识别的基础训练，包含各种缺陷的图像库；缺陷的特征库；图像预处理后的图像增强库；

卷积神经网络算法模块的作用是：对图像各种缺陷的特征提取、分类、卷积计算、模型训练以及缺陷识别；

输出模块的作用是：输出识别结果并输出到用户主界面，识别结果可外部保存。

如图2所示，本发明基于深度学习的金属曲面缺陷分析系统的具体操作步骤。流程步骤如下：

通过相机实时采集图像作为输入图像，输入图像包括输入缺陷图像和待识别图像，用户可通过主界面设置工业相机采集参数，采集参数包括曝光时间、采集帧率等；

用户通过手动标注方式进行高光金属曲面缺陷有效监测区域粗定位ROI(regionof interest)，系统存储目标区域在图像中的坐标RECT(left，top，width，height)建立图像样本库包括无缺陷样本、划痕缺陷样本、崩缺缺陷样本、麻点缺陷样本等收集建立起所有缺陷样本库，收集越多后面越精准；

噪声滤波，对样本库进行噪声处理，包括图像均值滤波，并对图像进行对比度增强和阈值分割；

图像增强：

1)图像均值滤波用其像素点周围像素的平均值代替原像素值。在OpenCV中，可以使用boxFilter和blur函数进行均值滤波；均值滤波的核为：

其中ksize表示滤波核，ksize.width,ksize.height分别表示滤波核的长和宽；

2)对比度增强：使用伽马变换将灰度过高或者灰度过低的图片进行修正，增强对比度，使缺陷特征更加明显。变换公式就是对原图像上每一个像素值做乘积运算：

s＝cr

其中c和γ为正常数，r为输入像素值，s为输出像素值；

局部阈值分割：

3)图像阈值分割是一种广泛应用的分割技术，利用图像中要提取的目标区域与其背景在灰度特性上的差异，把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合，选取一个比较合理的阈值，以确定图像中每个像素点应该属于目标区域还是背景区域，从而产生相应的二值图像；

特征提取：收集建立起所有缺陷样本库输入至基于pytorch(深度学习开源库)搭建适用于金属表面缺陷检测的深度网络，进行特征提取与分类回归得到待检测目标的位置和置信度；

神经网络学习：搭建神经网络层，推算损失函数；

建立分类模板：神经网络层包括五个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层、归一化层、最大值池化层和平均值池化层；

卷积层利用卷积核对图像进行卷积计算，得到初步特征图；

归一化层采用7像素*7像素的核，在卷积层中得到的初步特征图上，对像素值进行均值和方差的归一化，归一化公式为：

其中Z表示结果值，P表示初始像素值，μ表示输入像素值的均值，σ表示输入像素值的方差；

最大值池化层，在归一化特征图上对7像素*7像素内的像素值取最大值，缩小数据量，实现特征的平移不变，得到特征图；

平均值池化层，在最大池化层中得到的特征图上，并对每个7像素*7像素核内的所有像素值取平均值，提供提前特征对于微小形变的鲁棒性，上述特征图即最终输出的特征图；

经过五个依次级联的神经网络特征提取，最终输出特征图像；

读入识别图像，缺陷提取：在提取好的特征图上生成候选区域，用来判断区域内是否存在缺陷，对候选框进行分类与回归，判断每个候选框内是否包括待检测的物体，并将将所有可能包含待检测物体的区域进行组合、合并，并对区域位置进行调整；进行候选区域分类与回归的网络结构由全连接层完成；至此特征提取已经完成，并生成了候选区域，并对可能包含缺陷的候选区域进行了分类；

调整深度网络中的各个参数，包括卷积核，过拟合调整参数、损失函数等；

1)卷积核

控制卷积核的大小可以控制各层提取不同的特征，而每个卷积核(矩阵)中每个元素通过训练确定，即训练时需要修改权重。对图像进行卷积计算，是对图像中的每个像素与卷积核的每个元素对应相乘，所有乘积之和作为中心像素的结果。

2)损失函数

是对最终输出结果的进行评价，用来计算分类结果与真实值之间的差距。

完成参数调整，即完成模型训练，系统再读入需识别图像通过以上的神经网络模型，将得到的目标位置和置信度于训练模型结果进行对比，计算判断出缺陷位置和类型；

输出检测结果，并对检测结果和结果图像进行可视化。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。