基于多角度图像曝光融合的金属表面缺陷检测方法及系统

技术领域

本发明属于金属表面缺陷检测技术领域，具体涉及一种基于多角度图像曝光融合的金属表面缺陷检测方法及系统。

背景技术

随着工业制造的不断发展，对金属制品的表面质量要求也越来越高。尤其是在汽车、机械、电子等领域，金属制品的表面缺陷会直接影响其使用寿命和品质。因此，金属表面缺陷检测成为工业生产中非常重要的一环。在金属表面缺陷检测技术中，通常会遇到表面不平整的情况，这可能会导致光照不均匀，使得检测结果不准确。因此，需要一种能够解决非平整金属高反光问题以及识别表面缺陷检测的方法。

目前，针对反光问题的研究方案主要有以下几种：第一，采用偏振滤波器或偏振镜，通过选择合适的偏振方向以及偏振镜头装载到工业检测相机上，利用相机硬件，可以直接减少些许反射光的干扰，无需图像处理。第二，采用非反射涂层，在缺陷检测之前将非反射涂层涂在待检测金属表面，然后再对物体进行图像采集，这种涂层可以减少反射光的强度，并提高表面对缺陷检测设备的可见度。第三，采用单光源的高动态响应成像算法(HDRI，High Dynamic Response Imaging)处理，通过在待检测物体顶部装一个光源进行打光，控制光源的光照强度由暗到亮逐渐变化并分别采集不同曝光强度下的图像，利用高动态响应成像算法，平均多个曝光图像可以有效减少部分反光干扰。

然而，在现有的几种方案中，采用偏振滤波器或偏振镜的方法仍然存在大量的反射光线干扰，效果较差；采用非反射涂层的方法需要对待检测物体进行再加工涂装，工业成本较高，而且对于缺陷的识别会产生较大的干扰。采用单光源HDRI算法，由于单光源角度单一，因此只能减少部分反光干扰，且光源对于缺陷的识别会产生较大的干扰，光源所在方向上的缺陷识别干扰最大。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于多角度图像曝光融合的金属表面缺陷检测方法及系统。本发明要解决的技术问题通过以下技术方案实现：

第一方面，本发明提供了一种基于多角度图像曝光融合的金属表面缺陷检测方法，包括：

基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像；

对所述多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像；

将所述融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。

第二方面，本发明提供了一种基于多角度图像曝光融合的金属表面缺陷检测系统，用于实现本发明第一方面提供的＝的基于多角度图像曝光融合的金属表面缺陷检测方法，该系统包括多光源补偿模块、图像采集模块、上位机以及图像处理模块；其中，

所述多光源补偿模块设置于待检测物体的斜上方，用于为系统提供曝光补偿；

所述图像采集模块设置于待检测物体的正上方，用于基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像；

所述上位机用于将所述多张不同曝光程度的图像上传至所述图像处理模块；

所述图像处理模块用于对所述多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像；

所述图像处理模块还用于将所述融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。

本发明的有益效果：

1、本发明通过利用多个光源对待检测物体从不同角度进行补偿，获得多张不同曝光程度的图像，再利用多角度曝光融合算法进行图像融合，自适应合成一张曝光合适的图像，最大程度地保留了待检测图像的不反光部分，对强曝光部分进行了滤除，避免了图像感兴趣区域特征的缺失，最后利用表面缺陷检测网络模型对融合图像进行处理，从而得到了缺陷检测结果；该方法既可以高效地排除高反光带来的影响，又不会对表面缺陷的识别造成较大的干扰，使得检测结果更为准确；且该方法易于硬件实现，工业成本较低；

2、本发明提供的基于多角度图像曝光融合的金属表面缺陷检测方法在进行图像融合时，从对比度、饱和度和亮度三个维度对像素的价值进行评估，充分利用了图像中价值高的部分，最终通过加权融合的方式得到曝光均衡的清晰图像，进一步提升了检测精度；

3、本发明提供的基于多角度图像曝光融合的金属表面缺陷检测方法设计了轻量化的表面缺陷检测网络模型，提升了算法速度，有利于工业化流水线应用。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测方法的一种流程示意图；

图2是本发明实施例提供的多光源补偿模型示意图；

图3是本发明实施例提供的表面缺陷检测网络模型的结构示意图；

图4是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统的结构框图；

图5是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统的检测流程图；

图6是采用单光源HDRI算法的检测效果图；

图7是采用本发明的多光源MAEF算法的检测效果图；

图8是采用单光源HDRI算法和多光源MAEF算法的检测灰度直方图对比图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

为了解决金属强反光在非平整高反光金属表面缺陷检测过程中的严重干扰问题，本实施例基于多光源补偿思想设计了基于多角度图像曝光融合(MAEF，Multi AngleExposure Fusion)的金属表面缺陷检测方法。请参见图1，图1是本发明实施例提供的一种基于多角度图像曝光融合的金属表面缺陷检测方法的流程示意图。本实施例提供的基于多角度图像曝光融合的金属表面缺陷检测方法包括：

步骤1：基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像。

具体而言，本实施例可以利用多个光源分别从不同角度对待检测物体进行曝光补偿，并针对每个光源分别采集若干张图像；然后从每个光源对应的若干张图像中各选出一张图像，从而获得多张不同曝光程度的图像。

可选的，作为一种实现方式，请参见图2，图2是本发明实施例提供的多光源补偿模型示意图。本实施例采用了三个光源进行曝光补偿。首先将三个光源围绕待检测物体等间隔，也即间隔120°放置在物体斜上方，且与物体在竖直平面上具有相同的夹角(例如可以为45°)，以从不同角度对待检测物体进行曝光补偿。

然后分别利用某一个光源照射待检测物体，并在该光源的照射下，利用面阵相机从待检测物体的正上方采集多张(例如3张)待检测物体的图像，从而得到三个光源对应的三组图像。

最后从三组图像中各选择一张图像用于后续的图像融合。由于中间图像的采集时刻，光源较为稳定，因而可以优选3张图像中的中间一张，作为后续融合用的图像。

步骤2：对多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像。

本实施例设计的MAEF算法主要原理是：对于多角度曝光图像序列，获取每一张待检测图像中最有价值的部分用于合成，最有价值的部分指的是在偏向光源的照射下图像曝光合适，成像比较清晰的部分。例如，图像中往往同时存在着曝光严重的部分以及细节丰富同时噪声水平低的暗区，那么暗区就是有价值的部分。需要一个指标来衡量每张图像中哪些像素有价值，然后通过计算每张图每个像素的价值指标当作对应的权重，最终通过加权融合的方式得到曝光均衡的清晰图像。

可选的，作为一种实现方式，本实施例选取了对比度、饱和度和亮度三个维度对像素的价值进行评估，则步骤2包括：

21)针对每张不同曝光程度的图像，分别计算其对比度、饱和度和亮度。

首先，计算图像对比度。

在本实施定义图像对比度为图像的梯度，对于边缘和纹理等重要的信息分配很大的权重。

具体地，对图像的灰度图执行拉普拉斯滤波，结果取绝对值作为对比度指标，计算公式为：

C(I

式中，C(I

然后，计算图像饱和度。

具体而言，在图像饱和度定义中，RGB三通道之间差异大的可视为饱和度高的区域，反之，对于过曝或者欠曝区域RGB三通道的值趋于一致，饱和度较低。因此，可将RGB三个通道之间的标准差作为饱和度指标，即：

式中，

S

最后，计算图像亮度。

具体的，在图像亮度信息中，对于归一化至0～1范围的图像，将取值在0.5左右的像素视为曝光良好，应该分配很大的权重；接近0和1的分别为欠曝和过曝应该分配很小的权重。像素值与其对应权重的关系符合均值为0.5的高斯分布，即：

式中，E

22)根据对比度、饱和度和亮度得到每张图像像素的权重。

在获得了上述三个指标后，即可计算像素对应的权重，计算公式为：

式中，W

23)基于多张不同曝光程度的图像，从图像数量维度上对权重进行归一化处理，得到权重的归一化处理结果。

具体的，为了保证多张图像在同一位置的权重和为1，需要在图像数量维度上对权重进行归一化，即：

式中，

24)基于归一化后的权重，通过加权融合的方式对多张不同曝光程度的图像进行多角度曝光融合处理，得到一张曝光均衡的融合图像。

本实施例利用多个光源对待检测物体从不同角度进行补偿，获得多张不同曝光程度的图像，再利用多角度曝光融合算法进行图像融合，自适应合成一张曝光合适的图像，最大程度地保留了待检测图像的不反光部分，对强曝光部分进行了滤除，避免了图像感兴趣区域特征的缺失，有利于提升后续检测的准确性。

此外，本实施例在对多张不同曝光程度的图像进行图像融合时，从对比度、饱和度和亮度三个维度对像素的价值进行评估，充分利用了图像中价值高的部分，最终通过加权融合的方式得到曝光均衡的清晰图像，进一步提升了检测精度。

步骤3：将融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。

首先，需要说明的是，由于融合后的图像可能存在边缘锯齿噪声，因此，本实施在将融合图像加载进训练好的表面缺陷检测网络模型中进行处理之前，还包括：

对融合图像进行抗锯齿算法处理，以减少图像边缘锯齿噪声，得到优化后的融合图像。

关于抗锯齿算法的具体实现过程可参考现有相关技术实现，本实施例对此不做详细说明。

然后，构建表面缺陷检测网络模型。

具体的，请参见图3，图3是本发明实施例提供的表面缺陷检测网络模型的结构示意图。该网络模型包括RPN网络、Vovnet网络以及后置网络；

RPN网络用于根据融合图像生成通用候选框和过滤候选框；

Vovnet网络用于对融合图像进行特征提取，得到特征图；

后置网络用于根据通用候选框和过滤候选框对特征图进行检测，得到缺陷检测结果；

其中，后置网络包括池化层、3*3卷积层、1*1卷积层以及全连接层。

本实施例基于Vovnet网络设计了改进型Faster Rcnn深度学习神经网络结构作为表面缺陷检测网络，轻量化的Vovnet网络使得算法速度得以提升，从而有利于工业化流水线应用。

可以理解的是，在构建好网络模型之后，还需要对其进行训练，详细的训练过程可参考现有相关技术实现，本实施例在此不做具体说明。

最后，将优化后的融合图像输入到训练好的网络模型中，得到缺陷类别和位置，从而实现金属表面缺陷检测。

本发明通过利用多个光源对待检测物体从不同角度进行补偿，获得多张不同曝光程度的图像，再利用多角度曝光融合算法进行图像融合，自适应合成一张曝光合适的图像，最大程度地保留了待检测图像的不反光部分，对强曝光部分进行了滤除，避免了图像感兴趣区域特征的缺失，最后利用表面缺陷检测网络模型对融合图像进行处理，从而得到了缺陷检测结果；该方法既可以高效地排除高反光带来的影响，又不会对表面缺陷的识别造成较大的干扰，使得检测结果更为准确；且该方法易于硬件实现，工业成本较低。

实施例二

在上述实施例的一的基础上，基于同一发明构思，本实施例提出了一种基于多角度图像曝光融合的金属表面缺陷检测系统，用于实现上述实施例一提出的方法。请参见图4，图4是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统的结构框图，该系统包括多光源补偿模块、图像采集模块、上位机以及图像处理模块；其中，

多光源补偿模块设置于待检测物体的斜上方，用于为系统提供曝光补偿；

图像采集模块设置于待检测物体的正上方，用于基于多光源补偿从不同角度获取待检测物体的多张不同曝光程度的图像；

上位机用于将多张不同曝光程度的图像上传至图像处理模块；

图像处理模块用于对多张不同曝光程度的图像进行多角度曝光融合处理，得到一张融合图像；

图像处理模块还用于将融合图像加载进训练好的表面缺陷检测网络模型中进行处理，得到缺陷检测结果。

具体而言，多光源补偿模块也即照明光源，其包括多个条形光源，多个条形光源均匀环绕设置在待检测物体的斜上方，且与物体在竖直平面上具有相同的夹角；其中，

多个条形光源由FPGA作为控制核心，利用内部时序控制不同条形光源延时一定时间依次点亮；同时，FPGA控制图像采集模块在每个光源被点亮时拍摄若干张待检测物体的图像。

在本实施例中，图像采集模块包括图像采集卡、工业相机、以及相机镜头等，本实施例优选面阵相机采集待检测物体的图像。

其中，工业相机可以为用于图像识别、型号识别的面阵相机，或尺寸检测需要的线阵相机，再配以相应的图像采集卡和相机镜头，组成了一套基本的图像采集模块。

可选的，作为一种实现方式，如图2所示，三个条形光源以120°的间隔环绕设置在待检测物体的斜上方，且与物体在竖直平面上呈45°角。经过相机标定以及实际测试之后，确定面阵相机放置于待检测物体的正上方，距离物体30cm。

进一步的，本实施例使用FPGA作为控制核心，利用内部时序控制条形光源延时100ms依次顺时针点亮，并控制面阵相机根据光源点亮时间依次拍摄三张图片，并通过上位机上传至图像处理模块。

图像处理模块中设有融合单元，用于从不同光源对应的多张图像中各选择一张最优的图像进行融合，得到一张融合图像。具体的融合算法可参考上述实施例一。

图像处理模块中还设有抗锯齿算法单元，用于对融合图像进行进一步的优化处理，以减少图像边缘锯齿噪声。具体的算法实现过程可参考现有技术。

进一步的，图像处理模块中还设有检测单元，其包括一个表面缺陷检测网络模型。表面缺陷检测网络模型的详细结构可参见上述实施例一。

优化后的融合图像输入训练好的表面缺陷检测网络模型中进行处理，即可得到缺陷检测结果。

可以理解是，本实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统可用于生产流水线上，进行批量产品检测，则系统必然包括一个控制模块。

具体的，请参见图5，图5是本发明实施例提供的基于多角度图像曝光融合的金属表面缺陷检测系统的检测流程图。

首先，系统中有一个感应传感器，用于感知待检测物体是否到来。如果感应到物体已经到来，则进入下一模块中。

然后，多光源补偿模块和图像采集模块在硬件的控制下，采集待检测物体的多张不同曝光程度的图像。具体的，先对多个光源中的其中一个进行点亮，并采集对应的图像帧，然后依次点亮其他光源，并获取对应的图像帧，直至获得所有光源下的若干组图像。

接着，将采集的图像利用上位机上传至PC中的图像处理模块，先进行图像增强处理，再传入训练好参数的改进型Faster Rcnn网络模型中，最终获得缺陷检测结果。

本实施例在多光源补偿的基础上，通过一系列硬件组合去搭建如图4所示的机器视觉检测系统，成为了目前常见的机器视觉图像采集部分的解决方案。首先选择合适的照明光源为待测物体打光，然后选择合适的工业相机，例如图像识别，型号识别等选择面阵相机，尺寸检测需要选择线阵相机，再配以相应的图像采集卡和相机镜头，就组成了一套基本的图像采集系统。在此基础上再设计具有特定功能的运动控制，然后将相机拍摄后的图像经过图像采集卡上传到PC进行图像处理，这就是一套具有金属表面缺陷检测功能的机器视觉检测系统。

本实施例针对现有非平整金属表面缺陷检测设备的不足之处，分别从光源、相机、图像采集模块、图像处理算法等进行分析设计，提出一种多光源下曝光融合的非平整高反光金属表面缺陷视觉检测系统，解决在现有技术上高反光问题难以滤除的问题，最终得以提高金属工业上缺陷检测的效率以及检测的准确率。

为了验证本实施例提出的多光源MAEF算法的有益效果，在本发明的另一个实施例中，将其与现有的单光源HDRI算法进行了仿真比较。首先，分别从光照变化频率、光照亮度、角度三个方面进行了仿真实验，在单光源HDRI算法的条件下，分别从光照变化频率、光照亮度、角度三个方面进行实验，实验结构如图6所示。由图6的实验结果可知，在改变光照变化频率以及亮度时，图像中间部分由明显高反光现象，不利于缺陷检测；在改变单光源角度时，可以发现待检测物体图像对光侧反光明显，而背光侧反光效果减弱。由此，理论上多光源补偿系统配合MAEF算法可以减弱全局的反光效果。

然后，采用本发明的多光源MAEF算法进行仿真实验，结果如图7所示。针对多角度光源的变化频率以及光源强度进行探究，选择合适的变化频率以及光照强度，可以发现100ms的光源变化时间间隔和500lx的光照强度为最佳。在此基础上，拍摄多张不同的角度图像并输入到MAEF算法中，与单光源HDRI算法的输出图像进行灰度直方图对比，结果如图8所示，其中，图8中的左图为单光源HDRI算法的灰度直方图，右图为本发明的多光源MAEF算法的灰度直方图。根据对比结果显示，多光源+MAEF算法的输出图像亮度更加均匀，精度和稳定性更高，有效解决了反光问题，表面缺陷凸显，能有效提高对比度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。