一种热轧钢卷端面质量检测方法及系统

技术领域

本发明涉及质量检测技术领域，尤其涉及一种热轧钢卷端面质量检测方法及系统。

背景技术

热轧带钢卷形质量是热连轧卷取区域最重要的质量指标，带钢卷取过程中，存在着边损、折叠、花边纹、塔形等质量问题，若不及时发现并处理，会造成较大质量异议损失。钢卷端面纹理图案复杂，缺陷形态各异，缺陷检出十分困难，国内目前尚无分类准确、识别率高的钢卷质量检测系统。

现有的热轧带钢卷形质量识别，完全是依靠经验丰富的技术人员进行肉眼确定，存在着效率低、易漏检等问题。

因此，需要一种效率高、能避免漏检的方法检测热轧钢卷端面质量。

发明内容

本申请实施例通过提供一种热轧钢卷端面质量检测方法及系统，可以高效的检测热轧钢卷端面质量。

本发明提供一种热轧钢卷端面质量检测方法，其包括：

获取工业相机拍摄的热轧钢卷端面图像；其中，每一热轧钢卷端面对应的图像均为两个工业相机拍摄得到；

利用中值滤波器消除热轧钢卷端面图像的噪声；

利用灰度梯度阈值搜索算法对热轧钢卷端面图像的边缘进行搜索并裁剪，提取待检测区域图像；

对待检测区域图像进行光照均衡处理，提高待检测区域图像的亮度，得到补光后图像；

利用Kirsch算子检测补光后图像的缺陷，并对经过Kirsch算子检测的缺陷使用形态学操作消除其噪声点，得到预处理后图像；

利用特征提取层从预处理后图像中提取初级特征，并利用区域网络候选层从初级特征中提取感兴趣区域，再利用卷积神经网络快速区域标定层对感兴趣区域进行处理，提取热轧钢卷端面图像中的缺陷特征，并将缺陷特征输出。

优选的，利用灰度梯度阈值搜索算法对热轧钢卷端面图像的边缘进行搜索并裁剪，提取待检测区域图像，包括：

将热轧钢卷端面图像做Sobel算子的X方向卷积，得到第一Sobel结果图，以及将热轧钢卷端面图像做Sobel算子的Y方向卷积，得到第二Sobel结果图；

将第一Sobel结果图做列投影，得到列投影矩阵，并从列投影矩阵的左右起始位置开始搜索热轧钢卷端面图像中的钢卷左右边界，且在搜索到钢卷左右边界后进行裁剪，还将第二Sobel结果图做行投影，得到行投影矩阵，并从行投影矩阵的上下起始位置开始搜索热轧钢卷端面图像中的钢卷上下边界，且在搜索到钢卷上下边界后进行裁剪，得到待检测区域图像。

优选的，利用灰度梯度阈值搜索算法对热轧钢卷端面图像的边缘进行搜索并裁剪，提取待检测区域图像，还包括：

判断待检测区域图像的实际高度值是否小于预设高度值，或者待检测区域图像的实际宽度值是否小于预设宽度值，若待检测区域图像的实际高度值小于预设高度值，或者待检测区域图像的实际宽度值小于预设宽度值，则确定热轧钢卷端面图像无效。

优选的，对待检测区域图像进行光照均衡处理，提高待检测区域图像的亮度，得到补光后图像，包括：

对待检测区域图像进行列投影，并计算待检测区域图像每列投影的平均灰度值G

其中，补偿系数C

优选的，利用特征提取层从预处理后图像中提取初级特征，包括：

将预处理后图像依次通过双层稀疏滤波和VGG-16网络进行处理，提取初级特征。

优选的，利用区域网络候选层从初级特征中提取感兴趣区域，包括：

将初级特征依次经过5×5卷积和1×1卷积处理，得到特征图；

将特征图经过K维滑窗进行卷积，得到2×K分类结果和4×K分类结果，K≥1；

将2×K分类结果与4×K分类结果通过比对进行样本筛选，得到感兴趣区域。

优选的，利用卷积神经网络快速区域标定层对感兴趣区域进行处理，提取热轧钢卷端面图像中的缺陷特征，包括：

对感兴趣区域进行池化处理；

将感兴趣区域的池化处理结果再输入全连接层进行处理；

将全连接层的处理结果进行回归和分类处理，得到位置偏移量和概率向量，通过位置偏移量和概率向量，得到热轧钢卷端面图像中的缺陷特征。

本发明还提供一种热轧钢卷端面质量检测系统，其包括：

图像获取模块，用于获取工业相机拍摄的热轧钢卷端面图像；其中，每一热轧钢卷端面对应的图像均为两个工业相机拍摄得到；

第一除噪模块，用于利用中值滤波器消除热轧钢卷端面图像的噪声；

边缘裁剪模块，用于利用灰度梯度阈值搜索算法对热轧钢卷端面图像的边缘进行搜索并裁剪，提取待检测区域图像；

图像补光模块，用于对待检测区域图像进行光照均衡处理，提高待检测区域图像的亮度，得到补光后图像；

第二除噪模块，用于利用Kirsch算子检测补光后图像的缺陷，并对经过Kirsch算子检测的缺陷使用形态学操作消除其噪声点，得到预处理后图像；

缺陷特征提取模块，用于利用特征提取层从预处理后图像中提取初级特征，并利用区域网络候选层从初级特征中提取感兴趣区域，再利用卷积神经网络快速区域标定层对感兴趣区域进行处理，提取热轧钢卷端面图像中的缺陷特征，并将缺陷特征输出。

优选的，边缘裁剪模块，包括：

卷积运算单元，用于将热轧钢卷端面图像做Sobel算子的X方向卷积，得到第一Sobel结果图，以及将热轧钢卷端面图像做Sobel算子的Y方向卷积，得到第二Sobel结果图；

裁剪单元，用于将第一Sobel结果图做列投影，得到列投影矩阵，并从列投影矩阵的左右起始位置开始搜索热轧钢卷端面图像中的钢卷左右边界，且在搜索到钢卷左右边界后进行裁剪，还将第二Sobel结果图做行投影，得到行投影矩阵，并从行投影矩阵的上下起始位置开始搜索热轧钢卷端面图像中的钢卷上下边界，且在搜索到钢卷上下边界后进行裁剪，得到待检测区域图像。

优选的，图像补光模块，用于：

对待检测区域图像进行列投影，并计算待检测区域图像每列投影的平均灰度值G

其中，补偿系数C

本发明提供的方法及系统具有如下有益效果：本发明通过采集钢卷端面图像，每一热轧钢卷端面对应的图像均为两个工业相机拍摄得到，可以提高图像采集效率和精度，并利用中值滤波器对整幅图像进行加权平均处理，降低其噪音，可以消除图像中无关的信息，恢复有用的真实信息，然后采用灰度梯度阈值搜索算法，完成待检区边缘的界定，再使用光照均衡算法对待检区进行光补，提高其亮度，完后再使用Kirsch算子检测缺陷，并对经过Kirsch二值化后的缺陷使用形态学操作消除其噪声点。利用特征提取层从预处理后图像中提取初级特征，并利用区域网络候选层从初级特征中提取感兴趣区域，提取双重深度特征作为Faster R-CNN(卷积神经网络快速区域标定层)的输入，最后使用Faster R-CNN对钢卷图像中的缺陷特征进行提取，完成缺陷种类进行识别和标记，提升了Faster R-CNN位置检测和识别的精度，并输出检出缺陷的类型、缺陷区域的左上角坐标、缺陷宽度、缺陷高度、缺陷形状和缺陷所占像素数等指标，并形成可供下载保存的文档。本发明能在高温、高速等环境下，获得检出率高达90％以上的钢卷端面的缺陷检测图像。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的热轧钢卷端面质量检测方法流程图；

图2a是本发明实施例提供的工业相机以及光源的布置示意图；

图2b是本发明实施例提供的侧面角度观看工业相机的示意图；

图2c是本发明实施例提供的工业相机拍摄钢卷端面区域示意图；

图3是本发明实施例提供的热轧钢卷端面图像边缘搜索裁剪流程图；

图4a是本发明实施例提供的热轧钢卷的原模拟图像；

图4b是本发明实施例提供的热轧钢卷的原模拟图像对应的Sobel算子边缘检测图；

图5是本发明实施例提供的对待检测区域图像进行光照均衡处理流程图；

图6是本发明实施例提供的热轧钢卷端面质量检测方法中提取热轧钢卷端面图像的初级特征、感兴趣区域以及缺陷特征的流程图。

具体实施方式

为了使本申请所属技术领域中的技术人员更清楚地理解本申请，下面结合附图，通过具体实施例对本申请技术方案作详细描述。

本发明提供一种热轧钢卷端面质量检测方法，如图1所示，该方法包括：

S1、获取工业相机拍摄的热轧钢卷端面图像，工业相机分布在热轧钢卷端面周围；其中，每一热轧钢卷端面对应的图像均为两个工业相机拍摄得到；

S2、利用中值滤波器消除热轧钢卷端面图像的噪声；

S3、利用灰度梯度阈值搜索算法对热轧钢卷端面图像的边缘进行搜索并裁剪，提取待检测区域图像；

S4、对待检测区域图像进行光照均衡处理，提高待检测区域图像的亮度，得到补光后图像；

S5、利用Kirsch算子检测补光后图像的缺陷，并对经过Kirsch算子检测的缺陷使用形态学操作消除其噪声点，得到预处理后图像；

S6、利用特征提取层(Voxel Feature Encoding，VFE)从预处理后图像中提取初级特征，并利用区域网络候选层(Region Proposal Networks，RPN)从初级特征中提取感兴趣区域(Region Of Interest，ROI)，再利用卷积神经网络快速区域标定层(Faster R-CNN)对感兴趣区域进行处理，提取热轧钢卷端面图像中的缺陷特征，并将缺陷特征输出。

在另一实施例中，步骤S4之后，还可以利用中值滤波器消除补光后图像的噪声。

本发明提供的方法涉及钢卷端面质量缺陷(包括边损、折叠、花边纹等)和塔形缺陷的识别，应用于热轧板材生产线钢卷质量在线检测中。

由于钢卷尺寸较大，用单台工业相机(CCD相机)拍摄钢卷的整卷端头图像，无法达到需要的分辨率；而用单台工业相机或者三台以上工业相机多次拍摄，又会产生图像拼接的问题，会降低图像获取效率以及精度。采用三台以上工业相机多次拍摄，会增加需要处理的图像数据，因而会降低最终的图像获取效率。单台工业相机进行拍摄，获取的图像数据不够，因而会降低图像精度。

本发明实施例提供的方法，在对钢卷端面进行拍摄时，在钢卷的每个端面固定设置有6个三个光源，如图2a所示6个光源分为上中下三个位置，每个位置布置2个光源，上下光源的出射光线与端面形成45度夹角，中间光源的出射光线与端面垂直。每个端面采用两台像素为2500万的工业相机进行拍摄，两台相机上下分开设置，被6个光源包围且位于同一条竖直线上，如图2a和2b所示，每台相机拍摄两次图像，再将拍摄的图像进行拼接处理，可以避免降低图像获取效率以及精度的问题。相机拍摄钢卷端面的区域如图2c所示。

钢卷生产线上噪声源主要来源于外界环境(机械振动、光照条件、电磁干扰、高温大气扰动等)、CCD相机内部噪声(电噪声、热噪声)、图像线缆传输过程，因此，钢卷图像的噪声类型复杂。此外，由于钢卷端面图像是一种含有较多细节信息的纹理图像，由光学成像系统生成的二维图像，包含各种各样的随机噪声和畸变。为了消除图像中无关的信息，恢复有用的真实信息，本发明采取中值滤波的方法去除混合噪声，采用3*3模板作为中值滤波的窗口，基本能滤除孤立噪声点。

如图3所示，步骤S3包括：

将热轧钢卷端面图像做Sobel算子的X方向卷积，得到第一Sobel结果图，以及将热轧钢卷端面图像做Sobel算子的Y方向卷积，得到第二Sobel结果图；

将第一Sobel结果图做列投影，得到列投影矩阵，并从列投影矩阵的左右起始位置开始搜索热轧钢卷端面图像中的钢卷左右边界，且在搜索到钢卷左右边界后进行裁剪，还将第二Sobel结果图做行投影，得到行投影矩阵，并从行投影矩阵的上下起始位置开始搜索热轧钢卷端面图像中的钢卷上下边界，且在搜索到钢卷上下边界后进行裁剪，得到待检测区域图像。

Sobel是一种经典边缘检测算子，主要用于边缘检测，它是一阶离散性差分算子，用来运算图像亮度函数的灰度近似值，其共有两个卷积模板，为两组3x3的矩阵，分别对应X方向(Gx)和Y方向(Gy)，模板如下：

将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。从模板可以看出，X方向模板对于X方向上的灰度突变敏感，因而可以很好的检测出竖直边缘，将卷积结果二值化后可以得出比较明显的钢卷区域，这比单纯的灰度阈值判断更为鲁棒。

在得到Sobel结果图后对其进行列投影，然后分别从左右两侧向中间搜索，由于钢卷一般位于图像的中心位置，为了避免干扰因素造成的误判，搜索的左右起始位置定于GrayScaleX处，该值为一个可配参数，根据直径不同的钢卷跳过一定的左右区域，当投影矩阵中出现了突变，则到达钢卷边缘点，以该位置为左(右)边缘处进行裁剪，同理寻找上下边界，但寻找上下边界时不跳过任何区域，当检测到该行有大于GrayScaleY个有效像素点时，认定该行为上(下)边缘。

裁剪完成后若待检测区域的宽度小于DropWidth，或高度小于DropHeight，则认为该图像无效，跳过检测。边缘是图像灰度变化比较剧烈的地方，在灰度变化大的地方进行微分将产生高值，在数字图像中采取Sobel算子进行边缘检测，获得相对突出的边缘特征。热轧钢卷端面图像对应的原模拟图像如图4a所示，Sobel算子边缘检测图如图4b所示。

步骤S3还包括：

判断待检测区域图像的实际高度值是否小于预设高度值，或者待检测区域图像的实际宽度值是否小于预设宽度值，若待检测区域图像的实际高度值小于预设高度值，或者待检测区域图像的实际宽度值小于预设宽度值，则确定热轧钢卷端面图像无效。

工业相机所拍摄到的钢卷图像大多位于图像的中心位置，两侧为黑色背景，因此算法的第一步是将待检测的有效区域提取出来，去除背景区域。由于钢卷表面温度较高，空气中掺杂油污颗粒，现场环境复杂，因此相机所拍摄到的图像质量参差不齐，在这种情况下，用传统的简单的灰度阈值判断边界效果十分不稳定，有可能造成背景误判，从而导致接下来的检测过程出现误检，因而本专利使用灰度梯度阈值搜索算法。

如图5所示，步骤S4包括：

对待检测区域图像进行列投影，并计算待检测区域图像每列投影的平均灰度值G

其中，补偿系数C

由于钢卷直径变化范围较大，现场环境嘈杂，不同规格或不同相机的成像效果差异较大，直接表现为图像亮度的不均匀，为保证检测结果，需要对其进行光照均衡，提升整体亮度。

利用特征提取层从预处理后图像中提取初级特征，如图6所示，包括：

将预处理后图像依次通过双层稀疏滤波和VGG-16网络进行处理，提取初级特征。VGG-16网络中的VGG为视觉几何群网络(Geometry Group Network)，16表示VGG网络结构中有13个卷积层和3个全链接层。

利用区域网络候选层从初级特征中提取感兴趣区域，包括：

将初级特征依次经过5×5卷积和1×1卷积处理，得到特征图；

将特征图经过K维滑窗进行卷积，得到2×K分类结果和4×K分类结果，K≥1；这里的K可以为1,4,9,16等，把特征图每个点映射回原图的感受野的中心点当成一个基准点，然后围绕这个基准点选取K个不同的尺寸和比例的锚(anchor)。

将2×K分类结果与4×K分类结果通过比对进行样本筛选，得到感兴趣区域。

利用卷积神经网络快速区域标定层对感兴趣区域进行处理，提取热轧钢卷端面图像中的缺陷特征，包括：

对感兴趣区域进行池化处理；池化处理主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性；

将感兴趣区域的池化处理结果再输入全连接层进行处理；经过前面若干次卷积+池化后，来到了输出层，模型会将学到的一个高质量的钢卷端面特征全连接起来，将输出值送给分类器(如softmax分类器)；

将全连接层的处理结果进行回归和分类处理，得到位置偏移量和概率向量，通过位置偏移量和概率向量，得到热轧钢卷端面图像中的缺陷特征。分类就是经过一系列的卷积层和池化层之后，再经过全连接层得到样本属于每个类的得分，再用比如softmax分类其对其进行分类；回归是相当于用一个矩形框来框住要识别的物体。

钢卷缺陷图像识别的关键在于目标图像的特征提取算法的实现。本发明使用Faster R-CNN对钢卷图像中的特征进行提取，完成缺陷种类进行识别和标记，其结构如图6所示。钢卷缺陷识别检测模型包括特征提取层VFE(Visual Feature Extraction)、区域网络候选层RPN(Region Proposal Network)和基于卷积神经网络快速区域标定层三个部分。其中VFE中的稀疏滤波层提取初级特征作为卷积部分的输入层，RPN层初步提取感兴趣区域，最后在Fast R-CNN层进行位置标记和缺隐种类识别。预处理阶段提出区域规划方法粗略裁剪出缺陷主体，以避免产生大量冗余窗口，从而提升检测速度和精度。本发明所提算法结合数据扩充方法增加了图像数量，通过划分K折交又验证数据集改善了算法的鲁棒性；同时，将稀疏滤波思想融入卷积神经网络，提取双重深度特征作为Faster R-CNN的输入，提升了Faster R-CNN位置检测和识别的精度。

完成缺陷特征的提取后，将缺陷种类进行识别和标记，并输出检出缺陷的类型、缺陷区域的左上角坐标、缺陷宽度、缺陷高度、缺陷形状和缺陷所占像素数等指标，并形成可供下载保存的文档。

本发明还提供一种热轧钢卷端面质量检测系统，该系统与上述的热轧钢卷端面质量检测方法相对应，该系统包括：图像获取模块、第一除噪模块、边缘裁剪模块、图像补光模块、第二除噪模块以及缺陷特征提取模块。

图像获取模块用于获取工业相机拍摄的热轧钢卷端面图像，工业相机分布在热轧钢卷端面周围。其中，每一热轧钢卷端面对应的图像均为两个工业相机拍摄得到。

第一除噪模块用于利用中值滤波器消除热轧钢卷端面图像的噪声；

边缘裁剪模块用于利用灰度梯度阈值搜索算法对热轧钢卷端面图像的边缘进行搜索并裁剪提取待检测区域图像。

图像补光模块用于对待检测区域图像进行光照均衡处理，提高待检测区域图像的亮度，得到补光后图像。

第二除噪模块用于利用Kirsch算子检测补光后图像的缺陷，并对经过Kirsch算子检测的缺陷使用形态学操作消除其噪声点，得到预处理后图像。

缺陷特征提取模块用于利用特征提取层从预处理后图像中提取初级特征，并利用区域网络候选层从初级特征中提取感兴趣区域，再利用卷积神经网络快速区域标定层对感兴趣区域进行处理，提取热轧钢卷端面图像中的缺陷特征，并将缺陷特征输出。

边缘裁剪模块包括：卷积运算单元和裁剪单元。

卷积运算单元用于将热轧钢卷端面图像做Sobel算子的X方向卷积，得到第一Sobel结果图，以及将热轧钢卷端面图像做Sobel算子的Y方向卷积，得到第二Sobel结果图。

裁剪单元用于将第一Sobel结果图做列投影，得到列投影矩阵，并从列投影矩阵的左右起始位置开始搜索热轧钢卷端面图像中的钢卷左右边界，且在搜索到钢卷左右边界后进行裁剪，还将第二Sobel结果图做行投影，得到行投影矩阵，并从行投影矩阵的上下起始位置开始搜索热轧钢卷端面图像中的钢卷上下边界，且在搜索到钢卷上下边界后进行裁剪，得到待检测区域图像。

边缘裁剪模块还包括判断单元。判断单元用于判断待检测区域图像的实际高度值是否小于预设高度值，或者待检测区域图像的实际宽度值是否小于预设宽度值，若待检测区域图像的实际高度值小于预设高度值，或者待检测区域图像的实际宽度值小于预设宽度值，则确定热轧钢卷端面图像无效。

图像补光模块用于：对待检测区域图像进行列投影，并计算待检测区域图像每列投影的平均灰度值G

其中，补偿系数C

优选的，缺陷特征提取模块包括初级特征提取单元、感兴趣区域提取单元以及缺陷特征提取单元。

初级特征提取单元用于将预处理后图像依次通过双层稀疏滤波和VGG-16网络进行处理，提取初级特征。

感兴趣区域提取单元用于将初级特征依次经过5×5卷积和1×1卷积处理，得到特征图；将特征图经过K维滑窗进行卷积，得到2×K分类结果和4×K分类结果，K≥1；将2×K分类结果与4×K分类结果通过比对进行样本筛选，得到感兴趣区域。

缺陷特征提取单元用于对感兴趣区域进行池化处理；将感兴趣区域的池化处理结果再输入全连接层进行处理；将全连接层的处理结果进行回归和分类处理，得到位置偏移量和概率向量，通过位置偏移量和概率向量，得到热轧钢卷端面图像中的缺陷特征。

综上，本发明提供的方法，采集钢卷端面图像，每一热轧钢卷端面对应的图像均为两个工业相机拍摄得到，可以提高图像采集效率和精度，并利用中值滤波器对整幅图像进行加权平均处理，降低其噪音，可以消除图像中无关的信息，恢复有用的真实信息，然后采用灰度梯度阈值搜索算法，完成待检区边缘的界定，再使用光照均衡算法对待检区进行光补，提高其亮度，完后再使用Kirsch算子检测缺陷，并对经过Kirsch二值化后的缺陷使用形态学操作消除其噪声点。利用特征提取层从预处理后图像中提取初级特征，并利用区域网络候选层从初级特征中提取感兴趣区域，提取双重深度特征作为Faster R-CNN的输入，最后使用Faster R-CNN对钢卷图像中的缺陷特征进行提取，完成缺陷种类进行识别和标记，提升了Faster R-CNN位置检测和识别的精度，并输出检出缺陷的类型、缺陷区域的左上角坐标、缺陷宽度、缺陷高度、缺陷形状和缺陷所占像素数等指标，并形成可供下载保存的文档。本发明能在高温、高速等环境下，获得检出率高达90％以上的钢卷端面的缺陷检测图像。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。