一种棒材钢料弯曲检测方法

技术领域

本发明属于计算机视觉和图像检测技术领域，具体涉及一种棒材钢料弯曲检测方法与装置。

背景技术

轧制的棒材钢料在加工或输送过程中会产生弯曲变形，这种弯曲变形会对后续的输送设备造成损伤，当将弯曲的钢料送入加热炉中，可能会发生卡钢，由于加热炉温度极高，卡钢取出困难，将会严重浪费时间和人力物力，甚至造成设备故障损坏。因此，在将钢料输送至加热炉前，需要对钢料进行的弯曲测量，当检测到钢料弯曲超过一定程度时阻止传送带继续输送，向前端发出警报，让监控人员或者机械臂取下弯曲钢料。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种棒材钢料弯曲检测方法。

为实现上述技术目的，本发明采取的技术方案为：

一种棒材钢料弯曲检测方法，其中：包括如下步骤：

步骤S1：在棒材钢料斜上方固定一台耐高温网络摄像机，实时采集传送带上的钢料的图像；

步骤S2：将采集的图像输入到基于深度学习的分割网络，实时分割出图像中的棒材的图像；

步骤S3：用边缘检测算法对分割出的钢料图像进行边缘检测提取钢料边界特征和三条侧棱特征；

步骤S4：基于三条侧棱特征检测钢料是否弯曲；

步骤S5：当检测到钢料弯曲时向前端发送警报，阻止弯曲钢料送入加热炉。

为优化上述技术方案，采取的具体措施还包括：

进一步地，步骤S1中耐高温网络摄像机采集的是钢料的两个侧面以及三条侧棱。

进一步地，步骤S2具体为：

S21：将图像数据输入基于深度学习的分割网络，判断每个像素是否属于钢料；

S22：将图像中所有判断属于钢料的像素选取出来组成钢料图像；

S23：计算钢料图像中相距最远两个像素的距离，当该距离小于一定阈值时候，判断钢料未完全进入拍摄视野，转S21检测下一张图像。

进一步地，步骤S21中的基于深度学习的分割网络包括以下步骤：

S211：使用多层感知器提取图像的每个像素特征；

S212：对每个像素以其为中心的3×3邻域、5×5邻域和7×7邻域最大池化得到每个像素的3个尺度的局部特征，将三个特征链接组成每个像素的多尺度局部特征；

S213：将每个像素的多尺度局部特征使用多层感知器提取高维特征，然后最大池化所有像素的高维特征得到全局特征；

S214：从每个像素的高维度特征提取权重，将每个像素的多尺度局部特征和全局特征链接后与权重相乘得到加权特征；

S215：将每个像素的加权特征通过全连接层降到一维，利用sigmoid函数计算得到每个像素的分割概率，计算交叉熵损失函数用于训练，判断每个像素是否属于钢料的像素。

进一步地，步骤S3具体为：

S31：将分割出的钢料图像用边缘检测算法提取边界像素，用kruskal算法构建最小生成树，边界像素作为树的结点；

S32：根据每个边界像素的最近k邻域计算该像素单位法矢；

S33：选取边界像素中的一个像素，当该像素的k邻域中任意一个像素的单位法矢与该像素的单位法矢的内积绝对值小于设定阈值时，将该像素作为断点，遍历所有边界像素得到所有断点；

S34：所有断点将最小生成树分为多个子树，选择其中节点最多的三个子树作为三条侧棱特征。

进一步地，步骤S4具体为：

步骤S41：用RANSAC算法对三条侧棱特征分别进行直线检测；

步骤S42：计算三条侧棱特征中的所有像素点到对应直线的距离，当存在距离大于设定阈值的像素时，判定该像素对应的边界线弯曲；

步骤S43：当三条侧棱特征中任意一条弯曲时，钢料弯曲。

进一步地，步骤S5具体为：当检测到钢料弯曲时向前端控制器发送警报，中断钢料传送带传输；取下弯曲钢料后，传送带继续输送钢料，进行下一个钢料的检测。

本发明的有益效果：

本发明基于深度学习的图像分割算法和图像边缘检测技术，提出一种棒材钢料弯曲检测方法与装置。该方法通过一台耐高温摄像机采集输送钢料的图像，通过深度学习的图像分割算法分割出钢料，用边缘检测算法提取钢料边界特征检测钢料的弯曲程度，解决了送入加热炉前钢料弯曲检测问题，避免了将弯曲钢料送入加热炉造成后续事故。

附图说明

图1为本发明的棒材钢料弯曲检测方法与装置图；

图2为本发明实施例中，耐高温摄像机拍摄位置示意图；

图3为本发明实施例中，基于深度学习的分割网络结构示意图；

图4为本发明实施例中，钢料边界特征和三条侧棱特征示意图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

如图1所示，本发明为一种棒材钢料弯曲检测方法，包括如下步骤：

步骤S1：在棒材钢料斜上方固定一台耐高温网络摄像机，实时采集传送带上的钢料的图像；

由于检测环境位于加热炉旁边，环境温度比较高，为了不影响图像采集效果，使用DS-NXCN3A204 CMOS星光级耐高温风冷筒型网络摄像机来采集图像，当钢料弯曲时，至少将有一个面(两条侧棱)出现弯曲，所以只需要从四条侧棱中检测三条即可判断钢料是否弯曲，将摄像机固定在棒材钢料的传送带斜上方，使得钢料的两个侧面(三条侧棱)能够完整的位于摄像机视野范围内，采集完图像后，由于无线传输速度有限而且环境温度较高，需要使用专用耐高温线缆传输图像数据，图2为耐高温摄像机拍摄位置示意图。

步骤S2：将采集的图像输入到基于深度学习的分割网络，实时分割出图像中的棒材的图像；

将图像数据输入基于深度学习的分割网络，判断每个像素是否属于钢料，然后将所有判断属于钢料的像素选取出来组成钢料图像，计算钢料图像中相距最远两个像素的距离，当该距离小于一定阈值时候，判断钢料未完全进入拍摄视野，判断钢料图像拍摄不完整，继续检测下一张图像，图3为基于深度学习的分割网络结构示意图；

其中基于深度学习的分割网络包括以下步骤：

步骤(1)对一张图像使用多层感知器提取每个像素特征；

步骤(2)对每个像素以其为中心的3×3邻域、5×5领域和7×7领域最大池化得到每个像素的3个尺度的局部特征，将三个特征链接组成每个像素的多尺度局部特征；

步骤(3)将每个像素的多尺度局部特征使用多层感知器提取高维特征，然后最大池化所有像素的高维特征得到全局特征；

步骤(4)从每个像素的高维度特征提取权重，将每个像素的多尺度局部特征和全局特征链接后与权重相乘得到加权特征；

步骤(5)将每个像素的加权特征通过全连接层降到一维，利用sigmoid函数得到每个像素的分割概率，计算交叉熵损失函数用于训练，判断每个像素是否属于钢料的像素。

步骤S3：用边缘检测算法对分割出的钢料图像进行边缘检测提取钢料边界特征和三条侧棱特征；

将分割出的钢料图像用边缘检测算法提取边界像素，用kruskal算法构建最小生成树，边界像素作为树的结点；根据每个边界像素的最近k邻域计算该像素单位法矢；选取边界像素中的一个像素，当该像素的k邻域中任意一个像素的单位法矢与该像素的单位法矢的内积绝对值小于设定阈值时，将该像素作为断点，遍历所有边界像素得到所有断点；所有断点将最小生成树分为多个子树，选择其中节点最多的三个子树作为三条侧棱特征。

步骤S4：基于三条侧棱特征检测钢料是否弯曲；

用RANSAC算法对三条侧棱特征分别进行直线检测；计算三条侧棱特征中的所有像素点到对应直线的距离，当存在距离大于设定阈值的像素时，判定该像素对应的边界线弯曲；当三条侧棱特征中任意一条弯曲时，钢料弯曲。

步骤S5：当检测到钢料弯曲时向前端控制器发送警报，中断钢料传送带传输；取下弯曲钢料后，传送带继续输送钢料，进行下一个钢料的检测。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。