一种基于视觉定位的钢线圈头部坐标转换方法

技术领域

本发明涉及钢线圈处理工艺技术领域，具体而言，涉及一种基于视觉定位的钢线圈头部坐标转换方法。

背景技术

钢线圈的生产需要经过加热、轧制、吐丝、冷却等工序。在轧制过程中，若原料精轧后送入夹送锟的时间与冷却水箱开启时间不匹配，将导致生产的钢线圈前端部分没有经过穿水处理，造成钢线圈前端内部铁素体晶粒长大，组织成分不均匀，在使用时其抗拉强度、屈服强度等性能指标达不到使用标准。因此，在出厂前的精整工序中需要将钢线圈前端按照工厂生产规定做剪除回收处理。

目前大部分钢企对钢线圈头部数圈的剪除回收操作是由人工手动完成。然而，钢企高温高热的恶劣生产环境不利于工人长时间工作，造成工作效率较低，增加人工成本，产生安全隐患。因此，需通过开发钢线圈前端智能剪除技术，实现钢线圈前端自动剪除，提高生产效率，降低安全隐患。钢线圈的精整工序中需要先将钢线圈进行打包处理，然后再进行剪除回收。在对钢线圈打包的过程中，经常会出现钢线圈前端插入钢线圈内部的情况，此时无法直接利用机械臂对钢线圈前端进行自动剪除。同时，考虑到自动化剪除中机械臂工作空间的限制，一般需要布置两台及以上的机械臂才能完成自动化剪除的操作，成本过高，限制了钢线圈前端自动化剪除技术的应用。

发明内容

本发明公开了一种基于视觉定位的钢线圈头部坐标转换方法，结构简单，旨在改善现有的钢线圈剪除装置受限较大，成本较大的问题。

本发明采用了如下方案：

本申请提供了一种基于视觉定位的钢线圈头部坐标转换方法，包括适于卷绕钢线圈的扩桶，所述扩桶的一侧设置有剪切机械臂，还包括图像处理单元，所述扩桶上方沿圆周设置有若干朝向所述扩桶的图像获取单元，相邻两个所述图像获取单元至少有20％的视野重合度；所述图像处理单元接收图像获取单元的图像信息，并适于执行如下步骤：

S1、识别定位图像钢线圈头部坐标信息；

S2、判断钢线圈头部是否处于所述剪切机械臂的工作空间内；如果是，则进行坐标转换并定位；如果不是则先进行图像拼接，将相邻图像获取单元所获取的相邻图像的重合区域内的图像像素完成拼接，对接完成后进行预处理拟合，对钢线圈头部所在单根线圈进行拟合，拟合完毕后进行坐标转换并定位；

S3、剪切机械臂移动至S2中定位的钢线圈头部的坐标或者钢线圈头部所在单根线圈的坐标，并对钢线圈头部所在单根线圈进行剪切。

进一步地，在S1中，所述识别定位图像钢线圈头部坐标信息的步骤如下：

A1、变换尺寸，获取图片后，将图片尺寸变换为指定大小；

A2、对变换尺寸后的图片进行双边滤波，去除图片噪声；

A3、自适应直方图均衡化，通过计算钢线圈图像中局部直方图，根据直方图对图像亮度值进行重新分布，改变图像对比度，以校正图像中不均匀光照，增强局部细节；

A4、图像灰度化，使用分量法对图像进行灰度化处理，得到灰度图像；

A5、通过FAST算法检测获得角点，所述角点即钢线圈头部；通过大津法确定上述灰度图像中钢线圈前景与背景的最佳分割阈值，以钢线圈灰度值与最佳区分阈值的差值作为FAST算法的阈值。

进一步地，所述大津法的算法执行步骤为：

A51、计算灰度图像直方图，统计0～255这256个像素值上的像素点数量，并进行归一化；

A52、设置一个分割阈值i，根据这个分割阈值统计图像中灰度值在0～i范围内的像素点占整张图像的比例w

u

g＝w

A53、分割阈值i增加一个灰度值，继续执行上一步骤，直到最后一个灰度值，以最大类间方差g对应的i作为图像分割前景和背景的最佳阈值输出。

进一步地，在A5中，钢线圈直径信息通过映射转化为FAST角点检测算法中检测圆的半径。

进一步地，所述预处理拟合包括如下步骤：

B1、截取图像，根据钢线圈头部像素坐标，在宽度上分别向左向右扩充n个像素单位、在高度上按照整个拼接图像的高度截取图像；

B2、灰度化，对截取的图像进行灰度化处理；

B3、阈值处理，采用OTSU算法获得钢线圈与背景的最佳分割阈值，以此阈值对截取图像二值化得到黑白图像；

B4、腐蚀膨胀，对黑白图像以3×1的核函数先腐蚀后膨胀，腐蚀去除黑白图像中离散的干扰点，膨胀使腐蚀断开的区域重新连接起来；

B5、骨架算法处理，采用骨架算法不断腐蚀黑白图像边界，直到黑白图像只剩单像素结构，得到图像的真实骨架；

B6、去除离群点，以骨架图像中骨架上每个像素点为数据点，计算所有点横坐标的中位数，同时计算每个数据与中位数的偏差，以3倍偏差中位数为标准剔除骨架图像中的干扰离群点；

B7、kmeans聚类，在骨架图像中对骨架像素点进行聚类采样；

B8、多项式拟合，对B7采样的多个聚类点进行多项式拟合得到单根钢线圈拟合结果。

进一步地，三维坐标的转换公式为:

其中，A为相机标定得到相机的内参数矩阵，R为根据罗德里格斯变化可以计算得到的所述扩桶上所建立的世界坐标系与相机坐标系之间转换旋转矩阵，T为根据罗德里格斯变化可以计算得到的所述扩桶上所建立的世界坐标系与相机坐标系之间转换的平移矩阵，Zc为由3D相机在相机坐标系下得到剪切位置，u,v为剪切位置的坐标，R、T为世界坐标系与相机坐标系之间的转换矩阵。

进一步地，所述图像获取装置为3D相机，所述3D相机设置有5个，且绕所述扩桶的中心轴线圆周分布。

有益效果：

本方法从工程实际需要出发，利用视觉定位的方法，分析钢线圈前端头部特点，根据相机的空间布置及钢线圈头部像素坐标信息，对于钢线圈头部剪切位置在机械臂工作空间内的情况，直接进行坐标转换计算，获得钢线圈头部最优剪切位置空间坐标；对于钢线头部剪切位置不在机械臂工作空间内的情况，通过图像拼接、图像像素处理、拟合实现钢线圈头部的三维空间坐标转换，获得机械臂工作空间内钢线圈头部最优剪切位置的空间坐标。

附图说明

图1是本发明实施例一种基于视觉定位的钢线圈头部坐标转换方法的流程示意图；

图2是本发明实施例一种基于视觉定位的钢线圈头部坐标转换方法的预处理拟合的流程示意图；

图3是本发明实施例一种基于视觉定位的钢线圈头部坐标转换方法的中的图像获取单元与扩桶的位置关系示意图；

图4是本发明实施例一种基于视觉定位的钢线圈头部坐标转换方法的中的图像获取单元在扩桶上的布置示意图；

图5是本发明实施例一种基于视觉定位的钢线圈头部坐标转换方法的中的扩桶的世界坐标系示意图；

图6是本发明实施例一种基于视觉定位的钢线圈头部坐标转换方法的中的机械臂安装位置示意图；

图7是本发明实施例一种基于视觉定位的钢线圈头部坐标转换方法的中的头部识别方法的流程示意图；

图标：图像获取单元1、第一相机11、第二相机12、第三相机13、第四相机14、第五相机15、扩桶2、剪切机械臂3。

具体实施方式

结合图1，本实施例提供了一种基于视觉定位的钢线圈头部坐标转换方法，包括适于卷绕钢线圈的扩桶2，所述扩桶2的一侧设置有剪切机械臂3，还包括图像处理单元，所述扩桶2上方沿圆周设置有若干朝向所述扩桶2的图像获取单元1，相邻两个所述图像获取单元1至少有20％的视野重合度；所述图像处理单元接收图像获取单元1的图像信息，并适于执行如下步骤：

S1、识别定位图像钢线圈头部坐标信息；

S2、判断钢线圈头部是否处于所述剪切机械臂3的工作空间内；如果是，则进行坐标转换并定位；如果不是则先进行图像拼接，将相邻图像获取单元1所获取的相邻图像的重合区域内的图像像素完成拼接，对接完成后进行预处理拟合，对钢线圈头部所在单根线圈进行拟合，拟合完毕后进行坐标转换并定位；

S3、剪切机械臂3移动至S2中定位的钢线圈头部的坐标或者钢线圈头部所在单根线圈的坐标，并对钢线圈头部所在单根线圈进行剪切。

结合图3至图6所示，在本实施例中，所述图像处理单元为现有的图像处理系统或者处理软件，所述图像获取装置为3D相机或者工业彩色相机，所述3D相机或者工业彩色相机设置有5个，且绕所述扩桶2的中心轴线圆周分布，具体地，这里所述相机包括第一相机11、第二相机12、第三相机13、第四相机14以及第五相机15，所述的相机安装时已经严格计算每个相机的安装坐标，因此每个相机的视野是固定的，相邻两相机之间至少有20％的重合区域，相机拍摄得到的图像是扩桶2的固定部分，且相同部分在图像中的像素位置是固定的。在其中一实施例中，所述剪切机械臂3安装在第四相机14、第五相机15的一侧，当钢线圈头部处于第四相机14、第五相机15视野范围内时，则可以直接通过移动剪切机械臂3对钢线圈头部进行剪切，而当钢线圈头部处于第一相机11、第二相机12、第三相机13的视野范围内时，则由于剪切机械臂3无法移动到钢线圈头部所在的位置，此时通过识别钢线圈头部所在的单根钢线，将处于第四相机14、第五相机15视野范围内的钢线圈头部所在的该单根钢线剪切也可达到要求，因此需要识别出钢线圈头部所在的单根钢线。

结合图7所示，本实施例中，首先需要对钢线圈进行头部识别，即在S1中，可以通过FAST算法进行识别，或者可以应用公开号为CN114820585A的钢线圈头部检测识别方法进行识别，通过深度学习的方式或者钢线圈的头部。这里提供所述FAST算法进行识别的方法，FAST算法的基础原理为：当某一像素点附近邻域内与该点处于不同区域的像素点数量足够多时，则认为该点为角点。具体地，本实施例中定义：以P点为圆心，通过与半径为3个像素的邻域上的16个像素点的像素灰度值进行对比，如果有超过75％的像素点与P点像素灰度的差值大于设定的阈值，则认为该点为角点。

在本实施例中，由于钢线圈头部在图像中属于一种尺寸较大的角点，因此需要定义合适的与P点比较的像素点圆周半径以及阈值，否则就会出现识别不够精确的问题。具体地，对于像素点圆周半径，根据小孔成像原理，钢线圈与图像获取单元1的距离不变，则拍摄得到的图片中钢线圈直径在图片中所占像素数量也不会有太大的变化。因此可以将钢线圈直径信息通过映射，转化为FAST角点检测算法中检测圆的半径。经过测量直径为8mm的钢线圈头部在灰度图像中大约占18个像素，而工厂生产的钢线圈直径有6～20mm共8种规格，相应的在灰度图像中所占像素可以根据比例关系换算得到，具体为：根据小孔成像原理，当相机标定好以后，灰度图像中钢线圈头部直径的大小和实际钢线圈头部的大小近似于正比关系，也就是说，可以根据实际钢线圈大小结合已标定的参数估算灰度图像中钢线圈直径大小，即：Φ1/Φ2＝δ*d1/d2，其中d1、d2表示灰色图像中钢线圈圆周直径或半径，Φ1、Φ2是实际钢线圈头部的直径，d1、d2代表灰度图像中线圈圆周半径，参数δ是校正参数，根据相机的安装位置和相机参数确定；如果需要求Φ2对应的d2时，将Φ2代入上式即可。这里钢线圈直径是算法检测前已知的，相应的根据钢线圈直径就可以得到FAST算法中与P点比较的像素点的圆周半径。例如，直径为8mm的钢线圈，与P点比较的像素点的圆周半径则应该设置为10个像素，与P点进行比较的圆周上的点的数量也增加为56个。

本实施例中，由于FAST算法阈值是根据图片情况设定的，因此，提出采用大津法(OTSU)确定图片钢线圈前景与背景的最佳分割阈值，以钢线圈灰度值与最佳区分阈值的差值作为FAST算法的阈值，从而可以根据图像信息自动输入阈值，而无需人为输入，提高输入效率。所述大律法的算法执行步骤为：

A51、计算灰度图像直方图，统计0～255这256个像素值上的像素点数量，并进行归一化；

A52、设置一个分割阈值i，根据这个分割阈值统计图像中灰度值在0～i范围内的像素点占整张图像的比例w

u

g＝w

A53、分割阈值i增加一个灰度值，则继续执行上一步骤，直到最后一个灰度值，以最大类间方差g对应的i作为图像分割前景和背景的最佳分割阈值输出，并将钢线圈灰度值与该最佳分割阈值的差值最为FAST算法的阈值输入。这里钢线圈在灰度图像中的灰度像素值在150～210范围内。要注意的是，由于采用该算法的图像容易受噪声影响，因此需要对图像进行降噪处理，即进行图像灰度处理。

在本方法中，由于拍摄得到的图片尺寸较大，会影响检测速度，因此在S1中，可以将图片尺寸变换到一个较小的尺寸，在不影响检测效果的同时加快检测算法，同时也能保证相同直径的钢线圈所占像素数差距尽量小。另外，由于现场拍摄的图片含有各种噪声，如果使用常规的高斯滤波去除图片中噪声，则会使得图片中的钢线圈边缘变得模糊，因此本实施例中在S3中，采用双边滤波的方式进行处理，可以保持钢线圈边缘信息的清晰、平滑。同时，由于图片中光照的变化对FAST算法的结果有影响，因此在S4中，通过计算钢线圈图像中局部直方图，根据直方图对图像亮度值进行重新分布，改变图像对比度，以校正图像中不均匀光照，增强局部细节。在S5中，使用分量法来对图像进行灰度化处理，得到灰度图像，进而可以在FAST算法中，通过大律法进行阈值计算时，使得凸显更具有较好的稳定性。在经过FAST算法检测后，最后再进行一次双边滤波，使边界更加清晰。

经过头部识别后，根据钢线圈头部的信息，需要判断，刚该头部位于剪切机械臂3的工作范围时，则直接将该头部剪切即可，当该头部不在剪切机械臂3的工作范围时，则需要先识别该头部所在的钢线圈单根钢线延伸到剪切机械臂3的工作范围内的部分，再对该部分进行剪切。具体地，当该头部不在剪切机械臂3的工作范围时，先将多个相机所获取的图像进行拼接，例如，当钢线圈头部位于第四相机14、第五相机15或第三相机13的右侧时，此时钢线圈头部在剪切机械臂3工作空间内，可直接通过坐标转换得到头部三维坐标；而当钢线圈头部位于第一相机11、第二相机12或第三相机13左侧时，首先需要根据钢线圈头部位置对图像进行拼接，若头部在第一相机11视野内，则将第一相机11与第五相机15的图像拼接；若头部在第二相机12视野内，则将第二相机12与第三相机13拼接，拼接完成后根据头部像素坐标信息对头部单根线圈图像预处理拟合，再进行坐标转换定位，得到剪切机械臂3剪切位置的三维坐标。

结合图2所示，这里所述预处理拟合包括如下步骤：

B1、截取图像，根据钢线圈头部像素坐标，在宽度上分别向左向右扩充n个像素单位、在高度上按照整个拼接图像的高度截取图像；这里n可以是25。

B2、灰度化，对截取的图像进行灰度化处理；

B3、阈值处理，采用OTSU算法获得钢线圈与背景的最佳分割阈值，以此阈值对截取图像二值化得到黑白图像；OTSU算法即在头部识别中的大津法，以获得最佳分割阈值。

B4、腐蚀膨胀，对黑白图像以3×1的核函数先腐蚀后膨胀，腐蚀去除黑白图像中离散的干扰点，膨胀使腐蚀断开的区域重新连接起来；

B5、骨架算法处理，采用骨架算法不断腐蚀黑白图像边界，直到黑白图像只剩单像素结构，得到图像的真实骨架；

B6、去除离群点，以骨架图像中骨架上每个像素点为数据点，计算所有点横坐标的中位数，同时计算每个数据与中位数的偏差，以3倍偏差中位数为标准剔除骨架图像中的干扰离群点；从而解决截取图像中除含有目标线圈骨架外，还有部分其他干扰线圈骨架的问题；

B7、kmeans聚类，采用kmeans聚类算法在骨架图像中对骨架像素点进行聚类采样；由于去除离群点后骨架图像中仍含有较多数据点，对这些数据点拟合会导致拟合时间较长，少量的干扰点会使拟合结果出现偏差，因此，通过kmeans聚类算法可以在骨架图像中对骨架像素点进行聚类采样，并下后续步骤中进行拟合；

B8、多项式拟合，对B7采样的多个聚类点进行多项式拟合得到单根钢线圈拟合结果。这里拟合表达式为x＝1254.8446-7.4359×10^(-2)y+2.4656×10^(-5)y^2，其中x、y表示的是钢线圈头部所在单根线圈在机械臂工作空间内的坐标，即可以得到剪切机械臂3剪切位置的像素坐标(u,v)。

坐标拟合后，需要转换为三维坐标，通过在扩桶2机构上建立的世界坐标系，该三维坐标的转换公式为:

其中，X

通过本方法，不仅可以实现钢线圈头部剪切位置在机械臂工作空间内的定位，当钢线圈头部剪切位置不在机械臂工作空间内时，通过图像拼接、对单根线圈预处理后拟合也可实现对钢线圈头部剪切位置的定位。利用在扩桶2机构上建立世界坐标系，根据相机坐标系与世界坐标系之间的转换关系及3D相机深度信息实现对剪切位置的三维空间定位，获得在世界坐标系下的坐标，从而实现自动化定位、剪切。

应当理解的是：以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。

上面对实施方式中所使用的附图介绍仅示出了本发明的某些实施例，不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。