连铸坯角部边缘缺陷清理的视觉测量系统及路径规划方法

技术领域

本发明涉及铸坯精整领域，具体涉及一种连铸坯角部边缘缺陷清理的视觉测量系统及路径规划方法。

背景技术

连铸坯的自动吹扫清理对于钢厂一直是个难题，目前一般通过人工或者机械大范围清洗的方法；首先，人工进行边缘缺陷清理是一项技术性很强的工作，操作人员必须经过专业培训，特定岗位需持有特种操作证，并且连铸坯的边缘吹扫倒角清理作业的劳动强度很大，整体作业效率低。

其次，机器倒角清理虽然能够比较好的替代人工实施，但是大范围自动清理可能对坯料的浪费，即将不必切割的部分进行切割，且大范围清理可能增加一部分生产成本。

另外，现有的机械清理方式采用机械扫描定位，扫描精度不足，且会在喷嘴来回行进的过程中累积较大的运动误差；随着时间延长，在该种机械扫描系统的长期运行下，因外部振动，设备老化等变化导致该系统测绘精度日趋降低，最终导致整体清理质量参差不齐，并且需要人工检查和二次人工补枪清理，才能达到下步工序的质量要求。

发明内容

鉴于以上所述现有技术的缺点，本发明要解决的技术问题在于提供连铸坯角部边缘缺陷清理的视觉测量系统及路径规划方法，能够保证在长时间使用中维持角点以及边缘定位精度，实现自动化的连铸坯角部边缘三维坐标定位，减少加工误差以及多次维护返修需要的成本。

为实现上述目的，本发明提供一种连铸坯角部边缘缺陷清理的视觉测量系统，用于对连铸坯角部边缘进行视觉测量，包括：多个沿连铸坯长度方向等距布置的固定相机、多个与固定相机一一对应的激光发射器、沿工件布置方向设置的轨道、在轨道上移动的移动相机、网络交换机、导轨和于导轨上移动的喷嘴，所述激光发射器向连铸坯表面投射阵列布置的线结构光，每个固定相机在连铸坯表面的拍摄范围覆盖连铸坯宽度方向的边缘，且相邻两个固定相机的拍摄范围不具有拍摄重叠区域；所述固定相机、所述移动相机和激光发射器都与网络交换机相连，所述网络交换机与控制器信号相连。

一种连铸坯角部边缘缺陷清理的路径规划方法：采用如上述的视觉测量系统进行，包括以下步骤：

S1、第一标定板上设有矩形阵列的多个第一类同心圆靶标，根据所述第一标定板进行单相机标定，确定各个所述固定相机的外部参数矩阵[R|t]、内部参数矩阵M和畸变系数；

S2、激光发射器投射多条线结构光，结合所述第一标定板，确定所有线结构光的光平面方程；

S3、所述移动相机多次移动，使得每两个固定相机之间均存在有一次所述移动相机；借由两相邻固定相机中移动相机进行双目标定，由两相邻固定相机到移动相机之间的外部参数矩阵[R|t]，求得每两相邻固定相机之间的外部参数矩阵[R

将某一固定相机设为参考相机，最终求得其余所述固定相机至所述参考相机的外部参数矩阵[R

S4、求得所述参考相机坐标系到基坐标系的外部参数矩阵[R

S5、喷嘴坐标标定，包括：

S51、各所述固定相机对所述连铸坯进行拍摄；

S52、根据单个固定相机的内部参数矩阵M以及光平面方程，计算各个固定相机坐标内所述连铸坯的边缘点和角点的三维坐标；

S53、根据其余所述固定相机至所述参考相机的外部参数矩阵[R

S54、根据所述参考相机坐标系至基坐标系的转换矩阵[R

S55、根据所述连铸坯的边缘点和角点在基坐标系下的位置信息，控制喷嘴的运动，完成火焰清理。

优选地，S1步骤包括：获得已知的第一类同心圆靶标中心C(x,y)，以及外圆半径r

将p

从而得到各个所述固定相机内部参数矩阵

其中(u

优选地，所述畸变系数通过如下方程组Ⅳ，

其中k

优选地，S2步骤包括：

S21、投射有多道线结构光P

S22、在同一平面内多次移动所述第一标定板，光线不移动；每一次移动所述第一标定板，使得某列第一类同心圆靶标中心连线L

S23、通过不同交点D

S24、利用步骤S21至S23的方式获得所有线结构光P

优选地，S22具体包括如下：

连线L

D

根据交比射影不变性，可得

由此求得D

优选地，S3步骤包括：

S31、当所述移动相机移动至两所述固定相机时；先求出所述移动相机和一侧所述固定相机之间的外部参数矩阵[R

S32、移动所述移动相机，基于S31依次获得所有相邻固定相机之间的外部参数矩阵；经转换后，获得其余固定相机至所述参考相机的外部参数矩阵[R

S33、最后通过系统重投影误差最小化对所得外部参数矩阵[R

优选地，S31步骤包括：

左侧的所述固定相机的外部参数矩阵[R

第一类同心圆靶标中心点在世界坐标系下的坐标为P

变换后可得P

即左侧固定相机至移动相机外部参数矩阵为[R

同理可得右侧固定相机至移动相机外部参数矩阵为[R

设P

求解

并联立P

可得右侧固定相机坐标系到左侧固定相机坐标系的外部参数矩阵

优选地，S4包括：以所述导轨零位建立基坐标系O

假设喷嘴上安装有安装板，所述安装板上涂设有第二类同心圆靶标，其初始位置为i，将喷嘴位移至位置i+1；在位置i处，第二类同心圆靶标中心点从所述参考相机坐标系转换到末端执行坐标系的转换关系为公式Ⅴ

表示末端执行坐标系到基坐标系的转换关系；

表示第二标定板坐标系到末端执行坐标系的转换关系；

表示第二标定板坐标系到所述参考相机坐标系的转换关系；

表示所述参考相机坐标系到基坐标系的转换关系；

由于第二标定板坐标系与末端执行坐标系的相对关系固定不变可得公式Ⅵ，

即

由于所述参考相机坐标系与基坐标系相对位置固定不变，现设

最终得到

AX＝XB

A可由喷嘴相对于基坐标系的运动参数直接获得，B可由相机1坐标系定位第二标定板平面位姿获得，X即为待求的所述参考相机坐标系到基坐标系的外部参数矩阵。

如上所述，本发明涉及的视觉测量系统及路径规划方法，具有以下有益效果：

本发明通过设置多个相机单目标定能够实时调整固定相机的内部参数矩阵M和畸变系数，避免因为长时间使用导致因相机参数变化导致坐标测定错误，减少了维修成本和检测成本；另外，本发明设置的激光发射器能够通过确定光平面方程结合内部参数矩阵得到需要的测定的准确的像素坐标；另外，本发明通过设置多固定相机的多目标定方法得到各个固定相机之间的转换矩阵，从而使得测得的三维坐标能够在各个相机坐标系间进行转换，最后通过各所述固定相机至基坐标的转换矩阵得到基坐标系下坐标，从而控制喷嘴实行准确的切割。

附图说明

图1为本发明的视觉测量系统的结构示意图；

图2为第一标定板以及其上设有的第一类同心圆靶标图案示意图；

图3为第二标定板以及其上设有的第二类同心圆靶标图案示意图；

图4为由于相机透视投影导致的拍摄同心圆的离心偏差过程；

图5为本发明的一种连铸坯角部边缘缺陷清理的路径规划方法的S2中投影交比不变的示意图；

图6为本发明的视觉测量系统的所有固定相机以及移动相机的关系示意图。

元件标号说明

01连铸坯

02固定相机

1 相机1

2 相机2

3 相机3

4 相机4

5 相机5

6 相机6

7 相机7

8 移动相机

03激光发射器

04轨道

05网络交换机

06导轨

07喷嘴

08控制器

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

请参阅图1至图6。须知，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

如图1所示，本发明提供一种连铸坯角部边缘缺陷清理的视觉测量系统，包括：

多个沿连铸坯01长度方向等距布置的固定相机02、多个与固定相机02一一对应的激光发射器03、沿工件布置方向设置的轨道04、在轨道04上移动的移动相机8、网络交换机05、导轨06和于导轨06上移动的喷嘴07，激光发射器3向连铸坯1表面投射阵列布置的线结构光，每个固定相机2在连铸坯1表面的拍摄范围覆盖连铸坯1宽度方向的边缘，且相邻两个固定相机2的拍摄范围不具有拍摄重叠区域；固定相机2、移动相机5和激光发射器3都与网络交换机05相连，网络交换机05与控制器08信号相连。

本发明通过的固定相机2实现对连铸坯1表面的拍摄，从而拍摄出需要切割的连铸坯1的边缘点和角点；但是，由于连铸坯起始角点在固定相机2视场下的位置不确定，因此需要通过算法对边缘点和角点进行确定，具体在如下的路径规划方法中体现；另外，本发明通过设置的移动相机5能够帮助两相邻的固定相机2的坐标系进行转换；另外，本发明设置导轨06和喷嘴07能实现喷嘴07对连铸坯1的边缘点和角点的切割。

本发明还提供了一种连铸坯角部边缘缺陷清理的路径规划方法，采用如上述的视觉测量系统进行，包括以下步骤：

S1、根据设有矩形阵列的第一类同心圆靶标的第一标定板，如图2所示，进行单相机标定，确定各个固定相机02的外部参数矩阵[R|t]、内部参数矩阵M和畸变系数；

S2、激光发射器03投射多条线结构光，结合所述第一标定板，确定所有线结构光的光平面方程；

S3、移动相机8多次移动，使得每两个固定相机02之间均存在有一次所述移动相机8；借由两相邻固定相机02中移动相机8进行双目标定，由两相邻固定相机02各自的外部参数矩阵[R|t]，求得每两相邻固定相机02之间的外部参数矩阵[R

将某一固定相机02设为参考相机，最终求得其余所述固定相机至所述参考相机的外部参数矩阵[R

S4、求得所述参考相机坐标系到基坐标系的外部参数矩阵数矩阵[R

S5、喷嘴坐标标定，包括：

S51、各固定相机02对连铸坯01进行拍摄；

S52、根据单个固定相机02的内部参数矩阵M以及光平面方程，计算各个固定相机02坐标内连铸坯01的边缘点和角点的三维坐标；

S53、根据其余固定相机至参考相机的外部参数矩阵[R

S54、根据参考相机坐标系至基坐标系的转换矩阵[R

S55、根据连铸坯01的边缘点和角点在基坐标系下的位置信息，控制喷嘴07的运动，完成切割。

上述的S1中，其关于各个固定相机02的固定相机02的外部参数矩阵[R|t]、内部参数矩阵M和畸变系数的求得方法如下：

如图1所示，于连铸坯1长度方向等距布置的数量为7个固定相机(1～7)，由左至右依次命名为第一固定相机1至第七固定相机7；以下为便于书写，采用如下书写方式：第一固定相机采用相机1，第二固定相机2采用相机2，依次类推；

采用第一标定板对相机1～相机7进行标定，如图2所示，以第一类同心圆靶标的中心为特征点，由于在相机透视成像中，第一类同心圆靶标的内外圆表现为两个中心分开的椭圆，如图4所示，因此首先需要对第一类同心圆靶标成像的椭圆对进行偏心误差校正。C(x,y)是第一类同心圆靶标的中心，r

其中，K

相机1～相机7分别采集不同姿态的第一标定板的图像(标定板放置均处于同一平面)，并进行偏心误差校正，然后在图像上获取第一类同心圆靶标的真实投影中心点坐标(此时为像素坐标系)

p

由于第一标定板是定制的，第一类同心圆靶标物理位置及尺寸已知，故在第一标定板上建立世界坐标系，以下所称第一标定板均为阵列设有第一类同心圆靶标；即可得到第一类同心圆靶标中心点的世界坐标

P

另外，根据现有技术中的相机成像模型式(6)，代入坐标集合p

该现有技术为A,Flexible,New,Technique,for,Camera,Calibration，作者Zhengyou,Zhang；具体参见如下网址：

https://www.microsoft.com/enus/research/？from＝http％3A％2F％2Fresearch.microsoft.com％2F％25cb％259czhang,；

sp

其中，s为比例因子，R和t为目标从世界坐标系到相机坐标系下的旋转矩阵和平移向量；

M为相机的内部参数矩阵，写作

其中(u

考虑到相机镜头存在畸变，考虑径向畸变和切向畸变。设点P

其中k

综上所述，对不同姿态的第一标定板图像进行处理，即可解得单个相机的内部参数矩阵M和畸变系数k

S2中具体对光平面方程的推导如下：

对激光发射器发出的所有线结构光的标定，获得所有线结构光的光平面方程。

具体地，本发明基于相机透视投影中，交比射影不变性这一原理，利用第一标定板平面实现线结构光标定，如图5所示，其中

实际操作时，相机拍摄投射有线结构光的标定板平面图像，进行处理，基于步骤S1所述方法检测第一类同心圆靶标中心图像坐标，并按行连接中心得到多条水平直线，在图像上检测线结构光中心线，获得中心线与所述水平直线的多个交点图像坐标，由于第一类同心圆靶标中心点的世界坐标已知，故可根据所述透视投影中的交比不变性获得交点的世界坐标，基于单目标定所得的世界坐标系到相机坐标系的转换矩阵，将交点的世界坐标转至相机坐标系下，多次操作，获得线结构光平面上多个点在相机坐标系下的三维坐标，即可拟合出线结构光的光平面方程。以相机1视场内的一线结构光68为例进行具体说明如下：

图5所示，结构光平面标定时，靶标平面上特征点A，B，C对应的图像点为a，b，c。结构光平面与靶标平面相交形成一条直线L

设A(X

依照此方法，在标定板平面上可作出多条类似的平行直线，沿着光平面的方向多次移动靶标平面，可以得到与直线L

同理，对每一根线结构光执行类似操作，即可获得线结构光68～线结构光123的光平面方程：

aX

至此，可通过联立步骤S1所得的相机成像方程和步骤S2所得的光平面方程，求解光平面上任意一点在对应相机坐标系下的三维坐标。

S3中其余固定相机02至参考相机的外部参数矩阵[R

由于相机坐标系之间彼此独立，所测得的坐标不具有统一性，因此需要求解相机坐标系间的转换关系，将所得坐标统一转至参考相机坐标系下，在本发明所述系统中，将

如图6所示，相机1与相机2之间无公共视场，无法直接通过双目标定获得相机2坐标系到相机1坐标系的外部参数矩阵，因此，将移动相机8安装在相机1与相机2之间，此时，移动相机8分别与相机1和相机2拥有较大的公共视场，首先对移动相机8和相机1进行双目标定，获得移动相机8坐标系到相机1坐标系的外部参数矩阵[R

以相机1和移动相机8为例，对双目标定方法作出具体说明如下：

采用第一类同心圆靶标平面靶标，基于步骤S11所述的单目标定，可分别获得目标从世界坐标系(即步骤S11所述的建立在第一标定板上的坐标系)到相机1坐标系和移动相机8坐标系的外部参数矩阵[R

对公式(13)进行变换，可表示为

两式相减，得

(R

同乘以R

R

P

变换后可得

P

由此，可解得移动相机8坐标系到相机1坐标系的外部参数矩阵

具体操作时，相机1和移动相机8同时采集不同姿态的第一标定板图像，选取公共视场内的平面第一类同心圆靶标的中心点作为特征点，基于所述的双目标定方法获得移动相机8坐标系到相机1坐标系的外部参数矩阵[R

设P

联立解得

P

由此，可解得相机2坐标系到相机1坐标的外部参数矩阵

至此，完成了相机1坐标系和相机2坐标系之间的外部参数矩阵标定。同理，移动相机8，基于所述多目标定方法依次获得相机2坐标系～相机7坐标系到相机1坐标系的外部参数矩阵。

为了提高标定精度，在进行多目标定时，需对重投影误差E

其中，(x

对于本发明中的系统，总的RMS可作如下表示

E

使用LM算法对E

至此，基于步骤S1求解的相机成像方程公式(6)、步骤S2求解的光平面方程(12)和步骤S33求解的相机2坐标系～相机7坐标系到相机1的坐标系的转换矩阵，拍摄投射有线结构光的连铸坯图像，进行处理，可得到对应光平面方程参数(A

S4中相机1坐标系与基坐标系的标定，获得相机1坐标系到基坐标系即喷嘴07的坐标系的外部参数矩阵。

具体地，在实际操作时，控制喷嘴07的运动一般是以导轨零位作为参照的，因此需要获得相机1坐标系到基坐标系的外部参数矩阵，从而将前述步骤S1、S2、S3所得的三维坐标转换至导轨08基坐标系下。以导轨08上零位为原点建立基坐标系O

在喷嘴07上建立末端执行坐标系O

表示末端执行坐标系到基坐标系的转换关系；

表示第二标定板坐标系到末端执行坐标系的转换关系；

表示第二标定板坐标系到所述参考相机坐标系的转换关系；

表示所述参考相机坐标系到基坐标系的转换关系；/>

所述转换关系均为4×4齐次变换矩阵，可用旋转矩阵R和平移向量T描述，即

假设喷嘴07上安装有第二标定板，该第二标定板上的第二类同心圆靶标其初始位置为i，将喷嘴07位移至位置i+1(注意：位置i和位置i+1均默认符合第二类同心圆靶标中心在线结构光平面上这一条件。根据各部分转换关系可得，在位置i处，第二类同心圆靶标中心点从相机1坐标系转换到末端执行坐标系的转换关系为

其中，

其中，

由第二标定板坐标系与末端执行坐标系的相对关系固定不变可知

则易得

整理得

由于相机1坐标系与基坐标系相对位置固定不变，现设

整理可得

AX＝XB (34)

其中，A可由喷嘴07相对于基坐标系的运动参数直接获得，B可由相机1坐标系定位第二类同心圆靶标平面位姿获得，X即为待求的相机1坐标系到基坐标系的外部参数矩阵。

至此，基于所述单目标定、线结构光标定、多目标定和相机1坐标系到基坐标系的标定，可获得单个固定相机02内部参数矩阵M和畸变系数、线结构光平面方程、多个固定相机02坐标系到参考相机坐标系的转换矩阵、参考相机坐标系到基坐标系的转换矩阵；

实际操作时，各个固定相机02拍摄连铸坯01，此时连铸坯01上扔投射有上述已经测定光平面方程的多道线结构光。

控制器08会对拍摄图像进行处理，从而获得连铸坯角点及边缘点的像素坐标；随后，根据单个固定相机02的内部参数矩阵M以及光平面方程，以及求得的像素坐标，计算得到各个固定相机02坐标内连铸坯(01)的边缘点和角点的三维坐标；

根据多目标定方法(即步骤S3)，根据其余固定相机转换至参考相机的外部参数矩阵[R

综上所述，本发明通过设置多个相机单目标定能够实时调整固定相机02的内部参数矩阵M和畸变系数，避免因为长时间使用导致因相机参数变化导致坐标测定错误，减少了维修成本和检测成本；另外，本发明设置的激光发射器能够通过确定光平面方程结合内部参数矩阵得到需要的测定的准确的像素坐标；另外，本发明通过设置多固定相机02的多目标定方法得到各个固定相机之间的转矩矩阵，从而使得测得的三维坐标能够在各个相机坐标系间进行转换，最后通过各所述固定相机02至基坐标的转换矩阵得到基坐标系下坐标，从而控制喷嘴07实行准确的切割。

所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。