掌桥专利:专业的专利平台
掌桥专利
首页

基于三维视觉引导的钢轨打标装置及打标方法

文献发布时间:2023-06-19 13:48:08


基于三维视觉引导的钢轨打标装置及打标方法

技术领域

本发明涉及涉及钢轨在三维视觉引导下的工业机器人打标领域,尤其涉及基于三维视觉引导的钢轨打标装置及打标方法。

背景技术

随着我国工业生产的迅速发展,自动化程度的迅速提高,工业机械手在大型钢厂部件加工中的应用越来越普遍,但对于大多数使用工业机械手的钢厂部件加工应用场景来说,需要手动示教或者离线编程来事先规划机械手的工作路径,这种高度结构化的工作模式严格限定了工业机械手使用的灵活性和智能性,无法满足柔性生产的需求。

在钢厂经过钢水浇筑,冷却压制工序后生产出来的钢轨,在进行打标的过程中,有的是通过人工示教或者离线编程的方式进行打标,但是钢轨停止的位置不准确,导致机械手打标的位置有差异;有的甚至仍采用原始的人工打标,对于这样简单的操作过程,该方式的缺点是低效率性和高工作强度,带来的负面效果是加工过程中人员重复操作,加工节拍慢,没有发挥人员的功。

发明内容

针对现有技术中的问题,本发明的目的提供一种通过三维传感器拍摄钢轨的三维数据,加快了钢轨打标节拍,增加了钢轨打标位置的准确性,提高了钢轨整体生产效率的同时又节约了人力成本。

为了达到上述目的,本发明的技术方案是:

基于三维视觉引导的钢轨打标装置,包括工控机,还包括支架、支架下方设置的钢轨输送架、以及设置在支架上的三维传感器,所述的钢轨输送架一侧设置有机械人,所述的机械人上安装有机械手,所述的机械手上安装有用于打标的夹爪,所述的三维传感器与工控机相连接。

所述的三维传感器包括通过转接板与支架相连接的外壳、固定安装在外壳内的两个相机、激光扫描机和接口,相机和激光扫描机通过接口与工控机之间相连接。

所述的两个相机对称的垂直设置的外壳内的两侧,所述的两个相机位于所述的激光扫描机的两侧,所述的两个相机的镜头朝下,所述的外壳的底板相对应的位置均开设有用于相机拍摄的孔和用于激光扫描机扫描的孔,所述的激光扫描机的激光头与相机镜头朝向保持一致。

基于三维视觉引导的钢轨打标装置的打标方法,包括以下步骤:

步骤一:三维传感器安装于钢轨停止点的一侧上方,预先标定三维传感器和机械手工具坐标关系;

步骤二:钢轨到达预定位置后,机械手触发三维传感器,激光扫描机开始对钢轨进行扫描,激光扫描机两侧的相机分别从左右两个视角拍摄图像,扫描结束后三维传感器获取到钢轨点云数据并存储钢轨原始图像数据;

步骤三:三维传感器根据钢轨点云数据计算出钢轨打标点位姿;

步骤四:三维传感器将钢轨打标点的位姿转换到机械手基坐标下,进而引导机械手进行钢轨打标。

所述的步骤一种还包括创建机械手工具坐标系,机械手工具坐标系的创建通过操作机械手5使用XYZ六点法实现,要求创建的机械手工具坐标系原点O位于机械手夹爪6的中间位置,Z正方向为垂直机械手法兰盘且指向法兰盘中心的方向,同时需要创建的机械手工具坐标系平均精度不大于1mm,从而保证对钢板的定位打标精度。

三维传感器和机械手工具坐标系的标定,需要借助标定板,标定板为黑色的,标定板的作用是使得三维传感器能唯一识别标定板中每个编码点的坐标,进而解算出三维传感器的内外参数,并结合机械手的位姿解算出三维传感器和机械手工具坐标系的标定关系,主要是将标定板放在相机的下面,相机别标定板上的每个编码点12的圆心坐标(相机坐标系下),然后让机器人也走到相应圆点的中心(机器人也会有个坐标),然后建立机器人和相机坐标系的关系。编码点的编码使用原则采用四个基准点做为编码点的识别标志,三个类别点与中心编码点的角度信息做为编码点的唯一标识特征,进而实现编码点识别和解算的唯一性;

在三维传感器3和机械手工具坐标系的标定过程中需要记录多组机械手的位姿数据和三维传感器拍摄到的编码点数据,通过解算编码点坐标和获取的机械手位姿计算出三维传感器3和机械手工具坐标系之间的标定关系。三维传感器安装到机械手时的标定方法如下:

(1)控制机械手5从位置A运动到位置B,运动前后均对相机进行标定,求出其外参,从而得到Rc1,tc1。由控制器读出机械手的运动参数Rd1,td1。由此得到R、t的第一组约束;

(2)控制机械手5从位置B运动到位置C,重复上一步,从而得到Rc2,tc2,Rd2,td2。由此得到R、t的第二组约束;

(3)控制机械手5从位置C运动到位置N,重复(1)步骤,从而得到Rcn,tcn,Rdn,tdn。由此得到R、t的第n组约束;

(4)列方程求解R,并根据R求解出t;

(5)由式

其中:R

R

步骤二中三维传感器三角测量原理获取到钢轨点云数据,三角测量原理:

O1-xyz与O2-xyz分别是两相机空间坐标系;P1,P2是一对儿同名点;S1,S2是相机镜头的中心位置;w是真实空间中的一个点。P1,S1确定了空间中一条直线,P2,S2确定了另一条直线,它们在空间中相交于W;

空间直线:相机拍摄图像后,相机CCD上的一个像点与相机镜头中心可以确定一条直线,像点与镜头中心这两点的坐标都在相机坐标系下,这两点组成的空间直线方程为:

其中,X,Y,Z为目标点的三维坐标,是未知数;

x,y,f为像点坐标,是已知量(通过分析图像得到);

Xs,Ys,Zs是镜头中心坐标,为已知量(在相机标定过程得到);

a

一张图像可以列一个直线方程,两张图像就可以列两个直线方程,共4个方程组,而式中的未知数只有三个(三维点坐标X,Y,Z),因此,可算出三个未知数。

对钢轨点云数据进行矩形拟合后,根据钢轨放置位置和矩形拟合数据找到钢轨的最小边界,并确定最小边界的中心点,最后根据预先设定的偏移量,确定钢轨的打标位置。

需要创建钢板工件坐标系,首先对钢轨点云数据进行矩形拟合后,确定拟合矩形的四个点顺序,根据四个点的顺序确定坐标系X、Y方向,以及根据右手螺旋法则确定Z方向,并建立钢板工件坐标系。

本发明的有益效果:

本发明在工作的时候,首先钢轨到达预定位置后,机器人触发三维传感器扫描钢轨,视觉扫描结束后,计算出打标位置,将定位出的坐标发送给机械手,机械手先进行擦拭,简单清除钢轨表面的赃物,再进行打标,打标完成后,机械手返回到上次的位置等待下一根钢轨到达预定位置继续扫描。本系统使用三维传感器的激光扫描机对钢轨进行扫描,两个相机分别从左右两个视角拍摄图像,然后通过三角测量原理图计算出钢轨的点云数据计算出打标位置,将定位出的坐标发送给机械手。本发明获取钢轨的三维数据,通过视觉三维传感器分析出钢轨打标位置,并引导机器人进行打标,提高了企业生产效率,降低了成本,增加了企业竞争力;本发明通过将机器人相关的操作集成到软件定位系统内,避免了复杂的操作过程,简化工件定位流程,为客户提供了易于操作的交互界面;本发明的三维传感器能实时显示扫描过程、扫描结果、钢筋打标位姿数据等,便于操作人员详细了解系统的实时运行状况,使操作人员能够掌握系统的工作状态,提高了系统的可维护性。

附图说明

图1为本发明的结构示意图。

图2为本发明的三维传感器的结构示意图。

图3为本发明的标定板的结构示意图。

图4为本发明的工作流程图。

图5为本发明采用的三角测量原理图。

具体实施方式

图中:1支架、2为钢轨输送架、3为三维传感器、4为机械人、5为机械手、6为夹爪、7为外壳、8为相机、9为激光扫描机、10为接口、11为标定板和12为编码点。

参考图1、图2、图3、图4和图5,本发明基于三维视觉引导的钢轨打标装置,包括工控机,其特征在于:还包括支架1、支架1下方设置的钢轨输送架2、以及设置在支架1上的三维传感器3,钢轨输送架2一侧设置有机械人3,机械人3上安装有机械手5,机械手5上安装有用于打标的夹爪6,三维传感器3与工控机相连接。三维传感器3包括通过转接板与支架1相连接的外壳7、固定安装在外壳7内的两个相机8、激光扫描机9和接口10,相机8和激光扫描机9通过接口10与工控机之间相连接,两个相机8对称的垂直设置的外壳7内的两侧,两个相机8的镜头朝下,外壳7的底板相对应的位置均开设有用于相机拍摄的孔和用于激光扫描机扫描的孔,激光扫描机9的激光头与相机镜头朝向保持一致。

工作原理:第一步:创建机械手工具坐标系,机械手工具坐标系的创建一方面是为了标定3和机械手5工具之间的关系,另一方面是为了打标工件时,机械手5的工具坐标系和定位工件在同一个坐标系,在工件上创建的工件坐标系需具有一致性,从而夹具6能以合适的姿态打标工件。机械手工具坐标系的创建通过操作机械手5使用XYZ六点法实现,要求创建的机械手工具坐标系原点O位于机械手夹爪6的中间位置,Z正方向为垂直机械手法兰盘且指向法兰盘中心的方向,同时需要创建的机械手工具坐标系平均精度不大于1mm,从而保证对钢板的定位打标精度。

第二步:三维传感器和机械手工具坐标系的标定,需要借助图3所述的标定板11,标定板11为黑色的,标定板11的作用是使得三维传感器3能唯一识别标定板11中每个编码点12的坐标,进而解算出三维传感器3的内外参数,并结合机械手的位姿解算出三维传感器3和机械手工具坐标系的标定关系,主要是将标定板11放在相机的下面,相机8识别标定板11上的每个编码点12的圆心坐标(相机坐标系下),然后让夹具6指到相应圆点的中心(机器人也会有个坐标系),然后建立机器人和相机坐标系的关系。编码点的编码使用原则采用四个基准点做为编码点的识别标志,三个类别点与中心编码点的角度信息做为编码点的唯一标识特征,进而实现编码点识别和解算的唯一性。

在三维传感器3和机械手工具坐标系的标定过程中需要记录多组机械手的位姿数据和三维传感器拍摄到的编码点数据,通过解算编码点坐标和获取的机械手位姿计算出三维传感器3和机械手工具坐标系之间的标定关系。三维传感器安装到机械手时的标定方法如下:

(6)控制机械手5从位置A运动到位置B,运动前后均对相机进行标定,求出其外参,从而得到Rc1,tc1。由控制器读出机械手的运动参数Rd1,td1。由此得到R、t的第一组约束;

(7)控制机械手5从位置B运动到位置C,重复上一步,从而得到Rc2,tc2,Rd2,td2。由此得到R、t的第二组约束;

(8)控制机械手5从位置C运动到位置N,重复(1)步骤,从而得到Rcn,tcn,Rdn,tdn。由此得到R、t的第n组约束;

(9)列方程求解R,并根据R求解出t;

(10)由式

其中:R

R

第三步:基于三维传感器3确定打标位置:机械手5触发三维传感器3拍照后,并通过三角测量原理获得钢轨点云数据,提取三维点云数据,在视觉系统内将钢轨以外的点云删除,对钢轨点云数据进行最小矩形拟合,并根据矩形4个角的位置确定位姿方向,最后根据钢轨短轴确定打标的位置。根据标定出的机械手工具坐标系和三维传感器的标定关系,将打标坐标转到机械手基坐标系下,从而实现钢轨打标位姿的生成。

第四步:钢轨打标位置的计算和工件坐标系的创建

钢轨打标位置的计算:对钢轨点云数据进行矩形拟合后,根据钢轨放置位置和矩形拟合数据找到钢轨的最小边界,并确定最小边界的中心点,最后根据预先设定的偏移量,确定钢轨的打标位置。

钢板工件坐标系的创建:对钢轨点云数据进行矩形拟合后,确定拟合矩形的四个点顺序,根据四个点的顺序确定坐标系X、Y方向,根据右手螺旋法则确定Z方向,并建立三维坐标系。

三角测量原理:图5中O1-xyz与O2-xyz分别是两相机空间坐标系;P1,P2是一对儿同名点;S1,S2是相机镜头的中心位置;w是真实空间中的一个点。P1,S1确定了空间中一条直线,P2,S2确定了另一条直线,它们在空间中相交于W。

空间直线:相机拍摄图像后,相机CCD上的一个像点与相机镜头中心可以确定一条直线,如图2。像点与镜头中心这两点的坐标都在相机坐标系下,这两点组成的空间直线方程为:

其中,X,Y,Z为目标点的三维坐标,是未知数;

x,y,f为像点坐标,是已知量(通过分析图像得到);

Xs,Ys,Zs是镜头中心坐标,为已知量(在相机标定过程得到);

a

一张图像可以列一个直线方程,两张图像就可以列两个直线方程,共4个方程组,而式中的未知数只有三个(三维点坐标X,Y,Z),因此,可算出三个未知数。

本发明的工作过程:三维传感器3安装于钢轨停止点的一侧上方,预先标定三维传感器3和机械手工具坐标关系,钢轨到达预定位置后,机器人触发三维传感器3的激光扫描机9扫描钢轨,同时位于激光扫描机9两侧的相机8分别从左右两个视角拍摄图像,视觉扫描结束后,扫描结束后三维传感器3通过三角测量原理计算钢轨每个点的三维空间坐标,获取到钢轨点云数据并存储钢轨原始图像数据,三维传感器3通过根据钢轨点云数据计算出钢轨打标点位姿。根据三维点云数据计算出打标位置,将定位出的坐标发送给机械手5,机械手5先进行擦拭,简单清除钢轨表面的赃物,再进行打标,打标完成后,机械手返回到上次的位置等待下一根钢轨到达预定位置继续扫描。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

技术分类

06120113814116