坐标转换方法、系统及电子设备
文献发布时间:2024-04-18 19:58:26
技术领域
本发明涉及工业生产标定领域,尤其是涉及一种坐标转换方法、系统及电子设备。
背景技术
在工业流水线生产中,缺陷检测为重要环节,通过相关检测设备判断待测件中是否存在缺陷,并将具有缺陷的待测件进行筛选,以保证产品的品质。在缺陷检测中会涉及多个检测环节,以车辆内饰板材的缺陷检测为例,待测件为车辆内饰板,板子在流水线的作用下运动至拍摄区域后利用相应的相机进行拍照得到数字图像,进而通过图像识别相关算法对其中包含的缺陷进行检测,检测到的缺陷可利用机械手对其进行喷涂标记,从而便于检测人员进行查看。可见,上述过程中涉及机械手、相机等多种设备,需要使用与之对应的多个坐标系,如机械手坐标系、图像坐标系以及待测物坐标系等。由于设备众多,各自对应着自身的坐标系,需要较为复杂的坐标对应关系才能将待测物的数据进行描述,才能得到数字图像中的缺陷位置与待测物的实际缺陷位置相对应。
现有技术中在对数字图像位置与实际缺陷位置的对应过程中,主要通过数字图像的横纵向方向的单像素精度来实现,利用像素数与单像素精度的关系计算出缺陷在待测物中的实际位置。但这种方法局限性较多,只能适用于静止环境,也只能使用横纵方向精度一致的面阵相机,并不能在设置有线阵相机的流水线中进行使用,存在着通用性较差的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种坐标转换方法、系统及电子设备,利用机械手坐标系作为中间介质,通过获取图像坐标系与机械手坐标系之间的转换关系,并获取机械手坐标系与待测物坐标系之间的转换关系,从而完成图像坐标系与待测物坐标系的转换,最终得到待测物在数字图像中的缺陷位置与其自身坐标系下的缺陷位置的转换关系。该方案可适用于拍摄幅面大的线阵相机,并可实现对流水线中运动的待测物进行坐标转换,提高了通用性。
第一方面,本发明实施方式提供了一种坐标转换方法;方法应用于搭载机械手的流水线中;其中,流水线包含:传送带、拍摄模组、原点传感器以及喷墨机械手;传送带中设置有拍照区域和喷码区域;拍摄模组位于拍照区域,拍摄模组至少包括:第一线扫相机和第二线扫相机,第一线扫相机和第二线扫相机对称设置在传送带两侧;原点传感器以及喷墨机械手位于喷码区域;
该方法包括:
当检测到待测物放置在传送带后,利用原点传感器控制传送带将待测物传送至喷码区域;其中,待测物中设置有基准点;原点传感器用于初始化待测物对应的待测物坐标系;
控制喷墨机械手按照预设的喷涂方案将多个墨点喷涂至待测物的预设位置中,并获取墨点在喷墨机械手对应的机械手坐标系下的第一位置坐标;
控制传送带将已完成喷涂的待测物传送至拍照区域后,启动第一线扫相机和第二线扫相机对待测物进行拍摄,分别获取第一线扫相机拍摄的第一图片以及第二线扫相机拍摄的第二图片;
建立第一图片和第二图片对应的图像坐标系,根据图像坐标系确定第一图片以及第二图片中墨点对应的第二位置坐标,并利用第一位置坐标和第二位置坐标确定坐标变换矩阵;其中,坐标变换矩阵用于将图像坐标系转换为机械手坐标系;
建立待测物对应的待测物坐标系,分别获取待测物的基准点在待测物坐标系下对应的第三位置坐标以及在机械手坐标系下的第四位置坐标,并利用第三位置坐标和第四位置坐标确定坐标平移矩阵;其中,坐标平移矩阵用于将机械手坐标系转换为待测物坐标系;
根据坐标变换矩阵以及坐标平移矩阵,确定待测物对应的坐标转换结果
在一种实施方式中,控制喷墨机械手按照预设的喷涂方案将多个墨点喷涂至待测物的预设位置中,并获取墨点在喷墨机械手对应的机械手坐标系下的第一位置坐标的步骤,包括:
获取喷涂方案;其中,喷涂方案中至少包括:墨点的数量、墨点的大小数据、墨点的位置数据、墨点的喷涂时刻数据;
利用喷涂方案控制喷墨机械手将墨点喷涂至待测物的预设位置;其中,预设位置中的墨点沿待测物的中心轴对称分布;待测物的中心轴与传送带的传送方向相互平行;
建立喷墨机械手对应的机械手坐标系后,获取墨点在机械手坐标系下对应的第一位置坐标。
在一种实施方式中,控制传送带将已完成喷涂的待测物传送至拍照区域后,启动第一线扫相机和第二线扫相机对待测物进行拍摄,分别获取第一线扫相机拍摄的第一图片以及第二线扫相机拍摄的第二图片的步骤,包括:
将已完成喷涂的待测物放置在传送带中,并控制传送带将待测物传送至拍照区域;
当待测物传送至第一线扫相机和第二线扫相机的拍摄区域时,控制第一线扫相机和第二线扫相机对待测物进行拍摄,分别得到第一线扫相机拍摄的第一图片以及第二线扫相机拍摄的第二图片;其中,第一线扫相机和第二线扫相机距离传送带的高度相同;第一线扫相机与第二线扫相机沿传送带的中心轴对称分布,传送带的中心轴与传送带的传送方向相互平行。
在一种实施方式中,建立第一图片和第二图片对应的图像坐标系,根据图像坐标系确定第一图片以及第二图片中墨点对应的第二位置坐标,并利用第一位置坐标和第二位置坐标确定坐标变换矩阵的步骤,包括:
获取第一图片以及第二图片中的拟合圆,并利用拟合圆获取第一图片以及第二图片中包含的墨点;其中,墨点为圆形墨点;
利用第一图片和第二图片中预设的顶点位置分别建立第一图片和第二图片对应的图像坐标系,并确定第一图片以及第二图片中墨点对应的第二位置坐标;
根据第一位置坐标和第二位置坐标计算图像坐标系转换为机械手坐标系的仿射变换矩阵,并将仿射变换矩阵确定为坐标变换矩阵。
在一种实施方式中,建立待测物对应的待测物坐标系,分别获取待测物的基准点在待测物坐标系下对应的第三位置坐标以及在机械手坐标系下的第四位置坐标,并利用第三位置坐标和第四位置坐标确定坐标平移矩阵的步骤,包括:
利用预设的坐标系单位建立待测物对应的待测物坐标系,并将机械手坐标系按照坐标系单位进行平移;
获取待测物中基准点在待测物坐标系下对应的第三位置坐标;
获取待测物中基准点在已完成缩放的机械手坐标系下对应的第四位置坐标;
根据第三位置坐标和第四位置坐标中基准点的位置关系确定坐标平移矩阵。
在一种实施方式中,根据坐标变换矩阵以及坐标平移矩阵,确定待测物对应的坐标转换结果的步骤,包括:
获取待测物在图像坐标系下的初始位置坐标;
利用坐标变换矩阵对初始位置坐标进行旋转变换,得到待测物在机械手坐标系下的位置旋转坐标;
利用坐标平移矩阵对位置旋转坐标进行平移变换,得到待测物在待测物坐标系下的位置平移坐标;
将位置平移坐标确定为初始位置坐标对应的坐标转换结果。
在一种实施方式中,将位置平移坐标确定为初始位置坐标对应的坐标转换结果的步骤,包括:
获取拍照区域与喷码区域之间的机械偏差值;
根据位置平移坐标与机械偏差值的相加结果,确定初始位置坐标对应的坐标转换结果。
在一种实施方式中,当检测到待测物放置在传送带后,利用原点传感器控制传送带将待测物传送至喷码区域,包括:
将待测物放置在传送带,并向传送带发送传送指令;
当检测到待测物放置在传送带后,控制传送带执行传送指令,并实时获取原点传感器的工作参数;
在利用原点传感器的工作参数确定待测物到达喷码区域后,控制传送带停止传送。
本发明实施方式提供的一种坐标转换方法、系统及电子设备,应用于搭载机械手的流水线中;该流水线包含:传送带、拍摄模组、原点传感器以及喷墨机械手;传送带中设置有拍照区域和喷码区域;拍摄模组位于拍照区域,拍摄模组至少包括:第一线扫相机和第二线扫相机,第一线扫相机和第二线扫相机对称设置在传送带两侧;原点传感器以及喷墨机械手位于喷码区域。在进行坐标转换的过程中,当检测到待测物放置在传送带后,利用原点传感器控制传送带将待测物传送至喷码区域;待测物中设置有基准点;原点传感器用于初始化待测物对应的待测物坐标系。然后控制喷墨机械手按照预设的喷涂方案将多个墨点喷涂至待测物的预设位置中,并获取墨点在喷墨机械手对应的机械手坐标系下的第一位置坐标。随后控制传送带将已完成喷涂的待测物传送至拍照区域后,启动第一线扫相机和第二线扫相机对待测物进行拍摄,分别获取第一线扫相机拍摄的第一图片以及第二线扫相机拍摄的第二图片。通过建立第一图片和第二图片对应的图像坐标系,根据图像坐标系确定第一图片以及第二图片中墨点对应的第二位置坐标,并利用第一位置坐标和第二位置坐标确定坐标变换矩阵,该坐标变换矩阵用于将图像坐标系转换为机械手坐标系。然后建立待测物对应的待测物坐标系,分别获取待测物的基准点在待测物坐标系下对应的第三位置坐标以及在机械手坐标系下的第四位置坐标,并利用第三位置坐标和第四位置坐标确定坐标平移矩阵,该坐标平移矩阵用于将机械手坐标系转换为待测物坐标系。最后根据坐标变换矩阵以及坐标平移矩阵,确定待测物对应的坐标转换结果。该方案利用机械手坐标系作为中间介质,通过获取图像坐标系与机械手坐标系之间的转换关系,并获取机械手坐标系与待测物坐标系之间的转换关系,从而完成图像坐标系与待测物坐标系的转换,最终得到待测物在数字图像中的缺陷位置与其自身坐标系下的缺陷位置的转换关系。该方案可适用于拍摄幅面大的线阵相机,并可实现对流水线中运动的待测物进行坐标转换,提高了通用性。
本发明的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义的确定,或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施方式,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种搭载机械手的流水线的结构示意图;
图2为本发明实施例提供的一种坐标转换方法的流程图;
图3为本发明实施例提供的一种坐标转换方法中步骤S202的流程图;
图4为本发明实施例提供的一种坐标转换方法中步骤S203的流程图;
图5为本发明实施例提供的一种坐标转换方法中步骤S204的流程图;
图6为本发明实施例提供的一种坐标转换方法中步骤S205的流程图;
图7为本发明实施例提供的一种坐标转换方法中步骤S206的流程图;
图8为本发明实施例提供的一种坐标转换方法中步骤S704的流程图;
图9为本发明实施例提供的一种坐标转换方法中步骤S201的流程图;
图10为本发明实施例提供的一种坐标转换方法中喷完墨点的待测板的示意图;
图11为本发明实施例提供的一种坐标转换方法中坐标系的转换示意图;
图12为本发明实施例提供的一种坐标转换系统的结构示意图;
图13为本发明实施例提供的一种电子设备的结构示意图。
图标:
1210-第一控制单元;1220-第二控制单元;1230-第三控制单元;1240-坐标变换矩阵确定单元;1250-坐标平移矩阵确定单元;1260-坐标转换执行单元;
101-处理器;102-存储器;103-总线;104-通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在工业流水线生产中,缺陷检测为重要环节,通过相关检测设备判断待测件中是否存在缺陷,并将具有缺陷的待测件进行筛选,以保证产品的品质。在缺陷检测中会涉及多个检测环节,以车辆内饰板材的缺陷检测为例,待测件为车辆内饰板,板子在流水线的作用下运动至拍摄区域后利用相应的相机进行拍照得到数字图像,进而通过图像识别相关算法对其中包含的缺陷进行检测,检测到的缺陷可利用机械手对其进行喷涂标记,从而便于检测人员进行查看。可见,上述过程中涉及机械手、相机等多种设备,需要使用与之对应的多个坐标系,如机械手坐标系、图像坐标系以及待测物坐标系等。由于设备众多,各自对应着自身的坐标系,需要较为复杂的坐标对应关系才能将待测物的数据进行描述,才能得到数字图像中的缺陷位置与待测物的实际缺陷位置相对应。
现有技术中在对数字图像位置与实际缺陷位置的对应过程中,主要通过数字图像的横纵向方向的单像素精度来实现,利用像素数与单像素精度的关系计算出缺陷在待测物中的实际位置。实际场景中所用的相机是线扫相机,靠编码器在传送带上旋转而发出的采集脉冲,可能会发生传送带不平,使编码器采集信号抖动,造成图像部分拉伸或者压缩。而在喷码过程中,板子与传送带发生相对滑动,就会造成运动方向精度偏差,从而影响坐标转换精度。可见,现有对数字图像位置与实际缺陷位置的对应过程中的局限性较多,只能适用于静止环境,也只能使用横纵方向精度一致的面阵相机,并不能在设置有线阵相机的流水线中进行使用,存在着通用性较差的技术问题。基于此,本发明实施例提供了坐标转换方法、系统及电子设备,利用机械手坐标系作为中间介质,通过获取图像坐标系与机械手坐标系之间的转换关系,并获取机械手坐标系与待测物坐标系之间的转换关系,从而完成图像坐标系与待测物坐标系的转换,最终得到待测物在数字图像中的缺陷位置与其自身坐标系下的缺陷位置的转换关系。该方案可适用于拍摄幅面大的线阵相机,并可实现对流水线中运动的待测物进行坐标转换,提高了通用性。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种坐标转换方法进行详细介绍,该方法应用于搭载机械手的流水线中;具体的如图1所示,其中,流水线包含:传送带、拍摄模组、原点传感器以及喷墨机械手;传送带中设置有拍照区域和喷码区域;拍摄模组位于拍照区域,拍摄模组至少包括:第一线扫相机和第二线扫相机,第一线扫相机和第二线扫相机对称设置在传送带两侧;原点传感器以及喷墨机械手位于喷码区域。
在上述流水线的基础上,该坐标转换方法如图2所示,包括;
步骤S201,当检测到待测物放置在传送带后,利用原点传感器控制传送带将待测物传送至喷码区域;其中,待测物中设置有基准点;原点传感器用于初始化待测物对应的待测物坐标系。
传送带中的拍照区域和喷码区域设置在不同位置,在传送带的带动下待测物可首先传送至喷码区域,然后传送至拍照区域。实际场景中的传送带会出现待测物先经过拍照区域然后再传送至喷码区域的情况,此时可通过手动方式首先将待测物放置在喷码区前方的传送带,待喷墨完成后再手动将待测物放置在拍照区域中。
传送带中可设置相应的传感器来检测待测物是否放置其中,当检测到待测物放置在传送带后,在传送带的作用下使得待测物最终进入喷码区域。进入喷码区域的过程也通过原点传感器来控制,原点传感器可设置在喷码区域的边缘,当待测物触发到原点传感器后即可控制待测物进入到喷码区域的预设位置。具体的说,待测物进入喷墨机械手的喷墨范围内进行喷墨。喷墨的过程中传送带是一直运行的,机械手是追击喷墨的。当待测物触发了原点传感器后,说明待测物就进入了机械手的运动范围,随着待测物向前走,机械手就在待测物上喷墨。
步骤S202,控制喷墨机械手按照预设的喷涂方案将多个墨点喷涂至待测物的预设位置中,并获取墨点在喷墨机械手对应的机械手坐标系下的第一位置坐标。
待测物进入到喷码区域后,控制喷墨机械手按照喷涂方案将墨点喷涂在待测物中。喷涂方案中的墨点一般按照规则排列,以一个墨点阵列的方式喷涂在待测物中。待测物中承载墨点的预设位置一般为光滑的平面,使得墨点能够均匀喷涂在待测物的表面。
原点传感器的位置可作为机械坐标系的原点,通过该原点并结合喷码区域的形状建立机械手坐标系。该机械手坐标系为二维平面坐标系,其平面与传送带平面相平行。机械坐标系建立后,即可根据墨点的位置获取对应的坐标值,进而确定墨点的第一位置坐标。
步骤S203,控制传送带将已完成喷涂的待测物传送至拍照区域后,启动第一线扫相机和第二线扫相机对待测物进行拍摄,分别获取第一线扫相机拍摄的第一图片以及第二线扫相机拍摄的第二图片。
待测物喷涂完毕后,控制传送带将待测物传送至拍照区域,传送带中可设置相应的传感器来检测待测物是否进入拍照区域,从而启动第一线扫相机和第二线扫相机对待测物进行拍摄。由于该拍摄模组中设置有两个线扫相机,且这两个相机对称设置在传送带的两侧,因此第一图片和第二图片中的墨点在一定条件下可对称分布。
步骤S204,建立第一图片和第二图片对应的图像坐标系,根据图像坐标系确定第一图片以及第二图片中墨点对应的第二位置坐标,并利用第一位置坐标和第二位置坐标确定坐标变换矩阵;其中,坐标变换矩阵用于将图像坐标系转换为机械手坐标系。
第一图片和第二图片获取后,可选取图片中的一角建立相应的图像坐标系,从而获取第一图片以及第二图片中墨点对应的坐标,并将其作为第二位置坐标。具体的说,选取图片的左上角建立图像坐标系,将左上角作为原点,向右为X的正方向,向下为Y的正方向。第一位置坐标是在机械手坐标系下的坐标值,第二位置坐标是在图像坐标系下的坐标值,因此可对二者进行仿射变换从而得到表示二者关系的坐标变换矩阵。
步骤S205,利用原点传感器建立待测物对应的待测物坐标系,分别获取待测物的基准点在待测物坐标系下对应的第三位置坐标以及在机械手坐标系下的第四位置坐标,并利用第三位置坐标和第四位置坐标确定坐标平移矩阵;其中,坐标平移矩阵用于将机械手坐标系转换为待测物坐标系。
由于待测物中设置有基准点,因此可通过该基准点建立待测物对应的待测物坐标系,进而根据基准点在待测物坐标系以及机械手坐标系下的坐标值,即:第三位置坐标和第四位置坐标,得到二者的变换关系。一般来说待测物坐标系与机械手坐标系的单位是一致的,通常都为毫米,因此二者之间只涉及平移、旋转、翻转等平移关系。实际场景中,机械手坐标系与待测物坐标系的正方向是相同的,因此根据第三位置坐标和第四位置坐标之间的平移关系,即可确定二者之间的坐标平移矩阵。
步骤S206,根据坐标变换矩阵以及坐标平移矩阵,确定待测物对应的坐标转换结果。
从输入输出的角度看,输入的是图像坐标系,输出的是待测物坐标系,机械手坐标系作为中间介质。图像坐标系根据坐标变换矩阵得到机械手坐标系,机械手坐标系根据坐标平移矩阵得到最终的待测物坐标系。待测物在图像坐标系下的坐标值根据上述转换,最终得到其在自身的坐标系下的坐标转换结果。
在一些实施方式中,控制喷墨机械手按照预设的喷涂方案将多个墨点喷涂至待测物的预设位置中,并获取墨点在喷墨机械手对应的机械手坐标系下的第一位置坐标的步骤S202,如图3所示,包括:
步骤S301,获取喷涂方案;其中,喷涂方案中至少包括:墨点的数量、墨点的大小数据、墨点的位置数据、墨点的喷涂时刻数据;
步骤S302,利用喷涂方案控制喷墨机械手将墨点喷涂至待测物的预设位置;其中,预设位置中的墨点沿待测物的中心轴对称分布;待测物的中心轴与传送带的传送方向相互平行;
步骤S303,建立喷墨机械手对应的机械手坐标系后,获取墨点在机械手坐标系下对应的第一位置坐标。
喷涂方案中的墨点一般按照规则排列,以一个墨点阵列的方式喷涂在待测物中,同时需要墨点按照传送带的对称轴均匀分布在待测物的两侧。第一线扫相机和第二线扫相机对待测物进行拍摄后,所生成的第一图片和第二图片中的墨点数量和排列方式同时是对称的。因此,喷涂方案中需要设置相应的墨点数量,并控制墨点的大小及喷涂位置,同时还要控制墨点的喷涂时刻。具体的说,喷码机可以设置喷点或者喷图形。设置成点,在设置喷墨时间,喷的时间越短,喷的点越小。喷涂方案确定后利用喷墨机械手将墨点喷涂在待测物中,使得待测物中的墨点沿待测物的中心轴对称分布,后续拍摄时才能第一图片和第二图片中的墨点相互对称。
当墨点喷涂完毕后,通过建立的机械手坐标系获取这些墨点在机械手坐标系下的第一位置坐标。
在一些实施方式中,控制传送带将已完成喷涂的待测物传送至拍照区域后,启动第一线扫相机和第二线扫相机对待测物进行拍摄,分别获取第一线扫相机拍摄的第一图片以及第二线扫相机拍摄的第二图片的步骤S203,如图4所示,包括:
步骤S401,将已完成喷涂的待测物放置在传送带中,并控制传送带将待测物传送至拍照区域;
步骤S402,当待测物传送至第一线扫相机和第二线扫相机的拍摄区域时,控制第一线扫相机和第二线扫相机对待测物进行拍摄,分别得到第一线扫相机拍摄的第一图片以及第二线扫相机拍摄的第二图片;其中,第一线扫相机和第二线扫相机距离传送带的高度相同;第一线扫相机与第二线扫相机沿传送带的中心轴对称分布,传送带的中心轴与传送带的传送方向相互平行。
待测物喷涂完毕后,利用传送带将待测物传送至拍照区域。传送带中可设置相应的传感器来检测待测物是否进入拍照区域,进而控制第一线扫相机和第二线扫相机对待测物进行拍摄。该实施方式中的第一线扫相机和第二线扫相机距离传送带的高度相同,第一线扫相机与第二线扫相机沿传送带的中心轴对称分布,传送带的中心轴与传送带的传送方向相互平行,这样即可保证第一图片中的墨点与第二图片中的墨点相互对称。
在一些实施方式中,建立第一图片和第二图片对应的图像坐标系,根据图像坐标系确定第一图片以及第二图片中墨点对应的第二位置坐标,并利用第一位置坐标和第二位置坐标确定坐标变换矩阵的步骤S204,如图5所示,包括:
步骤S501,获取第一图片以及第二图片的拟合圆,并利用拟合圆获取第一图片以及第二图片中包含的墨点;其中,墨点为圆形墨点;
步骤S502,利用第一图片和第二图片中预设的顶点位置分别建立第一图片和第二图片对应的图像坐标系,并确定第一图片以及第二图片中墨点对应的第二位置坐标;
步骤S503,根据第一位置坐标和第二位置坐标计算图像坐标系转换为机械手坐标系的仿射变换矩阵,并将仿射变换矩阵确定为坐标变换矩阵。
第一图片和第二图片获取后,可利用二者图片中的任意一角建立相应的图像坐标系,从而获取第一图片以及第二图片中墨点对应的坐标。值得一提的是,拟合圆获取过程可通过相关圆变换算法实现,由于墨点并非无缺陷正圆形,因此需要对圆变换的结果进行拟合,从而得到正圆形的拟合圆。拟合圆获取后可通过数字图像处理的圆变换算法得到圆心坐标,从而将该圆心坐标确定为墨点的位置坐标,从而确定第二位置坐标。
由于第一位置坐标是在机械手坐标系下的坐标值,第二位置坐标是在图像坐标系下的坐标值,可利用仿射变换相关算法计算得到二者的仿射变换矩阵,从而得到图像坐标系与机械手坐标系之间的仿射变换关系。
在一些实施方式中,建立待测物对应的待测物坐标系,分别获取待测物的基准点在待测物坐标系下对应的第三位置坐标以及在机械手坐标系下的第四位置坐标,并利用第三位置坐标和第四位置坐标确定坐标平移矩阵的步骤S205,如图6所示,包括:
步骤S601,利用预设的坐标系单位建立待测物对应的待测物坐标系,并将机械手坐标系按照坐标系单位进行平移;
步骤S602,获取待测物中基准点在待测物坐标系下对应的第三位置坐标;
步骤S603,获取待测物中基准点在已完成缩放的机械手坐标系下对应的第四位置坐标;
步骤S604,根据第三位置坐标和第四位置坐标中基准点的位置关系确定坐标平移矩阵。
实际场景中,待测物对应的待测物坐标系按照预设坐标系单位进行建立,可将坐标系单位设置为毫米。而机械手坐标系按照毫米进行平移操作,使得机械手坐标系与待测物坐标系的单位相同。
待测物坐标系在建立的过程中可利用设置在左上角的基准点来实现,即左上角位置为原点;而机械手坐标系的原点通常设置在中央区域,因此可利用基准点在待测物坐标系以及机械手坐标系的位置关系,确定相应的平移量。由于待测物坐标系和机械手坐标系已完成缩放,因此可通过待测物中基准点在待测物坐标系下对应的第三位置坐标,以及待测物中基准点在已完成缩放的机械手坐标系下对应的第四位置坐标,确定基准点对应的坐标平移矩阵。
在一些实施方式中,根据坐标变换矩阵以及坐标平移矩阵,确定待测物对应的坐标转换结果的步骤S206,如图7所示,包括:
步骤S701,获取待测物在图像坐标系下的初始位置坐标;
步骤S702,利用坐标变换矩阵对初始位置坐标进行旋转变换,得到待测物在机械手坐标系下的位置旋转坐标;
步骤S703,利用坐标平移矩阵对位置旋转坐标进行平移变换,得到待测物在待测物坐标系下的位置平移坐标;
步骤S704,将位置平移坐标确定为初始位置坐标对应的坐标转换结果。
具体实施过程中,待测物在图像坐标系下的初始位置坐标作为输入值,首先利用坐标变换矩阵对初始位置坐标进行旋转变换,得到待测物在机械手坐标系下的位置旋转坐标;然后利用坐标平移矩阵对位置旋转坐标进行平移变换,得到待测物在待测物坐标系下的位置平移坐标,最后将位置平移坐标确定为初始位置坐标对应的坐标转换结果,从而实现了完整的坐标转换过程。
在一些实施方式中,将位置平移坐标确定为初始位置坐标对应的坐标转换结果的步骤S704,如图8所示,包括:
步骤S801,获取拍照区域与喷码区域之间的机械偏差值;
步骤S802,根据位置平移坐标与机械偏差值的相加结果,确定初始位置坐标对应的坐标转换结果。
实际场景中,拍照区域与喷码区域之间并不平整,在水平方向上存在偏差,因此首先获取拍照区域与喷码区域之间的机械偏差值,然后将该机械偏差值与位置平移坐标进行相加,得到最终的坐标转换结果。具体的说,机械偏差获取过程中,从最开始的喷墨的时候待测物流动到机械手下面停止,然后喷墨。待测物停的位置是不能人为干预的,因此需要确定待测物与机械手的相对关系。而待测物在传送带上停的位置可能会靠前,也可能会靠后,导致标定出来的变换关系就在运动方向上产生一定的偏差。因此需要将位置平移坐标和机械偏差值进行相加从而弥补这个偏差。通俗的说,如果没加机械偏差值的话,在生产喷墨的时候喷墨的位置会差这一点距离。而在待测物上测量下这个距离,并加在经过前边一系列转换的喷墨位置上,这个位置就是待测物实际要喷的位置。
在一些实施方式中,当检测到待测物放置在传送带后,利用原点传感器控制传送带将待测物传送至喷码区域的步骤S201,如图9包括:
步骤S901,将待测物放置在传送带,并向传送带发送传送指令;
步骤S902,当检测到待测物放置在传送带后,控制传送带执行传送指令,并实时获取原点传感器的工作参数;
步骤S903,在利用原点传感器的工作参数确定待测物到达喷码区域后,控制传送带停止传送。
具体实施过程中,可将原点传感器设置为触发设备,原点传感器可设置为具有检测功能的相关传感器,当原点传感器检测到待测物到达喷码区域后,可控制待测物进入到喷码区域的预设位置,并控制传送带停止传送。
触发设备可通过相关编码器发出的采集脉冲来实现,编码器架可设在传送带末端,编码器滚轮压在传送带上,传送带在末端在滚轴上,并加设弹簧增加编码器滚轮下压的力,保证不会发生滑动。而在相机端对相机触发信号进行过滤,仅采集编码器正方向运动的信号。由于传送带停止,抖动,或者反转引起的反向编码器信号均会记录下来,等传送带正常运行时,先把这些反向脉冲抵消了,在开始采集图像。
传送带可使用更大纹理的材质,增大摩擦力,板子面积比较大,也有一定的重量,从而减少发生相对滑动的概率。
在一个具体实施场景中,待测物为车辆内饰板,首先在传送带上放置一张板子,并控制传送带将板子流动至喷码区域后停止传送带。然后控制喷码区域分别在板子的预设区域中喷18个点。这18个点可在第一线扫相机和第二线扫相机的拍照下,分别将不同的9个点成像在第一图片和第二图片中,具体如图10所示。
原点传感器的位置可作为机械坐标系的原点,通过该原点并结合喷码区域的形状建立机械手坐标系,机械坐标系建立后,即可根据墨点的位置获取对应的坐标值,进而确定墨点的第一位置坐标。
完墨点的板子重新在传送带中运行,在传送带的带动下到达拍照区域,使用设置在左右两侧的第一线扫相机和第二线扫相机拍摄得到两张图片,记为第一图片和第二图片,第一图片和第二图片获取后,可选取图片中的一角建立相应的图像坐标系,从而获取第一图片以及第二图片中墨点对应的坐标,并将其作为第二位置坐标。通过相关图像处理后计算得到每张图中每个墨点的中心位置坐标,一共18个坐标。
分别对第一图片和第二图片进行处理,可首先选取第一图片中的墨点对应的第一位置坐标和第二位置坐标,使用仿射变换矩阵的计算方法得到二者的仿射变换矩阵,并确定其对应的坐标变换矩阵;同理,第二图片也按照上述过程来获取其对应的坐标变换矩阵,不再赘述。
由于板子是在运动中使用喷墨机械手进行追击喷墨标记,喷墨机械手前有个原点传感器,板子的运动方向的左上角被原点传感器检测到后,将此位置设置为机械手的原点。机械手坐标系原点在机械手垂直下时的在运动范围的中心位置,而板子原点坐标在板子的左上角位置,这就需要把机械手的运动坐标系平移变换到板子的坐标系。机械手与板子的坐标系单位都是毫米作为单位,所以二者之间的关系只涉及到了平移、旋转或者翻转。机械手的坐标系与板子的坐标系正方向一致,因此仅涉及到平移过程。通过待测物的基准点在待测物坐标系下对应的第三位置坐标以及在机械手坐标系下的第四位置坐标,并利用第三位置坐标和第四位置坐标确定坐标平移矩阵。
坐标变换矩阵以及坐标平移矩阵确定后,将二者进行串联,从而实现了将图像坐标系下的板子坐标转化为板子坐标系下的坐标,具体如图11所示。
从上述实施例中提到的坐标转换方法可知,该方法可利用机械手坐标系作为中间介质,通过获取图像坐标系与机械手坐标系之间的转换关系,并获取机械手坐标系与待测物坐标系之间的转换关系,从而完成图像坐标系与待测物坐标系的转换,最终得到待测物在数字图像中的缺陷位置与其自身坐标系下的缺陷位置的转换关系。该方法可适用于拍摄幅面大的线阵相机,并可实现对流水线中运动的待测物进行坐标转换,提高了通用性。
对应于上述方法实施例,本发明实施例提供了一种坐标转换系统,该应用于搭载机械手的流水线中;其中,流水线包含:传送带、拍摄模组、原点传感器以及喷墨机械手;传送带中设置有拍照区域和喷码区域;拍摄模组位于拍照区域,拍摄模组至少包括:第一线扫相机和第二线扫相机,第一线扫相机和第二线扫相机对称设置在传送带两侧;原点传感器以及喷墨机械手位于喷码区域;
如图12所示,该坐标转换系统包括:
第一控制单元1210,用于当检测到待测物放置在传送带后,利用原点传感器控制传送带将待测物传送至喷码区域;其中,待测物中设置有基准点;原点传感器用于初始化待测物对应的待测物坐标系;
第二控制单元1220,用于控制喷墨机械手按照预设的喷涂方案将多个墨点喷涂至待测物的预设位置中,并获取墨点在喷墨机械手对应的机械手坐标系下的第一位置坐标;
第三控制单元1230,用于控制传送带将已完成喷涂的待测物传送至拍照区域后,启动第一线扫相机和第二线扫相机对待测物进行拍摄,分别获取第一线扫相机拍摄的第一图片以及第二线扫相机拍摄的第二图片;
坐标变换矩阵确定单元1240,用于建立第一图片和第二图片对应的图像坐标系,根据图像坐标系确定第一图片以及第二图片中墨点对应的第二位置坐标,并利用第一位置坐标和第二位置坐标确定坐标变换矩阵;其中,坐标变换矩阵用于将图像坐标系转换为机械手坐标系;
坐标平移矩阵确定单元1250,用于建立待测物对应的待测物坐标系,分别获取待测物的基准点在待测物坐标系下对应的第三位置坐标以及在机械手坐标系下的第四位置坐标,并利用第三位置坐标和第四位置坐标确定坐标平移矩阵;其中,坐标平移矩阵用于将机械手坐标系转换为待测物坐标系;
坐标转换执行单元1260,用于根据坐标变换矩阵以及坐标平移矩阵,确定待测物对应的坐标转换结果。
在一些实施方式中,第二控制单元1220,还用于:获取喷涂方案;其中,喷涂方案中至少包括:墨点的数量、墨点的大小数据、墨点的位置数据、墨点的喷涂时刻数据;利用喷涂方案控制喷墨机械手将墨点喷涂至待测物的预设位置;其中,预设位置中的墨点沿待测物的中心轴对称分布;待测物的中心轴与传送带的传送方向相互平行;建立喷墨机械手对应的机械手坐标系后,获取墨点在机械手坐标系下对应的第一位置坐标。
在一些实施方式中,第三控制单元1230还用于:将已完成喷涂的待测物放置在传送带中,并控制传送带将待测物传送至拍照区域;当待测物传送至第一线扫相机和第二线扫相机的拍摄区域时,控制第一线扫相机和第二线扫相机对待测物进行拍摄,分别得到第一线扫相机拍摄的第一图片以及第二线扫相机拍摄的第二图片;其中,第一线扫相机和第二线扫相机距离传送带的高度相同;第一线扫相机与第二线扫相机沿传送带的中心轴对称分布,传送带的中心轴与传送带的传送方向相互平行。
在一些实施方式中,坐标变换矩阵确定单元1240还用于:获取第一图片以及第二图片中的拟合圆,并利用所述拟合圆获取第一图片以及第二图片中包含的墨点;其中,墨点为圆形墨点;利用第一图片和第二图片中预设的顶点位置分别建立第一图片和第二图片对应的图像坐标系,并确定第一图片以及第二图片中墨点对应的第二位置坐标;根据第一位置坐标和第二位置坐标计算图像坐标系转换为机械手坐标系的仿射变换矩阵,并将仿射变换矩阵确定为坐标变换矩阵。
在一些实施方式中,坐标平移矩阵确定单元1250还用于:利用预设的坐标系单位建立待测物对应的待测物坐标系,并将机械手坐标系按照坐标系单位进行平移;获取待测物中基准点在待测物坐标系下对应的第三位置坐标;获取待测物中基准点在已完成缩放的机械手坐标系下对应的第四位置坐标;根据第三位置坐标和第四位置坐标中基准点的位置关系确定坐标平移矩阵。
在一些实施方式中,坐标转换执行单元1260还用于:获取待测物在图像坐标系下的初始位置坐标;利用坐标变换矩阵对初始位置坐标进行旋转变换,得到待测物在机械手坐标系下的位置旋转坐标;利用坐标平移矩阵对位置旋转坐标进行平移变换,得到待测物在待测物坐标系下的位置平移坐标;将位置平移坐标确定为初始位置坐标对应的坐标转换结果。
在一些实施方式中,坐标转换执行单元1260在将位置平移坐标确定为初始位置坐标对应的坐标转换结果的过程中,还用于:获取拍照区域与喷码区域之间的机械偏差值;根据位置平移坐标与机械偏差值的相加结果,确定初始位置坐标对应的坐标转换结果。
在一些实施方式中,第一控制单元1210还用于:将待测物放置在传送带,并向传送带发送传送指令;当检测到待测物放置在传送带后,控制传送带执行传送指令,并实时获取原点传感器的工作参数;在利用原点传感器的工作参数确定待测物到达喷码区域后,控制传送带停止传送。
通过上述实施例中提到的坐标转换系统可知,该系统可利用机械手坐标系作为中间介质,通过获取图像坐标系与机械手坐标系之间的转换关系,并获取机械手坐标系与待测物坐标系之间的转换关系,从而完成图像坐标系与待测物坐标系的转换,最终得到待测物在数字图像中的缺陷位置与其自身坐标系下的缺陷位置的转换关系。该系统可适用于拍摄幅面大的线阵相机,并可实现对流水线中运动的待测物进行坐标转换,提高了通用性。
本实施例提供的坐标转换系统,与上述实施例提供的坐标转换方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。为简要描述,实施例部分未提及之处,可参考前述坐标转换方法实施例中相应内容。
本实施例还提供一种电子设备,该电子设备的结构示意图如图13所示,该设备包括处理器101和存储器102;其中,存储器102用于存储一条或多条计算机指令,一条或多条计算机指令被处理器执行,以实现上述坐标转换方法的步骤。
图13所示的电子设备还包括总线103和通信接口104,处理器101、通信接口104和存储器102通过总线103连接。
其中,存储器102可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。总线103可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
通信接口104用于通过网络接口与至少一个用户终端及其它网络单元连接,将封装好的IPv4报文或IPv4报文通过网络接口发送至用户终端。
处理器101可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DigitalSignal Processor,简称DSP)、专用集成电路(Application Specific IntegratedCircuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微控制器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102,处理器101读取存储器102中的信息,结合其硬件完成前述实施例的方法的步骤。
本发明实施例还提供了一种可读存储介质,该可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行前述实施例的坐标转换方法的步骤。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、设备和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,设备或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以用软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
- 一种地面坐标与PTZ摄像机的坐标转换方法及系统
- 一种地面坐标与PTZ摄像机的画面坐标转换方法、系统以及装置
- 大范围实景三维投影坐标到球型坐标系统转换方法及系统
- 大范围实景三维投影坐标到球型坐标系统转换方法及系统