一种机械手的标定方法、装置、计算机设备和存储介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种机械手的标定方法、一种机械手的标定装置、一种计算机设备和一种存储介质。

背景技术

现有的机械手带的视觉传感器一般可以分为2D视觉传感器和3D视觉传感器，其中2D视觉传感器一般是采用单个工业相机而3D视觉传感器根据重建方法一般有：基于双目视觉的立体视觉传感器、基于线激光的三维重建、以及基于结构光技术的3D面传感器。采用2D视觉传感器的机械手标定方法一般采用的是圆点标定板或者是棋盘格标定版去作标定。该标定方法虽然可以标定出相机坐标系与机械手末端工具坐标系中心点之间的位姿关系，但是由于2D传感器只能获取XOY平面的关系，无法对深度方向进行校准。因此，目前在实际工业应用中3D视觉传感器更为常见。目前采用3D视觉传感器的机械手的手眼标定方法也常使用圆点标定板或者是棋盘格标定板作为标定物进行标定，利用3D视觉传感器多次拍摄标定物，利用角点提取算法提取出相应的角点，之后在利用标定算法求解得到3D视觉传感器的坐标系与机械手末端工具坐标系中心点之间的位姿关系。在手眼标定中，不同角度、位置的拍照都会影响最终的标定结果的精度；另一方面目前常用的基于棋盘格或者是圆点的检测方法中角点检测算法的精度也会影响最后的标定精度。在高精度抓取任务，针对高精度的小景深的3D视觉传感器人工示教的方法很难调整到最佳成像面；同时人工示教也是一个耗时繁琐的工作。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种机械手的标定方法、一种机械手的标定装置、一种计算机设备和一种存储介质。

为了解决上述问题，本发明实施例公开了一种机械手的标定方法，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，包括：

当3D相机设置于机械手上时，确定若干个拍照点位于以标定装置为中心的最佳工作距离为半径的球体切面上；

或者，当3D相机设置于机械手以外且机械手与标定装置固定连接时，确定若干个拍照点位于以3D相机为中心的最佳工作距离为半径的球体切面上；

控制机械手移动至所述若干个拍照点，通过3D相机获取所述标定装置在相机坐标系下的点云，完成所述若干个拍照点的点云获取操作；

将所述若干个拍照点的点云进行配准，得到其他拍照点与第一拍照点的位姿关系、标定装置和机械手基底坐标系的位姿关系及机械手基底坐标系和相机坐标的位姿关系，完成手眼标定操作。

优选地，所述控制机械手移动至所述若干个拍照点，通过3D相机获取所述标定装置在相机坐标系下的点云，完成所述若干个拍照点的点云获取操作，包括：

控制机械手移动到标定装置正上方最佳高度，获取到第一拍照点在相机坐标系下的点云；

控制机械手下降至预设距离，调整RY角度，旋转RZ角度，从而获得其他拍照点的初始拍照位置。

优选地，所述控制机械手移动至所述若干个拍照点，通过3D相机获取所述标定装置在相机坐标系下的点云，完成所述若干个拍照点的点云获取操作，包括：

根据标定装置上的两条标线得到标定装置的中心，计算得到两条直线的交点与3D相机视野中心点的距离得到第一距离，沿着X轴负方向移动机械手距离为横向距离，沿着Y轴负方向移动机械手距离为纵向距离，得到其他拍照点位的最佳拍照位置。

优选地，所述标定装置的中央为固定的四棱柱，其中，所述四棱柱的棱柱的上下表面的四条边长短不相等。

优选地，所述将所述若干个拍照点的点云进行配准，得到其他拍照点与第一拍照点的位姿关系、标定装置和机械手基底坐标系的位姿关系及机械手基底坐标系和相机坐标的位姿关系，完成手眼标定操作，包括：

将所述若干个拍照点的点云进行配准，得到其他拍照点与第一拍照点的位姿关系、标定装置和机械手基底坐标系的位姿关系及机械手基底坐标系和相机坐标的位姿关系，基于Tsai的标定算法完成手眼标定操作。

本发明实施例公开了一种机械手的标定装置，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，包括：

第一确定模块，用于当3D相机设置于机械手上时，确定若干个拍照点位于以标定装置为中心的最佳工作距离为半径的球体切面上；

第二确定模块，用于当3D相机设置于机械手以外且机械手与标定装置固定连接时，确定若干个拍照点位于以3D相机为中心的最佳工作距离为半径的球体切面上；

控制模块，用于控制机械手移动至所述若干个拍照点，通过3D相机获取所述标定装置在相机坐标系下的点云，完成所述若干个拍照点的点云获取操作；

配准模块，用于将所述若干个拍照点的点云进行配准，得到其他拍照点与第一拍照点的位姿关系、标定装置和机械手基底坐标系的位姿关系及机械手基底坐标系和相机坐标的位姿关系，完成手眼标定操作。

优选地，所所述控制模块包括：

移动子模块，用于控制机械手移动到标定装置正上方最佳高度，获取到第一拍照点在相机坐标系下的点云；

下降子模块，用于控制机械手下降至预设距离，调整RY角度，旋转RZ角度，从而获得其他拍照点的初始拍照位置。

优选地，所述控制模块包括：

计算子模块，用于根据标定装置上的两条标线得到标定装置的中心，计算得到两条直线的交点与3D相机视野中心点的距离得到第一距离，沿着X轴负方向移动机械手距离为横向距离，沿着Y轴负方向移动机械手距离为纵向距离，得到其他拍照点位的最佳拍照位置。

本发明实施例公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的机械手的标定方法的步骤。

本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的机械手的标定方法的步骤。

本发明实施例包括以下优点：

本发明实施例中，该机械手的标定方法应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，包括：当3D相机设置于机械手上时，确定若干个拍照点位于以标定装置为中心的最佳工作距离为半径的球体切面上；或者，当3D相机设置于机械手以外且机械手与标定装置固定连接时，确定若干个拍照点位于以3D相机为中心的最佳工作距离为半径的球体切面上；控制机械手移动至所述若干个拍照点，通过3D相机获取所述标定装置在相机坐标系下的点云，完成所述若干个拍照点的点云获取操作；将所述若干个拍照点的点云进行配准，得到其他拍照点与第一拍照点的位姿关系、标定装置和机械手基底坐标系的位姿关系及机械手基底坐标系和相机坐标的位姿关系，完成手眼标定操作，提出了一种全自动的高精度的手眼标定方法，根据特殊标定装置利用走位算法进行全自动走位计算，特殊的标定装置，可以实现精确的标定走位与高精度的配准，不需要人工进行示教拍照，同时利用算法计算得到最佳拍照位置和提出的标定算法可以极大地提高手眼标定的精度，系统结构简单、全自动操作、定位精度高、速度快。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种机械手的标定方法实施例的步骤流程图；

图2是本发明实施例的一种标定系统的示意图；

图3是本发明实施例的另一种标定系统的示意图；

图4是本发明实施例的一种标定装置的示意图；

图5是本发明实施例的一种若干个拍照点的示意图；

图6是本发明实施例的另一种若干个拍照点的示意图；

图7是本发明实施例的一种点云获取操作步骤的流程图；

图8是本发明实施例的一种相机和标定装置空间位置示意图；

图9是本发明实施例的一种相机拍到的部分标定装置效果图；

图10是本发明实施例的一种机械手的标定装置实施例的结构框图；

图11是一个实施例的一种计算机设备的内部结构图。

具体实施方式

为了使本发明实施例所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明实施例进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，示出了本发明实施例的一种机械手的标定方法实施例的步骤流程图，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，具体可以包括如下步骤：

步骤S101，当3D相机设置于机械手上时，确定若干个拍照点位于以标定装置为中心的最佳工作距离为半径的球体切面上；

步骤S102，当3D相机设置于机械手以外且机械手与标定装置固定连接时，确定若干个拍照点位于以3D相机为中心的最佳工作距离为半径的球体切面上；

本发明实施例中，该机械手的标定方法可以应用于标定系统，该系统包括机械手、3D相机及标定装置、软件及控制系统等部分组成，当然，还可以包括其他的硬件或软件系统，如压力感应系统等，本发明实施例对此不作过多的限制。

在一种具体示例中，参照图2，示出了本发明实施例的一种标定系统的示意图，其中，3D相机设置于机械手上，参照图3，示出了本发明实施例的另一种标定系统的示意图，其中，3D相机设置于机械手以外且机械手与标定装置固定连接；

参照图4，示出了本发明实施例的一种标定装置的示意图，标定装置的中央为固定的四棱柱，其中，所述四棱柱的棱柱的上下表面的四条边长短不相等，可以降低配准误差，提高标定精度。

本发明实施例中，当3D相机设置于机械手上时，确定若干个拍照点位于以标定装置为中心的最佳工作距离为半径的球体切面上；另外，当3D相机设置于机械手以外且机械手与标定装置固定连接时，确定若干个拍照点位于以3D相机为中心的最佳工作距离为半径的球体切面上，因为在机械手的手眼标定中，不同位置的拍照位对最后的手眼标定精度起着关键性作用，当拍摄位置位于3D相机最佳工作距离所在的球面上时候，计算得到的手眼标定的结果精度最高，具体而言，如图5所示，是本发明实施例的一种若干个拍照点的示意图，其中，Pos1表示的是3D传感器垂直悬停在标定装置正上方；Pos2到Pos9是均匀分布在以标定装置为中心的最佳工作距离为半径的一个球体切面上，该切面与标定装置平行；3D相机中的相机光轴都是指向标定装置中心且与标定装置平面的夹角为60°。

如图6所示，是本发明实施例的另一种若干个拍照点的示意图，当3D相机设置于机械手以外且机械手与标定装置固定连接时，确定若干个拍照点位于以3D相机为中心的最佳工作距离为半径的球体切面上，具体而言，因为眼在手外的机械手系统的，3D相机是固定不变的，所以是通过移动搭载标定装置的机械手来进行拍照，Pos1也表示是3D相机悬停在标定装置正上方，Pos2到Pos9是均匀分布在以3D相机为中心的最佳工作距离为半径的一个球体切面上，该切面与3D相机平行；移动标定装置使得3D相机中的相机光轴都是指向标定装置中心，且与标定装置平面的夹角为60°。

步骤S103，控制机械手移动至所述若干个拍照点，通过3D相机获取所述标定装置在相机坐标系下的点云，完成所述若干个拍照点的点云获取操作；

本发明实施例中，参照图7，示出了本发明实施例的一种点云获取操作步骤的流程图，所述控制机械手移动至所述若干个拍照点，通过3D相机获取所述标定装置在相机坐标系下的点云，完成所述若干个拍照点的点云获取操作，包括以下子步骤：

子步骤S11，控制机械手移动到标定装置正上方最佳高度，获取到第一拍照点在相机坐标系下的点云；

子步骤S12，控制机械手下降至预设距离，调整RY角度，旋转RZ角度，从而获得其他拍照点的初始拍照位置；

子步骤S13，根据标定装置上的两条标线得到标定装置的中心，计算得到两条直线的交点与3D相机视野中心点的距离得到第一距离，沿着X轴负方向移动机械手距离为横向距离，沿着Y轴负方向移动机械手距离为纵向距离，得到其他拍照点位的最佳拍照位置。

具体而言，首先移动机械手到标定装置正上方最佳高度h，设置机械手的空间姿态值为

在拍照点1将机械手的z值从原来的最佳工作距离h下降为0.866h，采用RPY表示方法调整RY角度为

参照图8，示出了本发明实施例的一种相机和标定装置空间位置示意图，以及参照图9，示出了本发明实施例的一种相机拍到的部分标定装置效果图，利用3D相机进行拍照，采用本发明的实验装置可以获取得到图9所示的采集效果，由于相机视野内至少能拍摄两条线，采用霍夫直线检测算法就可以找到线特征，从而找到两条线的交点；根据上述最佳标定位置可知，两条线的交点必定在标定板的中心，可以在计算得到两条直线的交点与3D相机视野中心点的距离得到d，沿着X轴负方向移动机械手距离为

步骤S104，将所述若干个拍照点的点云进行配准，得到其他拍照点与第一拍照点的位姿关系、标定装置和机械手基底坐标系的位姿关系及机械手基底坐标系和相机坐标的位姿关系，完成手眼标定操作。

具体而言，首先通过霍夫直线检测算法计算得到四棱柱的八个角点，利用ICP算法计算得到与拍照点位的初始的配准矩阵，接着对所有四棱柱的点云利用TrimmedICP进行精配准得到每个拍照点i（即Pos2- Pos9）与拍照点1的位姿关系为

针对3D相机设置于机械手的标定而言，标定是即求相机与机械手末端工具中心点的位姿

公式 （1）

公式（2）/>

公式（3）

转化为：

同理，针对3D相机设置于机械手以外且机械手与标定装置固定连接的标定而言，标定是即求机械手基底坐标系到相机坐标的位姿

公式（5）

公式（6）

公式（7）

转化为：

最后利用基于Tsai的标定算法就可以精确的对机械手和相机进行手眼标定。

本发明实施例中，该机械手的标定方法应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，包括：当3D相机设置于机械手上时，确定若干个拍照点位于以标定装置为中心的最佳工作距离为半径的球体切面上；或者，当3D相机设置于机械手以外且机械手与标定装置固定连接时，确定若干个拍照点位于以3D相机为中心的最佳工作距离为半径的球体切面上；控制机械手移动至所述若干个拍照点，通过3D相机获取所述标定装置在相机坐标系下的点云，完成所述若干个拍照点的点云获取操作；将所述若干个拍照点的点云进行配准，得到其他拍照点与第一拍照点的位姿关系、标定装置和机械手基底坐标系的位姿关系及机械手基底坐标系和相机坐标的位姿关系，完成手眼标定操作，提出了一种全自动的高精度的手眼标定方法，根据特殊标定装置利用走位算法进行全自动走位计算，特殊的标定装置，可以实现精确的标定走位与高精度的配准，不需要人工进行示教拍照，同时利用算法计算得到最佳拍照位置和提出的标定算法可以极大地提高手眼标定的精度，系统结构简单、全自动操作、定位精度高、速度快。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图10，示出了本发明实施例的一种机械手的标定装置实施例的结构框图，应用于标定系统，所述标定系统包括机械手、3D相机及标定装置，具体可以包括如下模块：

第一确定模块301，用于当3D相机设置于机械手上时，确定若干个拍照点位于以标定装置为中心的最佳工作距离为半径的球体切面上；

第二确定模块302，用于当3D相机设置于机械手以外且机械手与标定装置固定连接时，确定若干个拍照点位于以3D相机为中心的最佳工作距离为半径的球体切面上；

控制模块303，用于控制机械手移动至所述若干个拍照点，通过3D相机获取所述标定装置在相机坐标系下的点云，完成所述若干个拍照点的点云获取操作；

配准模块304，用于将所述若干个拍照点的点云进行配准，得到其他拍照点与第一拍照点的位姿关系、标定装置和机械手基底坐标系的位姿关系及机械手基底坐标系和相机坐标的位姿关系，完成手眼标定操作。

优选地，所述控制模块包括：

移动子模块，用于控制机械手移动到标定装置正上方最佳高度，获取到第一拍照点在相机坐标系下的点云；

下降子模块，用于控制机械手下降至预设距离，调整RY角度，旋转RZ角度，从而获得其他拍照点的初始拍照位置。

优选地，所述控制模块包括：

计算子模块，用于根据标定装置上的两条标线得到标定装置的中心，计算得到两条直线的交点与3D相机视野中心点的距离得到第一距离，沿着X轴负方向移动机械手距离为横向距离，沿着Y轴负方向移动机械手距离为纵向距离，得到其他拍照点位的最佳拍照位置。

优选地，所述标定装置的中央为固定的四棱柱，其中，所述四棱柱的棱柱的上下表面的四条边长短不相等。

优选地，所述配准模块包括：

配准子模块，用于将所述若干个拍照点的点云进行配准，得到其他拍照点与第一拍照点的位姿关系、标定装置和机械手基底坐标系的位姿关系及机械手基底坐标系和相机坐标的位姿关系，基于Tsai的标定算法完成手眼标定操作。

上述机械手的标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

上述提供的机械手的标定装置可用于执行上述任意实施例提供的机械手的标定方法，具备相应的功能和有益效果。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机械手的标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现图1、图7的实施例的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下图1、图7的实施例的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种机械手的标定方法、一种机械手的标定装置、一种计算机设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。