用于机器维护的夹持生成

技术领域

本公开一般涉及用于生成部件的机器人夹持的质量夹持数据的方法，并且更具体地，涉及用于机器维护应用的机器人夹持生成的方法，其中部件和夹具几何形状作为输入被提供，部件上优选和禁止夹持位置的用户定义是可用的，优化解算器用于计算部件和夹具之间的表面接触的质量夹持，并且随机初始化用于提供部件的数百种不同的夹持。

背景技术

使用工业机器人来执行各种各样的制造、装配和材料移动操作是众所周知的。一种这样的应用是拾取和放置操作，例如其中机器人从料箱拾取单独的部件并且将每个部件放置在规定的位置处以用于进一步处理或包装。拾取和放置操作的具体示例是机器维护应用，其中已经模制或机加工的部件落入料箱中，并且需要由机器人夹持并放置到机加工站中。机加工站可以是开放的或具有自动门的完全封闭的，并且机加工站通常必须以特定方式夹持部件，以便允许在部件上执行机加工操作(钻孔、铣削、螺纹攻丝等)。

在诸如上述的应用中，视觉系统(一个或多个相机)通常用于识别料箱中的各个部件的位置和定向。然后，识别将在选定部件上使用的特定机器人夹持，其中，夹持可以从预先计算的夹持的数据库中选择，所述夹持是已经针对特定部件几何形状和特定夹具几何形状而生成的。

由于机加工站的特定夹持要求，传统上相应的机器人夹持生成是手动完成的。在这种类型的手动教导中，使用生产机器人和机加工站，并且专业的操作者使用教导器或手引导来教导机器人以夹持部件。这必须进行多次，以便在料箱中在许多不同定向上限定用于部件的适当夹持。这种人工教导技术缓慢且效率低，并且成本也非常高，因为它需要完整的工作单元(具有机器人和机加工站)来进行教导，这又阻碍了工作单元用于实际的部件生产。

已知能够自动生成许多夹持候选的其它夹持生成技术。然而，这些技术具有不利方面，诸如计算极其昂贵且缓慢，或者进行简化，这导致低夹持质量的计算夹持。此外，现有技术没有自动化的方式来解决机器人必须夹持部件以使得部件能够被装载到机加工站中并由机加工站夹持的事实。

鉴于上述情况，需要一种机器人夹持生成技术，其无需人工教导而计算高质量夹持候选，是计算效率高的，并且提供稳定的夹持，所述夹持与维护机加工站的机器人的具体夹持和定向要求相兼容。

发明内容

根据本公开的教导，提出了一种用于机器维护应用的机器人夹持生成技术。部件和夹具几何形状通常从CAD文件作为输入提供。夹具运动学也被定义为输入。部件上的优选和禁止夹持位置也可被定义为输入，以确保所计算的夹持候选使机器人能够将部件装载到机加工站中，使得机加工站能够夹持部件上的特定位置。优化解算器用于计算在部件和夹具之间具有稳定表面接触的质量夹持，在夹具和部件之间没有干涉，并且允许被定义为输入的优选和禁止夹持位置。夹具指的所有表面都被考虑用于夹持和碰撞避免。使用具有随机初始化的循环来自动计算部件的数百个不同的夹持。

结合附图，根据以下描述和所附权利要求，本公开的方法的附加特征将变得显而易见。

附图说明

图1是机器人机器维护系统的图示，其中工业机器人从料箱拾取原始部件并且将原始部件放置在机加工站中以进行处理，然后在处理之后从机加工站移除成品部件；

图2是根据本公开的实施例的被包括在用于创建夹持数据库的夹持生成过程中的步骤的图示流程图，所述夹持数据库进而被用在图1的机器维护系统中；

图3是根据本公开的实施例的在图2的夹持生成过程中采用的表面拟合算法中使用的基本原理的图示；

图4是根据本公开的实施例的在图2的夹持生成过程中采用的夹持优化计算的图示，其包括表面拟合、碰撞避免以及部件上的优选和禁止夹持区域；以及

图5是根据本公开的实施例的由图1的机器维护系统使用的步骤的图示流程图，包括使用来自图4的夹持数据库来识别部件来自料箱的部件的目标夹持。

具体实施方式

以下对涉及用于机器维护应用的机器人夹持生成技术的本公开的实施例的讨论本质上仅是示例性的，并且决不旨在限制所公开的技术或其应用或使用。

使用工业机器人从源拾取部件并将它们放置在目的地是公知的。在典型的拾取和放置操作中，在料箱中提供一批部件，所述料箱例如是包含刚刚铸造或模制的部件的随机堆的料箱，其中部件需要从它们在料箱中的随机姿态拾取并且在目的地位置处以特定姿态放置。机器维护是具有独特要求的特定类型的机器人部件拾取和放置，如下所述。

图1是机器人机器维护系统的图示，其中工业机器人100从料箱110拾取原始部件并且将原始部件放置在机加工站130中以进行处理，然后在处理之后从机加工站130移除成品部件。机器人100将成品部件放置在传送带140上，在那里它们被运走以用于进一步的处理或包装。机器人100具有夹具120，其可设计成具有基于由机器人100正在处理的部件的形状而选择的指形状。夹具指形状将在下面进一步讨论。

机器人100的运动由控制器150控制，所述控制器通常经由电缆与机器人100通信。如本领域已知的，控制器150向机器人100提供关节运动命令，并且从机器人100的关节中的编码器接收关节位置数据。控制器150还提供命令以控制夹具120的操作(抓取/松开命令和宽度)。

计算机160与控制器150通信。计算机160包括处理器和存储器/存储装置，并且运行被配置成基于来自至少一个三维(3D)相机170的图像和数据来计算针对料箱110中的部件的高质量夹持的算法。3D相机170通常是提供彩色图像数据和像素深度图数据两者的3D相机，但是可以是某种其他类型的3D传感器，其提供适于确定料箱110中的部件的姿态(位置和定向)的数据。多于一个3D相机170可以用于提供更鲁棒的深度和图像数据，其有助于部件姿态确定，并且还允许非垂直的夹具接近角度。在一些应用中，料箱110可以仅包含一个部件，其可以处于任何位置和定向。如果部件由机加工站130以与它们到达料箱110中的速率相同的速率进行处理，则将是这种情况。或者，料箱110可以包括若干部件(如图1所示)，或者是一大堆部件。在任何情况下，根据来自相机170的图像数据确定最佳质量夹持候选。

计算机160将目标夹持数据提供给控制器150，其控制机器人100和夹具120从料箱110夹持部件。目标夹持数据包括夹持目标点(x/y/z坐标)、夹具120要遵循的接近角以及夹具旋转角度和宽度。使用夹持数据，控制器150能够计算机器人运动指令，该机器人运动指令使得夹具120夹持部件并将部件移动到机加工站130中。或者，3D相机170可以向控制器150提供图像，控制器将直接计算部件夹持。在任何情况下，预先执行夹持生成(提供许多不同的稳定夹持的数据库)；夹持生成是本公开的主题，并且在下面详细讨论。

控制器150还与机加工站130通信。机加工站130可以具有其自己的控制器，或者控制器150可以控制机加工站130的所有操作，包括门打开/关闭、部件夹持和松开、润滑剂流控制、机加工操作等。至少，控制器150与机加工站130充分通信以允许机器人100装载和卸载部件。也就是说，当机加工站130准备好装载新部件时，控制器150命令机器人从料箱110夹持部件，并以规定的定向将部件放置在机加工站130的夹持工具中。然后，机器人100从机加工站130撤回，并等待将在部件上完成的机加工操作。当机加工站130向控制器150发出成品部件准备好从机加工站130移除的信号时，机器人100到达机加工站130中并夹持部件(其处于已知姿态)，机加工站130松开部件，并且机器人100将部件移动到传送带140。传送带140仅是示例性的；机器人100可在从机加工站130移除之后将成品部件放置在另一料箱中、运输容器中或别处。在掉落成品部件之后，然后机器人100返回到料箱110以选择另一原始部件来装载到机加工站130中。基于由(一个或多个)3D相机170提供的新图像数据来确定下一个原始部件夹持。

教导机器人实时地识别和夹持装满部件的料箱中的单独部件一直是具有挑战性的。为了提高机器人部件拾取操作的速度和可靠性，已知对以各种姿态夹持特定部件的指定夹具的夹持进行预计算。这种夹持的预计算被称为夹持生成，然后在机器人部件拾取操作期间使用预计算(生成)的夹持来实时做出决定。

传统的夹持生成方法手动地教导关于对象上的已知3D特征的拾取点。这些方法需要花费在试探法设计上的大量时间以便识别最佳夹持姿态，并且这些手动设计的试探法可能不对未知对象或遮挡起作用。由于使用试探夹持教导的困难，基于学习的夹持检测方法由于其适应未知对象的能力而变得流行。

然而，现有的基于学习的夹持生成方法也具有缺点。一种已知的基于学习的技术使用数学上严格的夹持质量来在将夹持候选馈送到卷积神经网络(CNN)分类器之前搜索这些候选，但是在计算上是昂贵的，并且由于在优化中使用的简化，解在真实世界情形中可能不是最优的。另一种方法使用经验试验来收集产生实际夹持的数据，但是该方法通常需要数万个具有复杂的力控制的机器人学时，并且夹具的任何改变需要重复整个过程。通常，基于学习的夹持生成方法产生许多在真实世界条件下可能失败的夹持，并且基于学习的方法通常不能适应用户夹持区域偏好。

本公开描述了一种夹持生成技术，其能够自动地应用于夹具和部件设计的任何组合，以有效的优化计算产生大量真实的夹持，并且还能够模拟如在真实世界机器人部件拾取操作中经常遇到的从在料箱中的混杂在一起的部件堆夹持单个部件的物理动作。为了增加夹持的鲁棒性，使用数学上严格的夹持质量，并且接触被建模为多个表面。使用专门设计的优化例程来有效地求解计算。优化例程包括部件上的优选和禁止夹持位置的用户识别，以允许将部件传递到机加工站。质量夹持的数据库的预先生成使得计算机160(或控制器150)能够在实际机器人机器维护操作期间快速且高效地执行实时夹持计算。

图2是根据本公开的实施例的用于创建夹持数据库的夹持生成过程中所包括的步骤的图示流程图200，夹持数据库继而在图1的机器维护系统中使用。夹持生成过程的输入包括部件模型210和夹具模型220。部件模型210是将由(图1的)机器人100从料箱110拾取的部件的3D表面或实体模型。部件模型210通常在计算机辅助设计(CAD)系统中创建。图2中所示的部件模型210描绘了管阀，其在整个本公开中用作部件。

夹具模型220包括夹具指222的表面或实体形状数据。夹具模型220示出了双指平行夹具，然而，可以使用其它类型的夹具设计。夹具指222包括具有凹形形状的指尖224，该凹形形状被选择成与正在由机器人夹持的部件(管阀)相对应。也就是说，指尖224能够在管阀的许多不同部件上产生稳定的夹持，所述管阀的不同部件例如是手柄、联接本体、阀杆喉部等。基于被夹持的部件的形状，可以采用具有不同设计的指尖224的不同夹具。

夹具模型220还包括指夹持宽度，其为指222被夹具致动器226分开的距离。夹持宽度可由控制器150命令以在夹持部件之前增加并且减小以夹持部件。致动器226在机器人100的手腕上的安装定向是已知的，这意味着指222相对于致动器226的平移轴线是已知的，这继而使得指尖224在空间中的位置能够基于夹持宽度来计算。

将部件模型210和夹具模型220提供给夹持优化框230，其基于部件模型210和夹具模型220计算大量的多样的夹持。用户规范和偏好240也作为输入提供给夹持优化框230。在该方法的优选实施例中，用户规范和偏好240包括要计算的夹持数量(例如，诸如1000)，以及部件模型210上的可选的优选和禁止夹持区域。优选夹持区域指示部件的期望进行机器人夹持的某些部分，而禁止夹持区域指示部件的不允许进行机器人夹持的某些部分。优选和禁止夹持区域不需要都被使用。在一个示例中，仅限定禁止夹持区域，其中禁止夹持区域被限定为部件上的位置(诸如管阀的管联接接合部)，在其处部件被机加工站130夹持，因此不能被机器人100夹持。夹持优化框230计算大量的多样的夹持，其中每个夹持包括接近方向、目标夹持坐标以及夹具角度和宽度。下面讨论在夹持优化框230中执行的计算的细节。

夹持优化框230将其输出(大量质量夹持)提供给物理模拟框250，其是可选的。在物理模拟框250处，在物理模拟中评估由夹持优化框230提供的每个建议的夹持，所述物理模拟包括夹具以其特定姿态接近部件、闭合夹具、用夹具提升部件、以及移动部件。在框250处的物理模拟允许评估每个夹持对诸如夹具碰撞、未知摩擦值、姿态误差下的稳定性和具有夹具力极限的稳定性的变量的鲁棒性。例如，远离部件重心的夹持在部件被提升时在夹具处引起大的扭矩，这可能导致在夹具内的部件滑动；因此，可以向该夹持分配较低的夹持质量值。可选的物理模拟框250提供了提供对夹持质量的二次评估的方式，但不是在框230中执行的夹持优化过程本身的一部分。

夹持优化框230、用户规范和偏好240以及物理模拟框250一起构成根据本公开的夹持生成方法260。夹持生成方法260的输出是包括大量质量夹持的夹持数据库270，即数百或1000或更多。夹持数据库270中的每个夹持用于由部件模型210和夹具模型220定义的特定部件和夹具。夹持数据库270中的每个夹持包括夹持质量值，以及接近方向、目标夹持坐标、以及夹具角度和宽度。夹持数据库270中的夹持是多样的，包括部件上的许多不同夹持位置和许多不同夹具接近方向。

图3是根据本公开的实施例的在图2的框260中的夹持生成过程中采用的表面拟合算法中使用的基本原理的图示。框310中示出的是夹具部件320和322以及待夹持的对象330的初始配置。夹具部件320/322对应于图2的夹具模型220的指尖224，其又代表图1的夹具120。即，夹具部件320/322可以张开(分离)和闭合，并且整个夹具可以平移和旋转，以在优化计算期间实现最佳质量抓取。在框310所示的初始配置中，夹具部件320/322分开了距离d

定义固定坐标系340。坐标系340可以以任何适当的方式定义，例如，具有相对于料箱110的角定义的原点和定向的料箱坐标系。坐标系340可以被定义为固定在图1的机器人100和机加工站130的工作空间中的任何位置和定向。

使用任何合适的采样密度在夹持部件320/322的表面上定义一组点p

对于夹持部件320/322上的每个点p

框350中示出的是处于初始配置(由箭头360指示)、中间配置(由箭头370指示)和最终配置(由箭头380指示)的夹具部件320/322和对象330。在配置360/370/380中的夹具部件320/322的移动描绘了在找出质量夹持中迭代优化循环的行为。在初始配置360中，在夹持部分320/322和对象330之间没有夹持接触和干涉。因此，用于下一个中间配置370的夹持部件320/322的位置能够通过简单地将夹持部件320/322上的点p

从初始配置360到中间配置370，夹具部件320/322已经向下并稍微向右(经由t)平移，夹具宽度已经(经由q)从d

图4是根据本公开的实施例的在图2的夹持生成过程中的框230中执行的夹持优化计算的图示，其包括表面拟合、碰撞避免以及部件上的优选和禁止夹持区域。在框410处，限定夹具部件相对于对象的配置，限定夹具表面点p

框420包含如何识别夹具(“指”)表面Sf与对象表面So之间的碰撞的图示。点p

在框420中，示出了夹持部件422和对象424。如图所示，对象424当然可以具有任何一般形状。因为部件/对象和夹具由先前讨论的模型210和220定义，所以夹具(“指”)表面Sf和对象表面So上的每个点分别具有局部表面法向，如矢量426和428所示。局部表面法向矢量既用于碰撞避免计算(其中矢量用于计算夹具穿入指的量，反之亦然，其中该穿入或干涉在约束函数中受到惩罚)又用于夹持质量计算(即使在没有摩擦的情况下也存在法向力；切向力是摩擦系数的函数)。

在框430中，将夹持搜索问题建模为优化，并且计算一次迭代。为了计算稳定的夹持，建模中采用表面接触和严格的数学质量。如上所述，在优化中也惩罚了夹具-对象碰撞以避免穿入。对象上的优选和禁止夹持区域也被考虑，并且将在下面进一步讨论。在框430中示出的优化公式在下面被复制为方程(1a)-(1f)，并且在下面的段落中讨论。

||S

优化公式包括框432中的目标函数(方程1a)，其被定义为最大化夹持质量Q

方程(1a)-(1f)的优化公式包括框434中的许多约束函数。约束函数(方程1b)根据变换(R,t,q)定义夹具指表面S

框434中的约束函数(等式1b、1c和1d)共同导致夹具(指)表面S

框436中的约束函数(方程1e)规定变换的夹具指表面

上述方程(1b)-(1e)的约束函数(在图4的框434和436中)通过惩罚方法考虑，其中约束违反在夹持质量计算中被视为成本函数。即，约束违反越大，成本函数越大，并且夹持质量越小。通过将约束置于相对于夹持质量的成本中，框430中所示的优化公式能够通过最小二乘法求解。

在框430中对优化方程进行一步最小二乘线性代数计算，以识别在满足约束函数的同时使夹具指在提高的夹持质量的方向上移动的变换

在收敛到质量夹持之后，该过程再次以新的初始配置开始，并且这被重复直到达到用户定义的夹持数目(例如，1000)。对于每个新的夹持计算周期，夹具部件相对于对象的初始配置(在图3的框310和图4的框410中示出)随机地变化，使得获得夹持位置和夹持接近方向的多样的集合。即，对于管阀部件，计算(从许多不同的接近方向的)手柄上的许多夹持，联接体部上的许多夹持，阀喉部上的许多夹持等。这种夹持的多样性确保了无论各个部件处于什么姿态，都能够在料箱110中的部件上识别质量夹持。以这种方式计算的所有质量夹持被置于夹持数据库230中(图2)。

图5是根据本公开的实施例的由图1的机器维护系统使用的步骤的图示流程图，其包括使用夹持数据库来识别来自料箱的部件的目标夹持。框510包括图2的所示流程图中所示的夹持生成方法的步骤。这包括提供部件模型210和夹具模型220以及用户规范和偏好240作为框230中的夹持优化方法的输入。参考图4详细描述了夹持优化方法。在框250处的可选的物理模拟之后，质量夹持被输出到夹持数据库270。

在实际的机器人机器维护操作之前，在框510中的夹持数据库生成以“离线”模式执行。夹持数据库生成不需要机器人、视觉系统或机加工站，并且通常由除了机器人控制器之外的诸如图1的计算机160之类的计算机来完成。

框520包括在实际的“在线”机器人维护操作期间执行的步骤，如图1所示。框520的步骤可以在图1的控制器150上执行，或者在计算机160上执行。在框530处，由(一个或多个)3D相机170拍摄料箱110的图像。料箱110包含由部件模型210定义的一个或多个部件。来自框530的图像被提供给对象姿态估计框540，其中使用3D匹配技术来估计料箱110中的一个或多个部件的姿态。使用像素深度值来为位于图像中的每个部件定义点云，并且由点云定义的形状与作为图2中的输入提供的部件模型210的特定姿态匹配。例如，一个部件可以被放置为手柄的顶面向下面对箱体110的底部，其中联接体以特定角度定向，而若干其它部件可以以它们的侧面搁置在箱体110中，其中联接体各自以不同方向定向，等等。对于料箱110中的每个部件，框540处的姿态估计导致放置在特定位置和取向的部件模型210的副本。

(用于料箱110中的一个或多个部件的)对象姿态数据被提供给夹持映射和碰撞检测框550。如图所示，夹持数据库270也被提供给框550。夹持映射和碰撞检测框550基于对象姿态数据和夹持数据库270识别料箱110中的各个部件中的一个的目标夹持。该确定包括考虑夹具的进行无碰撞接近以夹持部件的能力。例如，具有一个或多个其它部件堆叠在其顶部或周围的部件将非常可能不可用来夹持。同样，位于紧靠料箱110侧面的部分可能难以夹持。对于“不受阻碍地”安置在料箱110中的部件，其直接将来自数据库270的高质量夹持映射到包含在对象姿态数据中的部件模型上。

可以为每个部件识别若干质量夹持，并且若干部件可以被包括在对象姿态数据中。因此，框550可以输出许多候选部件和夹持。来自框550的候选部件和夹持被提供给排名框560，在那里识别最佳质量夹持。排名框560可简单地选择具有最高质量值的夹持，或者也可考虑其它因素。最佳夹持或目标夹持在线570上输出，其中机器人控制器150使用最佳夹持或目标夹持来使机器人100夹持由目标夹持限定的部件。然后，如先前所讨论的，机器人100将部件装载到机加工站130中。因为夹持优化过程(图4)允许考虑部件上的优选和禁止夹持区域，所以机器人100能够确保夹持部件，使得部件能够被放置到机加工站130的夹持工具中。

图2-4中所示的夹持生成技术已在各种现实世界部件上演示以产生高质量夹持数据库，其包括部件上的各种夹持位置和夹持接近方向，同时满足由用户定义的优选和禁止夹持区域要求。计算的夹持数据库也已经被证明使用图5的框520的方法在图1所示类型的机器人夹持系统中能够实现快速和有效的夹持识别。

上述夹持生成技术提供了优于现有方法的若干优点。所公开的方法提供了具有表面接触的高质量、全DOF夹持；因此，所生成的夹持对于不确定性和干扰更鲁棒。夹持生成方法易于运行，并且在离线环境下自动运行，不需要机器人和视觉系统。另外，所公开的方法生成包括许多不同的夹持位置和接近方向的不同的夹持数据。最后，所公开的夹持产生方法允许在部件上限定优选和禁止夹持区域，这满足了其中部件必须从机器人移交到另一夹持工具(在机加工站中)的机器维护应用的要求。

在整个前述讨论中，描述并暗示了各种计算机和控制器。应当理解，这些计算机和控制器的软件应用和模块在具有处理器和存储器模块的一个或多个计算设备上执行。具体地，这包括机器人控制器150中的处理器，其控制执行对象夹持的机器人100，以及计算机160中的处理器，其执行夹持生成计算。如前所述，控制器150或计算机160可被配置为识别用于实时操作中的夹持的对象。

虽然上面已经讨论了用于机器维护的基于优化的夹持生成技术的多个示例性方面和实施例，但是本领域技术人员将认识到其修改、置换、添加和子组合。因此，所附权利要求和此后引入的权利要求旨在被解释为包括在它们的真实精神和范围内的所有这些修改、置换、添加和子组合。