用于创建机器人控制程序的方法和设备

技术领域

本发明涉及用于创建用于操作机床的机器人控制程序的方法和设备。具体地，本发明涉及一种根据权利要求1的用于创建机器人控制程序的方法和一种根据权利要求11的用于创建用于操作机床的机器人控制程序的设备。

背景技术

机床用于使用工具来制造工件并对工件进行机加工。此处例如将片材金属加工机、特别是弯曲机或压平机比如压弯机或激光切割机视为机床。

越来越多地由机器人将工件插入到机床中或从机床移除。因此，机器人控制编程的步骤、即创建用于控制机器人的运动的程序必须额外地并入到机床的设置过程中。

通常使用操作操纵台或便携式控制操纵台对机器人进行编程。在此情况下，操作者通常位于机器人的危险区域中并因此只能以徐行速度移动。在某些情况下，还会通过手动追踪来“示教”机器人，但是在这种情况下，操作者会站立在机器人旁边，因而此处也会产生危险。此外，编程非常耗时。

本发明的目的是避免现有技术的缺点并且为机床提供改进的机器人控制编程。替代性目的是提供用于创建机器人控制程序的改进的方法或用于创建机器人控制程序的改进的设备。

发明内容

该目的通过根据权利要求1的方法或根据权利要求11的设备来实现。

根据本发明的用于创建用于操作机床、特别是弯曲机的机器人控制程序的方法包括以下步骤：

-借助于至少一个光学传感器产生在机床上对工件进行机加工操作的图像材料；

-从图像材料提取(extract)工件的至少一部分和/或操作者的处理工件的手的至少一部分；

-根据所提取的图像材料中产生工件的至少一部分和/或操作者的手的至少一部分的轨迹和/或运动点的序列；以及

-通过对轨迹和/或运动点的序列进行反向变换来创建机器人控制程序。

相比于已知系统，本文中的机器人参照或响应操作者的运动或工件在空间中的位置。操作者可以使样本零件弯曲，并且操作者的运动或正被弯曲的零件在空间中的位置变化被转换成机器人的运动。机器人不一定必须在那里。操作者不必指定机器人如何移动其轴；这可以由机器人控制器计算。在此情况下，工件或手的能够与机器人的工具中心点的轨迹相对应的轨迹转换成机器人的运动序列。工具中心点是机器人的用于抓握器的附接点并且可以看作是操作者的手腕的对应物。

根据本发明的用于创建机器人控制程序的方法提出，摄像机系统可以记录操作者的运动或工件的运动，并且操作者的运动或工件的运动借助于计算机系统转换成机器人的直接运动。为此，可以将操作者的手臂划分成多个子部分，这些子部分与机器人的关节相对应或相关联，并且手可以理解为抓握器。然后，手或手臂的子部分的每个运动均以相同的速度在线实施，使得操作者可以从安全栅栏后方或从安全距离处示教机器人。

类似地，操作者也可以经由视频传送来对机器人进行编程。这允许操作者在使零件弯曲的同时被摄像机观察。此后，该记录或图像材料转换成机器人的运动，这样就产生了类似的情况，就好像熟练的操作者正在向同事展示手的运动一样。

根据本发明的用于创建机器人控制程序的方法具有相当简化的优点和加快对机器人的编程的优点。机器人控制程序可以在无需任何机器人控制器知识的情况下创建；熟练工向学徒展示一次如何通过弯曲零部件来使片材弯曲，并且学徒或机器人是首次学习这种动作。

在提取期间可以确定工件的空间位置、至少工件的抓握区域的空间位置、和/或手的空间位置。代替相对参照、例如代替相对于弯曲工具的相对参照地，可以确定笛卡尔坐标中的整体参照，整体参照可以是更易于处理和变换的。

轨迹和/或运动点的序列也可以位于机器坐标中，并且在反向变换之前可以变换成机器人坐标。因此，可以在机器的环境下测量和校准图像记录环境、摄像机等。代替机器坐标，还可以使用其他坐标系统例如摄像机。

操作者的手指位置可以被检测到并且用于控制机器人的抓握工具。可以识别手势，机器人也可以借助于此而采用特殊功能。例如，可以将检测到的“手放在…上”手势转变为“抓握器放在…上”命令。

还可以将图像材料划分成其中手与工件接触的处理环节和其中手不与工件接触的机加工环节，并且可以在这些环节之间进行过渡时机器人的抓握工具被相应地控制。因此，还可以借助于简单的图像识别来得出抓握器的打开状态。

为了提取，可以使用机加工计划、特别是弯曲计划和/或工件的3D对象进行图像比较。因此，待被机加工的零件的弯曲顺序可以被预先创建并存储在控制器中。例如，可以根据机加工计划采用弯曲角度量、弯曲力和弯曲步骤的顺序。该信息既可以用于机器人控制器又可以用于图像处理。

也可以在机加工步骤完成之后、特别是在弯曲操作完成之后相应地更新3D对象的形状。然后，工件在机加工步骤之后的修改形状通过来自弯曲计划中的新3D对象进行更新。更新的形状可以用于图像识别，并且也可以用于机器人控制器。

轨迹和/或运动点的序列可以被保存，并且所保存的轨迹和/或运动点的序列可以被传送到至少一个机器人控制器，以创建机器人控制程序。这允许对一个或更多个机器人、甚至那些来自不同制造商的机器人进行离线编程。

还可以借助于摄像机产生图像材料，并且还可以基于至少两个光学特征来确定工件的空间位置，光学特征例如为边缘、拐角、表面及其组合。借助于两个光学特征可以清楚且准确地确定工件的空间位置。

可以借助于两个摄像机产生图像材料，并且还可以基于至少一个光学特征来确定工件的空间位置，光学特征例如为边缘、拐角或表面。可以使用两个摄像机来采集和评估立体的或3D的图像，使得一个光学特征足够用来确定工件的空间位置。

根据本发明的用于创建用于操作机床、特别是弯曲机的机器人控制程序的设备包括：

-机床，该机床构造成用于对工件进行机加工；

-至少一个光学传感器，所述至少一个光学传感器构造成用于产生在机床上对工件进行机加工操作的图像材料；

-至少一个计算单元，所述至少一个计算单元配置成用于从图像材料中提取工件的至少一部分和/或操作者的操作该工件的手的至少一部分，以用于根据所提取的图像材料产生轨迹和/或运动点的序列并且通过对轨迹和/或运动点的序列的反向变换来创建机器人控制程序。

该设备构造成执行上面描述的方法。与上文所描述相同的优点和修改同样适用。

计算单元可以连接至机床并且光学传感器构造成用于从图像材料提取工件的至少一部分和/或操作者的操作该工件的手的至少一部分、并且用于根据所提取的图像材料产生轨迹和/或运动点的序列并且机器人控制器配置成通过对轨迹和/或运动点的序列进行反向变换来创建机器人控制程序。以此方式，可以基于工件的至少一部分和/或操作者的手的至少一部分的运动而有效地利用资源来对机器人进行编程。

计算单元可以配置成用于将图像材料划分成其中手与工件接触的处理环节和其中手不与工件接触的机加工环节，并且在这些环节之间进行过渡时机器人的抓握工具被相应地控制。因此，还可以借助于简单的图像识别来得出抓握器的打开状态。

为了提取，计算单元还可以配置成使用加工计划、特别是弯曲计划和/或工件的3D对象进行图像比较。因此，可以预先创建待被机加工的零件的弯曲顺序并将其存储在控制器中。例如，可以根据机加工计划采用弯曲角度量、弯曲力和弯曲步骤的顺序。该信息既可以用于机器人控制器又可以用于图像处理。

计算单元可以配置成用于在加工步骤完成之后、特别是在弯曲操作完成之后相应地更新3D对象的形状。然后，工件在机加工步骤之后的修改形状通过来自弯曲计划中的新3D对象进行更新。更新的形状可以用于图像识别，并且也可以用于机器人控制器。

该设备还可以包括构造成用于产生图像材料的摄像机，并且计算单元配置成用于基于至少两个光学特征确定工件的空间位置，光学特征例如为边缘、拐角、表面及其组合。借助于两个光学特征可以清楚且准确地确定工件的空间位置。

本发明的其他优选实施方式由从属权利要求中提到的其余特征得出。

除非在个别情况下另有说明，否则本申请中提到的本发明的各种实施方式可以有利地彼此组合。

附图说明

下面参照相应的附图在示例性实施方式中对本发明进行说明。附图中示出了以下内容：

图1是用于创建用于操作机床的机器人控制程序的设备的示意性表示。

图2是示出了工件在插入到机床中时的图像材料的示意性表示。

图3是示出了工件在机床中被机加工期间的图像材料的示意性表示。

图4是示出了将工件从机床移除期间的图像材料的示意性表示。

图5示出了用于创建机器人控制程序的方法的流程图。

具体实施方式

图1示出了用于创建用于操作机床110的机器人控制程序的设备100的示意性表示。机床110例如是片材金属加工机、特别是弯曲机或压弯机。

机床110以非常简化的截面图示出。机床110包括上部工具112和下部工具114。工件116比如薄片材被机床110弯曲。操作者118将工件116插入于机床110中，然后工件116在该机床110中于上部工具112与下部工具114之间弯曲。如果工件116被弯曲多次，则工件116被操作者118从机床110移除并再次插入直到弯曲操作完成为止。

该加工操作或弯曲操作通过光学传感器采集，此处光学传感器呈摄像机120的形式。激光扫描仪也可以用作光学传感器。也可以使用多个光学传感器来产生三维数据。

摄像机120产生工件116和/或操作者118的至少手的图像材料。在此情况下，视频流或甚至单个图像可以由摄像机120产生。图像材料被传送至计算单元130，计算单元130可以被设计为独立的单元或者计算单元130可以是机床110的部件。

图像材料在计算单元130中借助于图像处理而被进一步处理，该图像处理可以在硬件和/或软件中执行。在此情况下，产生了单个坐标或坐标的轨迹。参照以下附图更详细地描述这种产生过程。

如果坐标或轨迹存在于机床110的坐标系中，则将该坐标或轨迹变换成机器人系统140的坐标系，由此将创建机器人控制程序以用于操作机床。

因此，坐标或轨迹被传送至机器人系统140的计算单元142。计算单元142借助于坐标的反向变换或轨迹的反向变换来创建机器人控制程序。借助于该机器人控制程序，然后工业机器人144被控制，该工业机器人144处理工件146在机床14中的加工。在此情况下，工件146对应于工件116。机床148可以对应于机床110。也可以使用另一种类型的机床。

在反向变换或逆向运动学期间，运动学链的最后链节即抓握器被移动并被带到期望位置。机器人的臂元件作为链的其余链节则必须根据臂元件的关节的自由度来采取适当的位置。抓握器或工具中心点(TCP)的这种运动、即坐标或轨迹通过产生并处理图像材料而被创建。然后，根据这些笛卡尔坐标，例如可以通过应用变换矩阵而在反向变换期间计算出机器人的各个关节的关节角度。然后，根据这些关节角度的序列来创建机器人控制程序。

以此方式，可以在无需了解机器人144的编程语言的情况下通过拍摄和对操作者118进行评估而对工业机器人144进行编程。此外，离线编程是可能的，在离线编程期间，用于记录操作者118的运动或工件116和机器人系统140的运动的设备100在空间上彼此远离。暂时来说，可以通过缓存数据来提供在设备100中记录和处理数据与在机器人系统140中创建机器人控制程序之间的时间间隔。

图2示出了由摄像机120取得的图像材料的示意性表示。图像材料可以是作为单个图像的照片表示。图像材料也可以是影片或视频流的一部分。

图2中所示的图像材料在插入到机床中、即插入到上部工具112与下部工具114之间时形成工件200。在工件200插入到机床中期间，操作者118的手202于边缘200a处保持工件200。

该边缘200a例如可以用作用于产生轨迹或运动点的序列的参照边缘。工件200的其他特征也可以用于参照工件200在空间中或相对于上部工具112或下部工具114的位置。例如，可以使用边缘200a的两个端点或工件200的整个外轮廓。参照特征借助于算法比如图像处理算法通过图像材料而被追踪，使得可以追踪空间变化并且可以确定变化的坐标，此处参照特征呈参照边缘200a的形式。

出于说明的目的，图2至图4各自示出了与工件的坐标或工件的一部分的坐标有关的坐标系。由摄像机记录的图像材料中不存在坐标系。

同样，操作者的手202可以用作产生轨迹或运动点的序列的参照。

操作者的手202的各个手指也可以被检测并且用作用以控制机器人的抓握器的输入。这可以包括简单的命令比如抓握器打开或关闭，还可以包括更复杂的抓握器动作，其中，单个抓握器手指可以根据操作者的手指而被控制。

为了在产生图像材料期间改进光学识别，可以对工件200和/或手202进行颜色编码。为此，工件200可以相应地被喷涂，并且操作者可以使用着色不同的手套。也可以在工件200上和/或手套上设置光学图案，这些光学图案允许在图像材料中精确地追踪相应的对象。为了在手与工件之间进行区分，例如可以使用特殊的传感器或摄像机比如热成像仪。

图3示出了在弯曲操作期间的工件300，在弯曲操作中，工件300被夹持在上部工具112与下部工具114之间。因此，使用者的手不在工件300上并因此不在图像材料中，如图3中所示。

以此方式，图像材料可以划分成其中手与工件接触的处理环节(图2)和其中手不与工件接触的机加工环节(图3)。该划分可以通过图像识别或图像处理来进行。因此，在这些环节之间进行过渡时机器人的抓握工具可以被相应地控制。虽然抓握器在图2的环节中应当是闭合的(该部分包括此处未示出的另外的图像)，但是该抓握器在图3的环节中是打开的(该部分也包括此处未示出的其他图像)。

图2至图4仅示出了一系列图像中的或连续的图像序列中的快照或个别表示。图像被评估为每种单独的表示，比如，在该示例中是确定了参照边缘300a并且对操作者的手的存在进行检测的表示。参照特征比如边缘300a或者用户的手的坐标和/或状态(手的存在、打开等)被逐帧采集。因此，可以产生坐标的序列或者轨迹，机器人的工具中心点或抓握器沿着坐标的序列或者轨迹移动。

在图3中，工件300的边缘300a已经通过弯曲操作而稍微向上移动。在图像材料的后续图像(此处未示出)中，工件300的边缘300a将继续移动，直到在弯曲步骤完成之后达到如图4中所示的工件的轮廓为止。

由于在弯曲过程期间机器人不必抓握工件300，因此在弯曲操作期间不必进行图像采集和/或图像处理。

当如图4中所示的那样进行移除时，则必定再次需要与手202的运动类似的机器人的交互，并且因此还需要图像采集和图像处理。

图4示出了具有完成第一弯曲操作之后的工件400的图像材料的表示。由此，工件400的轮廓与图2中的工件200的未完成状态相比发生了改变。可以根据弯曲计划而向图像处理以及向机器人控制器提供修改后的3D轮廓，以改善图像处理的精度、比方说例如改善对工件或工件的参照特征的提取或者以便于检查运行程序。

如图4中所示，操作者的手202保持边缘400b，因为在此示例中，先前的参照边缘400a将在下一弯曲步骤中弯曲并且因此必须被插入于上部工具112与下部工具114之间。

因此，边缘400b例如可以成为新的参照边缘。就参照边缘而言替代性地且附加地，可以使用手202或手202的一部分比如手指或标记(此外位于手套上的标记)作为工具中心点或抓握器的坐标的参照。

在图4的表示之后且在此不再示出的图像材料中，重复下述操作直到机加工或弯曲已经完全完成为止：将工件插入(类似于图2)、对工件进行机加工(类似于图3)以及将工件移除(类似于图4)。

图5示出了用于创建机器人控制程序的方法的流程图。

在第一步骤500中，借助于至少一个光学传感器，产生了在机床上对工件进行机加工操作的图像材料。

在第二步骤中，检查是否应当制造另外的图像材料、例如检查是否应当因为工件的机加工尚未完成而制造另外的图像材料。如果是这种情况，则该方法跳回至步骤500，使得继续产生图像材料并且可选地还对图像材料进行记录。

另一方面，如果图像材料的产生已完成，则该方法跳至步骤520。从步骤520开始处理和使用图像材料。可以在图像材料完全地存在时处理、比如以后处理的方式来处理和使用图像材料，或者可以在创建期间实时地或准实时地处理和使用图像材料。

在步骤520中，从图像材料中提取出工件的至少一部分、例如参照边缘和/或操作者的处理工件的手的至少一部分。在这种情况下，可以使用相应的匹配或比较算法，这些相应的匹配或比较算法例如将由弯曲计划而已知的工件的3D对象与图像材料进行比较。在提取期间，可以确定工件的空间位置、至少工件的抓握区域的空间位置、和/或手的空间位置。

在步骤530中，根据所提取的图像材料来产生工件的至少一部分和/或操作者的手的至少一部分的轨迹和/或运动点的序列。轨迹或运动点在每种情况下包括坐标，这些坐标然后可以用于引导机器人。

在步骤540中，如果轨迹和/或运动点的序列存在于机器坐标中，则会发生轨迹和/或运动点的序列从机器坐标可选地变换成机器人坐标。

在步骤550中，通过对轨迹和/或运动点的序列的反向变换来创建机器人控制程序。

在可选步骤560中，由机器人来执行机器人控制程序。现在，机器人可以相应地处理工件。这是基于对人类操作者的记录图像和图像处理来完成的，而无需机器人的经典编程。

在可选步骤570中，由另一机器人来执行这种机器人控制程序。有利地，可以以此方式实现程序的倍增(multiplication)，这可以显著提高效率。还可以使用与特定产品相关联的已经创建过一次的运动的序列来创建数据库。可以利用更多的细节对该数据库进行细化，以存储产品或工件的各个弯曲操作。以此方式例如可以容易地创建用于工件的变型的程序，其中，例如仅一个边缘以不同的方式弯曲。

本文提出的用于创建用于操作机床的机器人控制程序的方法允许在无需了解特殊编程语言的情况下对机器人进行简单且精确的编程。此外，通过对待处理的零件的运动和/或操作者的手的运动进行学习，可以更好地利用机器人的自由度，并且可以始终选择最快或最短的路径。