调整参数的装置、机器人系统、方法以及计算机程序

技术领域

本发明涉及调整参数的装置、机器人系统、方法以及计算机程序，其中，该参数用于在图像数据中将工件的工件特征与工件模型进行对照。

背景技术

已知有一种技术，取得用于检测视觉传感器拍摄到的图像数据中显现的工件位置的参数(例如，专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开平2-210584号公报

发明内容

发明要解决的课题

有时使用参数将视觉传感器拍摄到的图像数据中显现的工件的工件特征与将工件模型化而得的工件模型相互对照，由此求出图像数据中显现的工件位置。以往，为了调整这样的对照用的参数，需要具有专业知识的操作员。

用于解决课题的手段

在本公开的一方式中，一种装置具有：位置检测部，在显示了视觉传感器拍摄到的工件的工件特征的图像数据中，将工件进行模型化得到工件模型，位置检测部使用用于将工件模型与工件特征进行对照的参数，求出图像数据中的工件的位置作为检测位置；匹配位置取得部，其取得在图像数据中将工件模型配置为与工件特征一致时的、该图像数据中的该工件模型的位置作为匹配位置；以及参数调整部，其根据表示检测位置与匹配位置之差的数据来调整参数，以便位置检测部能够求出检测位置作为与匹配位置对应的位置。

在本公开的另一方式中，一种方法，处理器进行以下处理：在显示了视觉传感器拍摄到的工件的工件特征的图像数据中，将工件模型化得到工件模型，使用用于将工件模型与工件特征进行对照的参数，求出图像数据中的工件的位置作为检测位置；取得在图像数据中将工件模型配置为与工件特征一致时的、该图像数据中的该工件模型的位置作为匹配位置；根据表示检测位置与匹配位置之差的数据来调整参数，以便能够求出检测位置作为与匹配位置对应的位置。

发明效果

根据本公开，使用在图像数据中使工件模型与工件特征匹配时取得的匹配位置来调整参数。因此，即使是没有与调整参数相关的专业知识的操作员，也能够取得匹配位置，由此能够调整参数。

附图说明

图1是一实施方式的机器人系统的概略图。

图2是图1所示的机器人系统的框图。

图3是表示一实施方式的参数调整方法的流程图。

图4表示在图3中的步骤S3中生成的图像数据的一例。

图5表示图3中的步骤S4的流程的一例。

图6表示在图5中的步骤S11中生成的图像数据的一例。

图7表示在图像数据内工件模型与工件特征匹配的状态。

图8表示图3中的步骤S5的流程的一例。

图9表示图3中的步骤S4的流程的另一例。

图10表示在图9中的步骤S11中生成的图像数据的一例。

图11表示在图9中的步骤S11中生成的图像数据的另一例。

图12表示在图9中的步骤S32中生成的图像数据的例子。

图13表示在图9中的步骤S11中生成的图像数据中，随机显示工件模型的状态。

图14表示在图9中的步骤S11中生成的图像数据中，按照预先确定的规则显示工件模型的状态。

图15表示图3中的步骤S4的流程的又一例。

图16表示在图15中的步骤S42中生成的图像数据的例子。

图17表示通过视觉传感器取得图像数据的流程的一例。

图18是表示其他实施方式的参数调整方法的流程图。

具体实施方式

以下，根据附图对本公开的实施方式进行详细说明。此外，在以下说明的各种实施方式中，对同样的要素标注相同符号，省略重复说明。首先，参照图1和图2，对一实施方式的机器人系统10进行说明。机器人系统10具有：机器人12、视觉传感器14以及控制装置16。

在本实施方式中，机器人12是垂直多关节机器人，具有：机器人基座18、回转体20、下臂部22、上臂部24、手腕部26以及末端执行器28。机器人基座18固定在作业单元的地面上。回转体20以能够绕铅垂轴回转的方式设置于机器人基座18。

下臂部22能够绕水平轴转动地设置于回转体20，上臂部24能够转动地设置于下臂部22的前端部。手腕部26具有：手腕基座26a，其能够转动地设置于上臂部24的前端部；手腕凸缘26b，其以能够绕手腕轴A1转动的方式设置于该手腕基座26a。

末端执行器28能够装卸地安装于手腕凸缘26b，对工件W进行规定的作业。在本实施方式中，末端执行器28是能够把持工件W的机械手，例如具有能够开闭的多个指部或吸附部(负压产生装置、吸盘、电磁铁等)。

在机器人12的各构成要素(机器人基座18、回转体20、下臂部22、上臂部24、手腕部26)设置有伺服电动机29(图2)。这些伺服电动机29根据来自控制装置16的指令，使机器人12的各可动要素(回转体20、下臂部22、上臂部24、手腕部26、手腕凸缘26b)绕驱动轴转动。结果，机器人12能够使末端执行器28移动来配置为任意的位置以及姿势。

视觉传感器14固定于末端执行器28(或手腕凸缘26b)。例如，视觉传感器14是具有拍摄传感器(CMOS、CCD等)和向该拍摄传感器引导被摄体像的光学透镜(准直透镜、聚焦透镜等)的3维视觉传感器，构成为沿着光轴A2拍摄被摄体像，并且测定到该被摄体像的距离d。

如图1所示，对机器人12设定机器人坐标系C1以及工具坐标系C2。机器人坐标系C1是用于控制机器人12的各可动要素的动作的控制坐标系。在本实施方式中，机器人坐标系C1相对于机器人基座18固定成其原点配置于机器人基座18的中心、其z轴与铅垂方向平行。

另一方面，工具坐标系C2是机器人坐标系C1中的用于控制末端执行器28的位置的控制坐标系。在本实施方式中，工具坐标系C2相对于末端执行器28设定成其原点(所谓的TCP)配置于末端执行器28的作业位置(工件把持位置)、其z轴与手腕轴A1平行(具体而言，为一致的)。

在使末端执行器28移动时，控制装置16在机器人坐标系C1中设定工具坐标系C2，生成对机器人12的各伺服电动机29的指令，以便将末端执行器28配置在由所设定的工具坐标系C2表示的位置。这样，控制装置16能够将末端执行器28定位于机器人坐标系C1中的任意位置。此外，在本说明书中，“位置”有时意味着位置和姿势。

另一方面，对视觉传感器14设定传感器坐标系C3。传感器坐标系C3规定视觉传感器14拍摄到的图像数据(或拍摄传感器)的各像素的坐标。在本实施方式中，传感器坐标系C3相对于视觉传感器14设定成其原点配置于拍摄传感器的中心、其z轴与光轴A2平行(具体而言，为一致的)。

传感器坐标系C3与工具坐标系C2的位置关系通过校准而成为已知，因此，传感器坐标系C3的坐标与工具坐标系C2的坐标能够经由已知的变换矩阵(例如，齐次变换矩阵)而相互变换。另外，工具坐标系C2与机器人坐标系C1的位置关系已知，因此，传感器坐标系C3的坐标与机器人坐标系C1的坐标能够经由工具坐标系C2而相互变换。

控制装置16控制机器人12的动作。具体而言，控制装置16是具有处理器30、存储器32以及I/O接口34的计算机。处理器30经由总线36与存储器32和I/O接口34能够通信地连接，与这些组件通信，并且进行用于实现后述的各种功能的运算处理。

存储器32具有RAM或ROM等，暂时或永久地存储各种数据。I/O接口34例如具有以太网(注册商标)端口、USB端口、光纤连接器或HDMI(注册商标)端子，在来自处理器30的指令下，与外部设备之间以有线或无线的方式对数据进行通信。机器人12的各伺服电动机29以及视觉传感器14与I/O接口34能够通信地连接。

另外，在控制装置16设置有显示装置38和输入装置40。显示装置38和输入装置40与I/O接口34能够通信地连接。显示装置38具有液晶显示器或有机EL显示器等，在来自处理器30的指令下，能够视觉辨认地显示各种数据。

输入装置40具有键盘、鼠标或触摸面板等，受理来自操作员的输入数据。此外，显示装置38和输入装置40可以一体地组装于控制装置16的壳体，或者也可以与控制装置16的壳体分体地外装于该壳体。

在本实施方式中，处理器30使机器人12动作，执行利用末端执行器28把持并拿起散装在容器B内的工件W的工件处理作业。为了执行该工件处理作业，处理器30首先利用视觉传感器14对容器B内的工件W进行拍摄。

此时，视觉传感器14拍摄的图像数据ID1包含显现拍摄到的各个工件W的视觉上的特征点(边缘、轮廓、面、边、角、孔、突部等)的工件特征WP、从视觉传感器14(具体而言，传感器坐标系C3的原点)到该工件特征WP的各像素表示的工件W上的点为止的距离d的信息。

接着，处理器30取得用于将对工件W进行模型化而得的工件模型WM与由视觉传感器14拍摄到的工件W的工件特征WP进行对照的参数PM。并且，处理器30将该参数PM应用于规定的算法AL(软件)，按照该算法AL对工件模型WM和工件特征WP进行对照，由此，取得图像数据ID1中显现的工件W在传感器坐标系C3中的位置(具体而言，位置和姿势)的数据(具体而言，坐标)。并且，处理器30将取得的传感器坐标系C3的位置变换为机器人坐标系C1，由此取得拍摄到的工件W在机器人坐标系C1中的位置数据。

在此，为了高精度地取得图像数据ID1中显现的工件W的位置，需要使参数PM最佳化。在本实施方式中，处理器30使用视觉传感器14拍摄到的工件W的工件特征WP，调整成使参数PM最佳化。

以下，参照图3对调整参数PM的方法进行说明。图3所示的流程例如在起动控制装置16时开始。此外，在图3的流程的开始时间点，上述的算法AL和预先准备的参数PM

在步骤S1中，处理器30判定是否受理了参数调整指令。例如，操作员操作输入装置40，手动输入参数调整指令。处理器30在通过I/O接口34从输入装置40受理参数调整指令时判定为是，前进到步骤S2。另一方面，处理器30在未受理参数调整指令时判定为否，前进到步骤S6。

在步骤S2中，处理器30通过视觉传感器14拍摄工件W。具体而言，处理器30使机器人12动作，如图1所示，将视觉传感器14定位在至少1个工件W收纳于该视觉传感器14的视野的拍摄位置。

接着，处理器30向视觉传感器14输送拍摄指令，视觉传感器14根据该拍摄指令拍摄工件W来取得图像数据ID1。如上所述，图像数据ID1包含拍摄到的各个工件W的工件特征WP和上述的距离d的信息。处理器30从视觉传感器14取得图像数据ID1。图像数据ID1的各像素表示为传感器坐标系C3的坐标。

在步骤S3中，处理器30生成显示了工件特征WP的图像数据ID2。具体而言，处理器30以从视觉传感器14取得的图像数据ID1为基础，生成图像数据ID2作为操作员能够视觉辨认工件特征WP的图形用户界面(GUI)。图4示出该图像数据ID2的一例。

在图4所示的例子中，在图像数据ID2中，工件特征WP显示为3维点群。另外，在图像数据ID2中设定传感器坐标系C3，该图像数据ID2的各像素与视觉传感器14拍摄到的图像数据ID1同样地表示为传感器坐标系C3的坐标。

并且，构成工件特征WP的多个点分别具有上述的距离d的信息，因此，能够表示为传感器坐标系C3的3维坐标(x，y，z)。即，在本实施方式中，图像数据ID2是3维的图像数据。此外，在图4中，为了容易理解，示出了在图像数据ID2中显示共计3个工件特征WP的例子，但实际上要理解为能够示出更多的工件特征WP(即，工件W)。

处理器30可以将图像数据ID2生成为与该图像数据ID1不同的图像数据，来作为视觉辨认性比图像数据ID1优异的GUI。例如，处理器30可以以如下方式生成图像数据ID2：使图像数据ID1中显现的工件特征WP以外的区域为无色，另一方面，对工件特征WP进行着色(黑色、蓝色、红色等)，由此操作员能够容易地识别工件特征WP。

处理器30使生成的图像数据ID2显示于显示装置38。这样，操作员能够视觉辨认图4所示那样的图像数据ID2。这样，在本实施方式中，处理器30作为生成显示有工件特征WP的图像数据ID2的图像生成部52(图2)发挥功能。

此外，处理器30也可以以根据操作员对输入装置40的操作来改变观察图像数据ID2中显现的工件W的方向的方式(例如，如3D CAD数据那样)，更新显示于显示装置38的图像数据ID2。此时，操作员通过操作输入装置40，能够从所希望的方向视觉辨认图像数据ID2中显现的工件W。

再次参照图3，在步骤S4中，处理器30执行取得匹配位置的过程。参照图5对该步骤S4进行说明。在步骤S11中，处理器30在上述的步骤S3中生成的图像数据ID2中还显示工件模型WM。在本实施方式中，工件模型WM是3D CAD数据。

图6表示通过该步骤S11生成的图像数据ID2的一例。在步骤S11中，处理器30在由传感器坐标系C3规定的虚拟空间中配置工件模型WM，生成与工件W的工件特征WP一起配置有工件模型WM的虚拟空间的图像数据ID2。另外，处理器30在传感器坐标系C3中，与工件模型WM一起设定工件坐标系C4。该工件坐标系C4是规定工件模型WM的位置(具体而言，位置和姿势)的坐标系。

在本实施方式中，处理器30在该步骤S11中，使用在该步骤S11的开始时间点储存在存储器32中的参数PM

更具体而言，处理器30按照应用了参数PM

并且，处理器30在工件模型WM的特征点与对应的工件特征WP的特征点一致时，将对该工件模型WM设定的工件坐标系C4的、传感器坐标系C3中的坐标(x，y，z，W，P，R)检测为检测位置DP

上述的参数PM

这样，处理器30通过使用参数PM

接着，处理器30作为图像生成部52发挥功能，在图像数据ID2中，在取得的检测位置DP

这样，如图6所示，在图像数据ID2中，在与3个工件特征WP对应的位置分别显示3个工件模型WM。在此，在参数PM

再次参照图5，在步骤S12中，处理器30判定在图像数据ID2中是否受理了用于使工件模型WM的位置位移的输入数据IP1(第一输入数据)。具体而言，操作员视觉辨认显示于显示装置38的图6所示的图像数据ID2的同时，为了使显示于该图像数据ID2的工件模型WM在图像上向与对应的工件特征WP一致的位置移动，通过操作输入装置40来输入输入数据IP1。

处理器30在通过I/O接口34从输入装置40受理输入数据IP1时判定为是，前进到步骤S13。另一方面，在未从输入装置40受理输入数据IP1时判定为否，前进到步骤S14。这样，在本实施方式中，处理器30作为受理用于在图像数据ID2中使工件模型WM的位置位移的输入数据IP1的输入受理部56(图2)发挥功能。

在步骤S13中，处理器30根据输入数据IP1，使显示于图像数据ID2的工件模型WM的位置位移。具体而言，处理器30作为图像生成部52发挥功能，更新图像数据ID2，使得在由传感器坐标系C3规定的虚拟空间内根据输入数据IP1使工件模型WM的位置位移。这样，操作员视觉辨认显示于显示装置38的图像数据ID2并且操作输入装置40，由此，能够在图像数据ID2中使工件模型WM位移以接近对应的工件特征WP。

在步骤S14中，处理器30判定是否受理了用于取得匹配位置MP的输入数据IP2。具体而言，操作员在步骤S13中使工件模型WM位移的结果是在图像数据ID2中工件模型WM的位置与工件特征WP的位置一致时，操作输入装置40，输入用于取得匹配位置MP的输入数据IP2。

图7表示在图像数据ID2中工件模型WM的位置与工件特征WP一致的状态。处理器30在通过I/O接口34从输入装置40受理输入数据IP2时判定为是，前进到步骤S15，另一方面，在未从输入装置40受理输入数据IP2时判定为否，返回到步骤S12。这样，处理器30循环进行步骤S12～S14，直到在步骤S14中判定为是为止。

在步骤S15中，处理器30取得受理了输入数据IP2时的图像数据ID2中的工件模型WM的位置作为匹配位置MP。如上所述，在处理器30受理了输入数据IP2时，如图7所示，在图像数据ID2中，工件模型WM分别与对应的工件特征WP一致。

处理器30取得对图7所示的各个工件模型WM设定的工件坐标系C4的传感器坐标系C3中的坐标(x，y，z，W，P，R)作为匹配位置MP，存储在存储器32中。这样，在本实施方式中，处理器30作为取得匹配位置MP的匹配位置取得部58(图2)发挥功能。

再次参照图3，在步骤S5中，处理器30执行调整参数PM的过程。参照图8对该步骤S5进行说明。在步骤S21中，处理器30将确定参数PM

在步骤S22中，处理器30作为位置检测部54发挥功能，取得检测位置DP

在步骤S23中，处理器30取得表示在最近的步骤S22中求出的检测位置DP

假设，在该步骤S23的开始时间点设置为n＝1时(即，执行第一次的步骤S23时)，处理器30取得表示检测位置DP

在步骤S24中，处理器30判定在最近的步骤S23中取得的数据Δ

在该步骤S24中判定为是时，在最近的步骤S22中求出的检测位置DP

在步骤S25中，处理器30根据在最近的步骤S23中取得的数据Δ

在步骤S26中，处理器30更新参数PM

在步骤S27中，处理器30将确定参数PM

在此，如图8所示，处理器30反复执行步骤S22～S28的循环，直到在步骤S24或S28中判定为是为止。在上述的步骤S25中，处理器30以能够减小检测位置DP

因此，在变化量α

因此，处理器30在该步骤S28中判定是否为n＞n

这样，处理器30反复执行步骤S22～S28的一系列动作，直到在步骤S24或S28中判定为是为止，由此，根据数据Δ

处理器30作为位置检测部54发挥功能，在根据图像数据ID2求出检测位置DP

再次参照图3，在步骤S6中，处理器30判定是否受理了动作结束指令。例如，操作员操作输入装置40，手动输入动作结束指令。处理器30在通过I/O接口34从输入装置40接收到动作结束指令时判定为是，结束控制装置16的动作。另一方面，处理器30在未受理动作结束指令时判定为否，返回到步骤S1。

例如，操作员在步骤S5结束后，不输入动作结束指令，使图1所示的容器B内的工件W的配置变化。接着，操作员操作输入装置40，输入上述的参数调整指令。于是，处理器30在步骤S1中判定为是，对容器B内的配置变化后的工件W执行步骤S2～S5，调整参数PM

如上所述，在本实施方式中，处理器30作为图像生成部52、位置检测部54、输入受理部56、匹配位置取得部58以及参数调整部60发挥功能，调整参数PM。因此，图像生成部52、位置检测部54、输入受理部56、匹配位置取得部58以及参数调整部60构成用于调整参数PM的装置50(图2)。

根据该装置50，使用在图像数据ID2中使工件模型WM与工件特征WP匹配时取得的匹配位置MP来调整参数PM。因此，即使是没有与参数PM的调整相关的专业知识的操作员，也可以取得匹配位置MP，由此能够调整参数PM。

另外，在本实施方式中，处理器30通过反复执行图8中的步骤S22～S28的一系列动作来调整参数PM

另外，在本实施方式中，处理器30作为图像生成部52发挥功能，在图像数据ID2中还显示工件模型WM(步骤S11)，根据输入数据IP1，使显示于图像数据ID2的工件模型WM的位置位移(步骤S13)。并且，处理器30配置在图像数据ID2中工件模型WM与工件特征WP一致时，作为匹配位置取得部58发挥功能，取得匹配位置MP(步骤S15)。

根据该结构，操作员视觉辨认显示于显示装置38的图像数据ID2并且操作输入装置40，由此，能够在图像数据ID2中容易地使工件模型WM与工件特征WP一致，因此，能够取得匹配位置MP。因此，即使是没有与参数PM的调整相关的专业知识的操作员，仅通过在图像上将工件模型WM与工件特征WP对位，也能够容易地取得匹配位置MP。

在如上述那样调整了参数PM

此时，在视觉传感器14拍摄的图像数据ID3中示出了至少1个工件W的工件特征WP。处理器30通过I/O接口34从视觉传感器14取得图像数据ID3，根据该图像数据ID3生成用于使机器人12动作的动作指令CM。

更具体而言，处理器30作为位置检测部54发挥功能，将调整后的参数PM

接下来，处理器30将取得的检测位置DP

这样，在本实施方式中，处理器30作为生成动作指令CM的指令生成部62发挥功能。通过使用调整后的参数PM

接着，参照图9，对上述的步骤S4(即，取得匹配位置的过程)的另一例进行说明。此外，在图9所示的流程中，对与图5所示的流程一样的过程标注相同的步骤编号，省略重复的说明。在图9所示的步骤S4中，处理器30在步骤S11之后执行步骤S31和S32。

具体而言，在步骤S31中，处理器30判定是否受理了用于将工件模型WM从图像数据ID2中删除的输入数据IP3(第二输入数据)、或者用于将进一步的工件模型WM追加到图像数据ID2中的输入数据IP4(第二输入数据)。

在此，在上述的步骤S11中，存在处理器30将工件模型WM错误地显示于不适当的位置的情况。图10表示工件模型WM显示于不适当的位置的图像数据ID2的例子。在图10所示的图像数据ID2中，拍入了与工件W不同的部件的特征F。

处理器30在使用参数PM

另一方面，在上述的步骤S11中，处理器30有时无法识别图像数据ID2中显现的工件特征WP而有损显示工件模型WM。在图11中表示这样的例子。在图11所示的图像数据ID2中，未显示与共计3个工件特征WP中的右上的工件特征WP对应的工件模型WM。这样的情况下，操作员需要对图像数据ID2追加工件模型WM。

因此，在本实施方式中，处理器30构成为受理用于从图像数据ID2中删除工件模型WM的输入数据IP3、以及用于在图像数据ID2中追加进一步的工件模型WM的输入数据IP4。具体而言，在步骤S11中显示图10所示的图像数据ID2时，操作员视觉辨认该图像数据ID2并且操作输入装置40，输入指定应删除的工件模型WM的输入数据IP3。

另外，在步骤S11中显示图11所示的图像数据ID2时，操作员视觉确认该图像数据ID2并且操作输入装置40来输入输入数据IP4，该输入数据IP4指定应追加的工件模型WM在图像数据ID2(传感器坐标系C3)中的位置(例如，坐标)。

在该步骤S31中，处理器30当通过I/O接口34从输入装置40受理输入数据IP3或IP4时判定为是，前进到步骤S32。另一方面，在未从输入装置40受理输入数据IP3或IP4时判定为否，前进到步骤S12。

在步骤S32中，处理器30作为图像生成部52发挥功能，按照所受理的输入数据IP3或IP4，从图像数据ID2中删除显示的工件模型WM，或者在图像数据ID2中追加显示进一步的工件模型WM。例如，在受理了输入数据IP3时，处理器30从图10所示的图像数据ID2中删除在与特征F对应的位置显示的工件模型WM。结果，如图12所示，图像数据ID2得以更新。

另一方面，在受理了输入数据IP4时，处理器30在图11所示的图像数据ID2中，在由输入数据IP4指定的位置追加显示工件模型WM。结果，如图6所示，在图像数据ID2中显示共计3个工件模型WM以与全部工件特征WP对应。

在步骤S32之后，处理器30与图5的流程同样地执行步骤S12～S15。此外，在图9所示的流程中，处理器30在步骤S14中判定为否时，返回到步骤S31。如上所述，根据本实施方式，操作员能够在步骤S11中显示的图像数据ID2中，根据需要删除或追加工件模型WM。

此外，在图9中的步骤S11中，处理器30可以在图像数据ID2中在随机决定的位置显示工件模型WM。图13表示处理器30将工件模型WM随机地显示于图像数据ID2的例子。此时，处理器30可以随机地决定配置于图像数据ID2的工件模型WM的个数，或者也可以由操作员预先确定该个数。

取而代之，在图9中的步骤S11中，处理器30也可以在图像数据ID2中在按照预先确定的规则决定的位置显示工件模型WM。例如，该规则可以确定为将工件模型WM在图像数据ID2中等间隔地配置成格子状的规则。图14表示处理器30按照等间隔地配置成格子状这样的规则将工件模型WM显示于图像数据ID2的例子。

在处理器30在步骤S11中随机或按照规定的规则配置了工件模型WM之后，操作员在步骤S31中向输入装置40输入输入数据IP3或IP4，由此，能够根据需要删除或追加显示于图像数据ID2的工件模型WM。

接着，参照图15，对上述的步骤S4(取得匹配位置的过程)的又一例进行说明。在图15所示的步骤S4中，处理器30在步骤S11之后执行步骤S41和S42。在步骤S41中，处理器30判定在图像数据ID2中是否为满足作为删除对象的条件G1的工件模型WM。

具体而言，处理器30针对图像数据ID2中显现的各个工件模型WM，计算存在于该工件模型WM的占有区域内的、构成工件特征WP的3维点群的点(或者，显现工件特征WP的像素)的数量N。并且，处理器30在该步骤S41中，针对各个工件模型WM，判定计算出的数量N是否为预先确定的阈值N

例如，处理器30在步骤S11中生成图14所示的图像数据ID2。此时，关于图像数据ID2中显现的工件模型WM中的、从上列的左侧起第二个以及第四个工件模型WM、从下列的左侧起第一个、第三个以及第四个工件模型WM，存在于其专有区域内的工件特征WP的点(像素)变少。因此，此时处理器30在步骤S11中将这共计5个工件模型WM确定为删除对象，判定为是。

在步骤S42中，处理器30作为图像生成部52发挥功能，从图像数据ID2自动地删除在步骤S41中确定为删除对象的工件模型WM。在图14所示的例子的情况下，处理器30从图像数据ID2自动地删除确定为删除对象的上述共计5个工件模型WM。图16表示删除了这5个工件模型WM的图像数据ID2的例子。这样，在本实施方式中，处理器30按照预先确定的条件G1，从图像数据ID2自动地删除显示的工件模型WM。

取而代之，处理器30也可以在步骤S41中判定是否满足在图像数据ID2中追加工件模型WM的条件G2。例如，处理器30在步骤S11中生成图11所示的图像数据ID2。处理器30针对各个工件特征WP，判定是否具有工件模型WM的专有区域中包含的点(或像素)。

并且，处理器30在存在不具有工件模型WM的专有区域中包含的点(像素)的工件特征WP时，将该工件特征WP确定为模型追加对象，判定为是。即，在本实施方式中，条件G2确定为存在不具有工件模型WM的专有区域中包含的点(像素)的工件特征WP。例如，在图11所示的例子的情况下，处理器30在该步骤S41中将图像数据ID2的右上所示的工件特征WP确定为模型追加对象，判定为是。

并且，在步骤S42中，处理器30作为图像生成部52发挥功能，在与步骤S41中确定为模型追加对象的工件特征WP对应的位置，将工件模型WM自动地追加到图像数据ID2。结果，例如图6所示那样追加工件模型WM。

这样，在本实施方式中，处理器30按照预先确定的条件G2，将工件模型WM追加显示于图像数据ID2。根据图15所示的流程，处理器30能够按照条件G1或G2自动地删除或追加工件模型WM，因此，能够减少操作员的作业。

接下来，参照图17和图18，对机器人系统10的其他功能进行说明。在本实施方式中，处理器30首先执行图17所示的图像取得过程。在步骤S51中，处理器30将识别视觉传感器14拍摄的图像数据ID1

在步骤S52中，处理器30判定是否受理了拍摄开始指令。例如，操作员操作输入装置40来输入拍摄开始指令。处理器30在通过I/O接口34从输入装置40受理拍摄开始指令时判定为是，前进到步骤S53。另一方面，处理器30在未受理拍摄开始指令时判定为否，前进到步骤S56。

在步骤S53中，处理器30与上述的步骤S2同样地利用视觉传感器14拍摄工件W。结果，视觉传感器14拍摄第i个图像数据ID1

在步骤S56中，处理器30判定是否受理了拍摄结束指令。例如，操作员操作输入装置40输入拍摄结束指令。处理器30在受理拍摄结束指令时判定为是，结束图17所示的流程。另一方面，处理器30在未受理拍摄结束指令时判定为否，返回到步骤S52。

例如，操作员在步骤S55结束后不输入拍摄结束指令，而是使图1所示的容器B内的工件W的配置变化。接着，操作员操作输入装置40输入拍摄开始指令。于是，处理器30在步骤S52中判定为是，对容器B内的配置变化后的工件W执行步骤S53～S55，取得第i+1个图像数据ID1

图17所示的流程结束后，处理器30执行图18所示的流程。此外，在图18所示的流程中，对与图3和图17所示的流程一样的过程标注相同的步骤编号，省略重复的说明。处理器30在步骤S1中判定为是时前进到步骤S51，另一方面，在判定为否时前进到步骤S6。

并且，处理器30在步骤S6中判定为是时，结束图18所示的流程，另一方面，在判定为否时，返回到步骤S1。在步骤S51中，处理器30将图像数据ID1

在步骤S62中，处理器30生成显示了工件特征WP的图像数据ID2

在步骤S62之后，处理器30使用第i个图像数据ID2

在步骤S64中，处理器30判定识别编号“i”是否超过最大值i

如上所述，在本实施方式中，通过图17所示的流程，蓄积多个配置于各种位置的工件W的图像数据ID1

此外，在图17所示的流程中，处理器30可以省略步骤S52，且代替步骤S56而执行上述的步骤S64，判定识别编号“i”是否超过最大值i

并且，处理器30在该步骤S64中判定为是时，结束图17的流程，在判定为否时，返回到步骤S53。在此，处理器30在这样的图17的流程的变形例中，可以在每次执行步骤S53时，变更视觉传感器14的位置(具体而言，位置和姿势)，从不同的位置以及视线方向A2拍摄工件W。根据该变形例，即使操作员不手动改变工件W的配置，也能够自动地取得并蓄积对各种配置的工件W进行拍摄而得的图像数据ID1

此外，处理器30也可以按照预先储存在存储器32中的计算机程序来执行图3、图17以及图18所示的流程。该计算机程序包含用于使处理器30执行图3、图17以及图18所示的流程的指令语句，预先储存在存储器32中。

在上述的实施方式中，对处理器30通过实机的机器人12以及视觉传感器14取得实物的工件W的图像数据ID1的情况进行了描述。然而，处理器30也可以利用将视觉传感器14模型化而得的视觉传感器模型14M来虚拟地拍摄工件模型WM，由此取得图像数据ID1。

该情况下，处理器30可以在虚拟空间内配置将机器人12模型化而得的机器人模型12M和固定于该机器人模型12M的末端执行器模型28M的视觉传感器模型14M，使机器人模型12M以及视觉传感器模型14M在虚拟空间内模拟地进行动作，执行图3、图17以及图18所示的流程(即，模拟)。根据该结构，能够在不使用实机的机器人12以及视觉传感器14的情况下，通过所谓的离线动作来调整参数PM。

此外，也可以从上述装置50中省略输入受理部56。该情况下，处理器30可以省略图5的步骤S12～S14，从在步骤S11中生成的图像数据ID2自动地取得匹配位置MP。例如，可以将表示图像数据ID中显现的工件特征WP与匹配位置MP的相关性的学习模型LM预先储存在存储器32中。

该学习模型LM例如可以通过将显现至少1个工件特征WP的图像数据ID和该图像数据ID中的匹配位置MP的数据的学习数据集反复提供给机器学习装置(例如监督学习)来构建。处理器30将在步骤S11中生成的图像数据ID2输入到学习模型LM。于是，学习模型LM输出与输入的图像数据ID2中显现的工件特征WP对应的匹配位置MP。这样，处理器30可以从图像数据ID2自动地取得匹配位置MP。此外，处理器30也可以构成为执行该机器学习装置的功能。

此外，在上述的实施方式中，对在图像数据ID2中工件特征WP由3维点群构成的情况进行了描述。然而，并不限定于此，处理器30也可以在步骤S3中生成图像数据ID2来作为以显现工件特征WP的各像素的颜色或色调(浓淡)根据上述的距离d而变化的方式表示的距离图像。

另外，处理器30也可以在步骤S3中不新生成图像数据ID2，而是生成从视觉传感器14取得的图像数据ID1来作为用于显示于显示装置38的图像数据，并显示于显示装置38。并且，处理器30也可以使用图像数据ID1来执行步骤S3和S4。

另外，也可以从上述装置50中省略图像生成部52，对外部设备(例如，视觉传感器14或PC)要求该图像生成部52的功能。例如，处理器30可以将视觉传感器14拍摄到的图像数据ID1不加以任何变更地用作原来的数据形式，来调整参数PM。此时，视觉传感器14承担图像生成部52的功能。

视觉传感器14不限于3维视觉传感器，也可以是2维照相机。此时，处理器30可以以2维的图像数据ID1为基础，生成2维的图像数据ID2，执行步骤S3和S4。此时，传感器坐标系C3为2维的坐标系(x，y)。

在上述的实施方式中，对装置50安装于控制装置16的情况进行了描述。然而，不限于此，装置50也可以安装于与控制装置16不同的计算机(例如，台式PC、平板终端装置或者智能手机等移动电子设备、或者用于示教机器人12的示教装置)。此时，该其他计算机可以具有作为装置50发挥功能的处理器，与控制装置16的I/O接口34能够通信地连接。

此外，上述的末端执行器28不限于机械手，也可以是进行针对工件的作业的任何装置(激光加工头、焊炬、涂料涂敷器等)。以上，通过实施方式对本公开进行了说明，但上述的实施方式并不限定权利要求书所涉及的发明。

符号说明

10 机器人系统

12 机器人

14 视觉传感器

16 控制装置

30 处理器

50 装置

52 图像生成部

54 位置检测部

56 输入受理部

58 匹配位置取得部

60 参数调整部

62指令生成部。