使相机的校准状态可视化的方法、系统、以及存储介质

技术领域

本公开涉及使相机的校准状态可视化的方法、系统、以及存储介质。

背景技术

在机器人等的各种装置中，利用使用相机识别对象物的位置，实现与对象物的交互动作的技术。在这样的用途中使用相机的情况下，通过进行预先校正(校准)，设定相机的校准参数。校准参数包含表示镜头的性能、镜头与像素的关系的内部参数、表示相机与外部装置的相对位置的外部参数。在机器人中使用相机的情况下，通过将相机配置在与机器人的相对位置固定，并且将作业区域整个面作为视野范围的位置，能够算出相机、机器人间的外部参数。在专利文献1中公开了这样求出外部参数的技术。

专利文献1：日本特开2021-24056号公报

但是，相机的校准参数有时随时间变化而发生偏差。因此，存在想要确认校准参数是否正确的需求。

发明内容

根据本公开的第一方式，提供一种使相机的校准状态可视化的方法。该方法包含：(a)获取第一相机的校准参数的工序；(b)使用第二相机，求出所述第一相机和所述第二相机的相对位置的工序；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在显示设备显示的工序。

根据本公开的第二方式，提供一种使相机的校准状态可视化的系统。该系统具备：利用相机利用设备拍摄图像的第一相机；用于所述第一相机的校准状态的确认的第二相机；显示由所述第二相机拍摄的图像的显示设备；以及与所述第一相机、所述第二相机和所述显示设备连接的控制装置。所述控制装置执行：(a)获取所述第一相机的校准参数的处理；(b)使用所述第二相机，求出所述第一相机和所述第二相机的相对位置的处理；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在所述显示设备显示的处理。

根据本公开的第三方式，提供一种存储介质，存储使处理器执行使相机的校准状态可视化的处理的计算机程序。该计算机程序使所述处理器执行：(a)获取第一相机的校准参数的处理；(b)使用第二相机，求出所述第一相机和所述第二相机的相对位置的处理；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在显示设备显示的处理。

附图说明

图1是示出实施方式中的机器人系统的构成的说明图。

图2是示出第一实施方式中的各种坐标系的关系的示意图。

图3是实施方式中的控制装置的功能框图。

图4是示出第一实施方式的处理顺序的流程图。

图5是示出第一相机和第二相机的相对位置的确定方法的说明图。

图6是示出示出校准状态的特定图像的显示例的说明图。

图7是示出示出校准状态的特定图像的其他显示例的说明图。

图8是示出校准参数的调整窗口的例子的说明图。

图9是示出第二实施方式中的各种坐标系的关系的示意图。

图10是示出第二实施方式的处理顺序的流程图。

附图标记说明

100…机器人；110…基台；120…机器人臂；121…第一连杆；122…第二连杆；123…工作轴；150…机器人手；200…机器人控制器；300…控制装置；310…处理器；312…相机校正执行部；314…校正状态可视化部；320…存储器；330…接口电路；340…输入装置；350…显示装置；360…无线通信装置；410…第一相机；420…第二相机；430…第三相机；440…VR眼镜；500…作业台；501…XY平面；510…角框；520…标记板；530…基准标记。

具体实施方式

A.第一实施方式：

图1是示出一实施方式中的机器人系统的一例的说明图。该机器人系统具备：作为相机利用设备的机器人100、控制机器人100的机器人控制器200、控制装置300、3个相机410、420、430、VR眼镜440(Virtual Reality Glass：虚拟现实眼镜)、以及作业台500。控制装置300例如是个人计算机。控制装置300向机器人控制器200发送控制指令。也可以将控制装置300称为“上位控制装置”。

机器人100具备：基台110、机器人臂120。机器人臂120具有第一连杆121、第二连杆122和工作轴123。在机器人臂120的前端，安装有作为末端执行器的机器人手150。机器人手150能够实现为能够把持工件的夹具、吸盘。在机器人手150的前端部附近，设定有作为机器人100的控制点的TCP(Tool Center Point：工具中心点)。需要说明的是，控制点TCP能够设定在任意的位置。

机器人臂120通过4个关节J1～J4依次连接。在本实施方式中例示了四轴机器人，但能够使用具备具有多个关节的任意机器人臂机构的机器人。另外，本实施方式的机器人100是水平多关节机器人，但也可以使用垂直多关节机器人。

第一相机410用于拍摄成为机器人100的作业对象的工件，求出工件的三维的位置以及姿态。作为第一相机410，优选使用RGB相机，但也可以使用RGBD相机、单色相机。RGBD相机是具有RGB相机和D相机(深度相机)的相机。在图1的例子中，第一相机410固定在作业台500的上方的位置。但是，第一相机410无论机器人臂120的姿态如何，只要设置在能够确定机器人坐标系和第一相机410的相对位置的位置即可。例如，第一相机410也可以固定于机器人100的第二连杆122。机器人100是利由第一相机410的拍摄结果的相机利用设备。但是，作为相机利用设备，能够使用机器人100以外的任意种类的设备。

第二相机420用于拍摄包括作业台500的作业环境，以确认第一相机410的校准状态。作为第二相机420，优选使用RGB相机，但也可以使用单色相机，另外，也可以使用不是单反相机而是立体相机。在第二相机420是立体相机的情况下，标记只要能够在左右的图像中分别识别特定的基准点的位置即可，也可以不能从1张图像识别三维的位置以及姿态。在图1的例子中，第二相机420固定于用户安装的VR眼镜440。但是，第二相机420也可以设置在作业环境内的固定的位置。

第三相机430用于求出由第一相机410拍摄的图像中的深度信息。作为第三相机430，例如也可以使用与第一相机410共同作为立体相机发挥功能的相机。或者，作为第三相机430，也可以使用测定深度的深度相机。在图1的例子中，第三相机430与第一相机410共同固定在作业台500的上方的位置。但是，第三相机430无论机器人臂120的姿态如何，只要设置在能够确定第一相机410和第三相机430的相对位置的位置即可。也能够省略第三相机430。

VR眼镜440是显示由第二相机420拍摄的摄像图像的显示设备。VR眼镜440还将表示第一相机410的校准状态的特定图像作为虚拟现实显示。但是，作为显示设备，能够利用VR眼镜440以外的任意种类的显示装置。

机器人100载置在作业台500上。在作业台500的四角设置有示出作业区域的角框510。在作业台500的上方还描绘有标记板520。标记板520以水平的状态载置在作业台500的表面，但在图1中为了便于图示，以向作业台500的上方倾斜的姿态描绘。

标记板520用于求出第一相机410和第二相机420的相对位置，并且标记板520是在表面描绘用于识别其位置和姿态的图案的平板状的物体。标记板520的表面图案构成为通过解析其图像能够识别标记板520的位置和姿态的标记。代替标记板520，也可以将标记配置在与第一相机410的相对位置固定的位置。例如，也可以在第一相机410的框体、机器人100固定标记。需要说明的是，在第一相机410和第二相机420构成立体相机的情况下，标记只要能够在左右的图像中分别识别特定的基准点的位置即可，也可以不能从1张图像识别三维的位置以及姿态。

图2是示出第一实施方式中的各种坐标系的关系的示意图。在该例子中为了便于图示，将各坐标系的原点位置描绘在从实际的位置偏离的位置，另外，机器人100描绘得比实际小。标记板520设置在作业台500的XY平面501上的预定位置。在作业台500的水平的XY平面501，设置有示出配置示出校准状态的特定图像的基准位置的基准标记530。

图2中描绘的坐标系如下。

(1)机器人坐标系Σr

机器人坐标系Σr是将机器人100的预定位置作为坐标原点的正交三维坐标系。

(2)工作台坐标系Σt

工作台坐标系Σt是将作业台500的XY平面501的预定位置作为坐标原点的正交三维坐标系。

(3)标记坐标系Σm

标记坐标系Σm是将标记板520的预定位置作为坐标原点的正交三维坐标系。

(4)第一相机坐标系Σc

第一相机坐标系Σc是将第一相机410的预定位置作为坐标原点的正交三维坐标系。

(5)第二相机坐标系Σg

第二相机坐标系Σg是将第二相机420的预定位置作为坐标原点的正交三维坐标系。VR眼镜440是显示由第二相机420拍摄的图像的显示设备，因此VR眼镜440的像素坐标是通过将第二相机坐标系Σg的三维坐标由第二相机420的投影变换矩阵变换得到的。

(6)第三相机坐标系Σd

第三相机坐标系Σd是将第三相机430的预定位置作为坐标原点的正交三维坐标系。

当第一相机410相对于机器人100进行校准时，第一相机坐标系Σc和机器人坐标系Σr的相对位置成为已知。即，第一相机坐标系Σc和机器人坐标系Σr中的每一个三维坐标值能够使用第一相机410的校准参数中包含的外部参数变换。假设机器人坐标系Σr和工作台坐标系Σt的相对位置也是已知的。假设第一相机坐标系Σc和标记坐标系Σm的相对位置也是已知的。另外，假设第一相机坐标系Σc和第三相机坐标系Σd的相对位置也是已知的。

代替使用标记板520，也可以将作为标记的图案固定于第一相机410、机器人100。在这种情况下，第一相机坐标系Σc和标记坐标系Σm的相对位置也成为已知。另外，第一相机坐标系Σc和标记坐标系Σm之间的相对位置优选使用第一相机410的外部参数来算出。

图3是示出控制装置300的功能的框图。控制装置300具有：处理器310、存储器320、以及接口电路330。输入装置340、显示装置350和无线通信装置360连接至接口电路330，另外，机器人控制器200、第一相机410和第三相机430也连接至接口电路330。第二相机420和VR眼镜440经由VR眼镜440具有的无线通信装置，与控制装置300的无线通信装置360无线连接。但是，第二相机420和VR眼镜440也可以有线连接至控制装置300。

处理器310具有作为相机校正执行部312以及校正状态可视化部314的功能。相机校正执行部312通过执行第一相机410对机器人100的校准，执行确定第一相机410的校准参数的处理。校正状态可视化部314执行显示示出第一相机410的校准状态的特定图像的处理。相机校正执行部312以及校正状态可视化部314的功能通过处理器310执行存储器320中存储的计算机程序分别实现。但是，相机校正执行部312和校正状态可视化部314的功能的一部分或者全部也可以通过硬件电路实现。

在存储器320中，存储有第一相机410的校准参数CP和机器人控制程序RP。校准参数CP包含内部参数IP和外部参数OP。内部参数IP是第一相机410的镜头系统的固有参数，包含投影变换矩阵、畸变参数。外部参数OP是在计算第一相机410和机器人100之间的相对位置时使用的参数，包含第一相机坐标系Σc和机器人坐标系Σr之间的坐标变换矩阵。对于其他相机，校准参数也根据需要存储于存储器320。机器人控制程序RP由使机器人100动作的多个命令构成。

校正状态可视化部314为了使第一相机410的校准状态可视化，在由第二相机420拍摄的图像重叠显示示出第一相机410的校准状态的特定图像。作为特定图像，例如能够使用表示作业台500的XY平面501的位置的格子状的图像、特定的标记图像。另外，也可以使用立体的图像作为特定图像。显示特定图像的位置被设定在将从第一相机410观察的特定位置的第一相机坐标系Σc中的三维坐标转换为第二相机坐标系Σg的三维坐标的位置。此时，使用第一相机410的校准参数算出特定位置的三维坐标。因此，将特定图像重叠在由第二相机420拍摄的图像，以根据校准参数的值变化的位置姿态显示。在本实施方式中，作为显示特定图像的特定位置，使用作业台500的水平的表面即XY平面501。更为具体的，特定位置设定在由图2所示的基准标记530示出的基准位置。以下，对在由第二相机420拍摄的作业台500的XY平面501的位置进行重叠显示示出第一相机410的校准状态的特定图像的处理进行说明。

图4是示出第一实施方式中的处理顺序的流程图。在步骤S110中，获取第一相机410的校准参数CP。例如，在步骤S110之前执行校准处理的情况下，校正状态可视化部314通过从存储器320读出校准参数CP而获取。另一方面，在未执行校准处理的情况下，相机校正执行部312执行第一相机410的校准处理，生成校准参数CP。校准处理能够利用校准板以周知的方法执行。需要说明的是，在标记板520的表面描绘了与校准板同样的校准图案的情况下，也可以使用标记板520进行第一相机410的校准处理。此时，为了以多个角度进行标记板520的拍摄，也可以由机器人100把持标记板520，一边改变其角度一边进行拍摄。

步骤S120以后的处理是使在步骤S110获取的校准参数可视化的处理。在从校准处理经过相当长的时间后执行步骤S120以后的处理的情况下，通过可视化处理，能够确认随时间变化在校准参数中是否发生偏差。另外，也能够根据需要调整校准参数。

在步骤S120中，校正状态可视化部314获取从第一相机410观察的特定位置的深度信息。如前述，在本实施方式中，“特定位置”是作业台500的水平的XY平面501。作为获取深度信息的方法，能够使用以下例示的各种方法的任一种。

深度信息的获取方法1

在获取方法1中，使用已知与第一相机410的相对位置的第三相机430作为深度相机，测定特定位置的深度。在该方法中，能够使用第一相机坐标系Σc和第三相机坐标系Σd之间的已知的坐标变换矩阵，将由第三相机430测定的深度转换为第一相机坐标系Σc的深度。

深度信息的获取方法2

在获取方法2中，使用第一相机410和第三相机430作为立体相机，通过立体匹配测定特定位置的深度。

深度信息的获取方法3

在获取方法3中，将能够识别三维位置的图案配置于作业台500的XY平面501，从由第一相机410拍摄的图案图像识别该位置，确定特定位置即作业台500的XY平面501的深度。作为该图案，例如能够利用标记板520、基准标记530。在利用标记板520的情况下，作业台500的XY平面501的深度为在标记板520的表面位置的深度加上标记板520的厚度而得到的值。在使用该获取方法3的情况下，也可以省略第三相机430。

深度信息的获取方法4

在获取方法4中，在特定位置即作业台500的XY平面501和第一相机410之间的距离是已知的情况下，将该距离作为XY平面501的深度使用。在第一相机坐标系Σc和工作台坐标系Σt之间的坐标变换矩阵是已知的情况下，也能够从该坐标变换矩阵获取XY平面501的深度信息。如图2说明的那样，第一相机坐标系Σc和工作台坐标系Σt之间的坐标变换矩阵能够使用第一相机410的外部参数算出。

上述的获取方法1、2在使用第三相机430求出深度信息这一点是相同的。另外，在获取方法1、2中，能够获取与任意形状有关的深度。因此，能够将具有特征形状的立体的特定物体配置在第一相机410的视野内，并将该特定物体的位置作为特定位置使用。在这种情况下，在第二相机420的图像中，如果在该特定物体的位置重叠示出第一相机410的校准状态的立体的特定图像并在显示设备显示，则具有容易确认校准状态的优点。

在步骤S130中，校正状态可视化部314使用在步骤S120中得到的深度信息和第一相机410的校准参数，算出第一相机坐标系Σc中的特定位置的三维坐标值。该算出例如能够如下进行。

第一相机410的内部参数中包含的矩阵K和畸变参数D由下式表示。

【数学式1】

[Math.1]

D＝(k

此处，f

如果使用上述(1)、(2)式和第一相机410的像素坐标(u，v)，则能够根据下式算出畸变的相机齐次坐标(x

【数学式2】

[Math.2]

另外，通过求解下式，能够求出除去了畸变的相机齐次坐标(x

【数学式3】

[Math.3]

第一相机坐标系Σc中的特定位置的三维坐标值(X

【数学式4】

[Math.4]

该特定位置的三维坐标值(X

需要说明的是，由上述(1)～(6)式得到的三维坐标值(X

在步骤S140中，校正状态可视化部314获取第一相机410和标记板520的相对位置。如图2说明的那样，在第一实施方式中，第一相机坐标系Σc和标记坐标系Σm的相对位置是已知的。即，第一相机坐标系Σc和标记坐标系Σm之间的坐标变换矩阵[R|t]cm是已知的。但是，也可以通过将已知的坐标变换矩阵[R|t]cr、[R|t]rt、[R|t]tm相乘求出坐标变换矩阵[R|t]cm。[R|t]cr表示第一相机坐标系Σc和机器人坐标系Σr之间的坐标变换，[R|t]rt表示机器人坐标系Σr和工作台坐标系Σt之间的坐标变换，[R|t]tm表示工作台坐标系Σt和标记坐标系Σm之间的坐标变换。第一相机坐标系Σc和机器人坐标系Σr之间的坐标变换矩阵[R|t]cr是包含于第一相机410的校准参数的外部参数。

在步骤S150中，校正状态可视化部314由第二相机420拍摄标记板520，确定第二相机420和标记板520的相对位置。在步骤S160中，校正状态可视化部314利用步骤S140和步骤S150的结果，确定第一相机410和第二相机420的相对位置。

图5是示出步骤S140～S160中的第一相机410和第二相机420的相对位置的确定方法的说明图。标记板520具有能够识别标记坐标系Σm的三维位置的标记图案。因此，通过由第二相机420拍摄标记板520获取标记图像，并解析该标记图像，能够确定标记坐标系Σm和第二相机坐标系Σg之间的坐标变换矩阵[R|t]mg。然后，通过将坐标变换矩阵[R|t]cm、[R|t]mg相乘，能够求出第一相机坐标系Σc和第二相机坐标系Σg之间的坐标变换矩阵[R|t]cg。这样，在第一实施方式中，由第二相机420拍摄标记板520，使用解析该图像的结果，来确定第一相机410和第二相机420的相对位置。

在图4的步骤S170中，校正状态可视化部314将特定位置的第一相机基准的三维坐标值转换为第二相机基准的三维坐标值。该变换是使用步骤S160中得到的坐标变换矩阵[R|t]cg将上述步骤S130中得到的特定位置的三维坐标值(X

在步骤S180中，校正状态可视化部314在第二相机420的摄像图像重叠表示第一相机410的校准状态的特定图像，并在作为显示设备的VR眼镜440显示。

图6是示出在步骤S180中的显示示出校准状态的特定图像的例子的说明图。在该例子中，特定图像SM1是示出作业台500的XY平面501的三维位置的格子状的图像。特定图像SM1的显示位置的像素坐标值是通过将在步骤S170中得到的第二相机坐标系Σg的三维坐标值由第二相机420的投影变换矩阵转换为二维的像素坐标值得到的。在步骤S120～S170的处理中，由于使用第一相机410的校准参数，因此特定图像SM1重叠在由第二相机420拍摄的图像，以根据校准参数的值变化的位置姿态显示。用户通过将该特定图像SM1的显示位置与作业台500的XY平面501的显示位置比较，能够确认第一相机410的校准状态是否正确。特别地，在本实施方式中，由于在XY平面501设置有示出特定图像SM1的基准位置的基准标记530，因此通过比较特定图像SM1和基准标记530，能够容易确认第一相机410的校准状态。另外，在本实施方式中，由于使用具备第二相机420的VR眼镜440进行特定图像SM1的显示，因此当用户改变第二相机420的位置时，与此对应地改变作业台500的XY平面501、特定图像SM1的显示位置。因此，具有容易确认特定图像SM1的位置是否与作业台500的XY平面501一致的优点。

图7是示出示出校准状态的特定图像的其他显示例的说明图。此处，根据互相不同的多个校准参数集，示出能够显示多个特定图像SM1、SM2的例子。作为第一相机410的校准参数，有时根据第一相机410的像素区域的不同、深度的不同生成多个参数集。在这样的情况下，优选显示与多个参数集对应的多个特定图像。

在图7的例子中，在作为显示设备的VR眼镜440的显示画面显示用于选择校准参数的参数集的下拉菜单PM。当用户使用下拉菜单PM选择1个参数集时，选择性地显示与该参数集对应的特定图像。需要说明的是，也可以同时显示与多个参数集对应的多个特定图像SM1、SM2。这样，如果选择性地或同时显示与多个参数集对应的多个特定图像SM1、SM2，则具有用户能够确认多个参数集中的哪一个精度好的优点。

在图4的步骤S190中，用户观察步骤S180中显示的图像，判断第一相机410的校准状态是否良好。在校准状态不良好的情况下，进入至步骤S200，执行校准参数的调整。

图8是示出在步骤S200中的在显示设备显示的校准参数的调整窗口W1的例子的说明图。在该调整窗口W1，设置有用于选择校准参数的参数集的下拉菜单PM和用于调整特定图像SM1的位置以及姿态的滑块SL1～SL6。用户能够使用这些滑块SL1～SL6来调整特定图像SM1的位置以及姿态。另外，也可以使用滑块SL1～SL6以外的调整工具。校正状态可视化部314根据由用户的特定图像SM1的调整量，调整第一相机410的校准参数。调整的对象主要是外部参数。但是，也可以将内部参数包含于调整对象。需要说明的是，下拉菜单PM能够省略。

作为调整工具，也可以使用直接调整第一相机410的校准参数的值的调整工具。即，也可以与特定图像SM1一起，在显示设备显示用于调整特定图像SM1的位置姿态的调整工具和用于调整校准参数的值的调整工具中的至少一方。如果根据用户的调整调整校准参数的值，则在由特定图像SM1示出的校准状态不合适的情况下，能够将校准参数调整为合适的值。

在步骤S200进行校准参数的调整之后，返回步骤S120，重复上述的步骤S120～S190的处理。但是，在校准参数的调整不影响深度信息的情况下，跳过步骤S120的处理。在步骤S190中，在判断校准状态为良好的情况下，结束图4的处理。

如上所述，在上述第一实施方式中，将示出第一相机410的校准状态的特定图像SM1重叠在由第二相机420拍摄的图像，以根据校准参数的值变化的位置姿态显示，因此能够目视确认第一相机410的校准状态。

需要说明的是，作为示出校准状态的特定图像SM1，也可以代替平面的图像显示表示立体物的图像。例如，表示标记板520的立体的图像也可以作为特定图像显示。这样，通过用户观察该特定图像和实际的标记板520的位置的关系，能够确认第一相机410的校准状态是否正确。另外，显示示出校准状态的特定图像的位置不限于作业台500的XY平面501，也可以设定在第一相机410的摄像范围内中的任意的位置。

B.第二实施方式：

图9是示出第二实施方式中的各种坐标系的关系的示意图。需要说明的是，装置的构成与图1以及图3所示的第一实施方式的构成是相同的。在第二实施方式中，标记板520配置在能够由第一相机410和第二相机420拍摄的任意的位置。

在第二实施方式中，也与第一实施方式同样地，第一相机坐标系Σc和机器人坐标系Σr的相对位置是已知的，其坐标变换矩阵[R|t]cr包含于第一相机410的外部参数。另外，机器人坐标系Σr和工作台坐标系Σt的坐标变换矩阵[R|t]rt也是已知的。另一方面，第一相机坐标系Σc和标记坐标系Σm的相对位置是未知的。

图10是示出第二实施方式的处理顺序的流程图。与图4所示的第一实施方式的处理顺序不同的点在于，步骤S140被步骤S145置换，其他步骤与图4大致相同。

在步骤S145中，校正状态可视化部314由第一相机410拍摄标记板520来获取标记图像，并通过解析该标记图像，确定第一相机坐标系Σc和标记坐标系Σm之间的坐标变换矩阵[R|t]cm。在步骤S150中，与第一实施方式同样地，由第二相机420拍摄标记板520并获取标记图像，通过解析该标记图像，确定标记坐标系Σm和第二相机坐标系Σg之间的坐标变换矩阵[R|t]mg。在步骤S160中，使用步骤S145和步骤S150的结果，确定第一相机410和第二相机420的相对位置。更为具体的，通过将坐标变换矩阵[R|t]cm、[R|t]mg相乘，确定第一相机坐标系Σc和第二相机坐标系Σg之间的坐标变换矩阵[R|t]cg。

第二实施方式中的步骤S145、S150、S160的处理在使用标记图像确定表示第一相机410和第二相机420的相对位置的坐标变换矩阵[R|t]cg这一点上，与第一实施方式的步骤S140、S150、S160的处理相同。步骤S170以后的处理因为与第一实施方式相同所以省略说明。

需要说明的是，在第二实施方式的步骤S120中，如第一实施方式中的作为深度信息的获取方法4说明的那样，优选从第一相机坐标系Σc和工作台坐标系Σt的已知的坐标变换矩阵[R|t]ct获取XY平面501的深度信息。该坐标变换矩阵[R|t]ct能够通过将第一相机坐标系Σc和机器人坐标系Σr的已知的坐标变换矩阵[R|t]cr与机器人坐标系Σr和工作台坐标系Σt的已知的坐标变换矩阵[R|t]rt相乘得到。第一相机坐标系Σc和机器人坐标系Σr的坐标变换矩阵[R|t]cr相当于第一相机410的外部参数。因此，在第二实施方式中的步骤S120～S170中算出的特定位置的第二相机基准的三维坐标值是使用第一相机410的外部参数算出的。

从以上说明可知，在第二实施方式中，代替使用第一相机410和标记的已知的相对位置，通过解析由第一相机410拍摄的标记图像来进行确定第一相机410和标记板520的相对位置的处理，确定第一相机410和第二相机420的相对位置。在第一实施方式以及第二实施方式的任一种情况下，也能够使用能够确定与第一相机410的相对位置的任意的图案作为标记。“能够确定与第一相机410的相对位置”这句话，包含：如第一实施方式那样与第一相机410的相对位置是已知的情况、和如第二实施方式那样通过解析由第一相机410拍摄标记的图像，能够确定与第一相机410的位置的情况，这两种情况。

如上述那样，在第二实施方式中，也与第一实施方式同样地，将示出第一相机410的校准状态的特定图像SM1重叠在由第二相机420拍摄的图像，以根据校准参数的值变化的位置姿态显示，因此能够目视确认第一相机410的校准状态。

其他方式：

本公开不限于上述实施方式，能够在不脱离其主旨范围内以各种方式实现。例如，本公开也能够通过以下方式(aspect)实现。与以下记载的各方式中的技术特征对应的上述实施方式中的技术特征，为了解决本公开的技术问题的一部分或者全部，或者为了达成本公开的效果的一部分或者全部，能够进行适当的替换、组合。另外，如果在本说明书中没有说明该技术特征是必须的，也能够适当删除。

(1)根据本公开的第一方式，提供一种使相机的校准状态可视化的方法。该方法包含：(a)获取第一相机的校准参数的工序；(b)使用第二相机，求出所述第一相机和所述第二相机的相对位置的工序；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在显示设备显示的工序。

根据该方法，将示出第一相机的校准状态的特定图像重叠在由第二相机拍摄的图像，以根据校准参数的值变化的位置姿态显示，因此能够目视确认第一相机的校准状态。

(2)在上述方法中，所述工序(b)也可以包含：(b1)关于所述第一相机的摄像范围内的特定位置，确定所述第一相机的基准坐标系中的第一三维坐标值的工序；以及(b2)通过由所述第二相机拍摄能够确定与所述第一相机的相对位置的标记，获取标记图像的工序；以及(b3)使用所述标记图像，确定表示所述第一相机和所述第二相机的所述相对位置的坐标变换矩阵的工序。另外，所述工序(c)也可以包含：(c1)使用所述坐标变换矩阵，将所述第一相机的所述基准坐标系中的所述第一三维坐标值转换为所述第二相机的基准坐标系中的第二三维坐标值的工序；以及(c2)将由所述第二相机拍摄的图像中的所述特定图像的位置设定在由所述第二三维坐标值示出的位置的工序。

根据该方法，能够使用标记确定第一相机和第二相机的相对位置，确定显示对象图像的位置。

(3)在上述方法中，所述工序(b1)也可以包含：使用第三相机，求出由所述第一相机拍摄的图像中的所述特定位置的深度信息的工序；以及使用与所述特定位置相关的所述第一相机的像素坐标值、所述深度信息、所述校准参数中包含的内部参数，算出所述特定位置的所述第一三维坐标值的工序。

根据该方法，能够使用由第三相机得到的深度信息，求出第一相机的基准坐标系中的特定位置的三维坐标值。

(4)在上述方法中，所述工序(b1)也可以包含：使用能够识别三维位置的图案，求出由所述第一相机拍摄的图像中的所述特定位置的深度信息的工序；使用与所述特定位置相关的所述第一相机的像素坐标值、所述深度信息、所述校准参数中包含的内部参数，算出所述特定位置的所述第一三维坐标值的工序。

根据该方法，能够使用从能够识别三维位置的图案得到的深度信息，求出第一相机的基准坐标系中的特定位置的三维坐标值。

(5)在上述方法中，所述特定位置是水平的XY平面，所述特定图像也可以使表示所述XY平面的图像。

根据该方法，能够通过观察在显示设备显示的XY平面和特定图像的关系，目视确认第一相机的校准状态。

(6)在上述方法中，所述校准参数包含多组校准参数，所述工序(c)也可以包含：在所述显示设备显示与所述多组校准参数分别对应的多个所述特定图像的工序。

根据该方法，能够目视确认与多组校准参数对应的多个特定图像。

(7)上述方法也可以还包含：(d)与所述特定图像一起，在所述显示设备显示用于调整所述特定图像的位置姿态和所述校准参数的值中的至少一方的调整工具的工序；(e)根据使用所述调整工具的用户的调整，调整所述校准参数的值的工序。

根据该方法，能够在由特定图像示出的校准状态不合适的情况下，将校准参数调整为合适的值。

(8)根据本公开的第二方式，提供一种使相机的校准状态可视化的系统。该系统具备：利用相机利用设备拍摄图像的第一相机用于、所述第一相机的校准状态的确认的第二相机、显示由所述第二相机拍摄的图像的显示设备、以及与所述第一相机和所述第二相机和所述显示设备连接的控制装置。所述控制装置执行：(a)获取所述第一相机的校准参数的处理；(b)使用所述第二相机，求出所述第一相机和所述第二相机的相对位置的处理；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在所述显示设备显示的处理。

(9)根据本公开的第三方式，提供一种使处理器执行使相机的校准状态可视化的处理的计算机程序。该计算机程序使所述处理器执行：(a)获取第一相机的校准参数的处理；(b)使用第二相机，求出所述第一相机和所述第二相机的相对位置的处理；以及(c)将示出所述第一相机的校准状态的特定图像重叠在由所述第二相机拍摄的图像，以根据所述校准参数的值变化的位置姿态在显示设备显示的处理。

本公开也能够以上述以外的各种方式实现。例如，能够以具备机器人和机器人控制装置的机器人系统、用于实现机器人控制装置的功能的计算机程序、记录了该计算机程序的非暂时性存储介质(non-transitory storage medium)等的方式实现。