机器人示教系统

技术领域

本发明涉及机器人示教系统。

背景技术

近年来，在产业界，大量机器人普及。该机器人例如用在电子部件以及机械部件的组装、焊接以及运送等中，谋求工厂的生产线的效率化以及自动化。这样的机器人需要作成用于进行所期望的动作的程序，并将其作为所谓示教数据预先存储。操作者使用示教器，与机器人控制装置协作来操作实际的机器人，由此记录其动作，从而生成该示教数据。

为了让操作者使用示教器实际使机器人动作的同时作成示教数据，对操作者的技能的依赖度大，有时需要长时间。特别在记录机器人的精密的动作时，必须依赖详细理解机器人的动作且惯于操作示教器的熟练者。

并且，为了减轻对操作者的负担，公开了使用AR设备以及标志来认识机器人的位置的机器人系统(例如专利文献1)。

在专利文献1公开的机器人系统中，构成为使用多个基准用标志和机器人坐标系确定用标志，来认识相对于该多个基准用标志的设定在机器人坐标系确定用标志上的坐标系的位置、朝向，由此，能用AR设备认识机器人的位置或朝向。

现有技术文献

专利文献

专利文献1：JP2021-62463号公报

但在专利文献1公开的机器人系统中，必须设定多个基准用标志和机器人坐标系确定用标志，此外，在机器人示教系统中，有必须掌握机器人以及焊接部位的位置并考虑合适的机器人动作来合适地生成作业程序这样的课题。

发明内容

为此，本发明的目的在于，提供使用由摄像机拍摄到的图像来作成能合适地在焊接位置焊接的作业程序的机器人示教系统。

本发明的一方式所涉及的机器人示教系统具备：拍摄部，其拍摄包含焊接对象和设置在产业用机器人的标志的图像；摄像机坐标系设定部，其基于图像中所含的标志来设定摄像机坐标系；动作路径设定部，其在摄像机坐标系中，基于图像中所含的焊接对象的焊接位置来设定产业用机器人的动作路径；和程序生成部，其基于设置在产业用机器人的标志的设置位置，来将由动作路径设定部设定的产业用机器人的动作路径从摄像机坐标系变换成在机器人控制装置中设定的机器人坐标系，并生成用于使产业用机器人动作的作业程序。

根据该方式，拍摄部拍摄包含焊接对象和设置在产业用机器人的标志的图像，摄像机坐标系设定部基于图像中所含的标志来设定摄像机坐标系。并且，程序生成部基于设置在产业用机器人的标志的设置位置，来将摄像机坐标系中设定的产业用机器人的动作路径变换成在机器人控制装置中设定的机器人坐标系，并生成用于使产业用机器人动作的作业程序。由此，能生成能合适地在焊接位置进行焊接的作业程序。此外，由于能同时拍摄焊接对象和标志，因此，能进行从摄像机坐标系向机器人坐标系的变换的校准，并同时进行焊接对象的焊接位置的检测。进而，由于标志设定在产业用机器人，因此即使是不能在焊接对象的近旁设置标志的状况，也能基于设定在产业用机器人的标志，来合适地检测焊接对象的焊接位置。

在上述方式中，也可以是，标志设置在产业用机器人当中的与安装于机械手的前端的末端执行器同样地进行动作的前端部。

根据该方式，标志由于设置在产业用机器人当中的与安装于机械手的前端的末端执行器同样地进行动作的前端部，因此，若使机械手动作，拍摄部就能在标志接近焊接对象的焊接位置的状态下拍摄图像。由此，标志与焊接位置的相对位置变近，该相对位置越近，越难以产生误差。

在上述方式中，也可以是，动作路径设定部通过对图像进行图像处理来检测焊接位置候补，基于从该焊接位置候补提取的焊接位置来设定产业用机器人的动作路径。

根据该方式，通过对图像进行图像处理来检测焊接位置候补，来从该焊接位置候补提取焊接位置。由此，动作路径设定部能基于更合适地提取的焊接位置来设定产业用机器人的动作路径。

在上述方式中，也可以是，动作路径设定部对焊接位置进一步基于所设定的焊接的顺序来设定产业用机器人的动作路径。

根据该方式，动作路径设定部由于对焊接位置基于进一步设定的焊接的顺序来设定产业用机器人的动作路径，因此，能还考虑所设定的焊接的顺序，来更合适地设定产业用机器人的动作路径。

在上述方式中，也可以是，动作路径设定部对应于焊接位置与焊炬的距离来选择焊接的需要与否，及/或设定焊接的顺序，来设定产业用机器人的动作路径。

根据该方式，动作路径设定部由于对应于焊接位置与焊炬的距离来合适地设定焊接的需要与否及/或焊接的顺序，因此，能更合适地设定产业用机器人的动作路径。

在上述方式中，也可以是，焊接的顺序从特定方向其依次进行选择。

根据该方式，关于焊接的顺序，作为特定方向，在图像中所含的焊接位置中，从图像的上、下、左或右起依次进行设定，或者相对于重力方向在从下向上的方向上依次进行设定。由此，能对应于工件的组装来减轻焊接时的工件的热应变等所引起的对接的误差等，此外，能减轻焊道的垂滴等。

发明的效果

根据本发明，能提供使用由摄像机拍摄到的图像来生成能合适地在焊接位置进行焊接的作业程序的机器人示教系统。

附图说明

图1是例示包含本发明的一实施方式所涉及的机器人示教系统的焊接机器人系统100的结构的图。

图2是例示本发明的一实施方式所涉及的机器人示教系统200的功能结构的图。

图3是表示作为焊接对象的工件W以及设置标志M的焊接机器人系统的情形的图。

图4是表示使标志M靠近工件W的情形的图。

图5是表示拍摄成包含工件W和标志M的图像的图。

图6是表示基于所拍摄到的图像中所含的标志M来设定摄像机坐标系的情形的图。

图7是表示在摄像机坐标系中基于图像中所含的工件W的焊接位置来设定焊接机器人的动作路径的情形的图。

图8是表示本发明的一实施方式所涉及的机器人示教系统200所执行的机器人示教方法M100的处理的流程的流程图。

附图标记的说明

1...拍摄终端、2...机器人控制装置、3...机械手、11...控制部、12...拍摄部、13...通信部、14...显示部、21...控制部、22...存储部、23...通信部、24...焊接电源部、31...多关节臂、32...焊炬、100...焊接机器人系统、200...机器人示教系统、211...拍摄部、212...摄像机坐标系设定部、213...动作路径设定部、214...程序生成部、C...通信线缆、M...标志、N...网络、W、Wa、Wb、Wc...工件、L1、L2、L3...焊接线、M100...机器人示教方法、S101～S104...机器人示教方法M100的各步骤

具体实施方式

以下参考附图来具体说明本发明的实施方式。另外，以下说明的实施方式只是举出用于实施本发明的具体的一例，并不限定地解释本发明。此外，为了使说明的理解容易，在各附图中对相同构成要素尽可能标注相同附图标记，有时重复的说明。

<一实施方式>

[焊接机器人系统的基本结构]

图1是例示包含本发明的一实施方式所涉及的机器人示教系统的焊接机器人系统100的结构的图。如图1所示那样，焊接机器人系统100例如具备拍摄终端1、机器人控制装置2和机械手3。拍摄终端1和机器人控制装置2例如经由网络N连接，机器人控制装置2和机械手3例如经由通信线缆C连接。网络N可以是有线(包括通信线缆)，也可以是无线。另外，可以在焊接机器人系统100中包含示教器。示教器是作业者对机械手3的动作进行示教的操作装置。

机械手3是按照在机器人控制装置2中设定的施工条件来进行电弧焊接的焊接机器人(产业用机器人)。机械手3例如具有：设置在固定于工厂的地面等的底座构件上的多关节臂31；和与多关节臂31的前端连结的焊炬32(末端执行器)。

机器人控制装置2是控制机械手3的动作的控制组件，例如包含控制部21、存储部22、通信部23以及焊接电源部24。

控制部21例如通过存处理器执行储于存储部22的作业程序，来控制机械手3以及焊接电源部24。

通信部23控制与经由网络N连接的拍摄终端1的通信，控制与经由通信线缆C连接的机械手3的通信。

焊接电源部24例如为了使焊丝的前端与工件之间产生电弧，按照预先确定的焊接的施工条件来将焊接电流以及焊接电压等供给到机械手3。在焊接的施工条件中例如包含焊接条件、焊接开始位置、焊接结束位置、电弧放电的时间、焊接距离、焊炬的姿态以及焊炬的移动速度等数据项目。焊接电源部24可以与机器人控制装置2分体地具备。

拍摄终端1例如是数字摄像机，可以是带数字摄像机的可挪动型终端。可挪动型终端例如包含平板终端、智能手机、便携信息终端(PDA)、笔记本PC(个人计算机)等能携带移动的终端。拍摄终端1例如包含控制部11、拍摄部12、通信部13、显示部14。

控制部11通过处理器执行存放于存储器的给定的程序，来控制拍摄终端1的各部。

拍摄部12例如包含镜头以及摄像元件(图像传感器)，将在镜头受光的被摄体的光变换成电信号(数字图像数据)。

通信部13控制与经由网络N连接的机器人控制装置2的通信。

显示部14例如是具有触控面板的显示器，显示由拍摄部12得到的被摄体的影像，并且接受作业者的操作指示等输入。显示部14例如可以设为具有触控面板的显示器装置，与拍摄终端1分体地具备。

[机器人示教系统的结构]

图2是例示本发明的一实施方式所涉及的机器人示教系统200的功能结构的图。如图2所示那样，机器人示教系统200作为功能结构例如具有拍摄部211、摄像机坐标系设定部212、动作路径设定部213和程序生成部214。这些功能当中，拍摄部211是拍摄终端1所具有的功能。另一方面，摄像机坐标系设定部212、动作路径设定部213以及程序生成部214可以是由拍摄终端1以及机器人控制装置2的任一者具备全部，也可以在拍摄终端1以及机器人控制装置2中分散具备各功能。此外，也可以是，拍摄终端1以及机器人控制装置2以外的其他装置具备上述功能的一部分或全部。

拍摄部211与拍摄终端1的拍摄部12相同。本实施方式所涉及的拍摄部211拍摄包含工件和设置在机械手3的标志的图像。例如，拍摄部211拍摄同时包含工件和设定在安装于机械手3的前端的焊炬32的标志的图像。此外，该图像的拍摄时的与机器人控制装置2所控制的机械手3的位置姿态相关的信息与该图像建立关联地存储，用在后述的摄像机坐标系与机器人坐标系的校准中。

摄像机坐标系设定部212基于由拍摄部211拍摄到的图像中所含的标志来设定摄像机坐标系。例如，摄像机坐标系设定部212在由拍摄部211拍摄到的图像中，以标志的位置为原点，来设定由在该原点相互正交的X轴、Y轴以及Z轴构成的三维的正交坐标系，作为摄像机坐标系。

动作路径设定部213在由摄像机坐标系设定部212设定的摄像机坐标系中，基于由拍摄部211拍摄到的图像中所含的工件的焊接位置来设定机械手3的动作路径。例如，动作路径设定部213在由拍摄部211拍摄到的图像中，用户手动选择机械手3(焊炬32)的动作路径，或算出该焊接位置与焊炬32的距离来自动设定机械手3(焊炬32)的动作路径，以使得安装于机械手3的前端的焊炬32沿着工件的焊接位置来动作。另外，焊接位置也可以是通过对由拍摄部211拍摄到的图像进行图像处理来检测焊接位置候补，由用户从该焊接位置候补选择来提取。此外，焊接位置并不限定于用户通过从焊接位置候补选择来提取，例如也可以是按照预先设定的条件从焊接位置候补自动提取。

程序生成部214基于设置在机械手3的标志的设置位置，来将由动作路径设定部213设定的机械手3的动作路径从摄像机坐标系变换成机器人控制装置2中设定的机器人坐标系，并生成使机械手3动作的作业程序。

具体来说，如上述那样，动作路径设定部213基于由拍摄部211拍摄到的图像，来在由摄像机坐标系设定部212设定的摄像机坐标系中设定机械手3的动作路径。另一方面，机器人控制装置2掌握设置在机械手3的标志的设置位置，保持基于该标志的设置位置的机器人坐标系。程序生成部214基于标志的设置位置，来将摄像机坐标系中的机械手3的动作路径变换成机器人坐标系，设定机械手3实际进行动作的路径，生成作业程序，以使得合适地在焊接位置进行焊接。

在此说明从摄像机坐标系向机器人坐标系的变换。程序生成部214取得与基于由拍摄部211拍摄到的图像的机械手3的位置姿态相关的信息，更具体地，至少取得与基于标志而设定的摄像机坐标系中的焊炬32的位置姿态相关的信息。另一方面，程序生成部214取得该图像的拍摄时的与机器人控制装置2所控制的机械手3的位置姿态相关的信息。所谓与机器人控制装置2所控制的机械手3的位置姿态相关的信息，是与机器人控制装置2所控制的机械手3的各轴的角度相关的信息等，能从该信息掌握机械手3的位置姿态(机器人坐标系)。然后，能基于与基于由拍摄部211拍摄到的图像中所含的标志而设定的摄像机坐标系中的焊炬32的位置姿态相关的信息(摄像机坐标系)、和该图像的拍摄时的与机器人控制装置2所控制的机械手3的位置姿态相关的信息(机器人坐标系)，来从摄像机坐标系向机器人坐标系进行变换。

即，进行用于使以由拍摄部211拍摄到的图像中所含的标志为基准(原点)的摄像机坐标系、和以该图像的拍摄时的机器人控制装置2所控制的各轴的角度为基准的机器人坐标系一致的校准。另外，拍摄终端1和机器人控制装置2由于如上述那样以网络N连接，因此，在拍摄终端1所进行的图像的拍摄时，存储与机器人控制装置2所控制的机械手3的各轴的角度相关的信息等即可。

程序生成部214如上述那样，使用与由拍摄部211拍摄到的图像中所含的机械手3的位置姿态相关的信息(摄像机坐标系)、和与该图像的拍摄时的由机器人控制装置2掌握的机械手3的位置姿态相关的信息(机器人坐标系)，来将摄像机坐标系中的机械手3的动作路径变换成机器人坐标系，设定机械手3实际进行动作的路径即可。

如此地，在机器人示教系统200中，使用由拍摄部211拍摄到的包含工件和标志的图像，来生成使得机械手3合适地在焊接位置进行焊接的作业程序。然后，将该作业程序存储在机器人控制装置2中的存储部，该机器人控制装置2基于作业程序来控制机械手3的动作，由此，作为焊接机器人系统，能在工件的焊接位置合适地进行焊接。

[机器人示教系统的各处理中的具体的情形]

接下来，详细说明使用拍摄终端1来拍摄图像、生成能合适地在焊接位置进行焊接的作业程序为止的具体的情形。

图3是表示作为焊接对象的工件W以及设置标志M的焊接机器人系统的情形的图。如图3所示那样，工件W是由成为底板的1片工件Wa和成为侧板的2片工件Wb、Wc构成的构造物，标志M设置在安装于机械手3的前端的焊炬32(末端执行器)。

在此，机器人控制装置2在预先设定的机器人坐标系中控制使具有多关节臂31以及焊炬32的机械手3动作的位置以及方向等。标志M成为该机器人坐标系与后述的摄像机坐标系的校准的基准，机器人控制装置2需要正确掌握设定该标志M的位置。标志M优选正确地设置在机器人控制装置2所掌握的预先决定的位置。

图4是表示使标志M靠近工件W的情形的图。如图4所示那样，例如，通过使机械手3动作，来使设置在焊炬32的标志M靠近工件W。若是标志M和工件W靠近的状态，就易于由拍摄部211拍摄同时包含标志M和工件W的图像，此外，通过标志M与工件W的距离(相对位置)变小，能使测定误差带来的影响减轻。

图5是表示拍摄包含工件W和标志M的图像的图。如图5所示那样，由拍摄部211拍摄同时包含工件W和标志M的图像。例如，拍摄部211合适地拍摄工件W当中的成为焊接位置的候补的部位以及标志M，以使得由拍摄部211拍摄到的图像不会产生工件W当中的成为焊接位置的候补的部位和标志M的一部分发生缺失、变形、与周边设备等干涉、模糊等。

换言之，对于标志M来说，在机械手3的焊炬32设定得难以偏离、变形或破损，并且需要使机械手3动作来使设置于焊炬32的标志M靠近工件W，以使得能合适地同时拍摄工件W当中的成为焊接位置的候补的部位以及标志M。

另外，在此，标志M设置在焊炬32，但并不限定于此，若通过使机械手3动作，从而能与工件W当中的成为焊接位置的候补的部位同时合适地拍摄，则例如也可以设置在焊炬32的近旁、焊接机器人(机械手3)的其他位置。在此，标志M在与安装于机械手3的前端的焊炬32(末端执行器)同样地动作的前端部进行安装。

例如，标志M可以设定在末端执行器(焊炬32)，也可以设定在用于将末端执行器安装于机械手3的托架，还可以设定在机械手3的6轴驱动部分。

如此地，通过将标志M设定在与安装于机械手3的前端的焊炬32(末端执行器)同样地动作的前端部，能让该标志M与焊炬32(例如TCP：Tool Center Position，工具中心位置)的位置关系没有变化地被维持。由此，在为了对焊接位置合适地进行焊接而设定焊接机器人的动作路径时，能容易地确定TCP，能减轻运算量。假设若标志M与TCP的位置关系对应于机械手3的位置姿态而变化，则在确定TCP时，必须考虑该机械手3的位置姿态，存在运算量增加的可能性。

图6是表示基于所拍摄到的图像中所含的标志M来设定摄像机坐标系的情形的图。如图6所示那样，从由拍摄部211拍摄到的图像检测标志M，将标志M的位置设为原点O，设定由在该原点O相互正交的X轴、Y轴以及Z轴构成的三维的正交坐标系，作为摄像机坐标系。

在此，标志M只要是能使拍摄部211认识到正放置于空间内的识别符即可。作为标志，例如优选使用AR(Augmented Reality，增强现实)标志。通过使用AR标志，在认识到放置于空间内的AR标志时，能简易地实现使以该AR标志为原点的摄像机坐标系与实际的影像重合显示。

进而，如图6所示那样，提取工件W的焊接线L1、L2以及L3。具体地，工件W是由成为底板的1片工件Wa和成为侧板的2片工件Wb、Wc构成的构造物，作为焊接对象而显示，分别提取工件Wa、Wb以及Wc的交线L1、L2以及L3，作为焊接线。

作为提取焊接线L1、L2以及L3的方法，例如可以将由拍摄部211拍摄到的图像显示在平板终端等显示画面(例如拍摄终端1的显示部14)，通过用户进行选择来提取。具体地，可以通过在显示于显示画面的图像中，用户用手指进行描摹，来提取焊接线L1、L2以及L3。

在此，在将标志设置在实际的焊接位置的情况下，可以在该标志中包含例如焊炬32的前端相对于焊接位置的姿态、焊接速度、焊接顺序以及详细的目标位置等信息。具体地，若在标志中包含焊炬32的前端相对于焊接位置以45度进行接触的指示信息，就还能基于该标志来设定机械手3的姿态。此外，在有多个焊接位置(焊接线)的情况下，若在各标志中包含焊接顺序，就还能设定机械手3的动作路径。

此外，也可以使用3D摄像机来自动提取焊接线L1、L2以及L3。具体地，例如使用LiDAR(Light Detection and Ranging，光探测和测距)传感器等距离测量传感器来取得与由拍摄部211拍摄到的图像的工件W对应的点群数据。然后，可以基于描画在该摄像机坐标系的点群数据来认识工件W的形状，提取认识为直线的部分，作为焊接线。

另外，作为提取焊接线L1、L2以及L3的方法，并不限定于这些，只要能从由拍摄部211拍摄到的图像合适地提取焊接线L1、L2以及L3，则例如也可以通过使用其他图像处理等来提取焊接线L1、L2以及L3。

图7是表示在摄像机坐标系中基于图像中所含的工件W的焊接位置来设定焊接机器人的动作路径的情形的图。如图7所示那样，设定机械手3的动作路径，以使得依次焊接焊接线L1、L2以及L3。

机械手3的动作路径例如可以通过用户在平板终端等的显示画面上选择焊接线L1、L2以及L3来设定。用户可以对焊接线L1、L2以及L3设定进行焊接的顺序，或用手指描摹焊接的方向，或设定焊接的速度。

此外，机械手3的动作路径，例如，可以对应于焊接线L1、L2以及L3与焊炬32的距离来设定。具体地，可以设定成从与焊炬32的距离近的焊接线起开始焊接，也可以设定焊接机器人的动作路径，以使得在对焊接线L1、L2以及L3全部进行焊接的情况下，焊炬32的移动距离变短。

另外，作为设定用于焊接焊接线L1、L2以及L3的机械手3的动作路径的方法，并不限定于这些，只要能合适地焊接焊接线L1、L2以及L3，则例如也可以使用AI等来设定机械手3的动作路径。

具体地，作为机械手3的动作路径，可以设定成在成从图像中所含的焊接位置中，从该图像的上、下、左或右起依次选择来进行焊接。例如，指定与是将工件左右相连、还是上下重叠等的组装相应的方向。由此，能减轻焊接时的工件的热应变等所引起的对接的误差等。

此外，作为机械手3的动作路径，可以设定成在图像中所含的焊接位置中，在相对于重力方向从下向上的方向上依次选择来进行焊接。例如，在使用拍摄终端1中所含的陀螺仪传感器信息、或机器人控制装置2中所含的机械手3的设置信息定义了重力方向的基础上，在从下向上的方向上依次选择焊接线。由此，能减轻焊接时的工件的热应变等的影响以及焊道的垂滴等。

如此地，在由拍摄部211拍摄到的图像中设定摄像机坐标系，在该摄像机坐标系中设定机械手3的动作路径。

然后，程序生成部214将摄像机坐标系中设定的机械手3的动作路径基于设置在机械手3的标志M的设置位置来变换成机器人坐标系，并生成用于在该机器人坐标系中使机械手3动作的作业程序。即，程序生成部214进行用于使摄像机坐标系和机器人坐标系一致的校准，并基于将摄像机坐标系中设定的机械手3的动作路径变换成机器人坐标系而得到的动作路径来生成作业程序。在该校准中，如上述那样，使用与由拍摄部211拍摄到的图像中所含的机械手3的位置姿态相关的信息(摄像机坐标系)、和与该图像的拍摄时的由机器人控制装置2掌握的机械手3的位置姿态相关的信息(机器人坐标系)。

[机器人示教方法]

接下来，具体详细地说明机器人示教系统200使用由摄像机拍摄到的图像来生成能合适地在焊接位置进行焊接的作业程序的机器人示教方法。

图8是表示本发明的一实施方式所涉及的机器人示教系统200所执行的机器人示教方法M100的处理的流程的流程图。如图8所示那样，机器人示教方法M100包含步骤S101～S104，各步骤由机器人示教系统200中所含的处理器执行。

在步骤S101，机器人示教系统200拍摄包含焊接对象和设置在焊接机器人的标志的图像。作为具体例，机器人示教系统200中的拍摄部211拍摄同时包含成为焊接对象的工件W和设置在安装于机械手3的前端的焊炬32的标志M的图像。此外，该拍摄时的与机器人控制装置2所控制的机械手3的各轴的角度相关的信息等，被与该拍摄到的图像关联地存储。

在步骤S102，机器人示教系统200基于步骤S101中拍摄到的图像中所含的标志来设定摄像机坐标系。作为具体例，机器人示教系统200中的摄像机坐标系设定部212将图像中所含的标志M的位置作为原点O，来设定由在该原点O相互正交的X轴、Y轴以及Z轴构成的三维的正交坐标系，作为摄像机坐标系。

在步骤S103，机器人示教系统200在步骤S102中设定的摄像机坐标系中，基于图像中所含的焊接对象的焊接位置来设定焊接机器人的动作路径。作为具体例，机器人示教系统200中的动作路径设定部213在摄像机坐标系中，设定机械手3的动作路径，以使得安装于机械手3的前端的焊炬32沿着工件的焊接位置动作。

在步骤S104，机器人示教系统200基于设置在焊接机器人的标志的设置位置，来将步骤S103中设定的焊接机器人的动作路径从摄像机坐标系变换成机器人控制装置2中设定的机器人坐标系，并生成用于使焊接机器人动作的作业程序。作为具体例，在步骤S103，动作路径设定部213设定摄像机坐标系中的机械手3的动作路径。机器人控制装置2为了以设置在机械手3的标志M的设置位置为基准来保持机器人坐标系，程序生成部214将摄像机坐标系中的机械手3的动作路径变换成机器人坐标系，设定机械手3实际进行动作的路径，生成作业程序，以使得合适地在焊接位置进行焊接。

如以上那样，根据本发明的一实施方式所涉及的机器人示教系统200以及机器人示教方法M100，拍摄部211拍摄包含成为焊接对象的工件W和设置在机械手3的标志M的图像，摄像机坐标系设定部212基于图像中所含的标志M来设定摄像机坐标系。然后，程序生成部214基于设置在机械手3的标志M的设置位置来将摄像机坐标系中设定的机械手3的动作路径变换成机器人控制装置2中设定的机器人坐标系，并生成用于使机械手3动作的作业程序。由此，能生成能合适地在焊接位置进行焊接的作业程序。

其结果，即使不实施依赖使机械手3精密地动作的同时生成作业程序这样的操作者的技能的机器人示教方法，也能通过使用由摄像机拍摄到的图像来减轻对操作者的技能的依赖，能效率良好地生成作业程序。

另外，在本实施方式中，标志M在机械手3的焊炬32设定1个，但并不限定于此，例如也可以设定多个。

例如，在要由拍摄部211拍摄成包含工件W和标志M的情况下，考虑根据拍摄终端1、工件W以及标志M的位置关系的不同，由于或者工件W、标志M的一部分未被拍摄到、或者成为阴影、或者拍摄角度不合适的影响，有时无法合适地拍摄同时包含标志M和工件W的图像。在该情况下，若在机械手3的焊炬32设定了标志M，且在相反(背)侧也设定了标志M，则通过拍摄部211拍摄图像，以使得包含工件W和该2个标志M当中1个标志M即可。即，能对应于拍摄终端1、工件W以及多个标志M的位置关系，同时清楚地拍摄工件W和多个标志M的任一者。

另外，多个标志M并不限定于2个，例如也可以设定3个或4个以上的标志M，以使得包围焊炬32的周围，也可以在焊炬32当中的上下方向设定多个。

如此地，通过设置多个标志M，来由拍摄部211清楚地拍摄标志M，由此精度提升，进而缓和了姿态所引起的限制。

此外，也可以由拍摄部211拍摄多个图像。例如，在工件W当中的焊接位置遍及大范围的情况下，在使标志M接近后，多次分割地拍摄包含该标志M和工件W当中的焊接位置的一部分的图像。然后，通过将多次分割拍摄到的图像基于各个图像中所含的标志M进行重合，即使是焊接位置遍及大范围的情况，也能适用。

进而，例如也可以从不同的角度多次拍摄同时包含工件W当中的焊接位置和标志M的图像。并且，若通过将多次拍摄到的图像基于各个图像中所含的标志M进行重合，来将摄像机坐标系中的焊接位置平均化，就能减轻各拍摄误差以及测定误差，提升位置精度。

另外，在本实施方式中，示出了使用LiDAR传感器等距离测量传感器来从图像提取焊接线L1、L2以及L3的示例，但也可以利用从该LiDAR传感器取得的点群数据，来掌握周边环境等。例如，若掌握了工件W的形状、载置台以及其他障碍物等，就能避免与它们的干涉，并设定机械手3的动作路径。

以上说明的实施方式用于使本发明的理解容易，并不限定地解释本发明。实施方式所具备的各要素和其配置、材料、条件、形状以及尺寸等并不限定于例示，能适宜变更。此外，能将不同的实施方式中示出的结构彼此部分地置换或组合。