显示系统以及示教系统

技术领域

本发明涉及显示系统以及示教系统。

背景技术

在专利文献1中，公开一种相对于机器人可通信地连接，在机器人的作业区域内用于机器人的示教的机器示教终端。该机器示教终端具备：受理作业者的输入的触摸屏显示器、将示教区域输出到触摸屏显示器的示教区域输出部、检测对触摸屏显示器的输入的输入检测部、以及进行与输入对应的示教的示教部。

在进行对机器人的示教时，作业者手持该机器示教终端，重复对触摸屏显示器的触摸操作。由此，与触摸位置对应的示教信号被发送到机器人的控制装置，进行示教。

日本特开2021-167065号公报

示教完成后，作业者再现示教的动作，确认机器人臂的摆动。此时，作业者需要比较机器人臂的实际的摆动和输出到机器示教终端的触摸屏显示器的信息。也就是说，要求作业者频繁地在机器人臂和触摸屏显示器之间移动视点。这样，在确认示教的动作的作业中，产生不能充分提高作业效率的技术问题。

发明内容

本发明的应用例涉及的显示系统，

是在具备关节的机器人臂动作时，在所述机器人臂显示信息的系统，所述显示系统具备：

拍摄设置于所述机器人臂的标记的多个拍摄装置；

将信息向所述机器人臂投影的多个投影装置；以及

基于由所述拍摄装置拍摄的所述标记的图像，以追随动作中的所述机器人臂而投影所述信息的方式控制所述投影装置的动作的控制装置。

本发明的应用例涉及的示教系统，具备：

本发明的应用例涉及的显示系统；以及

示教具备所述机器人臂的机器人的动作的示教装置。

附图说明

图1是示出本发明涉及的显示系统以及示教系统应用的机器人系统的一例的立体图。

图2是用于说明图1所示的机器人系统的基本构成的框图。

图3是示出实施方式涉及的示教系统的构成以及功能的框图。

图4是示出图3所示的示教系统以及机器人系统的配置例的立体图。

图5是示出安装于机器人的外表面的标记以及画布的一例的侧视图。

图6是示出标记的一例的表。

图7是用于说明使用了实施方式涉及的示教系统的示教方法的一例的流程图。

图8是示出实施方式涉及的显示系统显示的信息的种类的一例的表。

附图标记说明

1…示教系统；2…机器人；3…控制器；4…信息处理装置；5…显示系统；10…机器人臂；11…基座；20…末端执行器；22…力传感器；32…处理电路；34…存储电路；42…记录部；44…处理部；46…模拟部；71…控制装置；72…控制装置；73…控制装置；81…拍摄装置；82…拍摄装置；83…拍摄装置；91…投影装置；92…投影装置；93…投影装置；100…机器人系统；400…PC；402…输入部；404…显示部；422…CAD数据读入部；424…点示教部；426…初始参数存储部；442…机器人控制部；444…信息处理部；446…图表生成部；501…带相机的投影仪；502…带相机的投影仪；503…带相机的投影仪；742…信息获取部；744…影像处理部；CV1…画布；CV2…画布；CV3…画布；CV4…画布；CV5…画布；CV6…画布；E1…编码器；E2…编码器；E3…编码器；E4…编码器；E5…编码器；E6…编码器；J1…关节；J2…关节；J3…关节；J4…关节；J5…关节；J6…关节；M1…电机；M2…电机；M3…电机；M4…电机；M5…电机；M6…电机；MR1…标记；MR2…标记；MR3…标记；MR4…标记；MR5…标记；MR6…标记；S102…步骤；S104…步骤；S106…步骤；S108…步骤；S110…步骤；S112…步骤；S114…步骤；S116…步骤；S118…步骤；S120…步骤。

具体实施方式

以下，基于附图所示的实施方式对本发明涉及的显示系统以及示教系统进行详细说明。

1.机器人

首先，对本发明涉及的显示系统以及示教系统应用的机器人系统的一例进行说明。

图1是示出本发明涉及的显示系统以及示教系统应用的机器人系统100的一例的立体图。图2是用于说明图1所示的机器人系统100的基本构成的框图。需要说明的是，在图1以及后述的各图中，作为互相正交的三个轴，设定x轴、y轴以及z轴。

图1所示的机器人系统100具备机器人2和控制器3。

1.1.机器人

机器人2例如具备：具有多个臂和多个关节J1～J6的机器人臂10、支承机器人臂10的基座11、末端执行器20、以及力传感器22。

机器人臂10例如是具有通过六个关节J1～J6相互连结的七个连杆，以六自由度运动的机械手。在图1所示的例子中，机器人臂10分别具备旋转关节即六个关节J1～J6。需要说明的是，机器人臂10具备的关节的数量没有特别限定，可以小于六个，也可以是七个以上。基座11经由关节J1支承机器人臂10中最靠近基座11侧的连杆。

末端执行器20例如是进行螺钉紧固、夹持、研磨等的各种作业的工具。作为末端执行器20，例如可以列举有螺钉驱动器、夹具、研磨机等。末端执行器20经由力传感器22安装于机器人臂10的前端的机械接口。机器人臂10通过由控制器3控制驱动，确定末端执行器20的位置以及姿态。

需要说明的是，在本说明书中，以机器人臂10为基准将基座11侧称为“基端侧”，将末端执行器20侧称为“前端侧”。

力传感器22例如经由末端执行器20，检测作用于末端执行器20的位置的基准即工具中心点(TCP)的外力。当力传感器22受到外力时，向控制器3输出与外力对应的信号。由此，控制器3将作用于TCP的三个检测轴的力以及围绕三个检测轴的转矩作为外力检测。三个检测轴例如是由x轴、y轴以及z轴定义的世界坐标系。

如图2所示，多个关节J1～J6具有多个电机M1～M6和多个编码器E1～E6。电机M1～M6通过控制器3的控制分别被驱动，分别驱动关节J1～J6。编码器E1～E6检测电机M1～M6的旋转角，输出到控制器3。

关节J1配置于关节J1～J6中的最基端侧，具有电机M1以及编码器E1。关节J1的旋转轴沿着z轴。

关节J2配置于关节J1的前端侧，具有电机M2以及编码器E2。关节J2的旋转轴沿着x-y平面。

关节J3配置于关节J2的前端侧，具有电机M3以及编码器E3。关节J3的旋转轴沿着x-y平面。

关节J4配置于关节J3的前端侧，具有电机M4以及编码器E4。关节J4的旋转轴与关节J3的旋转轴正交。

关节J5配置于关节J4的前端侧，具有电机M5以及编码器E5。关节J5的旋转轴与关节J4的旋转轴正交。

关节J6配置于关节J1～J6中的最前端侧，具有电机M6以及编码器E6。关节J6的旋转轴与关节J5的旋转轴正交。

需要说明的是，图1所示的机器人臂10是垂直多关节型的机器人臂，但不限于此，也可以是水平多关节型的机器人臂。

1.2.控制器

控制器3具备构成计算机系统的处理电路32以及存储电路34。处理电路32例如通过执行存储于存储电路34的控制程序，实现各功能。作为构成处理电路32的至少一部分的电路，例如可以采用中央处理器(CPU)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、面向特定用途的集成电路(ASIC)等的各种逻辑运算电路。

存储电路34是能够由计算机读取的存储介质，存储机器人系统100的动作所需的控制程序、各种数据。作为存储电路34，例如可以采用半导体存储器。处理电路32以及存储电路34可以由一体的硬件构成，也可以由独立的多个硬件构成。控制器3的组件的一部分或者全部可以配置于机器人2的框体的内侧。

控制器3根据控制程序驱动电机M1～M6。控制器3检测由各编码器E1～E6获取的旋转角，基于检测结果控制电机M1～M6的驱动。

2.示教系统的构成

接着，对实施方式涉及的显示系统以及示教系统的构成进行说明。

图3是示出实施方式涉及的示教系统1的构成以及功能的框图。

图3所示的示教系统1具备：信息处理装置4(示教装置)、显示系统5、输入部402、以及显示部404。

信息处理装置4具有对机器人2示教预定的动作，并且模拟示教的动作的功能。显示系统5对机器人2的外表面投影文字、图形等的信息。投影的信息例如可以包含辅助机器人2的示教的信息等。输入部402受理示教作业者的输入操作。显示部404除了显示系统5向机器人2的外表面投影的信息之外，还显示任意的信息。

示教作业者能够一边视觉识别显示系统5向机器人2的外表面投影的信息，一边直接视觉识别正在再现示教的动作的机器人臂10。也就是说，示教作业者即使不视觉识别例如显示部404那样的设置在远离机器人2的位置的显示画面，或者，即使减少视觉识别的次数，也能够通过视觉识别机器人2的外表面来获取与示教相关的信息。由此，示教作业者能够在将视点的移动抑制到最小限度的同时，掌握机器人臂10的实际的摆动和与示教相关的信息双方。其结果，能够提高示教作业的效率。

输入部402受理示教作业者的输入操作。作为输入部402，例如可以列举有键盘、鼠标、触摸面板、示教器等。显示部404除了显示系统5向机器人2的外表面投射的信息之外，还显示任意的信息。作为显示部404，例如可以列举有液晶显示装置等。

信息处理装置4的各功能例如由具备处理器、存储器以及外部接口的硬件实现。作为处理器例如可以列举有CPU(Central Processing Unit：中央处理器)等。作为存储器可以列举有：RAM(Random Access Memory：随机存取存储器)这样的易失性存储器、以及ROM(Read Only Memory：只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory：带电可擦可编程只读存储器)、PROM(Programmable ROM：可编程只读存储器)这样的非易失性存储器中的任一方或者双方的半导体存储器。作为外部接口，例如可以列举有USB(Universal Serial Bus：通用串行总线)等的数字输入输出端口、以太网(注册商标)端口等。然后，通过使处理器执行储存于存储器的程序，实现各功能。

需要说明的是，处理器可以代替CPU，或者除了CPU，也可以使用FPGA(field-programmable gate array：现场可编程逻辑门阵列)等的可编程逻辑器件。

作为这样的硬件，例如除了图3所示的个人计算机(PC400)，还可以列举有平板终端、智能手机等。

显示系统5是在机器人2动作时，向机器人2投影信息并显示的系统。显示系统5具备：三个控制装置71、72、73、三个拍摄装置81、82、83、以及三个投影装置91、92、93。

控制装置71～73分别具有基于从信息处理装置4输出的信息处理结果、以及由拍摄装置81～83拍摄的图像，向投影装置91～93输出影像信号的功能。

拍摄装置81～83分别具有拍摄机器人2，将图像输出到信息处理装置4的功能。

投影装置91～93分别具有基于从控制装置71～73输出的影像信号，向机器人2投影信息的功能。

控制装置71～73、拍摄装置81～83以及投影装置91～93的各功能例如通过图3所示的带相机的投影仪501～503实现。控制装置71～73的各功能例如通过具备处理器、存储器以及外部接口的硬件实现。

图4是示出图3所示的示教系统1以及机器人系统100的配置例的立体图。

如图4所示，拍摄装置81～83以及投影装置91～93以包围机器人系统100的周围的方式配置。另外，在图4中，PC400配置在机器人系统100的附近，但也可以配置在远处。

图5是示出安装于机器人2的外表面的标记MR1～MR5以及画布CV1～CV5的一例的侧视图。

如图5所示，在机器人2的外表面，在关节J1～J5的附近安装有标记MR1～MR5。另外，在图5中虽然未图示，但也可以在关节J6的附近安装标记MR6。标记MR1～MR6分别具有固有的花纹。通过由拍摄装置81～83拍摄这些标记MR1～MR6，能够检测关节J1～J6的各转动角，也就是说机器人2的姿态。

另外，如图5所示，在机器人2的外表面，对应标记MR1设定有画布CV1，对应标记MR2设定有画布CV2，对应标记MR3设定有画布CV3，对应标记MR4设定有画布CV4，对应标记MR5设定有画布CV5。而且，虽然在图5中未图示出，也可以对应标记MR6设定有画布CV6。从投影装置91～93向这些画布CV1～CV6投影信息。由此，通过视觉识别该信息，示教作业者能够容易地将向画布CV1～CV6投影的信息和与其对应的关节J1～J6关联。画布CV1～CV6可以设定在机器人2的外表面中的曲面、凹凸面那样的非平坦面，但优选设定在平坦面。由此，能够抑制投影的信息失真。

图6是示出标记MR1～MR6的一例的表。在图6中，标记MR1～MR6分别示例了类型A、类型B以及类型C这三种类。

类型A是由三角形和棒的组合构成的标记。三角形的钝角的位置表示画布CV1～CV6的方向。另外，棒的数量表示关节的位置。例如，如果棒的数量是一，则表示关节J1。由此，在显示系统5中，通过由图像识别技术识别标记MR1～MR6，能够确定关节J1～J6。

类型B是由空心三角形和填充多边形的组合构成的标记。空心三角形表示画布CV1～CV6的方向。另外，填充多边形其形状表示关节的位置。

类型C是由圆弧和多边形的组合构成的标记。圆弧其位置表示画布CV1～CV6的方向。另外，多边形所持的含义与类型B中所述的是同样的。

这样，标记MR1～MR6只要具有确定关节J1～J6的功能和确定画布CV1～CV6的方向的功能即可。通过使拍摄装置81～83拍摄具有这样的功能的标记MR1～MR6，能够使控制装置71～73获取关节J1～J6的位置、转动状态。

需要说明的是，标记MR1～MR6只要能够通过图像识别技术互相识别即可，不限于图示的标记。例如，标记MR1～MR6也可以是一维条形码、二维条形码。

2.1.信息处理装置(示教装置)

信息处理装置4具有对机器人2示教预定的动作，并且模拟示教的动作的功能。信息处理装置4具有：记录部42、处理部44、以及模拟部46。

2.1.1.记录部

记录部42具有获取模拟所需的信息并记录的功能、以及将记录的信息作为示教信息输出到处理部44的功能。记录部42具有：CAD数据读入部422、点示教部424、以及初始参数存储部426。

CAD数据读入部422读入机器人2以及其周边设备等的CAD(Computer AidedDesign：计算机辅助设计)数据。读入的CAD数据被提供给处理部44中的信息处理、以及模拟部46中的模拟。

点示教部424读入机器人2的示教所需的点位数据。点位数据例如是用于通过指定末端执行器20的位置、姿态等，来示教机器人2的动作的数据。点位数据可以经由未图示的外部存储装置、网络读入，也可以经由输入部402输入。

初始参数存储部426存储动作参数的初始值。动作参数是模拟部46为了模拟机器人2的动作所需的参数的初始值。此外，初始参数存储部426也可以预先存储在显示系统5中显示的信息的种类。

2.1.2.处理部

处理部44具有基于从记录部42输出的示教信息、从模拟部46输出的模拟的结果，输出使机器人2动作的控制信号以及控制显示系统5的动作的控制信号的功能。处理部44具有：机器人控制部442、信息处理部444、以及图表生成部446。

机器人控制部442向控制器3输出与机器人2的机器人臂10的位置以及姿态相关的控制信号。控制器3基于输入的控制信号，控制机器人臂10的驱动。另外，机器人控制部442从控制器3获取机器人2的动作信息，例如，末端执行器20的速度、加速度、关节J1～J6的角速度、角加速度、关节J1～J6的转矩、以及从基准时刻的经过时间等。

信息处理部444基于通过模拟部46模拟的结果，生成在显示系统5显示的信息。

图表生成部446基于通过模拟部46模拟的结果或者从信息处理部444输出的信息，生成图表。需要说明的是，本说明书中的“图表”指的是用图形表现数值数据的图表。图表还包含表格。生成的图表输出到显示系统5。

模拟部46模拟机器人2的摆动、机器人2与周边设备等的干涉。然后，模拟部46将模拟的结果输出到信息处理部444或者图表生成部446。

需要说明的是，在以下的说明中，将信息处理装置4的信息处理的结果称为“信息处理结果”。

另外，信息处理装置4的功能的一部分也可以通过带相机的投影仪501～503或者其他外部装置实现。

2.2.显示系统

如图3所示，显示系统5具备：三个控制装置71、72、73、三个拍摄装置81、82、83、以及三个投影装置91、92、93。

2.2.1.控制装置

控制装置71～73分别具有向投影装置91～93输出影像信号的功能。控制装置71～73分别具有信息获取部742和影像处理部744。

信息获取部742具有从信息处理装置4获取信息处理结果，并且从拍摄装置81～83获取图像的功能。从信息处理装置4获取的信息处理结果例如可以是除了文字，包含图表等的图形。另外，信息获取部742对获取的图像进行图像识别处理，检测标记MR1～MR6的位置、大小、形状、朝向等。信息获取部742预先具有画布CV1～CV6相对于标记MR1～MR6的相对位置、大小等的信息。基于这些信息和检测的标记MR1～MR6，信息获取部742确定空间上的画布CV1～CV6的位置、大小等。然后，信息获取部742转换为投影装置91～93的可投影范围中的画布CV1～CV6的位置、大小。

需要说明的是，本实施方式涉及的显示系统5具备多个拍摄装置81～83。在从拍摄装置81～83获取的多个图像中拍到同一标记的情况下，信息获取部742选择任一图像，检测标记MR1～MR6。在这种情况下，优选从最正面侧选择能够拍摄各标记的图像。由此，由于标记的检测精度变高，因此在影像处理部744中，能够更高精度地进行与画布CV1～CV6的位置、大小相匹配地影像的加工。

影像处理部744具有基于信息获取部742的获取结果，生成向投影装置91～93投影的影像信号并输出的功能。具体地，生成将表示从信息处理装置4输出的信息处理结果的影像与画布CV1～CV6的位置、大小等一致地加工的影像信号。通过向投影装置91～93输出该影像信号，能够在画布CV1～CV6分别显示个别的信息。作为加工的例子，例如可以列举有与画布CV1～CV6的位置、大小相匹配地，例如，对影像进行放大、缩小、变形、旋转等。需要说明的是，如果在一个图像中拍到全部标记MR1～MR6，则选择该图像即可，但在机器人臂10的构造上，分为多个图像而拍摄标记MR1～MR6。因此，信息获取部742从多个图像检测标记MR1～MR6。由此，无论机器人2的姿态，都能够获取能够准确地检测标记MR1～MR6的图像。

另外，本实施方式涉及的显示系统5具备多个投影装置91～93。影像处理部744预先存储投影装置91～93相对于机器人2的相对位置。因此，影像处理部744基于信息获取部742的标记MR1～MR6的检测结果，从多个投影装置91～93选择一个，投影信息。在这种情况下，优选选择能够从最正面侧对画布CV1～CV6投影信息的投影装置91～93。由此，由于投影的信息的画质变高，因此能够提高示教作业者的视觉识别性。需要说明的是，也可以从多个投影装置91～93选择多个，投影信息。

另外，控制装置71～73可以互相通信。由此，控制装置71～73能够协调控制投影装置91～93。其结果，控制装置71～73例如能够基于机器人2与投影装置91～93的位置关系，选择投影装置91～93的任一个或者两个以上，控制向机器人2投影信息。由此，能够根据画布CV1～CV6的朝向从适当的投影装置91～93投影信息，能够投影视觉识别性高的信息。这样，在协调控制多个投影装置的技术中，例如可以使用现有的多投影技术。

而且，显示系统5以及信息处理装置4可以互相通信。由此，从信息处理装置4输出的信息处理结果被分别输入到控制装置71～73。

需要说明的是，控制装置71～73可以集中为一个，也可以构成为通过PC400实现控制装置71～73的功能。另外，控制装置71～73也可以不互相通信。

2.2.2.拍摄装置

拍摄装置81～83分别具有拍摄机器人2，将图像输出到控制装置71～73的功能。拍摄装置81～83的各可拍摄范围(视角)，可以设定为机器人2的一部分，但优选设定为机器人2的整体。由此，根据机器人2的姿态，有可能一个拍摄装置能够拍摄全部标记MR1～MR6的。其结果，可以减少所需的拍摄装置的数量。

另外，显示系统5通过具备多个拍摄装置81～83，能够从多方向拍摄机器人2。由此，在拍摄装置81～83的任一个中，能够拍摄标记MR1～MR6的概率变高。特别是如果拍摄装置的数量在三个以上，则能够特别提高该概率。在本实施方式中，以拍摄装置的数量为三个的情况为例进行说明。

作为拍摄装置81～83例如可以列举有CCD(Charge Coupled Device：电荷耦合器件)相机、CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)相机等。

2.2.3.投影装置

投影装置91～93分别具有向机器人2投影信息的功能。投影装置91～93的各可投影范围(视角)，可以设定为机器人2的一部分，但优选设定为机器人2的整体。由此，根据机器人2的姿态，有可能一个投影装置能够向全部画布CV1～CV6的投影。其结果，可以减少所需的投影装置的数量。

另外，显示系统5通过具备多个投影装置91～93，能够从多方向对机器人2显示信息。由此，在投影装置91～93的任一个中，能够向画布CV1～CV6投影信息的概率变高。特别是如果投影装置的数量在三个以上，则能够特别提高该概率。在本实施方式中，以投影装置的数量为三个的情况为例进行说明。

投影装置91～93投影的信息例如是由数值、文本那样的文字、花纹、图表那样的图形表示的示教的机器人2的动作。通过投影这样的信息，例如，示教机器人2的动作的示教作业者能够在将视点的移动抑制到最小限度的同时，掌握机器人臂10的实际的摆动和与示教相关的信息的双方。由此，能够谋求示教作业的效率化。

另外，例如在机器人2的机器人臂10、基座11设置监视器等来显示信息的情况下，监视器和机器人臂10有可能发生干涉。另外，由于通过监视器产生成为死角的部分，因此示教的作业性可能低下。与此相对，根据显示系统5，能够解决这样的技术问题。而且，由于不需要设置监视器，因此能够容易地确保示教作业者能够作业的空间，并且抑制机器人2的重量、配线长的增大。另外，即使不使用具备监视器的示教器，也能够一边视觉识别与示教相关的信息，一边视觉识别机器人臂10的实际的摆动，因此，对于示教作业者也存在在此间能够自由使用双手的优点。

投影装置91～93分别具有未图示的投影部。投影部例如具有光源、光调制元件、投影光学系统等。作为光调制元件，例如可以列举有液晶光阀等。液晶光阀具有由配列为矩阵状的多个像素构成的矩形的像素区域。在液晶光阀中，能够基于影像信号改变每个像素的透光率。从光源射出的光通过透过像素区域被调制，与影像信号对应的影像向机器人2的外表面投影。另外，在液晶光阀按光的三原色的每种颜色分开的情况下，能够根据影像信号中包含的颜色信息，投影彩色的影像。

另外，在图4所示的配置例中，拍摄装置81与投影装置91、拍摄装置82与投影装置92、以及拍摄装置83与投影装置93分别互相接近地配置。由此，例如在由拍摄装置81拍摄到标记MR1的情况下，能够判断为能够由投影装置91向画布CV1投影信息的概率高。这样通过将一个拍摄装置和一个投影装置组装并配置，能够降低投影装置91～93中的影像处理的负荷。需要说明的是，拍摄装置81～83以及投影装置91～93的配置不限于图4所示的配置。例如，拍摄装置81与投影装置91也可以互相分离。另外，拍摄装置和投影装置的数量也可以互相不同。

如上所述的显示系统5优选实时地工作。也就是说，在机器人2的姿态变化的情况下，能够根据拍摄装置81～83获取的图像检测姿态的变化。由此，能够根据画布CV1～CV6的位置、大小的变化，使显示系统5显示的信息变化。其结果，显示系统5能够追随机器人2的姿态的变化，使显示的信息实时地变化。

另外，显示系统5也可以用于对机器人2示教动作以外的用途，例如用于对已示教动作的机器人2确认动作的用途。

3.示教方法

接着，对使用了实施方式涉及的示教系统的示教方法的一例进行说明。

图7是用于说明使用了实施方式涉及的示教系统的示教方法的一例的流程图。

在步骤S102中，首先，如图4所示，在机器人系统100的周围配置带相机的投影仪501～503。

接着，在控制装置71～73中登记带相机的投影仪501～503相对于机器人2的相对位置。在该登记中，例如使用放置在机器人2的基座11的校正用标记。由拍摄装置81～83拍摄该标记，检测标记的位置、大小等。由此，能够登记拍摄装置81～83相对于机器人2的相对位置。另外，能够基于投影装置91～93相对于拍摄装置81～83的相对位置，登记投影装置91～93相对于机器人2的相对位置。

接着，进行机器人2的动作的示教。例如，使信息处理装置4读入点位数据，生成末端执行器20的路径。另外，进行机器人2的动作的设定。例如，使信息处理装置4读入动作参数来生成轨道。

在步骤S104中，通过模拟部46进行使机器人臂10在生成的轨道上摆动的模拟。然后，基于模拟的结果，信息处理部444生成在显示系统5显示的信息。

在步骤S106中，为了使示教作业者选择向机器人2投影的信息的种类，在显示部404显示信息的种类。然后，通过由输入部402受理输入，记录选择的信息。

在步骤S108中，通过控制装置71～73获取来自信息处理装置4的信息处理结果，并且从拍摄装置81～83获取图像。另外，检测标记MR1～MR6。然后，生成向投影装置91～93投影的影像信号。

在步骤S110中，通过显示系统5对机器人2投影信息。由此，在机器人2显示信息。

在步骤S112中，通过机器人控制部442，再现示教的动作。由此，机器人2实际地动作。

在步骤S114中，显示系统5根据机器人2的动作，改变向机器人臂10投影的信息。由此，能够实时地使投影的信息变化。具体地，根据机器人2的动作，实时地使表示信息的文字、图形、颜色、明灭等变化。由此，示教作业者容易直观地掌握信息的含义。

图8是示出实施方式涉及的显示系统5显示的信息的种类的一例的表。如图8所示，作为显示系统5显示的信息，例如可以列举有：

(A-1)关节J1～J6的移动方向、

(A-2)关节J1～J6的脉冲数、

(A-3)关节J1～J6的转矩、

(A-4)关节J1～J6的控制标志、

(A-5)关节J1～J6与干涉物的距离、以及

(A-6)力传感器22的传感器值、波形

等。需要说明的是，在图8中也一并示出了显示的信息的图片。

作为信息(A-1)的一例，在图5所示的画布CV1上，用箭头显示关节J1的移动方向。画布CV1被设定在关节J1的附近。因此，示教作业者能够在同一视野内，视觉识别在画布CV1上显示的关节J1的移动方向和关节J1的实际的摆动，因此能够以较少的负担直观地确认示教的状态。

例如，如图8所示，信息(A-2)以及信息(A-3)以数值、文本的形式显示。通过这样显示包含文字的信息，能够将误解少的信息传递给示教作业者。需要说明的是，作为控制标志，例如可以列举有表示来自关节J1～J6的基准角度的转动角是否在阈值以上的值、用手(Hand)、肘(Elbow)、手腕(Wrist)等的用语表现机器人臂10的特定的姿态的值等。

作为信息(A-2)以及信息(A-3)的另一例，在图5所示的画布CV4、CV5上也显示包含数值、文本等的文字的信息。

信息(A-4)例如如图8所示，用箭头显示。该箭头例如利用图形的特性直观地示出位于离该关节最近的位置且有可能干涉的物体(干涉物)的方向。另外，也可以用数值显示到干涉物的距离。在这种情况下，在到干涉物的距离特别短的情况下，也可以改变显示的信息的颜色等。也就是说，显示系统5显示的颜色可以是单色，但优选是多色。由此，能够将信息的变化告诉示教作业者的色觉，例如能够更容易理解地传达紧急程度等的状况的变化。

信息(A-5)例如如图8所示，用数值、文本显示。作为信息(A-5)的另一例，在图5所示的画布CV2、CV3上，显示用颜色、花纹的变化表示干涉物的距离等的图形。

信息(A-6)例如如图8所示，用示出力传感器22的传感器值、波形的表格(图表)等显示。

除了上述的信息之外，作为显示系统5显示的信息的例子，虽然未图示，但可以列举有：

(B-1)机器人臂10的当前位置、

(B-2)机器人臂10的加减速度的实际值或者模拟中的设想值、

(B-3)机器人臂10到目的地的距离、

(B-4)机器人臂10的累积移动距离、

(B-5)TCP坐标系中的与干涉物的最接近距离、

(B-6)机器人2的动作时间或者模拟中的动作时间、

(C-1)对机器人2的I/O(输入输出)的状况、

(C-2)对机器人2的动作命令的状况、以及

(C-3)示教作业者任意定义的变量的值

等。这些信息也用例如数值、文本等的文字、包含图表的图形等显示。

这样，如果能够比较向机器人2投影的信息和机器人2的实际的摆动，则例如，更容易确认示教的动作是否有浪费、掌握伴随动作的机器人的实际的摆动的倾向、事前掌握超载等的风险等。因此，能够高效地改善示教内容，并且能够早期预测故障。

另外，显示内容可以是固定的，但优选根据示教的动作的进展实时地变化。由此，示教作业者能够更准确地掌握示教的动作与机器人2的摆动的关系。

特别地，信息(A-1)～(A-6)都是各关节中固有的信息。因此，通过将关节中固有的信息向与该关节对应的画布投影，示教作业者能够更直观地掌握信息与关节的关系。其结果，示教作业者能够更高效地进行示教内容的改善、故障的预测。

在步骤S116中，判断是否结束示教的动作的再现。例如，在向机器人2投影的信息与机器人2的实际的摆动比较的结果，不承认故障等，判断为不需要改善示教内容等的情况下，结束动作的再现。在结束动作的再现的情况下，也就是说，在判断的结果为“是”的情况下，示教作业者从输入部402输入指示结束的操作。由此，转移到步骤S118。在步骤S118中，结束显示系统5的信息的显示。由此，可以认为示教的动作良好。

另一方面，在不结束动作的再现的情况下，也就是说，在判断的结果为“否”的情况下，转移到步骤S120。例如，在动作的再现中，在机器人2的实际的摆动中发现故障等的情况下，不结束动作的再现，需要继续动作的确认。因此，在步骤S120中，改变动作的设定。例如，使信息处理装置4读入与在步骤S102中读入的动作参数的初始值不同的动作参数，生成新的轨道。然后，转移到步骤S106。在步骤S106中，对新的轨道再次进行显示的信息的选择。

如上所述，重复动作参数的改变直到在机器人2的动作中没有发现故障等。由此，机器人2的示教完成。

4.实施方式起到的效果

如上所述，实施方式涉及的显示系统5是在具备关节J1～J6的机器人臂10动作时，在机器人臂10显示信息的系统。这样的显示系统5具备：多个拍摄装置81～83、多个投影装置91～93、以及控制装置71～73。拍摄装置81～83拍摄设置于机器人臂10的标记MR1～MR6。投影装置91～93向机器人臂10投影信息。控制装置71～73基于由拍摄装置81～83拍摄的标记MR1～MR6的图像，追随动作中的机器人臂10投影信息。

根据这样的显示系统5，能够使作业者在视觉识别机器人臂10的实际的摆动的同时，高效地视觉识别与机器人臂10的动作相关的信息。由此，在将显示系统5用于机器人2的动作的示教的情况下，示教作业者能够在将视点的移动抑制到最小限度的同时，掌握机器人臂10的实际的摆动和与示教相关的信息的双方。由此，能够谋求示教作业的效率化。

另外，由于不需要在机器人2设置监视器等，因此存在容易地确保作业者能够作业的空间，能够抑制机器人2的重量、配线长的增大这样的优点。而且，即使不使用使用了监视器的示教器，也能够一边视觉识别与示教相关的信息，一边视觉识别机器人臂10的实际的摆动，因此，对于示教作业者也存在在此期间能够自由使用双手的优点。

另外，在实施方式涉及的显示系统5中，投影装置91～93投影的信息包含：关节J1～J6的移动方向、关节J1～J6的脉冲数、关节J1～J6的转矩、关节J1～J6的控制标志、或者关节J1～J6与干涉物的距离。

根据这样的构成，作业者在同一视野内，能够视觉识别在画布CV1上显示的关节J1的移动方向和关节J1的实际的摆动。因此，在将显示系统5用于机器人2的动作的示教的情况下，示教作业者能够以较少的负担直观地确认示教的状态。

另外，在实施方式涉及的显示系统5中，机器人臂10具备多个关节J1～J6。然后，投影装置91～93向与多个关节J1～J6对应的多个区域即画布CV1～CV6投影信息。

根据这样的构成，由于关节J1～J6与画布CV1～CV6对应，因此作业者能够容易地将向各画布投影的信息和与其对应的关节关联。

另外，在实施方式涉及的显示系统5中，投影装置91～93将与关节J1～J6相关的固有的信息向与关节J1～J6对应的区域即画布CV1～CV6投影。

根据这样的构成，由于将关节J1～J6中固有的信息向与该关节J1～J6对应的画布CV1～CV6投影，因此作业者能够更直观地掌握信息与关节J1～J6的关系。

另外，在实施方式涉及的显示系统5中，投影装置91～93投影的信息包含文字或者图形。

在投影的信息包含文字的情况下，能够向作业者传达误解少的信息。另外，在投影的信息包含图形的情况下，能够利用图形的特性将信息直观地传达给作业者。

另外，在实施方式涉及的显示系统5中，投影装置91～93投影的信息包含多个颜色。

根据这样的构成，因为能够改变显示的信息的颜色，能够将信息的变化告诉作业者的色觉，例如能够更容易理解地传达紧急程度等的状况的变化。

另外，实施方式涉及的示教系统1具备显示系统5、信息处理装置4(示教装置)。信息处理装置4示教具备机器人臂10的机器人2的动作。

根据这样的示教系统1，示教作业者能够在将视点的移动抑制到最小限度的同时，掌握机器人臂10的实际的摆动和与示教相关的信息的双方。由此，能够谋求示教作业的效率化。

另外，由于不需要在机器人2设置监视器等，因此存在容易确保示教作业者能够示教作业的空间，能够抑制机器人2的重量、配线长的增大这样的优点。而且，即使不使用使用了监视器的示教器，也能够一边视觉识别与示教相关的信息，一边视觉识别机器人臂10的实际的摆动，因此，对于示教作业者也存在在此间能够自由使用双手的优点。

以上，虽然基于图示的实施方式对本发明涉及的显示系统以及示教系统进行说明，但本发明不限于此。

例如，本发明涉及的显示系统以及示教系统是可以分别被所述实施方式的各部分具有同样的功能的任意的构成物置换的，也可以在所述实施方式中添加任意的构成物。