显示装置、显示方法以及计算机可读存储介质

技术领域

本发明涉及显示装置、显示方法以及存储有程序的计算机可读存储介质。

背景技术

以往，已知有头戴式显示器等显示虚拟空间的显示装置(例如专利文献1)。

专利文献1：日本特开2019-139672号公报

发明内容

例如，在虚拟空间是配置有机器人的3D(三维)空间的情况下，希望以容易理解机器人的所谓示教点的位置关系的方式显示虚拟空间。

鉴于上述状况，本发明的目的在于提供一种在3D显示中容易掌握表示特定坐标的坐标图像的显示装置、显示方法以及程序。

本发明的例示性的显示装置具备控制部和显示部。所述控制部具有：决定部，其基于包括两个或三个特定坐标的平面来决定视点位置和视线方向；以及显示控制部，其基于所决定的所述视点位置和所述视线方向，使所述显示部显示包含表示所述特定坐标的坐标图像的3D显示。

本发明的例示性显示方法是具备控制部和显示部的显示装置的显示方法，该显示方法具有如下步骤：

决定步骤，通过所述控制部基于包括两个或三个特定坐标的平面来决定视点位置和视线方向；以及

显示控制步骤，通过所述控制部基于所决定的所述视点位置和所述视线方向，使所述显示部显示包含表示所述特定坐标的坐标图像的3D显示。

本发明的例示性的程序是在具备控制部和显示部的显示装置中使用的程序，该程序使所述控制部进行如下步骤：决定步骤，基于包括两个或三个特定坐标的平面来决定视点位置和视线方向；以及显示控制步骤，基于所决定的所述视点位置和所述视线方向，使所述显示部显示包含表示所述特定坐标的坐标图像的3D显示。

根据本发明的例示性的显示装置、显示方法以及程序，容易掌握表示特定坐标的坐标图像。

附图说明

图1是表示本发明的例示性的实施方式的机器人系统的结构的图。

图2是与本发明的示例性的3D显示控制相关的流程图。

图3是表示初始的3D显示的一例的图。

图4是表示示教点和区域的一例的图。

图5是表示在区域内配置了指令块的例子的图。

图6A是表示基于包含伪示教点的平面的视点位置和视线方向的决定方法的一例的图(平行投影的情况)。

图6B是表示基于包含伪示教点的平面的视点位置和视线方向的决定方法的一例的图(透视投影的情况)。

图7是表示选择了第二个区域时的3D显示的一例的图。

图8是表示包含所选择的3个示教点的平面的一例的图。

图9是表示在区域中配置了指令块的例子的图。

图10是表示一对移动开始块和移动结束块的图。

图11是表示区域显示的一例的图。

符号说明

1机器人

2机器人控制器

3程序生成装置(显示装置)

4区域

5指令块

6线

10机器人系统

21示教点存储部

22机器人程序存储部

23控制部

31输入部

32显示部

33控制部

33A显示控制部

33B计算部

33C决定部

33D程序生成部

41～43区域

51移动开始块

52移动结束块

Ed视线方向

Ep视点位置

G重力方向

P示教点

Pos1～Pos3示教点

PosA、PosB伪示教点

S1～S3平面

T三角形。

具体实施方式

以下，参照附图对本发明的示例性的实施方式进行说明。

＜1.机器人系统＞

图1是表示本发明的示例性的实施方式的机器人系统10的结构的图。机器人系统10具有机器人1、机器人控制器2和程序生成装置3。

机器人1是产业用等的多关节机器人。机器人1在各关节轴上搭载有电动机，通过电动机的驱动将机器人1的前端部控制为规定的位置/姿势。另外，机器人1不限于多关节机器人。

机器人控制器2是用于控制机器人1的装置，具有示教点存储部21、机器人程序存储部22和控制部23。机器人控制器2例如由PC(个人计算机)构成。

在机器人控制器2上连接有未图示的被称为挂件(pendant)的操作装置。使用该挂件，能够在机器人控制器2中登记机器人1的位置姿势。例如，通过上述挂件中的操作来控制机器人1的关节，在期望的位置姿势时在上述挂件中进行登记操作时，此时的位置姿势被登记在机器人控制器2中。将这样的登记作业称为示教(teaching)，将所登记的位置姿势称为示教点。将示教点登记在示教点存储部21中。另外，示教点是机器人1的前端部的位置姿势信息。

在机器人程序存储部22中存储用于使机器人1进行特定的动作的机器人程序。机器人程序例如由BASIC或Python语言等程序语言构成。控制部23按照存储在机器人程序存储部22中的机器人程序控制机器人1。

程序生成装置3是用于生成存储在机器人程序存储部22中的机器人程序的装置，例如由PC构成。另外，程序生成装置3能够通过后述的显示部32显示各种图像，相当于本发明的示例性的显示装置。

程序生成装置3具备输入部31、显示部32和控制部33。输入部31构成为根据操作生成向控制部33输入的输入信号。输入部31例如包括鼠标和键盘。

显示部32构成为显示各种图像，例如由液晶显示部构成。

控制部33具有CPU和存储器等。通过CPU执行存储在存储器中的程序，实现图1所示的控制部33的各种功能块(显示控制部33A等)。

2.对于3D显示＞

在本发明的程序生成装置3(显示装置)中，能够通过控制部33在显示部32上对虚拟的3D空间进行3D显示。在3D空间内，确定相对于规定的固定坐标系(XYZ坐标系)的位置坐标。在显示部32中能够进行包含机器人1的3D显示。即，在3D空间中，预先确定机器人1的位置坐标。另外，也能够确定示教点的位置坐标，在显示部32中与示教点一起在3D显示中显示后述的被称为区域的图像。如后所述，区域是用于配置表示向机器人1的指令的指令块的区域。

另外，在如后述那样决定了视点位置以及视线方向的情况下，能够进行在所决定的视点位置以及视线方向上的3D显示。

＜3.3D显示控制方法＞

接着，按照图2所示的流程图，说明3D显示控制方法的一例。另外，以下，示教点是位置姿势信息中的位置信息。

控制部33具有显示控制部33A(图1)。当开始图2的处理时，首先在步骤S1中，显示控制部33A在配置有机器人1的3D空间中的铅直方向上方的视点位置和铅直方向下方(重力方向)的视线方向上使显示部32进行3D显示。

图3示意性地示出了此时的3D显示的一例。在3D显示中，与示教点P一起显示区域4。例如，如图3所示，以示教点P成为区域4的左上角的方式显示区域4。即，区域4是与示教点P相关联的图像。另外，图3所示的例如与示教点PA对应的区域4A和与示教点PB对应的区域4B重叠。因此，为了使区域4不重叠，例如如图3所示的区域4AA那样，也可以变更示教点PA在区域4中的位置。即，示教点PA位于区域4AA的右下角，不限于区域4的左上角。另外，也可以不显示示教点P而显示区域4。

在步骤S1中，显示登录在示教点存储部21中的所有示教点P和与其对应的各区域4。在图3的例子中，图3所示的所有区域4是与上述所有示教点P对应的各区域4。这里显示的示教点P和区域4成为在步骤S2以后选择的区域(示教点)的候补。即，在步骤S1中，区域(示教点)处于尚未被选择的状态。

即，在未选择特定坐标(示教点)的情况下，显示控制部33A将表示包含特定坐标的所登记的所有坐标的坐标图像(示教点P和区域4)显示于显示部32。由此，通过从所有的坐标图像中选择任意的坐标图像，能够选择任意的特定坐标。

接着，进入步骤S2，选择在步骤S1中显示的一个区域4。即，选择第一个区域4。另外，区域选择通过输入部31中的操作来进行。另外，选择区域4的顺序相当于机器人1在对应的示教点移动的顺序。即，能够通过选择区域4的顺序来指定机器人1的移动路径。

在此，在所选择的区域4中，能够配置后述的指令块5。图4是表示与示教点Pos1对应的区域41、与示教点Pos2对应的区域42、以及与示教点Pos3对应的区域43的图。区域41是在步骤S2中选择的第一个区域4。区域42是在后述的步骤S3中选择的第2个区域4。区域43是在后述的步骤S6中选择的第3个区域4。另外，在图4中，为了便于说明，横向并列地图示了区域41～43，而未以实际的示教点Pos1～Pos3的位置关系进行图示。

显示控制部33A基于输入部31中的操作，进行在选择中的区域4内配置指令块5的显示控制。指令块5是表示向机器人1的指令(机器人1的动作)的块状的图像。即，例如在步骤S2中选择了第一个区域41的情况下，能够在区域41内配置指令块5。

图5是表示指令块向图4所示的各区域41、42、43的配置例的图。在图5所示的例子中，在区域41内，从画面上方向下方依次层叠配置分别表示指令A、B、C的指令块5。这样，指令块5可以层叠配置。层叠的顺序成为向机器人1的指令的顺序。指令块5例如可以通过鼠标的拖动从区域外配置到区域内。

接着，进入步骤S3，选择在步骤S1中显示的一个区域4。即，选择第2个区域4。

这样，进入步骤S4。参照图6A说明步骤S4。在图6A中图示了第一个区域41的示教点Pos1和第二个区域42的示教点Pos2。控制部33具有计算部33B(图1)。如图4所示，计算部33B确定相对于第二个区域42的示教点Pos2位于铅直方向的伪示教点PosA，计算包含示教点Pos1、Pos2和伪示教点PosA这三个示教点的平面S1。在图6A中，示出了重力方向G(铅直方向下方)。即，控制部33具有根据两个特定坐标(Pos1、Pos2)计算包含上述特定坐标的平面S1的计算部33B。

接着，进入步骤S5。控制部33具有决定部33C(图1)。决定部33C根据在步骤S4中计算出的平面S1，决定视点位置Ep和视线方向Ed。即，控制部33具有基于包含两个特定坐标(Pos1、Pos2)的平面S1来决定视点位置Ep和视线方向Ed的决定部33C。另外，视线方向Ed被决定为相对于平面S1垂直的方向。

例如，如下那样决定视点位置Ep和视线方向Ed。另外，这里说明的决定方法在后述的步骤S8、S11中也同样适用。

《通过平行投影进行3D显示的情况》

对于通过平行投影进行3D显示的情况，以图6A为例进行说明。在平行投影中，即使物体的距离远离，投影面中的物体的大小也不变化。

1)在平面S1上设定包含3个示教点(Pos1、Pos2、PosA)的任意的矩形区域T1。另外，矩形区域T1的尺寸是任意的。矩形区域T1成为投影面(显示区域)。

2)从矩形区域T1的中点TP1引出与平面S1垂直的垂线PL1。垂线P1成为视线。

3)视点Ep为垂线PL1上的任意位置。

《利用透视投影进行3D显示的情况》

对于通过透视投影进行3D显示的情况，以图6B为例进行说明。在透视投影中，物体的距离越远，投影面中的物体的大小越小。

1)求出3个示教点(Pos1、Pos2、PosA)的重心CG1。

2)从重心CG1引出与平面S1垂直的垂线PL1。垂线PL1成为视线。

3)视点Ep位于垂线PL1上。以视点Ep为顶点的四角锥与平面S1的公差部分即矩形区域T1成为投影面。四角锥的张开角度为视场角θ。

4)调整垂线PL1上的视点位置，以使矩形区域T1包含3个示教点。另外，也可以调整视场角θ。

由于在步骤S4中决定了视点位置Ep和视线方向Ed，所以显示控制部33A使显示部32显示以所决定的视点位置Ep和视线方向Ed观看3D空间时的3D显示。此时，如图7的一例所示，进行包含示教点Pos1、Pos2和区域41、42的3D显示。即，控制部33具有显示控制部33A，该显示控制部33A基于所决定的视点位置Ep和视线方向Ed，使显示部32显示包含表示特定坐标(Pos1、Pos2)的坐标图像(示教点P和区域4)的3D显示。

这样，通过以根据平面S1决定的视点位置Ep和视线方向Ed进行3D显示，容易看到示教点Pos1、Pos2和区域41、42。因此，根据视点位置和视线方向，示教点P和区域4重叠显示等，难以掌握示教点P和区域4，所以不需要通过用户操作来变更视点位置和视线方向等。即，在本实施方式中，容易掌握表示特定坐标(Pos1、Pos2)的坐标图像。特别是，在本实施方式中，容易掌握示教点Pos1、Pos2的位置关系以及机器人1移动的方向(从Pos1向Pos2的方向)。

另外，也可以在如步骤S1那样未选择区域4、即示教点的情况下不显示机器人1，在如步骤S2、S3那样选择了区域4、即示教点的情况下显示机器人1的前端坐标与所选择的示教点一致的机器人1。例如，在图7中，也可以显示前端坐标与所选择的示教点Pos2一致的机器人1。

另外，上述特定坐标(Pos1、Pos2)是机器人1的示教点。由此，容易掌握机器人1的示教点的位置关系。

另外，坐标图像包含用于配置表示向机器人1的指令的指令块5的区域4。由此，容易掌握示教点处的对机器人的指令。

另外，决定部33C根据包含两个特定坐标(Pos1、Pos2)和相对于上述两个特定坐标中的一个(Pos2)位于铅直方向的伪特定坐标(PosA)的平面S1，决定视点位置和视线方向。由此，在显示部32中以重力方向G朝下的方式进行显示，能够以自然的方式进行3D显示(图7)。

另外，所决定的视线方向Ed是与平面S1垂直的方向。由此，以平面S1与显示部32的显示面平行的方式进行3D显示，因此坐标图像以没有进深的状态显示。因此，特别容易掌握特定坐标间的移动方向。

在步骤S5之后，进入步骤S6，选择第三个区域4。接着，在步骤S7中，与步骤S4同样地，确定相对于与第三个区域43对应的示教点Pos3位于铅直方向的伪示教点PosB，根据示教点Pos2、Pos3和PosB计算平面S2。然后，在步骤S8中，根据计算出的平面S2来决定视点位置和视线方向，进行基于所决定的视点位置和视线方向的3D显示。

之后，在步骤S9中，当再次选择第二个区域42时，进入步骤S10，如图8所示，计算出平面S3，该平面S3包含与第二个区域42对应的示教点Pos2和与在区域42的前后选择的区域41、43对应的示教点Pos1、Pos3。然后，在步骤S11中，根据计算出的平面S3决定视点位置和视线方向，进行基于决定的视点位置和视线方向的3D显示。

即，控制部33具有根据包含3个特定坐标(Pos1、Pos2、Pos3)的平面S3来决定视点位置Ep和视线方向Ed的决定部33C。

另外，决定部33C根据平面S3来决定视点位置以及视线方向，该平面S3包含与当前所选择的第一坐标图像对应的特定坐标(Pos2)、与在所选择的顺序中第一坐标图像之前的第二坐标图像对应的特定坐标(Pos1)、以及与在所选择的顺序中第一坐标图像之后的第三坐标图像对应的特定坐标(Pos3)。由此，容易掌握所选择的3个坐标图像。

另外，在根据包含3个示教点(也包含伪示教点)的平面来决定视点位置和视线方向时，例如在根据连接3个示教点的三角形的重心位置来决定视点位置和视线方向的情况等下，控制部33也可以不必计算平面。

＜4.移动开始/完成块＞

图9表示在区域41～43中配置指令块5的一例。如图9所示，在指令块5中包含移动开始块51和移动结束块52。移动开始块51表示来自所配置的区域的示教点的移动开始指令。移动结束块52表示所配置的区域的示教点的移动完成指令。

如图10所示，移动开始块51和移动结束块52作为一对指令块5来处理。移动开始块51和移动结束块52可以分别独立地自由移动。移动开始块51的下侧和移动结束块52的上侧通过线6结合。在移动开始块51的上边，可以在上方层叠指令块5。在移动结束块52的下边，可以在下方层叠指令块5。根据移动开始块51的移动或移动结束块52的移动，线6的长度和形状可变。

在图9的例子中，在区域41配置移动开始块51，在区域42配置移动结束块52。由此，指令从示教点Pos1开始移动和在示教点Pos2结束移动。

通过将这样的移动开始块51和移动结束块52配置在区域中，能够直观地指定机器人1的移动开始位置和移动结束位置。另外，在这样的实施方式的情况下，在将移动开始块51或移动结束块52配置在区域4内的时间点选择区域4。

另外，在显示部32的显示中，移动开始块51和移动结束块52通过线6结合。由此，容易识别移动开始块51和移动结束块52的关联。另外，例如也可以用相同的颜色显示移动开始块51和移动结束块52来建立关联。

另外，能够在移动开始块51的上侧层叠配置指令块5，并且能够在移动结束块52的下侧层叠配置指令块5。由此，容易识别指令的顺序。

在区域配置了指令块5之后，控制部33中的程序生成部33D(图1)根据指令块5的配置生成机器人程序。接着，控制部33将生成的机器人程序发送给机器人控制器2。发送的机器人程序被存储在机器人程序存储部22中。控制部23按照机器人程序控制机器人1。由此，机器人1进行与配置在区域中的指令块5的指令内容对应的动作。

如果是图9的例子，则机器人1在示教点Pos1进行指令A、B、C的顺序的动作，之后，从示教点Pos1开始移动，在示教点Pos2结束移动。然后，在示教点Pos2，进行指令D、E、F的顺序的动作。然后，从示教点Pos2开始移动，在示教点Pos3结束移动。

＜5.区域显示＞

区域显示也可以如图11所示那样进行。在图11中，在连结示教点Pos1、Pos2、Pos3而形成的三角形T的外侧配置区域41、42、43。即，显示控制部33A使显示部32以配置在由特定坐标(Pos1、Pos2、Pos3)形成且包含在平面S3中的三角形的外侧的方式显示坐标图像(41、42、43)。由此，能够以坐标图像(区域41～43)不重叠的方式进行显示。

＜6.其它＞

以上，说明了本发明的实施方式。另外，本发明的范围不限定于上述实施方式。本发明可以在不脱离发明主旨的范围内对上述实施方式进行各种变更来实施。另外，在上述实施方式中说明的事项在不产生矛盾的范围内能够适当地任意组合。

例如，如图3所示，在显示了所有的示教点P和对应的区域4的情况下，可以选择3个任意的区域4，根据包含所选择的区域4的3个示教点P的平面来决定视点位置和视线方向。由此，容易掌握任意选择的示教点的位置关系。即，在表示所有坐标的坐标图像(区域4)中选择了任意的3个坐标图像的情况下，决定部33C基于包含与3个坐标图像对应的特定坐标的平面来决定视点位置和视线方向。

＜7.附记＞

如上所述，本发明的一个方式的显示装置3具备控制部33显示部32。所述控制部33具有：决定部33C，其基于包括两个或三个特定坐标的平面来决定视点位置和视线方向；以及显示控制部33A，其基于所决定的所述视点位置和所述视线方向，使所述显示部显示包含表示所述特定坐标的坐标图像的3D显示(第一结构)。

另外，在上述第一结构中，所述特定坐标是机器人的示教点(第二结构)。

另外，在上述第二结构中，所述坐标图像包含用于配置表示向所述机器人的指令的指令块的区域(第三结构)。

另外，在上述第三结构中，在所述指令块中包含：移动开始块，其表示从所配置的所述区域的所述示教点开始移动；以及移动结束块，其表示在所配置的所述区域的所述示教点结束移动，所述移动开始块和所述移动结束块彼此相关联(第四结构)。

另外，在上述第一至第四结构中的任一结构中，所决定的所述视线方向是与所述平面垂直的方向(第五结构)。

另外，在上述第一至第五的任一结构中，所述决定部基于平面，决定所述视点位置和所述视线方向，其中，所述平面包含与当前选择的第一坐标图像对应的所述特定坐标、在所选择的顺序中与所述第一坐标图像之前的第二坐标图像对应的所述特定坐标、以及在所选择的顺序中与所述第一坐标图像之后的第三坐标图像对应的所述特定坐标(第六结构)。

另外，在上述第一至第五的任一结构中，所述决定部基于包含所述两个特定坐标和相对于所述两个特定坐标中的一个位于铅直方向的伪特定坐标的所述平面，决定所述视点位置和所述视线方向(第七结构)。

另外，在上述第一至第七的任一结构中，也可以构成为，所述显示控制部以配置在由所述特定坐标形成且包含于所述平面的三角形的外侧的方式使所述坐标图像显示于所述显示部(第八结构)。

另外，在上述第一至第八的任一结构中，在未选择所述特定坐标的情况下，所述显示控制部使所述显示部显示表示包含所述特定坐标的已登记的所有坐标的坐标图像(第九结构)。

另外，在上述第九结构中，在表示所述所有坐标的坐标图像中选择了任意的3个所述坐标图像的情况下，所有决定部基于包含与所述3个坐标图像对应的所述特定坐标的平面来决定所述视点位置和所述视线方向(第十结构)。

另外，本发明的一个方式的显示方法是具备控制部(33)和显示部(32)的显示装置(3)的显示方法，该显示方法具有如下步骤：决定步骤，所述控制部基于包括两个或三个特定坐标的平面来决定视点位置和视线方向；以及显示控制步骤，所述控制部基于所决定的所述视点位置和所述视线方向，使所述显示部显示包含表示所述特定坐标的坐标图像的3D显示(第十一结构)。

另外，本发明的一个方式的程序用于具备控制部(33)和显示部(32)的显示装置(3)，该程序用于使所述控制部执行以下步骤：决定步骤，基于包括两个或三个特定坐标的平面来决定视点位置和视线方向；以及显示控制步骤，基于所决定的所述视点位置和所述视线方向，使所述显示部显示包含表示所述特定坐标的坐标图像的3D显示(第十二结构)。

产业上的可利用性

本发明的技术例如能够利用于包含各种机器人的系统。