远程操纵装置

技术领域

本发明涉及远程操纵装置。

背景技术

存在从远程地点操纵(远程操纵)作业机械的技术。为了在远程操纵作业机械时向远程地点的操纵者提供视觉信息，在作业机械上搭载影像获取装置(摄像头)。由影像获取装置(摄像头)获取的作业现场的影像显示在远程地点的操纵者的远程操纵装置所具备的显示装置上。操纵者一边确认显示装置上显示的影像，一边通过远程操纵装置来操纵作业机械。

例如专利文献1中公开了下述技术：通过作业机械的影像获取装置来拍摄作业现场，生成从假想视点观察的所述作业机械的假想视点图像，并将由作业机械的影像获取装置拍摄到的实际图像和假想视点图像分别显示在显示装置的同一画面的不同位置。

现有技术文献

专利文献

专利文献1：日本特开2019-54464号公报

发明内容

发明要解决的课题

在专利文献1中，通过将来自影像获取装置的作业现场影像(实际影像)和来自假想视点的影像(假想视点影像)提供给操纵者，从而能够期待抑制远程地点的远程操纵的作业效率降低。

在此，会产生下述课题。

影像传送由于通信数据量多，因此根据通信线路的状况而产生延迟。若影像传送产生延迟，则来自影像获取装置的获取影像和来自假想视点的生成影像虽然在同一画面上却分别表现不同的举动。在同一画面上显现的这些影像没有匹配的情况下，很难抑制操纵者的作业效率降低及事故危险性。

本发明是为了解决上述课题而提出的，目的在于提供在从远程地点操纵的作业机械中即使在具有通信延迟的情况下也能够高效安全地远程操纵的远程操纵装置。

用于解决课题的手段

为了解决上述课题，本发明的远程操纵装置具备向作业机械发送操作信号并从远程地点操纵所述作业机械的控制装置，其中，所述控制装置包括：通信控制部，其接收由摄像头拍摄到的作业现场的摄像头影像及所述作业机械的车身信息；预测轨迹运算部，其根据所述车身信息运算所述作业机械的预测轨迹，并输出用于以影像的形式显示在显示装置上的预测轨迹数据；以及显示控制部，其使所述显示装置在同一画面上显示所述摄像头影像和所述预测轨迹的影像。

发明效果

根据本发明，即使在根据通信线路的状况而影像传送产生延迟的情况下，操纵者也能够通过显示预测轨迹的影像来识别车身的当前状况。此外，通过冲抵模拟摄像头影像(基于预测轨迹生成的从摄像头观察的情况下的(模拟的)作业机械的预测影像)，从而在通信线路产生延迟时显现与实际摄像头影像的差量，因此能够视觉地向操纵者提示影像延迟。因此，在从远程地点操纵的作业机械中，即使在具有通信延迟的情况下，也能够高效且安全地远程操纵。

上述以外的课题构成及效果可根据以下实施方式的说明获知。

附图说明

图1是液压挖掘机(作业机械)的远程操纵系统的构成图。

图2是将液压挖掘机(作业机械)的控制器与液压驱动装置一并示出的图。

图3是电磁阀单元的详细图。

图4是图1的远程操纵装置的远程操纵控制装置的硬件构成图。

图5是图1的第1实施方式的远程操纵装置的远程操纵控制装置的功能框图。

图6是第1实施方式的预测轨迹运算部的运算处理流程图。

图7是第1实施方式的显示控制部的控制处理流程图。

图8是第1实施方式的通信控制部的控制处理流程图。

图9是第2实施方式的远程操纵装置的远程操纵控制装置的功能框图。

图10是第2实施方式的通信状况判定部的运算处理流程图。

图11是第2实施方式的通信状况发送部的控制处理流程图。

图12是第2实施方式的通信控制部的控制处理流程图。

图13是示出显示装置的显示画面的显示例(重叠影像)的图。

图14是示出显示装置的显示画面的显示例(不重叠地显示在不同位置的影像)的图。

具体实施方式

以下，使用附图说明本发明的实施方式。在各图中，存在对具有相同功能的部分标注同一附图标记并省略重复说明的情况。在本说明书的以下说明中，作为远程操纵对象的作业机械，如图1所示，例示作为作业装置前端的作业工具具备铲斗8的液压挖掘机。需要说明的是，若为具有将多个连杆部件(附属部件、斗杆、动臂等)连结而构成的多关节型的作业装置的构造，则也可以应用于液压挖掘机以外的作业机械。

另外，在本说明书的以下说明中，在存在多个相同的构成要素的情况下，有时在附图标记(数字)的末尾标注字母，但也存在省略该字母而将该多个构成要素合并表述的情况。例如，当左右各有一个走行液压马达4a、4b时，存在将二者统称为走行液压马达4的情况。

[第1实施方式]

＜基本构成＞

图1是示出本发明第1实施方式的作业机械1的远程操纵系统100的例子的图。远程操纵系统100对作业机械1进行远程操作。在本实施方式中，作业机械1为液压挖掘机。图2是将本发明第1实施方式的液压挖掘机(作业机械)1的控制器与液压驱动装置一并示出的图，图3是图2中的电磁阀单元160的详细图。

在图1中，液压挖掘机1由走行体3和作为多关节型的作业装置的作业前部2构成。走行体3由下部走行部3a和上部回转部3b构成，其中，该下部走行部3a在左右走行液压马达4a、4b(走行右液压马达4a、走行左液压马达4b)的作用下走行，该上部回转部3b安装在下部走行部3a之上，通过回转液压马达5而回转。作业前部2将在垂直方向上分别转动的多个被驱动部件(动臂6、斗杆7及铲斗8)连结而构成。

动臂6的基端借助动臂销以能够转动的方式支承于上部回转部3b的前部。斗杆7借助斗杆销以能够转动的方式连结于动臂6的前端，铲斗8借助铲斗销以能够转动的方式连结于斗杆7的前端。动臂6由动臂缸61驱动，斗杆7由斗杆缸71驱动，铲斗8由铲斗缸81驱动。为了能够测定动臂6、斗杆7、铲斗8的转动，在动臂销上安装有动臂角度传感器62，在斗杆销上安装有斗杆角度传感器72，在铲斗连杆9上安装有铲斗角度传感器82，在上部回转部3b安装有检测上部回转部3b相对于基准面(例如水平面)的倾斜角的车身倾斜角传感器31。需要说明的是，角度传感器62、72、82分别能够替换为相对于基准面(例如水平面)的角度传感器。在回转中心轴上安装有回转角度传感器32，以能够测定上部回转部3b与下部走行部3a的相对角度。在设置于上部回转部3b的驾驶室12内设有用于操作液压挖掘机1的操作装置10。

操作装置10由用于操作动臂缸61(动臂6)及铲斗缸81(铲斗8)的操作右杆10a、用于操作斗杆缸71(斗杆7)及回转液压马达5(上部回转部3b)的操作左杆10b、用于操作走行右液压马达4a(下部走行部3a)的走行右杆10c及用于操作走行左液压马达4b(下部走行部3a)的走行左杆10d构成。另外，以下也存在将操作右杆10a、操作左杆10b、走行右杆10c及走行左杆10d统称为操作装置10的情况。

如图2所示，搭载于上部回转部3b的作为原动机的发动机11驱动液压泵20a、20b和先导泵30。液压泵20a、20b是能够利用调节器20aa、20ba来控制容量的可变容量型泵，先导泵30是固定容量型泵。液压泵20及先导泵30从容器170吸引工作油。在本实施方式中，从作为控制装置的控制器40输出的控制信号被输入至调节器20aa、20ba。调节器20aa、20ba的详细构成省略，液压泵20a、20b的排出流量对应于该控制信号来控制。作为先导泵30的排出配管的泵管143a在通过锁止阀39后与电磁阀单元160内的各电磁比例阀连接。在本例中，锁止阀39为电磁切换阀，其电磁驱动部与配置在驾驶室12(图1)中的门锁止杆的位置检测器电连接。门锁止杆的位置由位置检测器检测，与门锁止杆的位置对应的信号被从该位置检测器输入至锁止阀39。若门锁止杆的位置处于锁止位置，则锁止阀39关闭，泵管143a被切断，若处于锁止解除位置，则锁止阀39打开，泵管143a开通。也就是说，在泵管143a被切断的状态下，操作装置10的操作被无效化，禁止走行、回转、挖掘等动作。操作装置10(10a、10b、10c、10d)是电气控制杆方式，产生与操作者的操作量及操作方向对应的电信号。这样产生的电信号被输入至控制器40，为了驱动与输入至操作装置10的操作对应的电磁比例阀54～59(参见图3，57～59未图示)，控制器40向电磁阀单元160输出电信号。该电信号经由先导管144a～149b输入至液压驱动部150a～155b。从液压泵20排出的液压油经由对应于输入液压驱动部150a～155b的电信号而动作的流量控制阀15a、15b、15c、15d、15e、15f(参见图2或图3，在图3中未图示15d、15e、15f)供给至作为执行机构的动臂缸61、斗杆缸71、铲斗缸81、回转液压马达5、走行右液压马达4a、走行左液压马达4b。动臂缸61、斗杆缸71、铲斗缸81在所供给的液压油的作用下伸缩，从而动臂6、斗杆7、铲斗8分别转动，铲斗8的位置及姿态变化。另外，回转液压马达5在所供给的液压油的作用下旋转，从而上部回转部3b相对于下部走行部3a回转。并且，走行右液压马达4a、走行左液压马达4b在所供给的液压油的作用下旋转，从而下部走行部3a走行。

动臂缸61、斗杆缸71、铲斗缸81具备负荷检测装置16a～16f，以能够检测其缸压。在本实施方式中，负荷检测装置16为压力传感器，检测动臂缸61、斗杆缸71、铲斗缸81各自的底侧的压力和杆侧的压力，并以电信号的形式向控制器40输出。

如图1所示，在上部回转部3b搭载有作为影像获取装置的车载摄像头91。在从远程地点操纵(远程操纵)液压挖掘机1的情况下，车载摄像头91为了向远程地点的操纵者提供视觉信息(如后说明)，获取拍摄作业现场得到的摄像头影像(作业现场影像)。需要说明的是，在本例中，作为拍摄作业现场的影像获取装置的摄像头搭载于液压挖掘机1(的上部回转部3b)，也可以获取例如通过设置于作业现场的摄像头拍摄作业现场得到的摄像头影像(作业现场影像)。

另外，在上部回转部3b搭载有通信装置90。通信装置90经由网络将液压挖掘机1与远程操纵装置200以能够通信的方式连接。远程操纵装置200设置在远离作业现场的远程地点，以从远程地点操纵(远程操纵)液压挖掘机1。通信装置90将来自车载摄像头91的摄像头影像、来自各传感器(角度传感器62、72、82、32及负荷检测装置16a～16f)的车身信息向远程操纵装置200发送，接收来自远程操纵装置200的控制信号(包含液压挖掘机1的操作装置10的操作信号)并向操作装置10传送。

远程操纵装置200构成为，包含：远程操纵控制装置(控制装置)201，其由具有与液压挖掘机1的通信及处理功能的电子设备构成；显示装置202，其显示影像；操作右杆203a，其用于操作动臂缸61(动臂6)及铲斗缸81(铲斗8)；操作左杆203b，其用于操作斗杆缸71(斗杆7)及回转液压马达5(上部回转部3b)；走行右杆203c，其用于操作走行右液压马达4a(下部走行部3a)；走行左杆203d，其用于操作走行左液压马达4b(下部走行部3a)；以及操纵席204。另外，以下也存在将操作右杆203a、操作左杆203b、走行右杆203c及走行左杆203d统称为远程操作装置203的情况。远程操作装置203向远程操纵控制装置201输入操作信号(例如，与操作者的操作量及操作方向对应的电信号)，远程操纵控制装置201经由网络向搭载于液压挖掘机1的通信装置90发送控制信号(包含液压挖掘机1的操作装置10的操作信号)，从而对液压挖掘机1进行远程操纵。显示装置202通过显示来自远程操纵控制装置201的重叠影像，从而向进行远程操纵的操纵者提供视觉信息(如后说明)。

＜电磁阀单元(前部控制用液压单元)160＞

如图3所示，电磁阀单元(在图3中仅显示前部控制用液压单元部分)160具备：电磁比例阀54a～56b，其一次端口侧经由泵管143a与先导泵30连接，将来自先导泵30的先导压减压并向先导管144a～146b输出；以及电磁比例阀57a～59b，其在图3中由于纸面原因而省略(一并参照图2)，但同样地将来自先导泵30的先导压减压并向先导管147a～149b输出。

电磁比例阀54a～59b在非通电时开度最小，来自控制器40的作为控制信号的电流越大则开度越大。像这样，各电磁比例阀54a～59b的开度也与来自控制器40的控制信号对应。

在按照上述方式构成的电磁阀单元160中，若从控制器40输出控制信号来驱动电磁比例阀54a～59b，则在操作者没有操作对应的操作装置10的情况下也能够产生先导压，因此能够强制产生各执行机构(4、5、61、71、81)的动作。

＜远程操纵控制装置201＞

图4是本实施方式的远程操纵装置200的远程操纵控制装置201所具备的硬件构成图。在图4中，远程操纵控制装置201具有通信接口211、作为处理器的中央处理装置(CPU)212、作为存储装置的只读存储器(ROM)213及随机存取存储器(RAM)214、输入接口215和输出接口216。

通信接口211向搭载于液压挖掘机1的通信装置90收发信号。从通信装置90接收液压挖掘机1的车载摄像头影像及车身信息，并向CPU212输入。另外，将来自远程操作装置203的控制信号向通信装置90发送。CPU212基于ROM213中存储的控制程序，对从通信接口211、ROM213及RAM214取入的信号进行规定的运算处理。ROM213是存储有执行包含后述流程图的处理在内的控制内容的控制程序和该流程图的执行所需的各种信息等的记录介质。

输入接口215接受来自远程操作装置203的控制信号作为输入信号，并向通信接口211输出。

输出接口216生成与CPU212的运算结果对应的输出用的信号，并将该信号显示在显示装置202的画面上。

图5是本实施方式的远程操纵装置200的远程操纵控制装置201的功能框图。

在图5中，远程操纵控制装置201包括预测轨迹运算部220、显示控制部221和通信控制部222。

预测轨迹运算部220根据从通信接口211(图4)输入的车身信息来运算液压挖掘机1的预测轨迹，并输出预测轨迹数据。例如，对应于从搭载于液压挖掘机1的通信装置90发送的各部位的传感器值，将用于描绘1秒后的液压挖掘机1的姿态的影像信号(与预测轨迹数据对应)向显示控制部221输出。

显示控制部221将远程操纵控制装置201的预测轨迹运算部220的预测轨迹运算的运算结果与从通信接口211(图4)输入的液压挖掘机1的车载摄像头影像重叠。将重叠后的影像信号向显示装置202输出。

通信控制部222将所发送的信号打包并向液压挖掘机1的通信装置90传送。另外，将来自通信装置90的打包信号以预测轨迹运算部220及显示控制部221能够读取的方式解码。

＜预测轨迹运算部220的运算流程＞

在图6中示出本实施方式的远程操纵控制装置201的预测轨迹运算部220所实施的运算流程。该控制流程通过从通信控制部222输入来自图5中示出通信装置90的信号来实施。

在S600中，检测来自通信控制部222的输入信号并进入S610。

在S610中，根据在S600中检测到的输入信号来运算动臂6、斗杆7、铲斗8、上部回转部3b的预测轨迹。在本实施方式中，根据车身信息中保存的动臂6、斗杆7、铲斗8、上部回转部3b的位置、速度、加速度，分别运算自当前时刻起每规定秒数后的矢量方向及大小。运算完成后进入S620。

在S620中，将作为运算结果的矢量方向及大小转换为与显示控制部221的处理匹配的接口。需要说明的是，不需要转换的情况下不进行转换。在本实施方式中，将矢量方向及大小转换为点群数据。将调整接口后的运算结果输出至显示控制部221并使处理结束。

＜显示控制部221的控制流程＞

图7中示出由本实施方式的远程操纵控制装置201的显示控制部221实施的控制流程。该控制流程通过从通信控制部222输入来自图5中示出的通信装置90的信号并输入来自预测轨迹运算部220的运算结果来实施。

在S700中，检测来自通信控制部222及预测轨迹运算部220的输入信号并进入S710。

在S710中，根据在S700中检测到的预测轨迹运算部220的运算结果来描绘预测轨迹作为影像信号。在本实施方式中，作为预测轨迹描绘车身的预测影像(是基于预测轨迹运算部220的运算结果(预测轨迹)生成的从摄像头观察的情况下(摄像头视点)的模拟的液压挖掘机1的预测影像数据，在本说明书中也称为模拟摄像头影像)和表示对应于各秒数后而渐变的矢量方向及大小的符号。描绘完成后进入S720。

在S720中，将在S710中描绘的预测轨迹(影像信号：模拟摄像头影像)与在S700中检测到的来自通信控制部222的影像信号(也就是说，液压挖掘机1的车载摄像头影像的实际影像)重叠并进入S730。

在S730中，将在S720中重叠的影像信号输出至显示装置202并使处理结束。在显示装置202中，基于从显示控制部221发送的影像信号，将预测轨迹(模拟摄像头影像)与液压挖掘机1的车载摄像头影像(的拍摄作业现场得到的实际影像)在同一画面上(同时)重叠显示(参见图13)。

＜通信控制部222的控制流程＞

在图8中示出由本实施方式的远程操纵控制装置201的通信控制部222实施的控制流程。该控制流程通过从图5中示出的远程操作装置203或通信装置90输入信号来实施。

在S800中，检测来自远程操作装置203或通信装置90的输入信号(接收信号)并进入S810。

在S810中，若在S800中检测到的输入信号为来自远程操作装置203的输入信号则进入S820。否则进入S830。

在S820中，将输入信号打包并向通信装置90发送，使处理结束。

在S830中，若在S800中检测到的输入信号为来自通信装置90的输入信号则进入S840。否则进入S850。

在S840中，以预测轨迹运算部220及显示控制部221能够读取的方式解码并输出，使处理结束。

在S850中，由于不符合全部处理条件而废弃输入信号，使处理结束。

＜动作/效果＞

如上所述，本实施方式的远程操纵装置200的控制装置(远程操纵控制装置)201包括：通信控制部222，其接收车载摄像头91拍摄到的作业现场的摄像头影像及作业机械(液压挖掘机)1的车身信息；预测轨迹运算部220，其根据所述车身信息运算所述作业机械(液压挖掘机)1的预测轨迹，并输出用于以影像的形式显示在显示装置上的预测轨迹数据202；以及显示控制部221，其使所述显示装置202在同一画面上(同时)显示所述摄像头影像和所述预测轨迹的影像。

另外，所述显示控制部221使所述显示装置202在同一画面上重叠显示所述摄像头影像和所述预测轨迹的影像。

另外，所述显示控制部221基于所述预测轨迹生成从所述车载摄像头91观察的情况下的(模拟的)作为所述作业机械(液压挖掘机)1的预测影像的模拟摄像头影像，并使所述显示装置202在同一画面上重叠显示所述摄像头影像和所述模拟摄像头影像。

即，本实施方式的远程操纵装置200通过将车载摄像头影像与预测轨迹影像重叠并向远程地点的操纵者显示，从而不依赖于影像数据而将车身状况向操纵者传送，并视觉地向操纵者提示影像延迟。

在包含按照上述方式构成的远程操纵装置200的远程操纵系统100中，即使在根据通信线路的状况而影像传送产生延迟的情况下，操纵者也能够通过显示预测轨迹的影像来识别车身的当前状况。此外，通过重叠模拟摄像头影像(基于预测轨迹生成的从摄像头观察的情况下的(模拟的)液压挖掘机1的预测影像)，从而在通信线路产生延迟时显现与实际摄像头影像的差量，因此能够视觉地向操纵者提示影像延迟。因此，在从远程地点操纵的作业机械(液压挖掘机)1中，即使在具有通信延迟的情况下，也能够高效且安全地远程操纵。

[第2实施方式]

使用图9～12说明本发明的第2实施方式。图9是本实施方式的远程操纵装置200a的远程操纵控制装置201a的功能框图。

在第1实施方式的基础上，如图9所示，本第2实施方式的远程操纵装置200a的远程操纵控制装置201a追加通信状况判定部223和通信状况发送部224而构成，构成为在显示控制部221中重叠后的影像信号被输入至通信状况判定部223。

＜远程操纵控制装置201a＞

通信状况判定部223根据从显示控制部221输入的影像信号的预测轨迹(模拟摄像头影像)与车载摄像头影像的差量来判定液压挖掘机1与远程操纵装置200a的通信线路的传送状况。将该判定结果向通信状况发送部224及显示装置202输出。

通信状况发送部224将通信状况判定部223的判定结果(通信线路的传送状况的判定结果)经由通信控制部222a向液压挖掘机1的通信装置90传送。

＜通信状况判定部223的运算流程＞

图10中示出本第2实施方式的远程操纵控制装置201a的通信状况判定部223的控制流程图。该控制流程通过输入图9中示出的显示控制部221的输出来实施。

在S1000中，检测来自显示控制部221的输入信号并进入S1010。

在S1010中，根据在S1000中检测到的来自显示控制部221的输入信号来判定通信状况。在本实施方式中，根据重叠后的影像内的实际摄像头影像与模拟摄像头影像的各特征点的差量分布，基于延迟运算表来计算延迟时间。在通信线路的延迟时间的计算完成后进入S1020。

在S1020中，将在S1010中运算的延迟时间向通信状况发送部224及显示装置202输出并使处理结束。在显示装置202中，将从通信状况判定部223发送的作为判定结果的延迟时间与预测轨迹(模拟摄像头影像)、液压挖掘机1的车载摄像头影像(的拍摄作业现场得到的实际影像)一并显示在同一画面上(参见图13)。

＜通信状况发送部224的控制流程＞

图11中示出本第2实施方式的远程操纵控制装置201a的通信状况发送部224的控制流程图。该控制流程通过输入图9中示出的通信状况判定部223的输出来实施。

在S1100中，检测来自通信状况判定部223的输入信号并进入S1110。

在S1110中，将在S1100中检测到的来自通信状况判定部223的输入信号向通信控制部222a输出。在本实施方式中，将输入信号作为远程操作装置203的操作信号之一进行转换处理并向通信控制部222a输出。在将输入信号向通信控制部222a输出后结束处理。

＜通信控制部222a的控制流程＞

图12中示出由本第2实施方式的远程操纵控制装置201a的通信控制部222a实施的控制流程。该控制流程通过输入来自图9中示出的远程操作装置203或通信装置90或通信状况发送部224信号来实施。

在S1200中，检测来自远程操作装置203、通信装置90或通信状况发送部224的输入信号(接收信号)并进入S1210。

在S1210中，若在S1200中检测到的输入信号为来自远程操作装置203或通信状况发送部224的输入信号则进入S1220。否则进入S1230。

在S1220中，将输入信号打包并向通信装置90发送，使处理结束。

在S1230中，若在S1200中检测到的输入信号为来自通信装置90的输入信号，则进入S1240。否则进入S1250。

在S1240中，以预测轨迹运算部220及显示控制部221能够读取的方式解码及输出，并使处理结束。

在S1250中，由于不符合全部处理条件而废弃输入信号，使处理结束。

＜液压挖掘机(作业机械)1的动作＞

本实施方式的液压挖掘机(作业机械)1对应于从通信状况发送部224接收的通信状况判定部223的判定结果来抑制车身动作。例如，液压挖掘机1具有针对通信状况判定部223的判定结果即延迟时间的动作速度上限值的表，通信状况判定部223的判定结果的延迟时间越大则越抑制动作速度的上限值，动作得越慢。或者，液压挖掘机1在通信状况判定部223判定为通信中断的情况下，使全部驱动部停止。

需要说明的是，在本例中，通信状况发送部224将通信状况判定部223的判定结果(延迟时间)直接向液压挖掘机1的通信装置90传送，而在例如仅通信状况判定部223运算的延迟时间大于规定的阈值、判定通信障碍的情况下，也可以将通信状况判定部223的判定结果(延迟时间)向液压挖掘机1的通信装置90传送。

＜动作/效果＞

如上所述，本实施方式的远程操纵装置200a还具备根据所述摄像头影像与所述模拟摄像头影像的差量来判定所述作业机械(液压挖掘机)1与所述远程操纵装置200的通信线路的传送状况的通信状况判定部223。

另外，所述通信状况判定部223使所述显示装置202显示所述通信线路的传送状况的判定结果。

另外，还具备(在例如所述通信状况判定部223判定为有通信障碍的情况下，)将所述通信线路的传送状况的判定结果向所述作业机械(液压挖掘机)1发送的通信状况发送部224。

在包含按照上述方式构成的远程操纵装置200a的远程操纵系统100及液压挖掘机1中，通过将两个影像重叠，从而不仅能够像第1实施方式那样视觉地向操纵者传递延迟状况，还能够求出作为延迟判定结果的延迟时间。另外，由于能够将延迟判定结果发送至液压挖掘机1，因此能够对应于延迟判定结果来控制液压挖掘机1。

需要说明的是，在上述实施方式中，在显示装置202中，预测轨迹(模拟摄像头影像)与液压挖掘机1的车载摄像头影像(的拍摄作业现场得到的实际影像)(同时)重叠显示在同一画面上(参见图13)，例如，如图14所示，也可以将预测轨迹(模拟摄像头影像)与液压挖掘机1的车载摄像头影像(的拍摄作业现场得到的实际影像)显示在同一画面上的不同位置(参见图14)。

需要说明的是，本发明包含多种变形方式，并非限定于上述实施方式。例如，上述实施方式是为了清楚易懂地说明本发明而进行的详细说明，但并非限定于具备所说明的全部构成。另外，能够将某个实施方式的构成的一部分转换为其他实施方式的构成，另外，还能够在某个实施方式的构成中增加其他实施方式的构成。另外，能够针对各实施方式的构成的一部分进行其他构成的追加/删除/置换。

另外，上述实施方式的控制器的各功能也可以通过将其一部分或全部以例如集成电路设计而由硬件实现。另外，也可以通过解释、执行处理器实现各功能的程序而由软件实现。实现各功能的程序、表、文件等信息除了保存在控制器内的存储装置中以外，还能够保存在硬盘、SSD(Solid State Drive：固态驱动器)等记录装置、或IC卡、SD卡、DVD等记录介质中。

附图标记的说明

1…液压挖掘机(作业机械)

2…作业前部(作业装置)

3…走行体

4…走行液压马达

5…回转液压马达

6…动臂

7…斗杆

8…铲斗

9…铲斗连杆

10…操作装置

11…发动机

12…驾驶室

15…流量控制阀

16…负荷检测装置

20…液压泵

30…先导泵

31…车身倾斜角传感器

32…回转角度传感器

39…锁止阀

40…控制器

54～59…电磁比例阀

61…动臂缸

62…动臂角度传感器

71…斗杆缸

72…斗杆角度传感器

81…铲斗缸

82…铲斗角度传感器

90…通信装置

91…车载摄像头

100…远程操纵系统

143a…泵管

144a～149b…先导管

150a～155b…液压驱动部

160…电磁阀单元

170…容器

200…远程操纵装置

201…远程操纵控制装置(控制装置)

202…显示装置

203…远程操作装置

204…操纵席

211…通信接口

212…中央处理装置(CPU)

213…只读存储器(ROM)

214…随机存取存储器(RAM)

215…输入接口

216…输出接口

220…预测轨迹运算部

221…显示控制部

222…通信控制部

223…通信状况判定部(第2实施方式)

224…通信状况发送部(第2实施方式)