影像传输方法、影像传输系统以及控制装置

技术领域

本公开涉及一种从移动体向外部装置传输影像数据的技术。

背景技术

专利文献1公开了经由网络的视频电话、WEB聊天这样的双向系统中的画中画(Picture-in-Picture)形式的显示方法。

此外，作为与影像传输相关的技术，已知有专利文献2、专利文献3。

非专利文献1公开了将被输入的低分辨率图像转换为高分辨率图像的“超分辨率技术(super resolution)”。特别是，非专利文献1公开了将基于卷积神经网络(CNN：Convolutional Neural Network)的深度学习应用于超分辨率(SR)的SRCNN。通过机器学习得到将被输入的低分辨率图像转换(映射)为高分辨率图像的模型。

现有技术文献

专利文献

专利文献1：日本特开2014-150299号公报

专利文献2：日本特开2021-026554号公报

专利文献3：日本特开2014-071776号公报

非专利文献

非专利文献1：Chao Dong,Chen Change Loy,Kaiming He,and Xiaoou Tang,"Image Super-Resolution Using Deep Convolutional Networks",arXiv:1501.00092v3[cs.CV],July 31,2015(https://arxiv.org/pdf/1501.00092.pdf)

发明内容

发明要解决的问题

考虑由搭载于移动体的摄像机得到的影像数据被传输到外部装置的状况。例如，在移动体的远程辅助中，由搭载于移动体的摄像机得到的影像数据被传输到远程操作员侧而被利用。但是，影像数据的数据量比较大。随着摄像机台数增加、同时被发送的影像数据数(流数)增加，发送数据量增大。发送数据量的增大导致通信延迟、通信成本的增大。从影像数据的利用的观点出发，期望尽可能抑制通信延迟、通信成本。

本公开的1个目的在于提供一种能够削减从移动体向外部装置传输的影像数据的量的技术。

用于解决问题的方案

第1观点与从移动体向外部装置传输影像数据的影像传输方法相关联。

影像传输方法包括如下处理：

获取由搭载于移动体的多个摄像机分别得到的多个影像数据的处理；

通过削减多个影像数据的数据量来获取发送影像数据的数据削减处理；以及

在数据削减处理后，将发送影像数据从移动体向外部装置发送的处理。

数据削减处理包括如下处理中的至少两个：

选择处理，在该选择处理中，根据移动体所处的场景，从发送影像数据中省略多个影像数据中的至少一个影像数据；

缩小处理，在该缩小处理中，缩小多个影像数据中的至少一个影像数据；以及

结合处理，在该结合处理中，以在第1影像数据的画面中显示第2影像数据的画面的方式，将第1影像数据和第2影像数据结合。

第2观点与从移动体向外部装置传输影像数据的影像传输系统相关联。

影像传输系统具备1个或者多个处理器。

1个或者多个处理器构成为：

获取由搭载于移动体的多个摄像机分别得到的多个影像数据，

执行通过削减多个影像数据的数据量而获取发送影像数据的数据削减处理，

在数据削减处理后，将发送影像数据从移动体向外部装置发送。

数据削减处理包括如下处理中的至少两个：

选择处理，在该选择处理中，根据移动体所处的场景，从发送影像数据中省略多个影像数据中的至少一个影像数据；

缩小处理，在该缩小处理中，缩小多个影像数据中的至少一个影像数据；以及

结合处理，在该结合处理中，以在第1影像数据的画面中显示第2影像数据的画面的方式，将第1影像数据和第2影像数据结合。

第3观点与控制移动体的控制装置相关联。

控制装置具备1个或者多个处理器。

1个或者多个处理器构成为：

获取由搭载于移动体的多个摄像机分别得到的多个影像数据，

执行通过削减多个影像数据的数据量来获取发送影像数据的数据削减处理，

在数据削减处理后将发送影像数据向外部装置发送。

数据削减处理包括如下处理中的至少两个：

选择处理，在该选择处理中，根据移动体所处的场景，从发送影像数据中省略多个影像数据中的至少一个影像数据；

缩小处理，在该缩小处理中，缩小多个影像数据中的至少一个影像数据；以及

结合处理，在该结合处理中，以在第1影像数据的画面中显示第2影像数据的画面的方式，将第1影像数据和第2影像数据结合。

发明的效果

根据本公开，能够削减从移动体向外部装置传输的影像数据的量。

附图说明

图1是表示本公开的实施方式的影像传输系统的概要的框图。

图2是表示本公开的实施方式的影像传输系统的应用例即远程辅助系统的示意图。

图3是表示搭载于本公开的实施方式的移动体的多个摄像机的例子的示意图。

图4是用于说明本公开的实施方式的选择处理的一例的示意图。

图5是用于说明本公开的实施方式的选择处理的另一例的示意图。

图6是表示本公开的实施方式的选择处理部的示意图。

图7是用于说明本公开的实施方式的缩小处理和超分辨率处理的一例的示意图。

图8是表示本公开的实施方式的缩小处理部和超分辨率处理部的示意图。

图9是用于说明本公开的实施方式的结合处理的例子的示意图。

图10是用于说明本公开的实施方式的结合处理的例子的示意图。

图11是表示本公开的实施方式的结合处理部的示意图。

图12是用于说明本公开的实施方式的数据削减处理的第1例的框图。

图13是用于说明本公开的实施方式的数据削减处理的第1例的框图。

图14是用于说明本公开的实施方式的数据削减处理的第2例的框图。

图15是用于说明本公开的实施方式的数据削减处理的第3例的框图。

图16是用于说明本公开的实施方式的数据削减处理的第4例的框图。

图17是用于说明本公开的实施方式的数据削减处理的第5例的框图。

图18是表示本公开的实施方式的移动体的结构例的框图。

图19是表示本公开的实施方式的远程操作员终端的结构例的框图。

附图标记说明

1、影像传输系统；1A、远程辅助系统；10、通信网络；100、移动体；101、选择处理部；102、缩小处理部；103、结合处理部；110、摄像机；120、传感器组；130、通信装置；140、行驶装置；150、控制装置；151、处理器；152、存储器；160、移动体信息；170、控制程序；200、外部装置；200A、远程操作员终端；202、超分辨率处理部；210、显示装置；C、摄像机；VT、发送影像数据。

具体实施方式

参照所附附图对本公开的实施方式进行说明。

1.影像传输系统的概要

图1是表示本实施方式的影像传输系统1的概要的示意图。影像传输系统1包括移动体100和存在于移动体100的外部的外部装置200。移动体100和外部装置200经由通信网络10相互连接。移动体100和外部装置200能够经由通信网络10相互通信。典型地，移动体100与外部装置200进行无线通信。

作为移动体100，例示出车辆、机器人、飞行物体等。车辆既可以是自动驾驶车辆，也可以是驾驶员驾驶的车辆。作为机器人，可例示物流机器人、作业机器人等。作为飞行物体，可例示飞机、无人机等。

外部装置200例如是管理移动体100的管理服务器。作为另一例，外部装置200也可以是用于移动体100的远程辅助的远程操作员终端。作为又一例，外部装置200也可以是与移动体100不同的移动体。

在移动体100中搭载有摄像机110。摄像机110获取表示移动体100的周围状况的影像数据(流数据)。移动体100将由摄像机110得到的影像数据向外部装置200发送。外部装置200接收从移动体100发送的影像数据，并利用接收到的影像数据。

图2表示作为影像传输系统1的应用例的远程辅助系统1A。移动体100是远程操作员的远程辅助的对象。外部装置200是由远程操作员操作的远程操作员终端200A。移动体100将由摄像机110得到的影像数据发送到远程操作员终端200A。远程操作员终端200A接收从移动体100发送的影像数据，将接收到的影像数据显示于显示装置210。远程操作员观察显示于显示装置210的影像数据，掌握移动体100的周围状况，远程地辅助移动体100的动作。作为远程操作员的远程辅助，可列举出识别辅助、判断辅助、远程驾驶等。由远程操作员发出的指示从远程操作员终端200A发送至移动体100。移动体100按照远程操作员的指示进行动作。

也存在在移动体100中搭载多个摄像机110的情况。例如，在上述远程辅助中，使用多个摄像机110来掌握移动体100的周围状况是有用的。

图3是表示搭载于移动体100的多个摄像机110的例子的示意图。在图3所示的例子中，移动体100具备前方摄像机C1、左前方摄像机C2、右前方摄像机C3、左侧摄像机C4、右侧摄像机C5以及后方摄像机C6。前方摄像机C1获取移动体100的前方的影像数据。左前方摄像机C2获取移动体100的左前方的影像数据。右前方摄像机C3获取移动体100的右前方的影像数据。左侧摄像机C4获取移动体100的左方和左后方的影像数据。右侧摄像机C5获取移动体100的右方和右后方的影像数据。后方摄像机C6获取移动体100的后方的影像数据。

这样，当在移动体100中搭载有多个摄像机110的情况下，从多个摄像机110分别得到多个影像数据。移动体100将这些多个影像数据(流数据)同时并行地发送到外部装置200。

但是，影像数据的数据量比较大。随着摄像机台数增加、同时被发送的影像数据数(流数)增加，发送数据量增大。发送数据量的增大导致通信延迟、通信成本的增大。从影像数据的利用的观点出发，期望尽可能抑制通信延迟、通信成本。例如，在移动体100的远程辅助的情况下，通信延迟成为远程操作员的判断延迟、不流畅的远程操作(根据情况为蛇行驾驶)等的原因。因此，期望在不损害远程辅助的精度的范围内尽可能削减来自移动体100的发送数据量。

因此，本实施方式提出能够恰当地削减从移动体100向外部装置200传输的影像数据的量的技术。

2.数据削减处理

移动体100获取由多个摄像机110分别得到的多个影像数据。移动体100在将这些多个影像数据发送到外部装置200之前，执行削减多个影像数据的数据量的“数据削减处理”。以下，将作为数据削减处理的结果得到的至少一个影像数据称为“发送影像数据VT”。移动体100在数据削减处理之后，将发送影像数据VT发送到外部装置200。

以下，对数据削减处理的各种例子进行说明。

2-1.选择处理

“选择处理”是从发送影像数据VT中省略由多个摄像机110得到的多个影像数据中的至少一个的处理。也就是说，选择处理仅选择多个影像数据中的优先级高的影像数据，将优先级低的影像数据排除。此时，根据移动体100所处的场景动态地决定优先级。也就是说，在选择处理中，根据移动体100所处的场景，从发送影像数据VT中省略多个影像数据中的至少一个。

图4是用于说明选择处理的一例的示意图。在图4所示的例子中，移动体100预定进行左转或者正在进行左转。在该情况下，左前方、左方以及左后方的影像数据的优先级比较高。另一方面，右前方、右方以及右后方的影像数据的优先级比较低。因而，考虑从发送影像数据VT中省略右前方、右方以及右后方的影像数据。公交车为了在公交车站停车而向左方靠边的情况也是同样的。

图5是用于说明选择处理的另一例的示意图。在图5所示的例子中，移动体100预定后退或者正在进行后退。在该情况下，后方的影像数据的优先级最高。另一方面，前方、左前方以及右前方的影像数据的优先级比较低。因而，考虑从发送影像数据VT中省略前方、左前方以及右前方的影像数据。

图6是表示本实施方式的选择处理部101的示意图。选择处理部101包含于移动体100，执行选择处理。

例如，选择处理部101获取反映出移动体100的“预定移动方向”的信息。例如，在移动体100是车辆的情况下，基于方向盘转向方向、方向盘转向角、转向灯信息、齿轮位置、车轮速度等来判定预定移动方向。作为另一例，也可以基于移动体100的当前位置和目标移动路径来判定预定移动方向。选择处理部101基于移动体100的预定移动方向，动态地设定多个影像数据的优先级。具体而言，选择处理部101将在更靠近预定移动方向的方向上的影像数据的优先级设定为比在更远离预定移动方向的方向上的影像数据的优先级高。然后，选择处理部101选择优先级高的影像数据，从发送影像数据VT中省略优先级低的影像数据。

作为另一例，也可以考虑映现于影像数据的“特定物体”。特定物体是远程操作员注视的可能性高的物体。例如，特定物体包括人、自行车、其他车辆、信号灯以及标识中的至少一个。选择处理部101通过公知的方法对构成影像数据的图像进行分析，由此识别影像数据内的特定物体。然后，选择处理部101将映现更多特定物体的影像数据的优先级设定为比映现更少特定物体的影像数据的优先级高。然后，选择处理部101选择优先级高的影像数据，从发送影像数据VT中省略优先级低的影像数据。

通过以上说明的选择处理，削减发送影像数据VT的数据量。

2-2.缩小处理

“缩小处理”是将由多个摄像机110得到的多个影像数据中的至少一个缩小的处理。更详细而言，缩小处理减少构成影像数据的图像的像素数(即，尺寸)。缩小处理也能够说是降低影像数据的分辨率。

但是，若应用缩小处理，则影像数据的画质降低。这从接收侧的影像数据的利用的观点来看是不优选的。因此，在本实施方式中，为了在接收侧的外部装置200中改善影像数据的画质，利用“超分辨率技术”。超分辨率技术能够将输入的低分辨率图像转换为高分辨率图像。作为超分辨率技术的方法，提出了各种方法(例如，参照非专利文献1)。在本实施方式中，超分辨率技术的方法没有特别限定。

图7是用于说明缩小处理和超分辨率处理的一例的示意图。原始图像的分辨率为1080p。通过缩小处理，分辨率降低至360p。当分辨率从1080p减少到360p时，数据量约为1/9。通过超分辨率处理，分辨率恢复到1080p。

图8是表示本实施方式的缩小处理部102和超分辨率处理部202的示意图。缩小处理部102包含于移动体100，执行缩小处理。通过缩小处理，削减发送影像数据VT的数据量。

超分辨率处理部202包含于外部装置200，执行超分辨率处理。更详细而言，超分辨率处理部202基于从移动体100接收到的影像数据，判定是否对该影像数据应用了缩小处理。应用了缩小处理的影像数据的接收比特率显著减少。该减少幅度与和缩小处理无关的比特率的变动幅度相比显著大。因而，超分辨率处理部202能够基于接收比特率的变动来判定是否对影像数据应用了缩小处理。在对接收到的影像数据应用了缩小处理的情况下，超分辨率处理部202对该影像数据应用超分辨率技术。由此，应用了缩小处理的影像数据的画质得到改善。由于影像数据的画质得到改善，因此容易准确地掌握移动体100的周围状况。

2-3.结合处理

“结合处理”是将由多个摄像机110得到的多个影像数据中的2个以上影像数据进行结合的处理。为了说明，考虑多个影像数据中包含的第1影像数据和第2影像数据这两个。第1影像数据由主摄像机得到，第2影像数据由子摄像机得到。结合处理以在第1影像数据的画面之中显示第2影像数据的画面的方式，将第1影像数据和第2影像数据结合(合成)。

图9和图10是用于说明结合处理的例子的示意图。图9表示结合处理前的影像数据组，图10表示结合处理后的影像数据组。

例如，前方摄像机C1和后方摄像机C6构成一对。前方摄像机C1是主摄像机，后方摄像机C6是子摄像机。如图10所示，以在由前方摄像机C1得到的第1影像数据的画面中显示由后方摄像机C6得到的第2影像数据的画面的方式进行结合处理。

更详细而言，删除由前方摄像机C1得到的第1影像数据的图像区域的一部分。另外，由后方摄像机C6得到的第2影像数据的图像尺寸被调整(缩小)为与从第1影像数据删除的图像区域一致。然后，以将调整后的第2影像数据的图像插入到从第1影像数据删除的图像区域的方式，结合(合成)第1影像数据和第2影像数据。这样，生成结合了第1影像数据和第2影像数据的合成影像数据。

同样地，左前方摄像机C2和左侧摄像机C4构成一对。左前方摄像机C2是主摄像机，左侧摄像机C4是子摄像机。另外，右前方摄像机C3和右侧摄像机C5构成一对。右前方摄像机C3是主摄像机，右侧摄像机C5是子摄像机。

在图9和图10所示的例子中，通过结合处理，影像数据数(流数)从6条减少到3条。这有助于数据量削减。另外，第1影像数据的图像区域的一部分被删除、第2影像数据的图像尺寸被缩小也有助于数据量削减。

图11是表示本实施方式的结合处理部103的示意图。结合处理部103包含于移动体100，执行结合处理。

需要说明的是，也能够将结合处理称为“画中画(Picture-in-Picture)处理”。但是，一般的画中画处理在接收侧进行，而本实施方式的结合处理在发送侧进行。

2-4.效果

如以上说明的那样，根据本实施方式，在移动体100中执行数据削减处理。也就是说，在多个影像数据从移动体100发送到外部装置200之前，削减这些多个影像数据的数据量。由于发送数据量被削减，因此通信延迟和通信成本被抑制。另外，通信稳定化。

3.数据削减处理的组合

还能够组合上述选择处理、缩小处理以及结合处理中的2个以上处理。以下，对组合的各种例子进行说明。

3-1.第1例

图12是用于说明数据削减处理的第1例的框图。

移动体100包括多个摄像机C1～Cn(n为2以上的整数)、选择处理部101、缩小处理部102、结合处理部103以及编码器104。通过多个摄像机C1～Cn分别获取多个影像数据V1～Vn。选择处理部101对多个影像数据V1～Vn执行选择处理。接下来，缩小处理部102对选择处理后的影像数据执行缩小处理。也就是说，缩小处理部102对未被选择处理省略而选择出的影像数据执行缩小处理。接下来，结合处理部103对缩小处理后的影像数据执行结合处理。其结果，得到削减了数据量的发送影像数据VT。之后，编码器104对发送影像数据VT进行编码。移动体100将发送影像数据VT发送到外部装置200。

外部装置200包括解码器201、超分辨率处理部202以及显示装置210。外部装置200接收从移动体100发送的发送影像数据VT。解码器201对接收影像数据进行解码。超分辨率处理部202对应用了缩小处理的接收影像数据应用超分辨率技术，改善画质。之后，显示装置210显示接收影像数据。

图13示出数据削减量的一例。通过9台摄像机C1～C9得到9种影像数据V1～V9。各影像数据的分辨率为1080p。通过选择处理选择6种影像数据V1～V6，数据量成为2/3。接下来，通过缩小处理，影像数据V1～V6分别成为缩小影像数据VR1～VR6。分辨率从1080p降低到360p，数据量约为1/9。接下来，通过结合处理，6种缩小影像数据VR1～VR6成为3种合成影像数据VA、VB、VC，数据量成为1/2。作为结果，数据量总计削减约97％。

如以上说明的那样，在第1例中，数据削减处理包括选择处理、缩小处理以及结合处理。另外，选择处理、缩小处理以及结合处理按该顺序执行。根据这样的处理顺序，得到如下的效果。

在通过选择处理省略了至少一个影像数据之后，进行缩小处理。由于不对不必要的影像数据进行缩小处理，因此缩小处理的处理负荷减轻。

另外，在通过选择处理省略了至少一个影像数据之后，进行结合处理。由于不对不必要的影像数据进行结合处理，因此减轻结合处理的处理负荷。

进而，在通过缩小处理将影像数据缩小后，进行结合处理。也就是说，在通过缩小处理缩小了图像尺寸之后，进行结合处理。因而，在结合处理中减轻了所需的图像处理的处理负荷。

3-2.第2例

图14是用于说明数据削减处理的第2例的框图。适当省略与第1例重复的说明。在第2例中，与第1例相比，缩小处理和结合处理的顺序相反。即，依次执行选择处理、结合处理以及缩小处理。结合处理部103对选择处理后的影像数据执行结合处理。也就是说，结合处理部103对未被选择处理省略而选择出的影像数据执行结合处理。接下来，缩小处理部102对结合处理后的影像数据执行缩小处理。根据这样的处理顺序，得到如下的效果。

在通过选择处理省略了至少一个影像数据之后，进行结合处理。由于不对不必要的影像数据进行结合处理，因此减轻结合处理的处理负荷。

另外，在通过选择处理省略了至少一个影像数据之后，进行缩小处理。由于不对不必要的影像数据进行缩小处理，因此减轻缩小处理的处理负荷。

3-3.第3例

图15是用于说明数据削减处理的第3例的框图。适当省略与第1例和第2例重复的说明。在第3例中，数据削减处理包括选择处理和缩小处理。依次执行选择处理和缩小处理。根据这样的处理顺序，得到如下的效果。

在通过选择处理省略了至少一个影像数据之后，进行缩小处理。由于不对不必要的影像数据进行缩小处理，因此减轻缩小处理的处理负荷。

3-4.第4例

图16是用于说明数据削减处理的第4例的框图。适当省略与第1例和第2例重复的说明。在第4例中，数据削减处理包括选择处理和结合处理。依次执行选择处理和结合处理。根据这样的处理顺序，得到如下的效果。

在通过选择处理省略了至少一个影像数据之后，进行结合处理。由于不对不必要的影像数据进行结合处理，因此减轻结合处理的处理负荷。

3-5.第5例

图17是用于说明数据削减处理的第5例的框图。适当省略与第1例和第2例重复的说明。在第5例中，数据削减处理包括缩小处理和结合处理。依次执行缩小处理和结合处理。根据这样的处理顺序，得到如下的效果。

在通过缩小处理缩小了影像数据之后，进行结合处理。也就是说，在通过缩小处理缩小了图像尺寸之后，进行结合处理。因而，在结合处理中减轻所需的图像处理的处理负荷。

4.移动体的结构例

图18是表示移动体100的结构例的框图。移动体100具备摄像机110(多个摄像机C1～Cn)、传感器组120、通信装置130、行驶装置140以及控制装置150。在本例中，移动体100是车辆、机器人等具备车轮的移动体。

摄像机110获取表示移动体100的周围状况的影像数据。

传感器组120包括检测移动体100的状态的状态传感器。状态传感器包括速度传感器、加速度传感器、横摆率传感器、转向角传感器等。另外，传感器组120包括检测移动体100的位置和方位的位置传感器。作为位置传感器，例示出GPS(Global Positioning System，全球定位系统)传感器。进而，传感器组120也可以包括除摄像机110以外的识别传感器。识别传感器识别(检测)移动体100的周围的情况。作为识别传感器，例示出LIDAR(LaserImaging Detection and Ranging，激光成像探测和测距)、雷达等。

通信装置130与移动体100的外部进行通信。例如，通信装置130与外部装置200进行通信。

行驶装置140包括转向操纵装置、驱动装置以及制动装置。转向操纵装置使移动体100的车轮转向。例如，转向操纵装置包括动力转向(EPS：Electric Power Steering)装置。驱动装置是产生驱动力的动力源。作为驱动装置，例示出发动机、电动机、轮毂马达等。制动装置产生制动力。

控制装置150控制移动体100。控制装置150包括1个或多个处理器151(以下，简称为处理器151)和1个或多个存储器152(以下，简称为存储器152)。处理器151执行各种处理。例如，处理器151包括CPU(Central Processing Unit，中央处理器)。存储器152储存各种信息。作为存储器152，例示出易失性存储器、非易失性存储器、HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid State Drive，固态硬盘)等。通过处理器151执行作为计算机程序的控制程序170，实现控制装置150的功能。控制程序170储存在存储器152中。或者，控制程序170也可以记录于计算机可读取的记录介质。

处理器151使用摄像机110、传感器组120获取移动体信息160。移动体信息160包括由摄像机110得到的影像数据。另外，移动体信息160包括表示由状态传感器检测的移动体100的状态的状态信息。进而，移动体信息160包括表示由位置传感器检测的移动体100的位置和方位的位置信息。进而，移动体信息160包括与由识别传感器识别(检测)的物体相关的物体信息。物体信息表示物体相对于移动体100的相对位置和相对速度。

另外，处理器151控制移动体100的行驶。行驶控制包括转向操纵控制、加速控制以及减速控制。处理器151通过控制行驶装置140来执行行驶控制。处理器151也可以进行自动驾驶控制。在进行自动驾驶控制的情况下，处理器151基于移动体信息160，生成移动体100的目标轨迹。目标轨迹包括目标位置和目标速度。然后，处理器151以使移动体100追随目标轨迹的方式执行行驶控制。

进而，处理器151经由通信装置130与外部装置200进行通信。例如，处理器151根据需要将移动体信息160的至少一部分发送到外部装置200。

特别是，处理器151将由摄像机110得到的影像数据向外部装置200发送。此时，处理器151执行上述数据削减处理。然后，处理器151将通过数据削减处理得到的发送影像数据VT发送到外部装置200。

在进行移动体100的远程辅助的情况下，处理器151从远程操作员终端200A接收操作员指示。然后，处理器151按照操作员指示执行行驶控制。

5.远程操作员终端的结构例

图19是表示作为外部装置200的一例的远程操作员终端200A的结构例的框图。远程操作员终端200A包括显示装置210、输入装置220、通信装置230以及信息处理装置250。

显示装置210显示各种信息。作为显示装置210，例示出液晶显示器、有机EL显示器、头戴式显示器、触摸面板等。

输入装置220是用于受理来自远程操作员的输入的接口。作为输入装置220，例示出触摸面板、键盘、鼠标等。另外，在远程辅助为远程驾驶的情况下，输入装置220包括用于供远程操作员进行驾驶操作(转向操纵、加速以及减速)的驾驶操作构件。

通信装置230进行与外部的通信。例如，通信装置230与移动体100进行通信。

信息处理装置250进行各种信息处理。信息处理装置250包括1个或多个处理器251(以下，简称为处理器251)和1个或多个存储器252(以下，简称为存储器252)。处理器251执行各种处理。例如，处理器251包括CPU。存储器252储存各种信息。作为存储器252，例示出易失性存储器、非易失性存储器、HDD、SSD等。通过处理器251执行作为计算机程序的控制程序270，实现信息处理装置250的功能。控制程序270储存在存储器252中。控制程序270也可以记录于计算机可读取的记录介质。

处理器251执行远程辅助移动体100的动作的远程辅助处理。远程辅助处理包括“信息提供处理”和“操作员指示通知处理”。

信息提供处理如下所述。处理器251经由通信装置230从移动体100接收远程辅助所需的移动体信息260。移动体信息260包括移动体信息160的至少一部分。特别地，移动体信息260包括从移动体100发送的发送影像数据VT。处理器251根据需要进行上述超分辨率处理，改善发送影像数据VT的画质。然后，处理器251通过将移动体信息260显示于显示装置210，将移动体信息260提示给远程操作员。

远程操作员观察显示于显示装置210的移动体信息260，掌握移动体100的周围状况、移动体100的状态。远程操作员远程地辅助移动体100的动作。作为远程操作员的远程辅助，列举出识别辅助、判断辅助、远程驾驶等。远程操作员使用输入装置220输入操作员指示。

操作员指示通知处理如下所述。处理器251从输入装置220接收由远程操作员输入的操作员指示。然后，处理器251经由通信装置230将操作员指示发送至移动体100。