远程操作系统

技术领域

本发明涉及远程操作系统。

背景技术

在将远程机器人控制为如同在操作人员的手边那样的机器人的技术中，已知有远程互联(telexistence)(例如，参照非专利文献1)。

先行技术文献

非专利文献

非专利文献1“Telecommunication、Teleimmer sionand Telexistence II”Susumu Tachi、Ohmsha、IOS Press、ISBN 4-274-90638-8(Ohmsha)ISBN1-58603-519-3

发明内容

远程互联是基于来自位于远处的机器人(称作“代理者”)的传感器等的信息对该代理者进行控制/操纵的技术。在远程互联中，操作人员能够获得附体在代理者上进行操作那样的感觉。由此，操作人员能够一边感觉到位于远处的物体如同在附近一样，一边实时地进行操作。

但是，在以往的远程互联中，代理者不是人而是机器人，无法在人彼此之间进行身体上的交流或者共享感觉。

本发明是鉴于这样的状况而作出的，其目的在于提供一种位于远处的人彼此之间能够一边具有如同共享一个身体那样的感觉一边进行身体上的交流的技术。

用于解决课题的方案

为了解决所述课题，本发明的某一方案的远程操作系统具备机械臂、拍摄装置、基部以及用于远程操作机械臂的远程操作部。机械臂安装于基部。拍摄装置安装于基部并配置在佩戴者的头部附近。基部佩戴于佩戴者的背部等上半身。机械臂及拍摄装置以能够通信的方式与远程操作部连接。远程操作部基于从拍摄装置接收到的影像来操作机械臂。

需要说明的是，以上的构成要素的任意的组合、在装置、方法、系统、存储介质、计算机程序等之间变换本发明的表述所得的内容作为本发明的方案来说也是有效的。

发明效果

根据本发明，位于远处的人彼此之间能够一边具有如同共享一个身体那样的感觉一边进行身体上的交流。

附图说明

图1是第一实施方式所涉及的远程操作系统的示意图。

图2是图1的远程操作系统的机械臂的示意图。

图3是表示佩戴者佩戴着图1的远程操作系统的状态的图。

图4是表示一实施方式所涉及的远程操作系统的利用场景的图。

图5是表示第二实施方式所涉及的远程操作系统的手部的图。

图6是表示第三实施方式所涉及的远程操作系统的固定部件的图。

图7是第五实施方式所涉及的拍摄装置的侧视图。

图8是表示第一类型的交流的图。

图9是表示第二类型的交流的图。

图10是表示第三类型的交流的图。

具体实施方式

(第一实施方式)

图1是一实施方式所涉及的远程操作系统1的示意图。远程操作系统1具备机械臂10、拍摄装置20、基部30以及用于远程操作机械臂10的远程操作部(图4的70)。机械臂10安装于基部30。基部30被佩戴在要佩戴基部30的人(以下称作“佩戴者”)的背部等上半身。拍摄装置20安装于基部30并配置在佩戴者的头部附近。机械臂10及拍摄装置20以能够通信的方式与远程操作部70连接。

拍摄装置20例如是拍摄动态图像等影像的摄像机。拍摄装置20配置在佩戴者的头部附近，因此，拍摄装置20拍摄的影像与佩戴者观看的景色大致相同。在该意义下，拍摄装置20与佩戴者共享观察点。拍摄装置20将拍摄到的影像发送至远程操作部70。

拍摄装置20也可以朝向佩戴者的前方配置，以便拍摄与佩戴者观看的景色大致相同的景色。

远程操作部70具备影像接收部、显示部、控制器(图4的720a、720b)以及操作信号发送部(未图示)。

影像接收部接收拍摄装置20拍摄到的影像。显示部向操作远程操作部70的人(以下，称作“操作者”)显示拍摄装置20接收到的影像。操作者一边观看显示于显示部的佩戴者侧的影像一边移动控制器720a、720b以操作机械臂10。由此，控制器720a、720b生成用于确定机械臂10的动作的操作信号。操作信号发送部将控制器720a、720b生成的操作信号发送至机械臂10。

影像接收部与显示部可以如图4所示那样作为头戴式显示器710而一体化，也可以为分体。显示部并不限定于此，也可以是液晶显示器、视频投影机等任意适当的显示装置。如图4所示，控制器可以是由操作者的右手以及左手把持的运动控制器。控制器并不限定于此，也可以是操纵杆、游戏手柄等任意适当的控制器。

机械臂10根据从远程操作部70接收到的操作信号进行运动。机械臂10可以安装于佩戴者的身体(例如手臂)，也可以不安装于佩戴者的身体。机械臂10安装于在佩戴者的背部等上半身佩戴的基部30，因此，能够以从佩戴者的后方推动佩戴者的身体的方式运动。

图2是图1的远程操作系统1的机械臂10的示意图。机械臂10具备肩部110、肩关节112、上臂部114、肘关节116、前臂部118以及手腕部120。

肩关节112能够通过马达绕轴130、132、134分别独立地旋转。肘关节116能够通过马达绕轴136、138分别独立地旋转。手腕部120能够通过马达绕轴140分别独立地旋转。

返回到图1。基部30与机械臂10以及拍摄装置20连接，对它们进行支承。基部30例如以背负的方式佩戴于佩戴者的背部等上半身。基部30也可以具备用于使向佩戴者的佩戴容易的背带(图3的40)等佩戴件。也可以在基部30的内部配置用于向机械臂10、拍摄装置20供给电力的蓄电池。也可以在基部30的内部配置接收来自远程操作部70的操作信号并控制机械臂10、拍摄装置20的运动的控制装置。

图3是表示佩戴者佩戴了图1的远程操作系统1的状态的图。远程操作系统1的基部30使用背带40背在佩戴者上。

对远程操作系统1的从用户(佩戴者以及操作者)观察到的利用场景的一例进行说明。图4是表示一实施方式所涉及的远程操作系统的利用场景的图。佩戴者将远程操作系统1的基部30佩戴于背部等上半身。操作者将头戴式显示器710佩戴于头部。操作者监视显示于头戴式显示器710的影像。如上所述，显示于头戴式显示器710的影像是配置在佩戴者的头部附近的拍摄装置20拍摄到的影像。因而，操作者监视的影像与佩戴者观看的景色大致相同。换言之，操作者与佩戴者共享观察点，具有如同与佩戴者共享一个身体那样的感觉。操作者站在佩戴者的观察点，移动由右手与左手分别把持的控制器720a、720b，由此操作机械臂10。这样，操作者能够一边具有如同与佩戴者共享身体那样的感觉，一边经由机械臂10访问佩戴者。另一方面，佩戴者能够经由机械臂10的动作与操作者进行身体上的交流。

作为所述那样的身体上的交流的具体例，有“将体育运动、乐器演奏、驾驶这样的技能的传授作为目的来移动佩戴者的手臂”、“朝向应当移动的方向牵拉佩戴者的手臂”、“在操作者与佩戴者之间经由机械臂进行游戏”等。

根据以上叙述的本实施方式，位于远处的佩戴者与操作者彼此之间经由机械臂10能够一边具有如同共享一个身体那样的感觉一边进行身体上的交流。

(第二实施方式)

在一实施方式中，机械臂10也可以具备手部。图5是表示本实施方式所涉及的远程操作系统1的手部50的图。手部50能够拆装地安装于机械臂10的手腕部120。手部50在手指的各关节具备马达，能够在各关节独立地弯曲伸展。根据本实施方式，由于手部50能够握住佩戴者的手臂，在手部50与佩戴者之间进行物体的交换，因此能够进行多种身体上的交流。

(第三实施方式)

在一实施方式中，机械臂10也可以具备用于将机械臂10固定于佩戴者的臂部的固定部件。图6是表示本实施方式所涉及的远程操作系统1的固定部件60的图。固定部件60能够拆装地安装于机械臂10的手腕部120。作为一例，固定部件60是卷绕于佩戴者的手腕而将机械臂10固定于佩戴者的手腕的带。根据本实施方式，机械臂10固定于佩戴者的臂部，因此，能够强制性地使佩戴者的臂部运动。

(第四实施方式)

机械臂10伸长时的全长也可以比佩戴者的手臂的全长长。根据本实施方式，机械臂10能够从佩戴者伸展手臂的状态进一步牵拉该手臂，因此，能够将佩戴者向特定的方向引导。

(第五实施方式)

在一实施方式中，拍摄装置20也可以具备用于改变拍摄方向的旋转机构。图7是本实施方式所涉及的远程操作系统1的拍摄装置20的侧视图。具备旋转机构200的拍摄装置20能够通信地与远程操作部70连接。旋转机构200通过马达绕轴210、220、230分别独立地旋转(绕各轴的旋转分别相当于滚转、俯仰、横摆的动作)。远程操作部70远程操作旋转机构200，改变拍摄装置20的拍摄方向。根据本实施方式，操作者能够自由地改变拍摄装置20的拍摄方向，因此能够获得更适当的视觉上的信息。

(第六实施方式)

在一实施方式中，远程操作部70也可以还具备记录操作信号的记录部。操作信号在从远程操作部70输出的同时记录在记录部中。进而，也可以将操作信号在记录于记录部的同时发送至机械臂10。在该情况下，能够在记录部中保留发送至机械臂10的操作信号的历史记录。或者，也可以将操作信号记录在记录部中，但不在记录的同时发送至机械臂10。在该情况下，操作信号可以在从远程操作部70输出后经过了规定的时间之后，从记录部发送至机械臂10。记录部的结构没有特别限定，例如可以是存储器、内存等存储介质。根据本实施方式，能够记录操作信号，因此，能够保留操作信号的历史记录或者隔开规定的时间差地发送操作信号。

尤其地，远程操作部70也可以发送记录在记录部中的操作信号。即，操作信号不是从远程操作部70直接发送，而是在暂时记录于记录部之后从记录部发送。例如，远程操作系统1能够应用于体育运动、乐器演奏、驾驶这样的从教师到学生的技能的传授。在该情况下，远程操作部70配置在教师侧，机械臂10配置在学生侧。在该情况下，例如当在教室等中使用远程操作系统1等时，教师不必常待在教室。此时，根据本实施方式，能够将表示教师的示教内容的操作信号预先记录在记录部中，再现该操作信号并进行发送，因此，学生能够在喜好的时间前往教室接受技能的传授。

(第七实施方式)

在一实施方式中，远程操作部70也可以还具备机械学习部。该机械学习部通过输入影像和操作信号进行机械学习，由此输出新的操作信号。机械学习的方法没有特别限定，例如可以使用卷积神经网络(Convolutional Neural Network：CNN)、递归神经网络(Recurrent Neural Network：RNN)、LSTM网络(Long Short Term Memory：LSTM)等神经网络，在该情况下，也可以在共用输入层的基础上混合存在按计算模型来说不同的神经网络。机械学习部将拍摄装置20拍摄到的影像以及远程操作部70输出的操作信号作为教师数据来执行机械学习，输出新的操作信号。例如，在将远程操作系统1应用于体育运动中的正确的身体运动(例如高尔夫球的挥杆、网球的击球等)的示教的情况下，通过将学生的实际运动的影像以及与之对应的来自教师的操作信号的组合作为教师数据进行机械学习，由此能够生成对该学生来说最佳的操作信号。在该情况下，在学生的实际运动的影像为高尔夫球的挥杆、网球的击球等一系列的连续影像的情况下，也可以进行如下处理：在影像内找出运动突然改变的点(以下，称作“突然改变点”)，将从某一突然改变点到下一个突然改变点为止的影像作为用于学习的一个场景剪切出来。根据本实施方式，通过将在机械臂侧拍摄到的影像以及远程操作部输出的操作信号作为教师数据进行机械学习来输出新的操作信号，因此能够获得可靠的操作信号。

尤其是远程操作部70也可以基于影像信号来发送机械学习部输出的操作信号。在该情况下，从机械学习部输出与在机械臂侧拍摄到的影像相应的最佳的操作信号，并发送至机械臂侧。根据本实施方式，佩戴机械臂的学生能够接收与自身的运动相应的最佳的操作信号，因此，能够接受最佳的身体动作的示教。

(第八实施方式)

在一实施方式中，远程操作系统1也可以具备多个机械臂10、与机械臂10相同数量的拍摄装置20、以及与机械臂10相同数量的的基部30，远程操作部70向全部的机械臂10同时发送相同的操作信号。例如，远程操作系统1的机械臂侧通过由机械臂10、拍摄装置20以及基部30构成的n个组构成。其中，n为2以上的整数。这些组例如由n个佩戴者佩戴。另一方面，远程操作系统1的远程操作部侧由一个或者多个远程操作部70构成。来自远程操作部70的操作信号同时向n个机械臂发送。例如，也可以使用多播传输协议，向n个机械臂发送操作信号。此时，在显示部显示由n个拍摄装置20中的任一个拍摄到的影像。根据本实施方式，例如在远程操作部70配置在一名教师侧且机械臂10配置在多名学生侧来进行动作的示教这样的应用例中，能够向多名学生同时示教动作，因此，能够实现有效的教育。这在工厂、学校等对多名学生示教相同的动作的情况下特别有效。

(第九实施方式)

在一实施方式中，远程操作系统1也可以具备多个远程操作部70，多个远程操作部70分别具备中断部，该中断部在其他的远程操作部70发生操作信号的过程中进行中断并发送操作信号。例如，远程操作系统1的远程操作部侧由n个远程操作部70构成。其中，n为2以上的整数。这n个远程操作部70分别例如由n名教师操作。另一方面，远程操作系统1的机械臂侧通过由机械臂10、拍摄装置20以及基部30构成的一个或者多个组构成。机械臂接收从n个远程操作部70中的任一个发送来的操作信号，并基于该操作信号进行动作。n个远程操作部70分别能够发送操作机械臂10的操作信号。进而，n个远程操作部70分别能够通过启动中断部来在其他的远程操作部70发送操作信号的过程中进行中断并发送操作信号。根据本实施方式，例如在远程操作部70配置在n名教师侧且机械臂10配置在一名学生侧来进行动作的示教这样的应用例中，能够由多名教师对一名学生共同示教动作，因此，能够实现极其细致且高度的教育。这在为了一个动作的示教而需要由分别具备专业性的多名教师进行指示等情况下特别有效。

(第十实施方式)

在一实施方式中，远程操作系统1也可以具备多个远程操作部70，机械臂10由对从多个远程操作部70输出的操作信号进行平均化而得到的信号来操作。例如，远程操作系统1的远程操作部侧由n个远程操作部70构成。其中，n为2以上的整数。这n个远程操作部70分别例如由n名教师操作。另一方面，远程操作系统1的机械臂侧通过由机械臂10、拍摄装置20以及基部30构成的一个或者多个组构成。从n个远程操作部70输出的各操作信号被依次收集并平均化。以下，将该依次平均化所得的操作信号称作“平均操作信号”。平均化的方法没有特别限定，可以计算操作信号值的单纯的算术平均，也可以计算按教师来附加权重的加权平均。作为实施方式，也可以在机械臂10设置多个接收装置，接收来自多个远程操作部70的操作信号，并将这些操作信号在机械臂侧依次平均化之后作为操作信号来使用。或者，也可以将机械臂侧的接收部设为一个，多个远程操作部70具有共同的发送部，将从各远程操作部70输出的操作信号在该发送部依次平均化之后发送至机械臂侧。教师有时在动作上具有独特的习惯，但将该习惯直接传授给学生未必是好事。与此相对，准备多名教师，将这些教师的动作平均化，由此大多情况下能够减轻各教师所具有的习惯而形成最佳的动作。根据本实施方式，能够向学生示教去除了教师的习惯的最佳的动作。

佩戴者与操作者之间的经由机械臂的身体上的交流作为一例能够分类为以下的三个类型。

(第一类型的交流)“指示(Direct)”

图8表示第一类型的交流。在本类型的交流中，机械臂10不安装于佩戴者的身体。机械臂10通过手指向佩戴者指示方向或者与佩戴者之间交接物体。操作者与佩戴者经由机械臂进行握手或物体的交换等是本类型的交流的例子。本发明人将该类型的交流命名为指示“(Direct)”。

(第二类型的交流)“强制(Enforce)”

图9表示第二类型的交流。在本类型的交流中，机械臂10安装于佩戴者的身体(例如手臂)。机械臂10引导佩戴者的身体而强制性地使其进行规定的运动，或者将佩戴者的身体引导至规定的位置。经由机械臂向佩戴者传授体育运动、乐器演奏、驾驶这样的技能等是本类型的交流的例子。本发明人将该类型的交流命名为“强制(Enforce)”。

(第三类型的交流)“引导(Induce)”

图10是表示第三类型的交流。在本类型的交流中，机械臂10安装于佩戴者的身体。进而，机械臂10伸长时的全长比佩戴者的手臂的全长长。机械臂10从佩戴者伸展手臂的状态进一步向牵拉该手臂的方向动作。经由机械臂将佩戴者朝向位于佩戴者的手无法到达的范围的地方引导等是本类型的交流的例子。本发明人将该类型的交流命名为“引导(Induce)”。

(变形例)

以上，基于实施例对本发明进行了说明。这些实施例是例示，它们的各构成要素、各处理工艺的组合可以有各种变形例，并且本领域技术人员应当理解，这样的变形例也在本发明的范围内。

拍摄装置20可以是具有两个相机的立体相机。根据本变形例，操作者能够立体地识别拍摄装置20拍摄到的影像，因此，能够以更高的临场感与佩戴者共享观察点。

拍摄装置20的旋转机构200也可以使用头戴式显示器710进行操作。此时，头戴式显示器710将用于操作拍摄装置20的旋转机构200的信号发送至旋转机构200。所发送的信号用于与操作者的头部的动作联动地移动拍摄装置20的拍摄方向。根据本变形例，操作者能够通过头的动作自由地操作所监视的影像的拍摄方向。

拍摄装置20也可以具备用于移动拍摄装置20的设置位置的移动机构。移动机构通过马达将拍摄装置20的设置位置相对于佩戴者的头部朝前后或者左右移动。远程操作部70远程操作移动机构来移动拍摄装置20的设置位置。根据本变形例，操作者能够自由地改变拍摄装置20的设置位置，因此，能够获得更适当的视觉上的信息。

拍摄装置20除了所述的移动机构之外，还可以具备检测佩戴者的头部的位置的头部传感器。在该情况下，移动机构基于头部传感器检测到的佩戴者的头部的位置来移动拍摄装置20的设置位置，以使拍摄装置20不进入佩戴者的视野内。根据本变形例，拍摄装置20以不进入佩戴者的视野内的方式移动，因此，能够防止佩戴者的视野被拍摄装置20遮挡。

远程操作系统1也可以具备可佩戴于佩戴者的眼球追踪装置。在该情况下，拍摄装置20的旋转机构200基于来自眼球追踪装置的信号，以追随佩戴者的视线的方式进行动作。即，拍摄装置20与佩戴者的观察点联动地自动改变拍摄方向。根据本变形例，拍摄装置20直接拍摄佩戴者观看的景色，因此，操作者能够共享与佩戴者相同的观察点。

远程操作系统1也可以在佩戴者的头部附近具备麦克风。麦克风收集到的声音被发送至远程操作部70，由操作者监视。根据本变形例，操作者除了观察点之外，还能够与佩戴者共享听觉。

远程操作系统1除了配置在佩戴者的头部附近的所述的麦克风之外，还具备配置在佩戴者的耳朵附近的扬声器或者佩戴于佩戴者的耳机。此时，远程操作部70具备收集操作者发出的声音的麦克风。佩戴者发出的声音由佩戴者侧的麦克风收集，并发送至远程操作部70。反之，操作者发出的声音由操作者侧的麦克风收集，并发送至操作者侧的扬声器或者耳机。根据本变形例，能够在佩戴者与操作者之间进行会话，因此，两者除了身体上的交流之外，还能够进行声音上的交流。

在机械臂10具备用于将机械臂10固定于佩戴者的身体的固定部件的情况下，固定部件也可以为手形的形状。手形形状的固定部件的各手指固定于对应的佩戴者的各手指。手形形状的固定部件在手指的各关节具备马达，能够在各关节独立地弯曲伸展。根据本变形例，机械臂10被固定在佩戴者的各手指，能够使佩戴者的各手指单独强制地运动。

机械臂10的上臂部114与前臂部118也可以分别独立地调整长度。根据本变形例，机械臂10能够根据佩戴者的手臂的长度、所述身体上的交流的类型来采取准确的形态。

机械臂10也可以具备速度传感器、加速度传感器、压力传感器、温度传感器等传感器。这些传感器检测佩戴者针对机械臂10的动作的反应，并将其结果发送至远程操作部70。例如在“强制”类型的交流的情况下，传感器检测佩戴者针对机械臂10做出怎样的反应(例如，“佩戴者的身体是否针对机械臂10的动作顺从地移动”“是否进行了与机械臂10的动作反抗的动作”“如果进行了反抗的动作，则是怎样的强度”等)，并反馈给远程操作部70。根据本变形例，除了经由机械臂10从操作者朝佩戴者的方向的交流之外，还能够进行经由反馈从佩戴者朝操作者的方向的交流。

远程操作部70也可以取代单数而为复数。在该情况下，也可以由不同的操作者操作各个远程操作部70。根据本变形例，也可以取代操作者与佩戴者之间的一对一的交流，转而进行多个操作者与佩戴者之间的多对一的交流。这在多名教师(操作者)共同向一名学生(佩戴者)传授技能的情况下格外有效。

在上述那样远程操作部70为多个且不同的操作者操作各个远程操作部70的实施方式的情况下，远程操作系统1可以进行如下控制：在某一操作者进行操作的期间，禁止其他的操作者进行操作。进而，在佩戴者侧与各操作者侧分别设置麦克风与扬声器而能够在双方之间进行声音上的交流的实施方式的情况下，远程操作系统1也可以进行如下控制：在某一操作者与佩戴者进行会话的期间，禁止其他的操作者与佩戴者之间的会话。根据本变形例，能够避免在多个操作者与佩戴者之间的多对一的交流中因来自多个操作者的同时访问而引起的混乱。

远程操作部70也可以取代控制器720a、720b而具备与佩戴者侧的机械臂10相同的机械臂。在该情况下，佩戴者侧的机械臂10与操作者侧的机械臂同步地进行相同的动作。根据本变形例，佩戴者与操作者彼此除了具有共享一个身体那样的感觉之外，还能够具有共享相同的动作那样的感觉。

对于使用远程操作系统1的两名主体，也可以取代一方为操作者而另一方为佩戴者的方案而设计成双方对等。在该情况下，两名用户分别佩戴机械臂及拍摄装置并操作远程操作部。根据本变形例，两名用户能够在对等的立场下，一边具有共享身体那样的感觉一边进行身体上的交流。

远程操作部70的操作主体也可以取代人(操作者)而是基于程序实现的计算机。另外，操作主体可以是通过机械学习、深度学习等实现的人工智能。根据本变形例，能够提高操作主体的自由度。

工业实用性

本发明能够在远地之间的共同作业、体育运动的课程(高尔夫球、网球等)，乐器演奏的课程(钢琴等)、驾驶的训练、远地之间的使用身体的游戏、对视觉障碍者的辅助等中利用。

符号说明

1远程操作系统 10机械臂 20拍摄装置 30基部 70远程操作部。