无人飞行器的操纵模拟系统及方法

技术领域

本发明涉及一种无人飞行器的操纵模拟系统及方法。

背景技术

国际公开第2016/049924号中揭示了如下技术：使用也能够操纵无人飞行器真机的发送器(控制器，无线电操纵用发送器)，在虚拟环境中进行虚拟的无人飞行器操纵模拟。另外，该文献中也揭示了如下情况，即，基于以前在真机飞行中所收集、记录的障碍物的位置、风向、湿度、空气密度等真实传感器数据，生成虚拟环境。如果使用这种技术，就能够进行无人飞行器的操纵训练而无需使用真机。

发明内容

[发明要解决的问题]

然而，上述现有技术终究只是在虚拟环境中进行无人飞行器的操纵训练，因此不认为它足以用于试行真实环境中的无人飞行器操纵的用途。

本发明是鉴于上述情况而完成的，本发明提供一种能够在更接近真实环境的环境中进行无人飞行器操纵训练的无人飞行器的操纵模拟系统及方法。

[解决问题的技术手段]

本发明的无人飞行机的操纵模拟系统包括：操作数据获取部，获取受训者对虚拟无人飞行器的操作数据；模拟器部，基于真实空间的地理空间数据及所述操作数据，计算出所述虚拟无人飞行器在所述真实空间中的当前位置；及显示部，以能够在所述真实空间的所述当前位置看到所述虚拟无人飞行器的方式生成所述虚拟无人飞行器的图像，输出到显示器。

所述显示器可以是光学透视式或视频透视式的头戴式显示器，以使处于所述当前位置的所述虚拟无人飞行器的所述图像与所述真实空间的情景重叠的方式显示所述图像。

所述系统可以还包括获取所述真实空间的环境数据的环境数据获取部。所述模拟器部可以进而基于所述环境数据计算出所述虚拟无人飞行器的所述当前位置。

所述环境数据获取部可以反复检测所述真实空间的所述环境数据。所述模拟器部可以基于反复检测的所述环境数据，即时地反复更新所述无人飞行器的所述当前位置。

所述环境数据可以由在所述真实空间中飞行的真实无人飞行器进行检测。所述无人飞行器的模拟系统可以还包括进行所述真实无人飞行器的飞行控制的飞行控制部。

所述飞行控制部可以基于所述虚拟无人飞行器的所述当前位置来控制所述真实无人飞行器的位置。

所述飞行控制部可以在所述虚拟无人飞行器的飞行出现异常的情况下，限制所述虚拟无人飞行器的与所述当前位置相应的动作。

所述飞行控制部可以基于所述受训者的位置及其视线方向来控制所述真实无人飞行器的位置。

本发明的无人飞行器的操纵模拟方法包括如下步骤：获取受训者对虚拟无人飞行器的操作数据；获取真实空间的地理空间数据；基于所述地理空间数据及所述操作数据，计算出所述虚拟无人飞行器在所述真实空间中的当前位置；及以能够在所述真实空间的所述当前位置看到所述虚拟无人飞行器的方式生成所述虚拟无人飞行器的图像。

附图说明

图1是表示使用本发明的模拟系统的无人飞行器的操纵训练的图。

图2A是表示受训者配戴的HMD(Head Mounted Display，头戴式显示器)上的画面的图。

图2B是表示由HMD显示的图像的图。

图2C是表示受训者配戴的HMD的前方所展开的景色的图。

图3是表示训练用计算机的硬件构成的图。

图4是表示HMD的硬件构成的图。

图5是训练用计算机的功能区块图。

图6是表示使用变化例的模拟系统的无人飞行器的操纵训练的图。

图7是变化例的训练用计算机的功能区块图。

图8是变化例的训练用计算机的动作流程图。

图9是表示真实无人飞行器的飞行控制的图。

具体实施方式

以下，基于附图，对本发明的详情进行详细说明。此外，在以下说明中，对同一或对应的构成有时标注同一符号，并省略其详细说明。

图1示出使用本发明的模拟系统的无人飞行器的操纵训练的情况。在本系统中，受训者70使用虚拟无人机进行无人机的操纵训练。无人机是能够按照飞行计划自主飞行的多旋翼直升机，但是在紧急时能够按照从人为操作的发送器发送的具体动作指示，例如向上下移动、向前后移动、向左右移动、左右旋转的指示来飞行。由此，在紧急时，能够使无人机执行飞行计划外的动作，例如进行紧急着陆等。

受训者70站在作为无人机的预定飞行场所的真实空间10，头部配戴HMD(HeadMount Display)50。真实空间10中存在诸如山之类的自然地形21，也存在诸如树或建筑物之类的真实物体22。

HMD 50连接于训练用计算机40。训练用计算机40也连接着受训者70手持的发送器30及环境传感器60。训练用计算机40获取从环境传感器60输出的真实空间10的环境数据。环境数据是环境传感器60的设置位置上的风向、风速、湿度、气温、空气密度、光量等。发送器30具备按钮、操纵杆、滑动开关、拨动开关等操作部件，与用来操作真正的无人机的发送器相同。当受训者70对发送器30的操作部件进行操作时，这些操作部件的状态(操纵杆位置等)作为操作数据被发送到训练用计算机40。

训练用计算机40保存着真实空间10的地理空间数据(Geospatial Information，地理信息)。地理空间数据不仅包括自然地形21的数据，而且也包括一部分或所有的真实物体22的位置、大小、形状等数据。训练用计算机40执行模拟，即，基于所保存的真实空间10的地理空间数据、从发送器30获取的操作数据及从环境传感器60获取的环境数据，即时地反复运算配置在虚拟空间中的虚拟无人飞行器(无人机)80的当前位置及姿势。作为环境数据，使用风向与风速、湿度、气温、空气密度中的至少1个。

训练用计算机40按照模拟结果，即时地反复运算虚拟无人飞行器80当前的画面，生成其图像(模拟图像)。此时，可以使用环境数据所包含的处于环境传感器60的设置位置上的光量。也就是说，可以将光源设定在虚拟空间中的太阳位置(可以根据日期及时刻运算)，并基于环境数据所包含的光量设定该光源的光量。例如，可以使光源的光量与环境数据所包含的光量成正比。模拟图像可以基于以此方式设定的光源而生成。

在配置着虚拟无人飞行器80的虚拟空间中，配置着与真实空间10相同的自然地形或真实物体，虚拟空间是将真实空间10的至少一部分再现的空间。也就是说，虚拟空间与真实空间10至少部分地整合。在虚拟空间中的HMD 50的位置配置着虚拟相机(未图示)，该虚拟相机的方向与真实空间10中的HMD 50的方向一致。另外，虚拟相机的视角与HMD 50的视野角一致。因此，如果使用虚拟相机呈现虚拟空间，那么虚拟无人飞行器80以模拟结果所表示的当前姿势存在于模拟结果所表示的当前位置，能够将从HMD 50所能观察到的情况可视化(图像化)。

此处，HMD 50采用光学透视方式，以与经由半镜面等看到的展开在HMD 50前方的真实风景重叠的方式显示由训练用计算机40生成的图像。由此，能够使受训者70看到仿佛虚拟无人飞行器80在真实空间10中真实地飞行。图2(a)示出受训者70通过HMD 50所看到的风景。在该图中，虚拟无人飞行器80是由训练用计算机40通过模拟及计算机图形生成的图像，其余均为真实风景。图2(b)是由训练用计算机40通过模拟及计算机图形生成的模拟图像。对显示虚拟无人飞行器80的区域以外的像素赋予透明属性，在该位置可看到作为真实风景的图2(c)。由此，由受训者70可看到图2(a)所示的混合现实的风景。

此外，此处的HMD 50采用的是光学透视方式，但也可以采用视频透视方式。在该情况下，利用HMD 50所具备的相机拍摄展开在HMD 50前方的真实风景。通过使模拟图像与以此方式获得的拍摄图像重叠，能够使受训者70看到风景与光学透视方式的情况下所看到的风景相同的图像。但是，由于如果通过视频透视方式显示真实风景，时延会变大，因此对HMD50采用光学透视方式为宜。

以下，对训练用计算机40及HMD 50的构成进一步具体地进行说明。图3是表示训练用计算机40的硬件构成的图。如该图所示，训练用计算机40包含CPU(Central ProcessingUnit，中央处理器)41、易失性存储器42、SSID(service set identifier，服务网域识别码)或HDD(Hard Disk Drive，硬盘驱动器)等储存器43、键盘或鼠标等输入部44、与HMD 50的接口45、与发送器30的接口46以及与环境传感器60的接口47。这些硬件要素例如通过总线相互连接。

图4是表示HMD 50的硬件构成的图。如该图所示，HMD 50包含CPU 51、易失性存储器52、与训练用计算机40的接口53、LCD(liquid crystal display，液晶显示器)或OLED(organic light emitting diode，有机发光二极管)等显示面板54、位置传感器55及姿势传感器56。这些硬件要素例如通过总线相互连接。此处，位置传感器55是测定HMD 50的当前位置的GPS等装置。另外，姿势传感器56是测定HMD 50的当前姿势的装置，例如由陀螺仪传感器或加速度传感器构成。由位置传感器55及姿势传感器56获取的HMD 50的位置及姿势经由接口53发送到训练用计算机40。训练用计算机40将这些数据用作呈现模拟图像时的视点数据。此外，也可以在HMD 50中设置相机来拍摄周围的风景，并根据所拍摄的图像在训练用计算机40中运算HMD 50的位置及姿势。该运算中例如可使用被称为SLAM(simultaneouslocalization and mapping，同时定位与地图构建)的技术。另外，也可以在设置位置及方向已知的训练用计算机40中设置相机，并利用该相机拍摄HMD 50，由此运算HMD 50的位置及姿势。

图5是训练用计算机40的功能区块图。训练用计算机40的功能中包括操作数据获取部400、环境数据获取部401、HMD数据获取部402、模拟器部403、呈现部404、图像输出部405、地理空间数据存储部406。这些功能模块通过训练用计算机40执行本发明的程序而实现。该程序存储在储存器43中并由CPU 41执行。程序可以储存在计算机可读媒体中，训练用计算机40从该媒体中读出程序。另外，可以从因特网等网络下载程序。

操作数据获取部400获取受训者70对虚拟无人飞行器80的操作数据。操作数据经由接口46从发送器30获取。环境数据获取部401获取真实空间10的环境数据。环境数据经由接口47从环境传感器60例如即时地反复获取。HMD数据获取部402经由接口45获取HMD 50的位置及姿势。

模拟器部403基于真实空间10的地理空间数据、从发送器30获取的操作数据及真实时间10的环境数据，计算出虚拟无人飞行器80在真实空间10中的当前位置及姿势。虚拟无人飞行器80的当前位置及姿势即时地反复更新。真实空间10的地理空间数据预先存储在地理空间数据存储部406中。此外，地理空间数据存储部406可以通过具备相机等能够检测地理空间数据的传感器的无人机等无人飞行器在真实空间10中获取。

呈现部404基于由模拟器部403所得的计算结果生成虚拟无人飞行器80的图像。所生成的图像用来使虚拟无人飞行器80在由模拟器部403计算出的当前位置以由模拟器部403计算出的姿势，被受训者70在真实空间10中看到。图像输出部405将所生成的虚拟无人飞行器80的图像经由接口45输出到HMD 50。HMD 50中，将呈现部404所生成的图像与展开在该HMD 50前方的风景重叠地生成图像。由此，可看到虚拟无人飞行器80仿佛在由模拟器部403计算出的当前位置以由模拟器部403计算出的姿势存在于真实空间10中。

根据以上所说明的模拟系统，受训者70能够经由HMD 50看到自己通过发送器30操纵的虚拟无人飞行器80仿佛实际存在于真实空间10中。由此，能够在更接近真实环境的环境中进行无人飞行器操纵训练。

特别是，虚拟无人飞行器80的当前位置及姿势是基于由环境传感器60即时地获取的环境数据运算出的，该环境传感器60配置在正进行操纵训练的真实空间10中，因此能够进行反映真实空间10的实际环境例如风向与风速、湿度、气温、空气密度、光量的操纵训练。

此外，真实空间10的环境数据可以由在真实空间10中飞行的真实无人飞行器来代替环境传感器60进行检测，或者除环境传感器60以外还利用在真实空间10中飞行的真实无人飞行器进行检测。图7是表示使用变化例的模拟系统的无人飞行器的操纵训练的图。如该图所示，在变化例的系统中，训练用计算机40连接着通信机100，通信机100与作为无人机的真实无人飞行器90通信。真实无人飞行器90与环境传感器60同样地搭载着检测真实空间10的环境数据的传感器。由真实无人飞行器90检测的环境数据是真实无人飞行器90的位置上的风向、风速、湿度、气温、空气密度、光量等。通信机100从真实无人飞行器90接收所检测到的环境数据。

另外，训练用计算机40经由通信机100向真实无人飞行器90发送动作指示。训练用计算机40通过模拟器部403掌握虚拟无人飞行器80的当前位置，并基于该当前位置控制真实无人飞行器90的位置。因此，训练用计算机40即时地反复接收真实无人飞行器90的当前位置及姿势。为了更精确地进行虚拟无人飞行器80的飞行模拟，较为理想的是，真实无人飞行器90处于尽可能接近虚拟无人飞行器80的位置来获取环境数据。但另一方面，如果这样的话，担心真实无人飞行器90会进入受训者70的视界，有时位置与虚拟无人飞行器80重叠而妨碍操纵训练。因此，训练用计算机40进行控制以使真实无人飞行器90既与虚拟无人飞行器80连动又不处于受训者70的视线方向上。

图7是变化例的训练用计算机40的功能区块图。该图所示的功能区块图中设置着飞行控制部407，在此方面与图5所示的功能模块不同。飞行控制部407基于模拟器部403中所运算的虚拟无人飞行器80的当前位置、HMD数据获取部402中所获取的HMD 50的当前位置及姿势(视线方向)，控制真实无人飞行器90的当前位置。另外，飞行控制部407也被供给地理空间信息，且控制真实无人飞行器90以使其不会撞击地面或真实物体22。

图8是变化例的训练用计算机40的动作流程图。该图所示的动作主要由飞行控制部407负责，首先，判断虚拟无人飞行器80是否出现异常(S201)。作为判定虚拟无人飞行器80的状态的方法，可以采用各种公知技术，例如可以在速度超过阈值的情况下、在铅直向下的速度成分超过阈值的情况下、在来自发送器30的单位时间的操作数据的变更量超过阈值的情况下等，根据虚拟无人飞行器80的速度或移动方向、来自发送器30的操作数据是否满足预先所确定的条件，来判定异常还是正常。

当虚拟无人飞行器80并非异常时，飞行控制部407决定真实无人飞行器90的移动目的地(S202～S207)。图9是表示真实无人飞行器90的移动目的地的决定方法的图。首先，飞行控制部407获取真实无人飞行器90的当前位置PRN(S202)。另外，从模拟器部403获取虚拟无人飞行器80的当前位置PV(S203)。进而，从HMD数据获取部402获取HMD 50的当前位置PH及视线方向VL(HMD 50的姿势)(S204)。

接着，设定真实无人飞行器90的多个移动目的地候补PRD(S205)。移动目的地候补PRD是真实无人飞行器90的目标位置的候补，例如可以将以S202中获取的当前位置PRN为中心向上下左右前后合计6个方向分别移位固定距离后所得的位置作为移动目的地候补PRD。但是，基于地理空间信息，不选择真实无人飞行器90会撞击地面或真实物体22的移动目的地候补PRD。

接着，飞行控制部407针对各移动目的地候补PRD运算评价值E(S206)。然后，将评价值E为最小的移动目的地候补PRD决定为真实无人飞行器90的实际移动目的地(S207)。作为真实无人飞行器90的移动目的地的位置由通信机100发送到真实无人飞行器90，真实无人飞行器90开始朝相同位置移动(S208)。

S206中运算的评价值E例如按照E＝α×L1+β×L2+γ×1/L3运算。此处，α、β、γ为系数，是通过实验等适当设定的值。L1是虚拟无人飞行器80的当前位置PV与移动目的地候补PRD的距离。L2是真实无人飞行器90的当前位置PRN与移动目的地候补PRD的距离。L3是移动目的地候补PRN到视线VL的距离。由此，虚拟无人飞行器80的当前位置PV与移动目的地候补PRD的距离越小，就能够使评价值E变得越小。因此，与虚拟无人飞行器80的当前位置PV接近的位置容易被选为真实无人飞行器90的移动目的地。另外，真实无人飞行器90的当前位置PRN与移动目的地候补PRD的距离越小，就能够使评价值E变得越小。因此，与真实无人飞行器90的当前位置PRN接近的位置容易被选为真实无人飞行器90的移动目的地。进而，移动目的地候补PRN到视线VL的距离越远，该移动目的地候补PRN越容易被选为真实无人飞行器90的移动目的地。这样一来，将与真实无人飞行器90的当前位置PRN或虚拟无人飞行器80的当前位置RV接近且距视线VL尽可能远的位置选择为真实无人飞行器90的移动目的地。由此，能够使真实无人飞行器90接近虚拟无人飞行器80，但使真实无人飞行器90不处于视线VL上。

当在S201中判断为虚拟无人飞行器80出现异常时，飞行控制部407通过通信机100指示真实无人飞行器90在当前位置PRN盘旋(滞空)(S209)。由此，甚至能够防止真实无人飞行器90与虚拟无人飞行器80连动地处于异常动作状态。也就是说，飞行控制部407在虚拟无人飞行器80出现异常的情况下，限制其与该当前位置相应的动作。该限制中例如包括如上所述的对真实无人飞行器90的盘旋指示。

根据以上所说明的变化例的系统，能够在与虚拟无人飞行器80更接近的位置获取环境数据，从而能够更真实地进行虚拟无人飞行器80的模拟。此时，获取环境数据的真实无人飞行器90并不接近视线VL，因此能够避免真实无人飞行器90的存在妨碍虚拟无人飞行器80的操纵。