掌桥专利:专业的专利平台
掌桥专利
首页

推测装置、推测方法以及存储介质

文献发布时间:2024-04-18 19:59:31


推测装置、推测方法以及存储介质

技术领域

本发明的实施方式涉及推测装置、推测方法以及存储介质。

背景技术

以往已知与无人机那样的自主移动机器人等移动体的运动推测相关的技术。例如,在自主移动机器人中,运动推测是重要课题之一。在使用单目摄像机进行运动推测的情况下,通常采用同时推测自身位置(位置和姿态)和三维点的单目SLAM(MonocularSimultaneous Localization and Mapping,单目同时定位与地图创建)技术。

发明内容

然而,在以往的技术中,难以提高通过单目SLAM实现的无人机那样的自主移动机器人等移动体的运动推测精度。

实施方式的推测装置具备推测部、控制部以及SLAM部。推测部根据由搭载于移动体的单目摄像机获取的多个第1单目图像,推测所述移动体的运动是否是原地旋转。在所述移动体的运动是原地旋转的情况下,控制部决定使所述单目摄像机平移的平移量。SLAM部根据所述多个第1单目图像和由基于所述平移量平移后的所述单目摄像机获取的第2单目图像,通过单目SLAM(Monocular Simultaneous Localization and Mapping,单目同时定位与地图创建)推测所述单目摄像机的位置和姿态中的至少一者以及所述单目摄像机的被摄体的三维点。

根据上述推测装置,能够提高通过单目SLAM实现的无人机那样的自主移动机器人等移动体的运动推测精度。

附图说明

图1是表示第1实施方式的自主移动机器人以及到目的地为止的移动例的俯瞰图。

图2是用于对基于单目SLAM实现的三维点的推测处理的例子进行说明的图。

图3是用于对光流的例子进行说明的图。

图4A是表示根据光流不能区分原地旋转和平移的例1的图。

图4B是表示根据光流不能区分原地旋转和平移的例2的图。

图5A是表示能够推测三维点的情况下的例1的图。

图5B是表示三维点的推测失败的情况下的例1的图。

图6A是表示能够推测三维点的情况下的例2的图。

图6B是表示三维点的推测失败的情况下的例2的图。

图7是表示需要原地旋转的状况的例子的俯瞰图。

图8是用于对基于在有限的进深处推测出的三维点的平移的推测方法的例子进行说明的图。

图9是表示第1实施方式的推测装置的功能结构的例子的图。

图10A是表示使单目摄像机沿水平横向平移40cm时的光流的例子的图。

图10B是表示使单目摄像机沿水平横向平移40cm时的三维点的进深的例子的图。

图11A是表示使单目摄像机仅偏航角(yaw)原地旋转1.5度时的光流的例子的图。

图11B是表示使单目摄像机仅偏航角原地旋转1.5度时的三维点的进深的例子的图。

图12是表示第1实施方式的推测方法的例子的流程图。

图13是表示第2实施方式的推测装置的功能结构的例子的图。

图14是表示第2实施方式的移动部的例子的图。

图15是表示第1和第2实施方式的推测装置的硬件结构的例子的图。

附图标记说明

1、单目摄像机;2、SLAM部;3、推测部;4、控制部;5、移动部;10、推测装置;100、自主移动机器人;201、处理器;202、主存储装置;203、辅助存储装置;204、显示装置;205、输入装置;206、通信装置;210、总线。

具体实施方式

以下参照所附附图,对推测装置、推测方法以及程序的实施方式进行详细说明。

(第1实施方式)

在第1实施方式中,以搭载于如下的自主移动机器人(移动体的一例)的推测装置为例进行说明。

·设为自主移动机器人被提供目的地并向目的地移动。

·在行驶中,自主移动机器人通过哪里是根据障碍物的状况而变化的。

·作为自主移动机器人的例子,可列举出无人机。在图1中示出无人机被提供目的地并向目的地移动的例子。

图1是表示第1实施方式的自主移动机器人100和到目的地为止的移动例的俯瞰图。在图1的例子中,示出自主移动机器人100是搭载有单目摄像机1的无人机的情况。图1的例子表示到所提供的目的地为止的路径是左右被墙壁包围的狭窄空间的情况。

在第1实施方式中,对使用单目SLAM进行运动推测的情况进行说明。单目SLAM是基于同一对象物(例如,处于三维空间上的被摄体的角点等)在图像上映现的位置,推测自身位置和周围环境的三维点的技术。作为例子,在图2中示出在运动推测中使用2个帧的情况。

图2是用于对基于单目SLAM的三维点104的推测处理的例子进行说明的图。在图2中,使用例如Shi-Tomasi的角点检测,从过去帧101a的图像上和当前帧101b的图像上检测被摄体102的角点。需要说明的是,被摄体102可以是任意的。在本实施方式中,将作为被摄体102的角点等特征的图像上的位置称为特征点103。

在检测到特征点103之后,在过去帧101a的特征点103与当前帧101b的特征点103之间找到类似的特征点对。这些特征点对处于对应关系。在单目SLAM中,基于特征点对的对应关系来推测三维点104。另外,单目摄像机1的自身位置105的推测基于推测出的三维点104来进行(详细内容参照后述的图8)。

单目SLAM在仅进行旋转运动(在本实施方式中,称为“原地旋转(purerotation)”)时,会产生问题。首先,说明光流。

图3是用于对光流106的例子进行说明的图。光流106是表示在各帧101中处于对应关系的特征点103的运动的矢量。光流106被用于推测单目摄像机1的自身位置105。

图4A是表示无法根据光流106区分原地旋转和平移的例1的图。图4B是表示无法根据光流106区分原地旋转和平移的例2的图。首先,对运动推测开始时(未推测出的三维点104,也不知道单目摄像机1的自身位置105的阶段)的问题进行说明。

作为通常的方法,运动推测开始时的运动推测使用5点算法等来进行。在5点算法中,基于5个光流106的输入,推测运动推测开始时的单目摄像机1的运动(即自身位置)。

然而,如图4A和图4B所示,仅通过光流106,有时无法区分旋转和平移。图4A和图4B是在光流106为大致相同的朝向且大致相同的长度的情况下进行运动推测的例子。

在图4A的例子中,示出无法区分被摄体102的各三维点104与单目摄像机1之间的距离不同的情况下的原地旋转(右旋转)、和被摄体102的各三维点104与单目摄像机1的距离大致相同的情况下的平移(右移动)的情况。

在图4B的例子中,示出无法区分被摄体102的各三维点104与单目摄像机1之间的距离相同的情况下的原地旋转(右旋转)、和被摄体102的各三维点104与单目摄像机1的距离大致相同的情况下的平移(右移动)的情况。

如图4A和图4B所示,无法区分原地旋转的情况和被摄体102与单目摄像机1的距离大致一定且进行平移运动的情况。在使用光流106的运动推测中,若基于上述的没有区分的光流106进行推测,则存在弄错旋转和平移这两者的推测的情况。因此,在运动推测开始时,在搭载有单目摄像机1的自主移动机器人100原地旋转时,运动推测的精度劣化。

接下来,对运动推测继续时(有推测出的三维点104,也知道过去帧101a的单目摄像机1的自身位置105的阶段)的问题进行说明。

图5A是表示能够推测三维点104的情况下的例1的图。图5B是表示三维点104的推测失败的情况下的例1的图。图5A和5B中的光轴的位置是实际的单目摄像机1的光轴的位置。

在运动推测继续时,与单目摄像机1运动以获得足够的基线的情况(图5A)相比,在单目摄像机1原地旋转时,如图5B所示,基线变小。若在基线较小的状况下进行三维点104的三维位置的推测,则有时会如图5B那样推测出错误的进深(无限远)。

图6A是表示能够推测三维点104的情况下的例2的图。图6B是表示三维点104的推测失败的情况下的例2的图。图6A和图6B中的光轴的位置是实际的单目摄像机1的光轴的位置。在原地旋转后,有时没有在有限的进深(如图5A所示,在基线大的状况下推测出的三维点的三维位置)推测出的三维点104。在推测的运动中特别是平移中,如图6A那样,需要在有限的进深处推测出的三维点104。因而,在不存在这样的在有限的进深处推测出的三维点104的情况下(图6B),无法推测正确的平移运动。

图7是表示需要原地旋转的状况的例子的俯瞰图。在图7的例子中,示出搭载有单目摄像机1的自主移动机器人100在平移到前方的墙壁后,继续原地旋转直到在拐角向右旋转90度的情况。这样,自主移动机器人100有时根据障碍物的状况而原地旋转。由于上述问题,在原地旋转后,自主移动机器人100的运动推测失败。

例如在日本特表2016-526313号公报等以往的技术中,在运动推测继续时,在持续原地旋转的情况下(例如,继续180度的情况下),被摄体102的大部分的三维点104成为无限远的三维点104,无法推测正确的平移运动。

在此,对基于在有限的进深处推测出的三维点104的平移的推测方法的例子进行说明。

图8是用于对基于在有限的进深处推测出的三维点104的平移的推测方法的例进行说明的图。在得到在有限的进深处推测的三维点104的情况下,例如,如图8所示,使用单目SLAM,实时地推测单目摄像机1的自身位置105。首先,基于特征点103对的对应关系推测在有限的进深处推测出的三维点104(S1:建立对应)。然后,将在有限的进深处推测的三维点104投影到当前的摄像机图像上的点107上(S2:投影)。最后,对单目摄像机1的位置和姿态(旋转)进行最佳化处理,以使得投影的点107所表示的位置与处于特征点103对的对应关系的图像上的位置之差最小(S3:最佳化)。

在此,有限的进深的三维点104被用作用于对平移和旋转进行最佳化的运动推测的输入,无限远的三维点104被用作用于仅对旋转进行最佳化的运动推测的输入。在最优化时输入的三维点104中,在有限的进深处推测的三维点104存在几个点的情况下,例如,通过仅使用在有限的进深处推测出的三维点104,能够进行平移的推测。通常而言,输入的三维点104的数量越多,运动推测的精度越好。因而,在有限的进深处推测的三维点104越多,越能够期待平移的推测精度的提高。相反,运动推测时使用的在有限的进深处推测出的三维点104越少,则平移的推测精度越差,在没有在有限的进深处推测出的三维点104的情况下,无法进行平移的推测。

如上所述,在自主移动机器人100的运动推测开始时以及运动推测继续时存在以下课题。

<运动推测开始时>

在运动推测开始时,存在光流106为大致相同的朝向且大致相同的长度的情况。在该情况下,如上述的图4A和图4B所示,由于不能区分旋转和平移,因此在运动推测开始时运动推测的精度劣化。

<运动推测继续时>

即使在运动推测继续时,在继续原地旋转的情况下(例如,继续180度的情况下),被摄体102的大部分的三维点104成为无限远的三维点104。因而,若原地旋转继续,则平移的推测的精度劣化。

以下,对即使在上述那样的情况下也能够提高自主移动机器人100的运动的推测精度的推测装置的实施方式进行说明。

为了解决上述课题,第1实施方式的推测装置10在单目摄像机1的运动为原地旋转的情况下,以成为足够的基线的方式使自主移动机器人100(单目摄像机1)平移,以避免发生运动推测精度劣化或运动推测失败。

在此,第1实施方式的说明中的推测精度劣化和失败的定义分别如下。另外,以下示出运动推测的精度劣化和失败的具体例。

“推测精度劣化”是指,推测结果与真值之差较大(大于预定的阈值)。“推测失败”是指,由于没有由推测装置10执行的运动推测所使用的数据,因此无法进行推测。

“运动推测精度劣化”的具体例

·在运动推测开始时,有时仅通过光流106无法区分旋转和平移,旋转和平移这两者的推测的精度劣化。

·若原地旋转继续,则在最佳化时所输入的三维点104中,在有限的进深处推测的三维点104的数量减少,因此平移的推测精度劣化。

“运动推测失败”的具体例

·在运动推测时,在没有推测出的三维点104的输入的情况下(有限的进深的三维点104和无限远的三维点104这两者不能用于运动推测的输入的情况下),不能进行旋转和平移这两者的推测。

·在运动推测时,在没有在有限的进深处推测的三维点104的输入的情况下,无法进行平移的推测。

第1实施方式的推测装置10的特征如下。

·在原地旋转时,使自主移动机器人100(单目摄像机1)平移。

·根据被摄体102的距离,改变使自主移动机器人100(单目摄像机1)平移的量(基线)。到被摄体102的距离越远,视觉的变化(视差)越小。单目SLAM基于视觉的变化获得被摄体102与单目摄像机1之间的距离的信息,因此视觉的变化越小,运动推测的精度越不好。

·根据光流106检测原地旋转。具体而言,按照以下的基准进行判断。在光流106的长度存在偏差的情况下,判定为平移。在光流106的长度没有偏差的情况下,判定为原地旋转。

以下,详细说明第1实施方式的推测装置10的功能结构的例子。第1实施方式的推测装置10基于从单目摄像机1实时输入的单目图像来推测自主移动机器人100的自身位置105(位置和姿态)和被摄体102的三维点104。

[功能结构的例子]

图9是表示第1实施方式的推测装置10的功能结构的例子的图。第1实施方式的推测装置10与自主移动机器人100连接。推测装置10搭载于自主移动机器人100。需要说明的是,也可以将推测装置10设为包含除单目摄像机1以外的结构(SLAM部2、推测部3以及控制部4)的服务器装置,该服务器装置通过无线网络等从远程与自主移动机器人100连接。

第1实施方式的推测装置10具备单目摄像机1、SLAM部2、推测部3以及控制部4。

单目摄像机1搭载于自主移动机器人100,实时地获取单目图像。自主移动机器人100例如是无人机。自主移动机器人100是能够移动到被提供的目的地的机器人。另外,在行驶中,自主移动机器人的移动路径能够根据由SLAM部2推测出的障碍物的状况而改变。

SLAM部2根据由单目摄像机1获取的单目图像,通过SLAM技术,推测单目摄像机1(自主移动机器人100)的自身位置105和被摄体102的三维点104。作为SLAM技术,例如,能够利用ORB-SLAM(URL:https://arxiv.org/abs/1502.00956)和PTAM(Parallel Trackingand Mapping,并行跟踪与建图)等。PTAM是根据特征点的对应关系来推测摄像机姿态的单目SLAM。

推测部3根据表示被摄体102的特征点的运动的光流106,推测自主移动机器人100的运动是否是原地旋转。例如,在光流的长度存在偏差的情况下(长度的偏差为阈值以上的情况下),推测部3推测为平移。另外,例如,在光流的长度没有偏差的情况下(长度的偏差小于阈值的情况下),推测部3推测为原地旋转。

然而,如上述的图4A和图4B所示,在光流106为大致相同的朝向、大致相同的长度的情况下,有时无法区分平移和旋转。在这样的情况下,第1实施方式的推测部3即使推测为原地旋转也没有问题。这是因为,在推测为原地旋转时,通过使自主移动机器人100(单目摄像机1)平移,即使使单目摄像机1以能够得到基线的方式移动,也只是增加新的三维点104。因而,在第1实施方式的推测部3中,在光流106的长度没有偏差的情况下,推测为原地旋转。

控制部4使搭载有单目摄像机1的自主移动机器人100平移。例如,在图1的例子中,水平左右方向接近壁,因此平移的方向是垂直上下方向。平移的量(平移量)由控制部4决定。

例如,控制部4通过下述式(1)和(2)求出使单目摄像机1平移的量b(基线)。

<运动推测开始时>

b=能够移动区域的上限…(1)

<运动推测继续时>

b=F(d)…(2)

其中,在F(d)超过能够移动区域的情况下,b设定为能够移动区域的上限。

在此,d是单目摄像机1与被摄体102之间的距离,F是决定使单目摄像机1平移的量的函数。

即,在运动的推测开始时,控制部4决定单目摄像机1的能够移动区域的上限,在运动的推测继续时,根据与被摄体102的距离,在上限以下的范围内决定平移量b。

控制部4在使单目摄像机1平移的情况下,通过使自主移动机器人100向预定的方向平移,从而使单目摄像机1平移。在运动的推测开始时,控制部4基于单目摄像机1的能够移动区域的上限,将该上限更大的方向决定为预定的方向。例如,在图1的例子中,能够移动区域是从地面到天花板的高度。

例如,在自主移动机器人100或者推测装置10具备超声波传感器的情况下,距离d也可以是由超声波传感器获取的三维点104的进深的统计量(例如,平均值、中位值)。另外,例如,距离d也可以是特定的行人、对向车等被关注的对象的进深的统计量。被关注的对象的检测能够由推测部3使用例如通过CNN(Convolutional Neural Network,卷积神经网络)等机器学习方法得到的神经网络来实现。

由于距离d越大,视觉的变化越小,因此若不使搭载有单目摄像机1的自主移动机器人100大幅平移,则运动推测的精度就不高。因而,距离d越大,搭载有单目摄像机1的自主移动机器人100就越大地平移。也就是说,F设为距离d越大,b=F(d)也越大的函数。

在此,示出距离d越大,若不使搭载有单目摄像机1的自主移动机器人100大幅平移,则视觉的变化越小的理由。若将单目摄像机1的焦距(常数)设为f,将视觉的变化(视差)设为s,则d、b、s及f具有以下的关系。

d=b×(f/s)…(3)

对式(4)进行变形后,得到下述式(4)。

s=f×(b/d)…(4)

因而,根据式(4),若不以距离d越大则平移量(基线)b越大的方式使搭载有单目摄像机1的自主移动机器人100平移,则视差s即视觉的变化变小。

接下来,示出自主移动机器人100(单目摄像机1)进行了平移运动的情况下的光流106的模拟结果的一例、和进行了原地旋转运动的情况下产生的光流106的模拟结果的一例。

图10A是表示使单目摄像机1水平横向平移40cm时的光流106的例子的图。图10B是表示使单目摄像机1水平横向平移40cm时的三维点104的进深的例子的图。

图11A是表示使单目摄像机1仅偏航角原地旋转1.5度时的光流106的例子的图。图11B是表示使单目摄像机1仅偏航角原地旋转1.5度时的三维点104的进深的例子的图。

图10A和图11A的有效流量数(number of valid flow)是光流106的采样数。流长度(flow length)是光流106的长度的统计量(最大值、最小值以及平均值)。图11A中流长度的最大值、最小值以及平均值的差小于图10A中流长度的最大值、最小值以及平均值的差。

最小值、最大值以及平均值存在差异意味着光流106存在偏差。在此,偏差是指光流106的矢量的长度在图像内的进深(近前以及深处)上存在差异。例如,推测部3计算光流106的流长度的方差值,使用方差值和根据自主移动机器人100的动作环境等预先设定为恰当的值的阈值,判定偏差的大小。

具体而言,例如在流长度的方差值为阈值以上的情况下,推测部3判定为偏差大(推测为平移)。另外,在流长度的方差值小于阈值的情况下,推测部3判定为偏差小(推测为原地旋转)。

需要说明的是,推测装置10也可以具备多个单目摄像机1。例如,在具备性能不同的多个单目摄像机1的情况下,可以将由任意的单目摄像机1拍摄到的单目图像用于推测处理。

[推测方法的例子]

图12是表示第1实施方式的推测方法的例子的流程图。图12的例子表示推测为自主移动机器人100的运动是原地旋转的情况下的流程图。

首先,推测部3根据由搭载于自主移动机器人100(移动体的一例)的单目摄像机1获取的多个第1单目图像,推测自主移动机器人100的运动是原地旋转(步骤S11)。

接下来,在通过步骤S11的处理推测为自主移动机器人100的运动是原地旋转的情况下,控制部4决定使单目摄像机1平移的平移量(步骤S12)。

接下来,SLAM部2根据多个第1单目图像和由基于通过步骤S12的处理决定的平移量而平移后的单目摄像机1获取的第2单目图像,通过单目SLAM推测单目摄像机1的位置和姿态以及单目摄像机1的被摄体102的三维点104(步骤S13)。

需要说明的是,在步骤S13中,单目摄像机1的位置和姿态的推测也可以是单目摄像机1的位置和姿态中的至少一者的推测。例如,也可以仅利用单目摄像机1的位置的推测结果。

由此,根据第1实施方式的推测装置10,能够提高基于单目SLAM的自主移动机器人100(移动体的一例)的运动推测精度。具体而言,在第1实施方式的推测装置10中,例如得到下述(1)~(3)的效果。

(1)原地旋转时,通过使单目摄像机1平移所获得的效果

·即使在运动推测开始时进行原地旋转的情况下,也能够得到足够的基线,因此能够得到有限的进深的三维点104。由此,能够防止运动推测精度劣化或运动推测失败。

·即使在继续原地旋转(例如,继续180度的情况下)的情况下,也能够得到足够的基线,因此能够得到有限的进深的三维点104。由此,能够防止运动推测精度劣化或运动推测失败。

(2)通过根据与被摄体102的距离改变平移的量所获得的效果

·若相对于与被拍摄体102的距离,使单目摄像机1平移的量小,则运动推测的精度、三维点的推测精度有时会劣化。第1实施方式的推测装置10通过以被摄体102越远则基线越大的方式增大使单目摄像机1平移的量(根据与被摄体102的距离,改变使单目摄像机1平移的量),能够防止运动推测精度的劣化。

·由于与远方的被摄体102对应,因此与无条件地使单目摄像机1大幅平移的情况相比,能够削减使单目摄像机1平移的量。

(3)通过根据光流的偏差来检测原地旋转所获得的效果

·由于不使用运动推测的历史记录,因此即使在运动推测开始时也能够检测是否是原地旋转(开始时没有运动推测的历史记录)。

·仅利用单目摄像机1就能够检测是否是原地旋转。即使在为了原地旋转检测而需要IMU(Inertial Measurement Unit,惯性测量单元)等的应用中,也可以不安装除单目摄像机1以外的传感器,因此能够削减产品成本。

·在无人机等设想长时间活动的自主移动机器人100的情况下,在使用IMU的原地旋转检测方法中产生课题。具体而言,是如下课题:在从IMU推测旋转运动和平移运动的情况下,在速度的推测中蓄积误差,从而原地旋转的推测精度显著劣化。如果是第1实施方式的推测装置10的原地旋转检测方法,则不会产生这样的课题。以下,叙述加速度带有的误差积累起来的具体例。假设在某时刻赋予初速度。另外,为了求出某时刻以后的速度,根据加速度持续对速度进行积分。此时,在能够从IMU获取的加速度带有误差的情况下,每次积分时,加速度的误差都将积累到速度中。因此,速度带有的误差的量随着时间经过而变大。

(第2实施方式)

接下来,对第2实施方式进行说明。在第2实施方式的说明中,省略与第1实施方式同样的说明,对与第1实施方式不同的部位进行说明。

[功能结构的例子]

图13是表示第2实施方式的推测装置10-2的功能结构的例子的图。第2实施方式的推测装置10-2具备单目摄像机1、SLAM部2、推测部3、控制部4以及移动部5。与第1实施方式的结构的不同之处在于还具备移动部5。

移动部5基于由控制部4决定的平移量b(基线),通过平移移动来变更搭载于自主移动机器人100的单目摄像机1的位置。

图14是表示第2实施方式的移动部5的例子的图。第2实施方式的自主移动机器人100例如是工业用机器人以及汽车等。例如如图14那样,移动部5使单目摄像机1平移。在图14的例子中,单目摄像机1的可动区域与第1实施方式的能够移动区域的上限(式(1))对应。在图14的例子中,使单目摄像机1平移的方向是垂直于摄像机的光轴方向的方向。平移量b(基线)由控制部4决定。

如以上说明的那样,第2实施方式的推测装置10-2还具备基于平移量使搭载于工业用机器人以及汽车等移动体的单目摄像机1的位置平移移动的移动部5。控制部4在使单目摄像机1平移的情况下,通过控制移动部5来使单目摄像机1平移。

由此,根据第2实施方式的推测装置10-2,能够得到与第1实施方式的推测装置10同样的效果。

最后,对第1和第2实施方式的推测装置10(10-2)的硬件结构的例子进行说明。第1和第2实施方式的推测装置10(10-2)例如能够通过使用任意的计算机装置作为基本硬件来实现。

[硬件结构的例子]

图15是表示第1和第2实施方式的推测装置10(10-2)的硬件结构的例子的图。第1和第2实施方式的推测装置10(10-2)具备处理器201、主存储装置202、辅助存储装置203、显示装置204、输入装置205以及通信装置206。处理器201、主存储装置202、辅助存储装置203、显示装置204、输入装置205以及通信装置206经由总线210而连接。

需要说明的是,推测装置10(10-2)也可以不具备上述的部分结构。例如,在推测装置10(10-2)能够利用外部的装置的输入功能和显示功能的情况下,推测装置10(10-2)也可以不具备显示装置204和输入装置205。

处理器201执行从辅助存储装置203读出到主存储装置202的程序。主存储装置202是ROM和RAM等存储器。辅助存储装置203是HDD(Hard Disk Drive,硬盘驱动器)以及存储卡等。

显示装置204例如是液晶显示器等。输入装置205是用于操作推测装置10(10-2)的接口。需要说明的是,显示装置204和输入装置205也可以通过具有显示功能和输入功能的触摸面板等来实现。通信装置206是用于与其他装置进行通信的接口。

例如,由推测装置10(10-2)执行的程序以可安装的形式或可执行的形式的文件记录于存储卡、硬盘、CD-RW、CD-ROM、CD-R、DVD-RAM以及DVD-R等能够由计算机读取的存储介质,从而作为计算机程序产品提供。

另外,例如,也可以构成为将由推测装置10(10-2)执行的程序储存在与互联网等网络连接的计算机上,并通过经由网络下载来提供。

另外,例如,也可以构成为不下载由推测装置10(10-2)执行的程序而经由互联网等网络来提供。具体而言,例如也可以构成为通过ASP(Application Service Provider,应用服务提供商)型的云服务来执行推测处理。

另外,例如,也可以构成为将推测装置10(10-2)的程序预先装入ROM等来提供。

由推测装置10(10-2)执行的程序为包含上述的功能结构中的、也能够通过程序实现的功能的模块结构。该各功能作为实际的硬件,通过处理器201从存储介质读出程序并执行,从而将上述各功能块加载到主存储装置202上。即,上述各功能块在主存储装置202上生成。

需要说明的是,上述各功能的一部分或全部也可以不通过软件实现,而通过IC(Integrated Circuit,集成电路)等硬件来实现。

对本发明的几个实施方式进行了说明,但这些实施方式是作为例子而提示的,并不意图限定发明的范围。这些新的实施方式能够以其他各种方式实施,在不脱离发明的要旨的范围内,能够进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、要旨中,并且包含在权利要求书所记载的发明及其均等的范围内。

需要说明的是,能够将上述的实施方式总结为以下的技术方案。

技术方案1

一种推测装置,具备:

推测部,根据由搭载于移动体的单目摄像机获取的多个第1单目图像,推测所述移动体的运动是否是原地旋转;

控制部,在所述移动体的运动是原地旋转的情况下,决定使所述单目摄像机平移的平移量;以及

SLAM部,根据所述多个第1单目图像和由基于所述平移量而平移了的所述单目摄像机获取的第2单目图像,通过单目SLAM(Monocular Simultaneous Localization andMapping,单目同时定位与地图创建),推测所述单目摄像机的位置和姿态中的至少一者以及所述单目摄像机的被摄体的三维点。

技术方案2

根据技术方案1所述的推测装置,其中,

在所述运动的推测开始时,所述控制部决定所述单目摄像机的能够移动区域的上限,在所述运动的推测继续时,所述控制部根据与所述被摄体之间的距离,在所述上限以下的范围内决定所述平移量。

技术方案3

根据技术方案2所述的推测装置,其中,

在使所述单目摄像机平移的情况下,所述控制部通过使所述移动体向预定的方向平移而使所述单目摄像机平移。

技术方案4

根据技术方案3所述的推测装置,其中,

在所述运动的推测开始时,所述控制部基于所述单目摄像机的能够移动区域的上限,将所述上限更大的方向决定为所述预定的方向。

技术方案5

根据技术方案2所述的推测装置,其中,

还具备移动部,该移动部基于所述平移量,使所述搭载于移动体的单目摄像机的位置平移移动,

在使所述单目摄像机平移的情况下,所述控制部通过控制所述移动部而使所述单目摄像机平移。

技术方案6

根据技术方案1~5中任一项所述的推测装置,其中,

所述推测部基于表示所述被摄体的特征点的运动的光流的长度的偏差,推测所述运动是否是原地旋转。

技术方案7

根据技术方案6所述的推测装置,其中,

所述推测部通过所述光流的长度的方差值确定所述光流的长度的偏差,在所述方差值小于阈值的情况下,推测为所述运动是原地旋转。

技术方案8

根据技术方案7所述的推测装置,其中,

在所述方差值为阈值以上的情况下,所述推测部推测为所述运动是平移。

技术方案9

一种推测方法,包括如下步骤:

推测装置根据由搭载于移动体的单目摄像机获取的多个第1单目图像,推测所述移动体的运动是否是原地旋转;

在所述移动体的运动是原地旋转的情况下,所述推测装置决定使所述单目摄像机平移的平移量;以及

所述推测装置根据所述多个第1单目图像和由基于所述平移量而平移了的所述单目摄像机获取的第2单目图像,通过单目SLAM(Monocular Simultaneous Localizationand Mapping,单目同时定位与地图创建),推测所述单目摄像机的位置和姿态中的至少一者以及所述单目摄像机的被摄体的三维点。

技术方案10

一种存储介质,其存储有用于使计算机作为如下部件发挥功能的程序:

推测部,根据由搭载于移动体的单目摄像机获取的多个第1单目图像,推测所述移动体的运动是否是原地旋转;

控制部,在所述移动体的运动是原地旋转的情况下,决定使所述单目摄像机平移的平移量;以及

SLAM部,根据所述多个第1单目图像和由基于所述平移量而平移了的所述单目摄像机获取的第2单目图像,通过单目SLAM(Monocular Simultaneous Localization andMapping,单目同时定位与地图创建),推测所述单目摄像机的位置和姿态中的至少一者以及所述单目摄像机的被摄体的三维点。

相关技术
  • 复合型增压缸
  • 复合型增压缸
技术分类

06120116520538