用于在环境的3D模型中确定位置的装置和方法

技术领域

本发明涉及一种用于在环境的3D模型中确定位置的装置和方法。

背景技术

对象和环境的3D模型对于增强现实(“augmented reality”)主题具有越来越大的作用。为了能够在增强现实中贴近现实地放置内容，需要越来越有效的装置和方法来在3D模型中拍摄、转换和定位对象和环境。

过去对对象进行拍摄并且随后通过复杂的过程由拍摄建立3D模型。然而，现今，在连续拍摄环境时，几乎实时地生成3D模型。为此使用不同的图像处理技术和装置。

然而，为了拍摄、转换和定位而对所需设备提出了高要求。这对于一些应用领域是不实际的，尤其需要昂贵的3D相机系统来实现位置特定的拍摄。

发明内容

因此，本发明的目的是提供一种便宜且有效的装置和方法，以创建环境的3D模型,为增强现实的内容提供所创建的3D模型，以及实现在所创建的3D模型中确定位置。

根据本发明的用于拍摄3D模型的装置包括移动设备，其具有相机、加速度传感器和陀螺仪，构造用于建立环境的三维(3D)模型，其中为了建立模型，由相机、加速度传感器和陀螺仪的数据流生成显著点的地图和RGB地图。

本发明的构思是，利用现有的移动设备、例如移动电话或平板电脑，借助特定的方法实现环境的快速和有效的拍摄以建立3D模型。这具有的优点是，通过使用已经存在的移动设备不需要用于拍摄3D模型的额外的硬件，并且为增强现实的内容提供所创建的3D模型并且能够实现在所拍摄的3D模型中确定位置。

优选地，显著点被理解为图像文件中的特别的视觉特征,还包括具有强对比度差异的点，其可以通过多次拍摄来探测。

在本发明的一个实施例中，公开了一种用于在环境的3D模型中确定位置的由计算机执行的迭代方法，包括以下步骤：

a)采集相机数据、陀螺仪数据和加速度传感器数据，

b)从所采集的相机传感器数据确定视觉特征，

c)由所述视觉特征和所述陀螺仪数据和加速度传感器数据创建当前的姿态关键帧，

d)将所述姿态关键帧添加到数据库，

e)通过将该当前的姿态关键帧与数据库的姿态关键帧进行比较来确定位置。

在本发明的另一实施方式中，提供了一种包含移动设备的、在环境的3D模型中确定位置的装置,所述移动设备包括：

a)相机，

b)陀螺仪和

c)加速度传感器，其中

d)所述移动设备构造用于执行由计算机执行的迭代方法以用于在环境的3D模型中确定位置，所述方法包括以下步骤：

e)采集相机数据、陀螺仪数据和加速度传感器数据，

f)从所采集的相机传感器数据确定视觉特征，

g)由所述视觉特征和所述陀螺仪数据和加速度传感器数据创建当前的姿态关键帧，

h)将所述姿态关键帧添加到数据库，

i)通过将该当前的姿态关键帧与数据库的姿态关键帧进行比较来确定位置。

在本发明的另一实施方式中，公开了一种用于在环境的3D模型中确定位置的计算机程序产品，包括指令，所述指令在由计算机执行程序时促使计算机执行由计算机执行的迭代方法，以在环境的3D模型中确定位置，包括以下步骤：

a)采集相机数据、陀螺仪数据和加速度传感器数据，

b)从所采集的相机传感器数据确定视觉特征，

c)由所述视觉特征和所述陀螺仪数据和加速度传感器数据产生当前的姿态关键帧，

d)将所述姿态关键帧添加到数据库，

e)通过将该当前的姿态关键帧与数据库的姿态关键帧进行比较来确定位置。

优选地，显著点的地图的定义是数据库，其中计算出的显著点的信息与陀螺仪和加速度传感器的相对位置数据结合。

环境和空间的优选定义是能够由相机拍摄的所有内容，还包括对象、生物以及外界的特征。

优选地，RGB地图的定义是数据库，其中相机的视觉图像数据与陀螺仪和加速度传感器的相对位置数据结合。

优选地，3D模型在显示装置上可视地显示，构造以为用户实现添加增强现实内容，并且随后将视觉显示的信息与显著点的地图结合。

优选地，在3D模型中确定移动设备的位置，其中将移动设备的显著点与先前生成的显著点地图进行比较。

优选地，增强现实的内容在视觉上匹配于移动设备的位置。

优选地，当移动设备在分析图像与放置增强现实内容之间的时间中移动时，则考虑用于增强现实内容的视觉显示的方向校正和角度校正。

优选地，将来自相机、加速度传感器和陀螺仪的数据流传送到服务器以进行数据分析。

优选地，每秒至少10个数据包被传输到服务器，更优选地至少20个，并且甚至更优选地至少30个。

优选地，数据包包含显著点的信息和与其相对应的RGB值。

优选地，由显著点并且通过机器学习建立显著点的地图。

优选地，由相机的图像数据创建RGB地图。

优选地，在数据包传输到服务器之前，由相机、加速度传感器和陀螺仪的数据确定显著点。

优选地，根据传输的数据在服务器上执行3D重建。

在优选的实施方式中，为了创建3D模型而确定显著点，执行视觉-惯性测距，执行闭环循环，然后执行光束法区域网平差。

在一种优选的实施方式中，借助于Oriented FAST and RotatedBRIEF(ORB)方法确定显著点，并且利用ORB-SLAM(同步地确定位置和创建地图)库进行3D重建。

优选地，相机具有大于1百万像素、更优选地大于5百万像素、最优选地大于20百万像素的分辨率。

优选地，相机每秒传输至少5个图像，更优选地至少20个图像，并且甚至更优选地至少30个图像。

优选地，以最大50cm、更优选最大20cm、甚至更优选最大5cm的精度来确定移动设备的位置。

附图说明

现在将结合附图描述本发明的示例性实施例。其中，

图1示出本发明的第一示例性实施方式，

图2示出本发明的第二示例性实施方式，

图3示出本发明的方法的第三实施方式的示例性概览，

图4示出移动设备的姿态判定的视图。

具体实施方式

在图1所示的装置100中，从包括相机101、陀螺仪102和加速度传感器103的移动设备110的数据流中产生移动设备110上的由显著点105构成的地图和RGB地图106。

在图2中，与前面所示的实施方式相反，将传感器101、102、103的数据流传输到服务器104上，在所述服务器上由所述数据创建显著点105的地图和RGB地图106。

图3示出根据本发明的方法的第三实施方式的示例性概览。

在移动设备110上，使用移动设备的传感器(加速度传感器103、陀螺仪102)的数据流来确定移动设备110在空间中的相对方向。然后，为了计算移动设备110在事先创建的全局坐标系(global coordinate system,GCS)中的位置，将GCS状态传输至移动设备110，并且将当前相对位置与GCS状态匹配。此外，从相机103的数据流中提取单帧图像，并且在移动设备110本身上、或在连接到服务器104之后在该服务器104上计算该单帧图像的视觉特征107。单帧图像的视觉特征107和移动设备110在全局坐标系GCS中的位置被服务器104用来确定当前的姿态关键帧(pose keyframe,PK)。该姿态关键帧PK在服务器104上与姿态关键帧数据库(PK数据库)进行比较，并且由此确定当前的姿态关键帧PK在全局坐标系GCS中的关键帧位置。为此，将当前PK添加到PK数据库，然后将当前PK与之前存储的数据库的PK相比较。在此，从数据库中移除多余的PK并且根据比较确定当前PK相对于GCS的当前位置不精确度。最终，将位置不精确度从服务器104传输到移动设备110，所述移动设备由此修正其在GCS中的当前位置和定向。

该方法是迭代方法，其被连续地执行以始终确定移动设备110在全局坐标系GCS中的当前位置和定向。

图4是本发明的方法的一部分的可视化展示。从姿态关键帧(PK)确定显著点107。根据显著点107和移动设备110的传感器的数据预测移动设备110相对于显著点107的取向。

附图标记说明

100 根据本发明的装置

110 移动设备

101 相机

102 陀螺仪

103 加速度传感器

104 服务器

105 显著点的地图

106 RGB地图

107 显著点(视觉特征)

GCS 全局坐标系(global coordinate system)

PK 姿态的关键帧(pose keyframe)