一种用于增强现实的定位方法及装置

技术领域

本发明涉及增强现实(AR，Augmented Reality)技术领域，具体而言，涉及一种用于增强现实的定位方法及装置。

背景技术

随着AR/虚拟现实(VR，Virtual Reality)技术的日益发展，其应用越来越广泛，广泛应用于游戏、培训、交互、教学等场景。利用AR/VR技术，可以通过移动电话、运动眼镜、游戏头盔，实现人机交互，达到现实环境的展示。但目前的AR或VR展示，需要基于环境识别及设备的空间定位进行展示，例如，深度视觉(RGB-D)及TOF/结构光，需要基于环境的大量特征点进行数据采集以实现设备的空间定位检测，这样，需要较大的计算量进行数据的识别和定位运算，使得定位所需的时间较长，定位效率较低。

发明内容

有鉴于此，本发明的目的在于提供用于增强现实的定位方法及装置，以降低定位所需的时间、提高定位效率。

第一方面，本发明实施例提供了用于增强现实的定位方法，包括：

获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，所述点阵定位板上设置有至少三个特征点；

对包含至少三个特征点的投射图像进行分析，获取所述点阵定位板的二维位置信息；

基于所述二维位置信息以及用于拍摄投射图像的设备的三维位置信息，获取特征点在所述设备上的特征三维位置信息；

根据特征三维位置信息以及所述设备的拍摄参数，确定与所述点阵定位板的相对定位信息。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，包括：

为点阵定位板上的每一特征点设置对应的点亮模式，每一特征点的点亮模式不同；

向点阵定位板发送点亮指令，所述点亮指令中携带有特征点对应的点亮模式，以使点阵定位板上的特征点按照对应设置的点亮模式点亮；

对点阵定位板进行摄像，获取投射图像。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，包括：

设置点阵定位板上的相邻特征点之间的距离均不相同；

对点阵定位板进行摄像，获取投射图像。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，包括：

设置点阵定位板上的各特征点的形状均不相同；

对点阵定位板进行摄像，获取投射图像。

结合第一方面、第一方面的第一种可能的实施方式至第三种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述方法还包括：

对获取的投射图像进行投影，得到投影图像；

基于投射图像和投影图像，获取误差函数，基于误差函数对投射图像进行校准。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述方法还包括：

基于用于摄像的设备的惯性测量单元信息，对进行校准的投射图像进行处理，以对所述进行校准的投射图像中的姿态信息进行校准。

结合第一方面、第一方面的第一种可能的实施方式至第三种可能的实施方式中的任一种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述方法还包括：

依据相对定位信息，对视觉环境进行渲染。

第二方面，本发明实施例还提供了一种用于增强现实的定位装置，包括：

投射图像获取模块，用于获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，所述点阵定位板上设置有至少三个特征点；

图像分析模块，用于对包含至少三个特征点的投射图像进行分析，获取所述点阵定位板的二维位置信息；

位置获取模块，用于基于所述二维位置信息以及用于拍摄投射图像的设备的三维位置信息，获取特征点在所述设备上的特征三维位置信息；

相对定位确定模块，用于根据特征三维位置信息以及所述设备的拍摄参数，确定与所述点阵定位板的相对定位信息。

第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

本发明实施例提供的用于增强现实的定位方法及装置，通过获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，所述点阵定位板上设置有至少三个特征点；对包含至少三个特征点的投射图像进行分析，获取所述点阵定位板的二维位置信息；基于所述二维位置信息以及用于拍摄投射图像的设备的三维位置信息，获取特征点在所述设备上的特征三维位置信息；根据特征三维位置信息以及所述设备的拍摄参数，确定与所述点阵定位板的相对定位信息。这样，基于至少三个特征点的投射图像，可以获取相对定位信息，有效缩短了定位所需的时间，提升了定位效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1a示出了本发明实施例所提供的用于增强现实的定位方法流程示意图；

图1b示出了本发明实施例所提供的用于增强现实的一具体应用场景示意图；

图1c示出了本发明实施例所提供的用于增强现实的另一具体应用场景示意图；

图2示出了本发明实施例所提供的用于增强现实的定位装置结构示意图；

图3为本申请实施例提供的一种计算机设备300的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种用于增强现实的定位方法及装置，下面通过实施例进行描述。

图1a示出了本发明实施例所提供的用于增强现实的定位方法流程示意图。如图1a所示，该方法包括：

步骤101，获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，所述点阵定位板上设置有至少三个特征点；

本发明实施例中，作为一可选实施例，用于环境检测及显示的AR设备，通过内置或外置的红外摄像头，拍摄预先设置在环境中的点阵定位板，得到点阵定位板的投射图像。

本发明实施例中，为了有效降低后续依据特征点进行定位分析的资源运算量，点阵定位板包括但不限于发光二极管(LED，Light Emitting Diode)。作为一可选实施例，获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，包括：

为点阵定位板上的每一特征点设置对应的点亮模式，每一特征点的点亮模式不同；

向点阵定位板发送点亮指令，所述点亮指令中携带有特征点对应的点亮模式，以使点阵定位板上的特征点按照对应设置的点亮模式点亮；

对点阵定位板进行摄像，获取投射图像。

本发明实施例中，通过设置特征点按照不同的点亮模式进行点亮并闪烁，使得在不同拍摄得到的投射图像中，能够快速对点阵定位板上的特征点进行识别和定位。

本发明实施例中，作为一可选实施例，点阵定位板包括但不限于：红外点阵定位板。利用红外点阵定位板，可以有效减少获取的环境特征点，从而降低计算量。同时，红外点阵定位板，通过主动发光的方式，更容易被眼球摄像头捕获。

本发明实施例中，AR设备为眼球摄像机(Oculus Camera)，作为一可选实施例，通过眼球摄像机的Oculus Camera软件/驱动程序，调用人机接口设备(HID，Human InterfaceDevice)接口，发送点亮指令以预先设置的模式点亮点阵定位板上的各特征点，使得各特征点按照对应的点亮模式进行闪烁。其中，特征点的亮度足以被眼球摄像机捕捉到。这样，可以确保在有遮挡以及不同角度的情况下，能够有足够多的特征点被拍摄到，以降低环境中其他噪声信号的影响。

本发明实施例中，将LED发光点阵放置在点阵定位板上，然后将点阵定位板固定放置在环境中，从而获得点阵定位板的空间位置信息。

本发明实施例中，作为另一可选实施例，获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，包括：

设置点阵定位板上的相邻特征点之间的距离均不相同；

对点阵定位板进行摄像，获取投射图像。

本发明实施例中，作为再一可选实施例，获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，包括：

设置点阵定位板上的各特征点的形状均不相同；

对点阵定位板进行摄像，获取投射图像。

本发明实施例中，作为一可选实施例，特征点的数量大于或等于3，这样，基于拍摄到的三个及三个以上的特征点的投射图像，可以获取特征点的姿态信息和位置信息，进而获取AR设备(头盔)的姿态信息和位置信息。作为另一可选实施例，特征点的数量为4至5个。

本发明实施例中，作为一可选实施例，点阵定位板固定在环境中，例如墙面或支架上。作为一可选实施例，通过背胶或螺丝进行固定，包括：发光点阵模块、供电模块、通信模块等。

本发明实施例中，作为一可选实施例，点阵定位板的数量为一个或多个，多个点阵定位板通过不同点阵进行布局，从而获取到多个相对3D定位信息，基于多个相对3D定位信息进行AR展示。

本发明实施例中，投影图像中会存在噪声干扰，因而，作为一可选实施例，该方法还包括：

对获取的投射图像进行投影，得到投影图像；

基于投射图像和投影图像，获取误差函数，基于误差函数对投射图像进行校准。

本发明实施例中，每一特征点具有6自由度(DOF，Degree of Freedom)，基于该6自由度的特征点得到的投射图像，进行重投影，得到一2D的投影图像，将该投影图像和投射图像进行比较，得到误差函数，然后，应用该误差函数，对投射图像进行校准。

本发明实施例中，将投影图像和投射图像进行比较，是基于同一特征点对应投影图像和投射图像进行比较。作为一可选实施例，通过设置点阵定位板上各特征点按照不同的模式进行闪烁，可以快速确定点阵定位板上的特征点在投影图像和投射图像分别对应的位置。这样，可以有效降低实际特征点与图像上特征点的匹配运算量。例如，眼球摄像机控制点阵定位板采用不同的闪烁模式，从而实现3D模型(点阵定位板)上的点和拍摄到的图像上的特征点的快速匹配。

本发明实施例中，当AR设备在环境中移动时，视角发生变化，使得基于摄像得到的投射图像的姿态会有误差，从而导致后续渲染的界面中的画面与环境发生错位，因而，作为另一可选实施例，用于摄像的设备上设置有陀螺仪或位置传感器，以获取惯性测量单元信息，从而进行更精确、流畅的定位，该方法还包括：

基于用于摄像的设备的惯性测量单元信息，对进行校准的投射图像进行处理，以对所述进行校准的投射图像中的姿态信息进行校准。

本发明实施例中，利用惯性测量单元(IMU，Inertial Measurement Unit)信息，对校准的图像进行PnP解算，从而对图像包含的姿态信息进行校准。关于利用惯性测量单元信息，对进行校准的投射图像进行处理，具体可参见相关技术文献。

步骤102，对包含至少三个特征点的投射图像进行分析，获取所述点阵定位板的二维位置信息；

本发明实施例中，提取投射图像中点阵定位板的特征点，获取特征点的二维位置信息，例如，位置坐标信息、偏转角度信息、大小信息。对投射图像进行分析获取二维位置信息的流程，可参见相关技术文献。

步骤103，基于所述二维位置信息以及用于拍摄投射图像的设备的三维位置信息，获取特征点在所述设备上的特征三维位置信息；

本发明实施例中，依据投射图像中特征点的二维位置信息以及眼球摄像机的三维位置信息，获取特征点在眼球摄像机上的三维位置信息。

步骤104，根据特征三维位置信息以及所述设备的拍摄参数，确定与所述点阵定位板的相对定位信息。

本发明实施例中，作为一可选实施例，依据多点透视成像(PnP，Perspective-n-Point)算法进行运算，获取眼球摄像机与点阵定位板的相对定位信息。例如，基于特征点在AR设备上的三维位置信息(X,Y,Z)以及姿态信息(Yaw，Pitch，Roll)、投射图像中特征点的二维位置信息以及眼球摄像机的拍摄参数，可以获取两个设备的相对定位信息，其中，Yaw为偏航角，Pitch为倾斜角，Roll为翻滚角。

本发明实施例中，利用红外眼球摄像机，通过利用主动发光的LED点阵作为特征点，对特征点构成的LED点阵进行图像识别，可以计算相对定位信息，从而实现同步定位与建图(SLAM，Simultaneous Localization and Mapping)。

本发明实施例中，作为一可选实施例，该方法还包括：

依据相对定位信息，对视觉环境进行渲染。

本发明实施例中，在进行AR显示时，通过获得的相对定位信息，显示平面或3D对象，叠加在视觉中的环境中。这样，依据相对定位信息，可以将虚拟图像和真实环境融合，在视觉上近大远小、相互遮挡，实现AR/VR体验。

本发明实施例中，AR设备上设置有半透屏幕，通过虚拟覆盖真实，既可看到真实环境，也可看到虚拟成像。其中，虚拟元素有3D定位信息，基于相对定位信息叠加在真实环境中并进行渲染，使得可看到在真实环境中有虚拟元素。

本发明实施例中，基于眼球相机的光学定位技术，安装配置较简单，成本较低，可应用于识别环境中的结构光定位器的3D定位。

本发明实施例中，由于点阵定位板固定在环境中，作为环境特征点，用于识别现实环境。通过设置有半透屏幕的AR设备，既可看到真实环境，也可看到虚拟成像，在环境中显示虚拟元素。例如，如图1b所示，图1b示出了本发明实施例所提供的用于增强现实的一具体应用场景示意图，包括：虚拟屏幕11、点阵定位板12、支架13，其中，支架13为可选，点阵定位板12设置在环境中，支架13上固定虚拟屏幕11，通过显示虚拟屏幕11，可用于观影、办公、游戏等；再例如，如图1c所示，图1c示出了本发明实施例所提供的用于增强现实的另一具体应用场景示意图，包括：3D模型14、点阵定位板12、支架13，其中，支架13为可选，点阵定位板12设置在在环境中，支架13上固定3D模型14，通过显示3D模型14，可用于3D模型的观看等。由于仅需要红外光源，红外摄像头，成本低；基于三个以上特征点即可实现相对定位信息获取，所需的运算资源少，获取相对定位信息所需的时间短；而主动通过发射红外光源，成像更准确，特征点识别精度高。

图2示出了本发明实施例所提供的用于增强现实的定位装置结构示意图。如图2所示，该用于增强现实的定位装置包括：

投射图像获取模块201，用于获取向预先布设在环境中的点阵定位板进行投射得到的投射图像，所述点阵定位板上设置有至少三个特征点；

本发明实施例中，作为一可选实施例，点阵定位板包括但不限于发光二极管，固定在环境中，数量为一个或多个。

本发明实施例中，作为一可选实施例，投射图像获取模块201，具体用于：

为点阵定位板上的每一特征点设置对应的点亮模式，每一特征点的点亮模式不同；

向点阵定位板发送点亮指令，所述点亮指令中携带有特征点对应的点亮模式，以使点阵定位板上的特征点按照对应设置的点亮模式点亮；

对点阵定位板进行摄像，获取投射图像。

本发明实施例中，作为另一可选实施例，投射图像获取模块201，具体用于：

设置点阵定位板上的相邻特征点之间的距离均不相同；

对点阵定位板进行摄像，获取投射图像。

本发明实施例中，作为再一可选实施例，投射图像获取模块201，具体用于：

设置点阵定位板上的各特征点的形状均不相同；

对点阵定位板进行摄像，获取投射图像。

图像分析模块202，用于对包含至少三个特征点的投射图像进行分析，获取所述点阵定位板的二维位置信息；

本发明实施例中，作为一可选实施例，图像分析模块202还用于：

对获取的投射图像进行投影，得到投影图像；

基于投射图像和投影图像，获取误差函数，基于误差函数对投射图像进行校准。

本发明实施例中，作为另一可选实施例，图像分析模块202还用于：

基于用于摄像的设备的惯性测量单元信息，对进行校准的投射图像进行处理，以对所述进行校准的投射图像中的姿态信息进行校准。

本发明实施例中，用于摄像的设备上设置有陀螺仪或位置传感器，以获取惯性测量单元信息。

位置获取模块203，用于基于所述二维位置信息以及用于拍摄投射图像的设备的三维位置信息，获取特征点在所述设备上的特征三维位置信息；

本发明实施例中，依据投射图像中特征点的二维位置信息以及眼球摄像机的三维位置信息，获取特征点在眼球摄像机上的三维位置信息。

相对定位确定模块204，用于根据特征三维位置信息以及所述设备的拍摄参数，确定与所述点阵定位板的相对定位信息。

本发明实施例中，作为一可选实施例，依据多点透视成像算法进行运算，获取眼球摄像机与点阵定位板的相对定位信息。

本发明实施例中，作为一可选实施例，该装置还包括：

渲染模块，用于依据相对定位信息，对视觉环境进行渲染。

如图3所示，本申请一实施例提供了一种计算机设备300，用于执行图1中的用于增强现实的定位方法，该设备包括存储器301、与存储器301通过总线相连的处理器302及存储在该存储器301上并可在该处理器302上运行的计算机程序，其中，上述处理器302执行上述计算机程序时实现上述用于增强现实的定位方法的步骤。

具体地，上述存储器301和处理器302能够为通用的存储器和处理器，这里不做具体限定，当处理器302运行存储器301存储的计算机程序时，能够执行上述用于增强现实的定位方法。

对应于图1中的用于增强现实的定位方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述用于增强现实的定位方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述用于增强现实的定位方法。

在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。