一种面向增强现实的三维跟踪注册方法

技术领域

本发明涉及一种面向增强现实的三维跟踪注册方法，属于计算机视觉跟踪注册技术领域。

背景技术

增强现实(Augmented Reality,AR)是一种将虚拟世界和现实世界联系在一起的技术，它使用计算机对用户观察到的真实场景进行分析处理，将虚拟对象嵌入到真实场景中，达到真实场景与虚拟信息无缝融合效果。AR技术可以向真实场景中提供难以直接实现的信息，这样用户通过手持增强现实设备可以看到虚拟信息与真实场景融合在一起后的情景，辅助用户对现实世界的认知，给予用户真实体验感。近年来，增强现实应用于许多热门研究领域，如服务机器人、自动驾驶、虚拟装配、虚拟装饰、场景三维重建等，它通过计算机生成虚拟信息，叠加在无法现场操作的真实场景中，给一些用户带来了诸多便捷。

增强现实是虚拟现实技术的延伸，通过计算机将生成的虚拟对象与实际场景融合呈现出来，在生产和生活中具有巨大的潜力。将虚拟信息无缝叠加在真实世界中应用前景十分可观，但如何实现虚拟对象的跟踪注册是一个关键问题。

基于特征点的跟踪与匹配策略是目前主流的三维注册方法，该策略通过对目标区域进行快速特征提取与匹配，可以得到相机的位姿变化信息，进而得到真实场景的相关信息。然而基于特征点的跟踪与匹配策略在进行匹配时采用ORB(Oriented FAST andRotated BRIEF)提取特征点，并将所有提取到的特征点应用于后续注册过程，计算量大，因此导致注册的时间效率较低；而且所提取到的特征点中，部分特征点还会对注册产生反面的影响，导致注册精度也有一定的局限性。

发明内容

为了解决现有三维注册方法存在的注册时间长、注册精度低的问题，本发明提供了一种面向增强现实的三维跟踪注册方法，所述方法包括：

步骤一：利用KCF进行目标跟踪，获取当前图像帧中的目标位置；

步骤二：对当前图像帧进行特征提取并对提取到的特征进行筛选；

步骤三：根据相邻两帧图像筛选后的特征点匹配结果求解相机位姿变化矩阵；根据相机位姿变化矩阵得到虚拟对象坐标、相机坐标以及真实世界坐标变换关系，将虚拟对象注册到真实世界图像中。

可选的，所述步骤二包括：

2.1建立尺度空间D(x,y,σ)并求取极值点：利用高斯核函数G(x,y,σ)对当前图像帧实行卷积处理，得到降噪后的图像F(x,y)，L(x,y,σ)函数为降噪后的图像F(x,y)的尺度函数，其中σ为尺度因子，在降噪后的图像F(x,y)基础上进行高斯函数G(x,y,σ)卷积后可得到：

L(x,y,σ)＝G(x,y,σ)F(x,y) (3)

在多尺度空间D(x,y,σ)中，局部极值点D可视为D(x,y,σ)中的候选特征点，其分布满足：

D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]F(x,y)＝L(x,y,kσ)-L(x,y,σ) (5)

k表示图像放大缩小系数；

2.2特征点粗提取：对多尺度空间求解得到的局部极值点，并采用Hessian矩阵进行筛选，Hessian矩阵为：

假设H最大特征值和最小特征值分别为α和β，令：

由公式(7)可知极值点D的主曲率与H的特征值对应成比例，设γ＝α/β，存在

2.3保留γ小于预定阈值的极值点对应的特征点为筛选后得到的特征点。

可选的，所述预定阈值为γ＝7。

可选的，所述步骤一包括：

1.1基于最小二乘分类器训练一个目标检测器；

1.2利用训练后的目标检测器跟踪检测目标在当前帧图像的位置；

1.3利用当前帧图像的检测结果作为新样本训练得到新的目标检测器；

1.4采用新的目标检测器跟踪目标区域，计算真实目标位置与检测区域的重合程度，将重合区域最大的检测结果作为新的目标跟踪区域。

可选的，所述步骤三包括：

3.1利用相邻两帧图像筛选后的特征点匹配结果确定相机、虚拟对象、真实世界三者之间的三维坐标以及相互的转换关系；

3.2完成相应坐标系转换之后，通过OpenGL把虚拟对象渲染并注册到真实世界中的相应位置。

可选的，假设特征点P在真实空间下坐标为(X

则特征点P在相机坐标系下的位置与在真实空间下的位置满足：

其中，R

可选的，特征点P映射到屏幕的横纵坐标分别为：

其中，p

可选的，相机、虚拟对象、真实世界三者之间的三维坐标以及相互的转换关系为：

可选的，所述1.1基于最小二乘分类器训练一个目标检测器包括：

给定一些训练样本及回归值{(x

其中，λ为防止过拟合的正则化参数，w表示权重系数。

可选的，对式(1)进行求解时，将其转化到傅里叶域中进行处理，得到复数域下的求解方式

w＝(X

其中，X为样本矩阵，y为样本回归值组成的列向量，I为单位矩阵，X

本发明有益效果是：

本发明实际上提供了一种基于加入筛选机制的ORB检测算法的三维注册方法，通过采用改进ORB算法对跟踪的待注册目标位置区域进行检测，在多尺度空间使用高斯核函数卷积求解极值点进行筛选，最终检测目标区域得到具有分布均匀、尺度不变性的特征点；相对于传统ORB算法，本申请经过筛选机制对所提取到的特征点进行筛选，既使得注册精度更高，同时还减少了计算量。本发明将KCF目标跟踪算法和三维注册方法结合在一起，实现了虚拟对象和真实世界的无缝叠加，具有较好的实时性、精确性和鲁棒性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的KCF跟踪和ORB特征检测以及注册流程图。

图2是本发明一个实施例提供的ORB特征提取与匹配流程图。

图3是本发明一个实施例提供采用本发明提供的三维注册方法将虚拟对象小车注册到真实空间的注册效果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一：

本实施例提供了一种面向增强现实的三维跟踪注册方法，所述方法包括：

步骤一：利用KCF进行目标跟踪，获取当前图像帧中的目标位置；

步骤二：对当前图像帧进行特征提取并对提取到的特征进行筛选；

步骤三：根据相邻两帧图像筛选后的特征点匹配结果求解相机位姿变化矩阵；根据相机位姿变化矩阵得到虚拟对象坐标、相机坐标以及真实世界坐标变换关系，将虚拟对象注册到真实世界图像中。

本实施例通过采用改进ORB算法对跟踪的待注册目标位置区域进行检测，在多尺度空间使用高斯核函数卷积求解极值点进行筛选，最终检测目标区域得到具有分布均匀、尺度不变性的特征点；相对于传统ORB算法，本申请经过筛选机制对所提取到的特征点进行筛选，既使得注册精度更高，同时还减少了计算量。

实施例二：

本实施例提供了一种面向增强现实的三维跟踪注册方法，参见图1，所述方法在进行ORB特征匹配时，根据多尺度空间理论提出特征点筛选机制，在多尺度空间利用高斯核函数卷积求解极值点，选取局部极值点作为尺度空间的候选ORB特征点，这些极值点分布均匀并具有尺度不变性，最终根据这些筛选后的特征点完成跟踪注册，在时间和精度上都具有一定优势。

具体的，所述方法包括：

步骤一KCF目标跟踪

KCF是一种目标跟踪方法，首先，基于最小二乘分类器训练一个目标检测器；然后，利用目标检测器得到在下一帧目标的大概区域；最后，利用当前帧检测结果作为新样本进行训练得到新的目标检测器。采用训练好的目标检测器跟踪目标区域，计算真实目标区域与检测区域的重合程度，最终将重合区域最大的检测结果作为新的目标跟踪区域。

具体实现如下：

首先，样本训练过程是一个正则化最小二乘问题，给定一些训练样本及回归值{(x

其中，λ为防止过拟合的正则化参数，w采用最小二乘法计算得到，为了避免矩阵求逆过程，将其转化到傅里叶域中进行处理，得到复数域下的求解方式：

w＝(X

其中，X为样本矩阵，y为样本回归值组成的列向量，I为单位矩阵，X

根据训练的跟踪检测器，对目标进行跟踪，输出使得残差函数最小的值，获得在新的图像帧中目标位置。

步骤二：改进的ORB特征检测算法。

ORB(Oriented FAST and Rotated BRIEF)特征检测算法是在BRIEF特征描述子和FAST特征检测的基础上提出来的，ORB特征点具有旋转不变性，但存在分布不均匀、缺乏尺度不变性等问题。本发明根据多尺度空间理论，在多尺度空间利用高斯核函数卷积求解极值点，选取局部极值点作为尺度空间的候选ORB特征点，这些极值点分布均匀并具有尺度不变性；

改进的ORB算法如下：

首先建立尺度空间并求取极值点，利用高斯核函数G(x,y,σ)对图像进行卷积，得到平滑处理过后的图像，F(x,y)图像的尺度定义为函数L(x,y,σ)，其中σ为尺度因子，由图像F(x,y)与高斯函数G(x,y,σ)卷积后得到：

L(x,y,σ)＝G(x,y,σ)F(x,y) (3)

在多尺度空间D(x,y,σ)中，局部极值点可视为D(x,y,σ)中的候选特征点，其分布满足：

D(x,y,σ)＝[G(x,y,kσ)-G(x,y,σ)]F(x,y)＝L(x,y,kσ)-L(x,y,σ) (5)

再进行特征点粗提取：为了获得稳定的极值点，对多尺度空间求解得到的局部极值点采用Hessian矩阵进行筛选，Hessian矩阵为：

假设H最大和最小特征值分别为α和β，则有：

由公式(7)可知极值点D的主曲率与H的特征值对应成比例，若γ＝α/β，存在：

本发明预定阈值设立γ＝7，即本发明删除γ大于7的极值点，保留γ不大于7的极值点为最终的特征点。

步骤三 结合KCF改进的三维跟踪注册。

使用KCF对目标区域(待注册区域)进行跟踪，然后对待注册区域采用ORB特征改进检测算法进行特征提取，接着利用相邻两帧图像的特征点匹配关系得到相机位姿变化矩阵；最后，根据相机位姿变换信息得到三维注册矩阵，将虚拟对象准确地注册到真实世界。其中，包括以下具体步骤：

采用KCF跟踪待注册区域，在跟踪的待注册区域使用ORB特征改进检测算法提取特征点，再利用相邻图像特征匹配求解位姿变化，得到三维注册矩阵，即变换矩阵T

在真实世界坐标系下，特征点P映射到屏幕的坐标记为(u,v)，且平移量分别为p

通过公式(7)，可以确定注册在屏幕上的虚拟对象坐标和真实空间坐标之间满足：

通过以上坐标系变换，本文将虚拟对象采用OpenGL实时注册到真实场景中，以达到虚实融合的显示效果。

本发明在进行ORB特征匹配时，根据多尺度空间理论提出特征点筛选机制，在多尺度空间利用高斯核函数卷积求解极值点，选取局部极值点作为尺度空间的候选ORB特征点，这些极值点分布均匀并具有尺度不变性，最终根据这些筛选后的特征点完成跟踪注册，在时间和精度上都具有一定优势。

为验证本发明提供的三维跟踪注册方法具有较好的实时性和精确性，特进行实验仿真如下：

如图3所示，将虚拟对象小车注册到一个真实场景中，该真实场景中具有一个实物盆栽，需要将该虚拟对象小车注册到盆栽的旁边。图3示出了各个位置的虚拟对象小车的注册效果：(a)、(b)、(c)和(d)分别表示虚拟对象(小车)在真实物体(盆栽)的前后左右四个不同位置下的注册结果。实验结果图表明，随着相机位置发生变化，采用本发明所提的增强现实三维跟踪方法，也能精确跟踪真实物体位置(盆栽)，虚拟对象(小车)也能准确地注册在对应位置。

下表1为分别采用传统ORB检测算法和本发明所提加入筛选机制改进的ORB检测算法进行特征点检测与匹配的结果。表2为采用传统ORB检测算法和本发明所提加入筛选机制改进的ORB检测算法进行跟踪得到的相机的跟踪轨迹与相机实际轨迹的误差对比结果。

其中，采用传统ORB检测算法进行三维跟踪注册的方法可参考HENRIQUES,

表1 匹配对比结果

表2 算法的绝对轨迹误差对比(单位：m)

通过表1可以看出，本发明在保证检测精度的同时，所提的改进ORB算法特征迭代次数、检测时间都远远低于传统ORB算法，其中迭代次数减少至传统ORB算法的迭代次数的一半以下，检测时间只是传统ORB算法检测时间的

另外本发明还通过EuRoC数据集对比了ORB和ORB改进后算法的相机轨迹精度，如上表2所示；表2示出了相机绝对轨迹误差的均方根误差(RMSE)、均值(mean)、中值(median)、标准差(std)、最小值(min)、最大值(max)。由表2实验结果可知，本发明所提算法在精度相关参数上有着明显的优势。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。