一种基于深度图像的实时平面检测及提取方法

技术领域

本发明涉及机器人定位、三维重建领域，尤其涉及深度图像的平面结构检测及提取方法。

背景技术

最早在2010年，微软(Microsoft)公司研发出一种低成本的结构光深度相机，该相机能够在室内小范围的场景中获取精确的深度图像，从而能够重建出室内的场景。在2011年的SIGGRAPH(Special Interest Group on Graphics and Interactive Techniques，是图形学及互交技术特殊爱好者集团的简称)会议上微软展示了KinectFusion实时重建算法，Newcombe是该算法项目的主要负责人，该算法是首个实现实时稠密场景重建的算法。Izadi在此基础上完成了场景与人的动态交互。

2016年，Whelan提出一种利用彩色图像特征检测地图回环的方法，该方法同时还能够检测单个点光源在空间中的位置。该文章也是面元表达模型(SurfelRepresentation)的代表。

在离线(非实时)稠密重建领域的技术方法，对实时稠密重建也有非常深远的影响，Zhou Q Y团队在该领域做出巨大的贡献，在2012年该团队提出一种基于兴趣点的稠密重建方法。

然而直到现在，由于室内无法接收GPS信号，仍然没有一种适合于真实场景的无漂移室内定位、重建算法，该领域最近几年关于无漂移的室内定位重建算法研究中，核心都在于检测、分割深度相机所拍摄到的平面作为基准点，以提高定位的精度。至今为止，能够实时地对深度图提取平面的方法仅基于曼哈顿平面假设的前提下，即假设空间中所有平面均相互正交，没有涉及存在非正交平面的情况。Feng等人在2014年所提出的“Fast PlaneExtraction in Organized Point Clouds Using Agglomerative HierarchicalClustering”方法[1]能使用30毫秒对640×480分辨率的图像进行平面检测及提取，然而30毫秒对于实时重建系统而言也是相当长的计算时间，例如知名三维重建工作InfiniTAM-V3重建一帧数据的时间为大约5毫秒，这说明目前的平面检测和提取方法还不够高效。

发明内容

针对现有技术中存在的不足，本发明提供一种基于深度图像的实时平面检测及提取方法。

本发明提出一种实时的、可并行的基于深度图像的平面检测及分割方法。该方法可以准确高效地从深度图像中提取平面结构信息。

本发明根据深度图像的成像原理及平面结构的空间特性，使得计算机可以实时地通过深度图像获取环境中的平面结构信息，使得三维重建结果更加准确。

传统的对深度图提取平面的方法仅基于曼哈顿平面假设的前提下，即假设空间中所有平面均相互正交，没有涉及存在非正交平面的情况。平面相互正交的条件对深度图平面提取方法的影响主要在实时性和准确性上。本发明是提出一种实时的、可并行的、高效的深度图平面检测及提取方法，且多个平面可以是非正交的几何关系。

传统的对深度图提取平面的方法，需要提取主平面信息，即先提取出深度图中最大的平面，再通过空间中所有平面均相互正交的先验条件提取剩余的平面。而在现实中，空间中的平面可以是非相互正交的。为此，利用本发明能够对深度图提取场景中所有平面的几何信息，方法结果更加准确全面。

一种基于深度图像的实时平面检测及提取方法，步骤如下：

步骤1：对深度图像进行预处理，并提取深度图像的区块信息，具体步骤如下：

1)使用双边滤波算法对深度图像做滤波处理；

2)将深度图像划分为16×16像素的等大小的矩形区块，(取值16是为了契合计算机中图像处理器线程对齐、内存对齐的需要)；

3)将区块中的像素反投影到三维空间中得到三维点云，提取区块的切平面信息，包括区块的空间坐标、切平面的法向量、切平面与原点的距离、区块置信度。记第(u，v)区块为patch(u，v)。

步骤2：对区块的法向量分布做降维统计；

1)将各个区块的法向量进行球极映射从三维空间nx-ny-nz映射到二维空间Px-Py上；

2)再对映射到Px-Py空间上的法向量点做栅格划分，并以高斯加权的方式对Px-Py空间中的点做直方图统计，得到Px-Py坐标系下的直方图；

3)对Px-Py直方图查找8-领域极大值(8-neighbor)，并将对应点在Px-Py空间中的坐标进行球极逆映射，得到估计的平面法向量，即各个平面的方向。

步骤3：对估计的各个法向量分别检测平行平面，得到各个方向上的各平面到原点的距离；

1)将所有区块的空间坐标与估计的法向量作内积，即将区块的三维空间坐标向法向量方向所处的一维射线上做投影(3维到1维的投影就是坐标与单位向量的内积)；

2)对区块三维坐标投影到一维坐标的分布做直方图统计，并查找极大值，即得到该法向量所对应的各个平行平面与原点的距离；

3)重复1)、2)操作直至所有估计的法向量都检测完成。

步骤4：以区块为聚类单位、各平面的参数为聚类种子点进行聚类，进行平面参数优化和平面区域的提取，记第i个平面参数为P

1)使用MeanShift优化P

2)使用K-means对每个区块查询最接近的平面参数，并通过查询结果优化P

本发明有益效果如下：

本发明方法根据深度图像的成像原理及平面结构的空间特性，能够对深度图提取场景中所有平面的几何信息，使得计算机可以实时地通过深度图像获取环境中的平面结构信息，使得三维重建结果更加准确。

Feng等人在2014年所提出的平面分割及提取方法需要30毫秒的时间对单帧640×480分辨率的图像进行处理，而本发明方法使用同样的数据在Titan X(Pascal)GPU上的运行时间为1.90毫秒，达到了非常高的运算效率。同时本发明方法也保证了所检测平面参数的高精度以及提取平面区域的正确性。

附图说明

图1是本发明平面法向量检测流程图；

图2是本发明实施例区块划分及区块信息图；

图3是本发明实施例球极映射图；

图4是本发明实施例二维统计直方图；

图5是本发明实施例平行平面查询流程图；

图6是本发明实施例平面分割结果渲染图。

具体实施方式

下面根据附图详细说明本发明，本发明的目的和效果将变得更加明显。

图1是平面法向量检测流程图，图2到图4是图1的可视化过程图。此部分是本方法检测平面法向量的部分，主要描述了如何从输入的深度图像检测出场景中平面的法向量。以下为图1到图4的详细描述：

第一步，如图2所示，对输入的深度图像做预处理，使用双边滤波初步滤除传感器的噪声，并将深度图像分割为若干个等大小的区块，这里以16×16的区块为例。每个区块包含法向量(n

第二步，如图3所示，对每个区块的法向量做球极映射，映射关系为：

其中p

第三步，如图4所示，对第二步中映射到Px-Py的结果做栅格化分割，并以高斯加权的方式做直方图统计，得到图4中的二维直方图分布，通过8-领域查找二维直方图中的极大值及其在Px-Py坐标系下的坐标，得到深度图像场景中平面的法向量映射到Px-Py坐标系下的坐标(p

如图5所示由前三步计算可以得到平面的法向量，将各个区块依次投影到法向量所在的方向，得到在法向量方向上区块到原点的距离，通过离散化各个区块到原点的距离并作高斯加权的直方图统计，得到各个区块在各个法向量方向的直方图分布，查找直方图的极大值得到某个法向量方向上的各个平行平面与原点的距离。

通过以上步骤，已经得到了深度图像所对应实际场景中各个平面的参数P

平面分割结果如图6所示，右图是灰度相机拍摄的场景，左图为本方法对深度图的实时分割点云渲染结果，黑色区域表示非平面区域，其他不同灰度区域为检测、分割出的不同平面。

本方法在CUDA 3.5算力架构的并行标准下，在Titan X(Pascal)GPU上的运行时间为1.90毫秒，达到了非常高的运算效率。