一种室内结构化场景三维重建方法

技术领域

本发明属于三维重建技术领域，具体涉及一种室内结构化场景三维重建方法。

背景技术

传统室内三维重建方法中，纯图像三维重建主要通过相机采集图像数据，利用视觉SLAM算法，如ORB-SLAM重建出稀疏点云地图，或是利用SFM算法估计相机位姿，再结合图像匹配算法恢复深度图，重建出稠密点云模型。

激光雷达三维重建主要通过激光雷达设备采集激光点云数据，通过相机采集图像数据，利用激光slam算法，例如Loam重建出稠密点云模型，图像数据用于对点云进行着色。

传统室内三维重建方法存在的缺陷为：纯图像三维重建的模型没有尺度信息，仅能用于观赏，适用范围小；激光雷达三维重建硬件成本高，较难普及。

针对上述传统室内三维重建方法存在的缺陷，本发明提供一种室内结构化场景三维重建方法，使得创建出的模型具备尺度信息，并且所使用硬件成本低，易于普及。

发明内容

本发明要解决的技术问题是：提供一种室内结构化场景三维重建方法，以解决纯图像三维重建模型无尺度信息，以及激光雷达三维重建方法硬件成本高、较难普及的技术问题。

为实现上述目的，本发明采用的技术方案如下：

一种室内结构化场景三维重建方法，包括如下步骤：

步骤1、同步利用相机和激光雷达进行数据采集，获取室内RGB图像数据以及对应的稀疏激光点云数据；

步骤2、将稀疏激光点云数据输入ransac算法拟合出多个平面方程，分割每个平面对应的像素区域；

步骤3、获取相邻帧RGB图像数据的特征点，基于特征点计算单应矩阵；

步骤4、通过平面方程恢复平面像素点的三维坐标，通过单应矩阵完成三维坐标的匹配；

步骤5、将匹配的三维坐标输入ICP算法计算变换矩阵，根据变换矩阵拼接每帧点云数据，得到带尺度信息的三维模型。

进一步地，在步骤1中：步骤11、同步利用相机和激光雷达进行数据采集，相机拍摄室内得到室内RGB图像数据，激光雷达设备多次发射激光至室内并接收室内平面反射激光得到世界坐标系下稀疏激光点云数据；步骤12、通过张正友标定法，得到相机内参矩阵，通过PnP算法标定世界坐标系至相机坐标系的外参矩阵，通过外参矩阵对世界坐标系下稀疏激光点云数据进行转换得到相机坐标系下稀疏激光点云数据。

进一步地，步骤2包括：

步骤21、将相机坐标系下稀疏激光点云数据输入ransac算法循环拟合出多个平面方程，每次循环删除已使用的稀疏点云数据，直到剩下的稀疏点云数据不足以拟合出一个平面方程；

步骤22、将稀疏点云数据通过内参矩阵转换成像素点，计算方法为：

；

其中，u、v表示像素坐标；Zc表示相机坐标系下的深度值；K表示相机内参矩阵；Tcw表示外参矩阵；Xw、Yw、Zw表示激光点云三维坐标数据。

进一步地，步骤4包括：

步骤41，找到平面方程对应平面的左上角、左下角、右上角和右下角对应的四个像素点，确定出该平面方程对应的像素区域；

步骤42，遍历获取像素区域内所有在这个区域内的像素点的像素坐标，将像素坐标转换为三维坐标；

步骤43，利用单应矩阵对每两帧图像之间像素坐标进行匹配，并将每两帧图像之间的三维坐标进行匹配。

进一步地，步骤42中，将像素坐标转换为三维坐标的计算方法为：

；

其中，u，v表示图像中像素点的像素坐标；Xc，Yc表示像素坐标转换至相机坐标系下对应的坐标，没有尺度信息；A、B、C是平面方程对应平面的法向量；D是平面方程的已知常数；X，Y，Z表示相机坐标系下的三维坐标，带有尺度信息； cx，cy，fx，fy表示相机内参参数。

进一步地，步骤43中，利用单应矩阵对每两帧图像之间像素坐标进行匹配的方法为：

；

其中，H表示单应矩阵；u1，v1表示其中一帧图像上的像素点的像素坐标；u2，v2表示另一帧图像上的像素点的像素坐标。

进一步地，步骤3包括：

步骤31：将RGB图像数据输入LoFTR算法得到相邻帧RGB图像数据的特征点；

步骤32：将特征点数据输入opencv算法计算出单应矩阵。

进一步地，步骤5包括：

步骤51：将匹配的三维坐标输入ICP算法计算变换矩阵，得到每帧图像的位姿；

步骤52：利用位姿数据，拼接每帧图像上三维点，得到带尺度的三维模型。

进一步地，所述步骤2中平面方程为：

Ax+By+Cz+D=0；

其中，A、B、C是平面方程对应平面的法向量；D是平面方程的已知常数；x、y、z为激光点云三维坐标变量。

与现有技术相比，本发明具有以下有益效果：

本发明设计科学合理，使用方便，通过相机采集室内平面RGB图像数据，激光雷达采集室内平面稀疏的激光点云数据，并基于所采集的RGB图像数据和稀疏的激光点云数据设计了一种位姿估计算法用于估计每帧RGB图像的相机位姿，基于计算的RGB图像位姿拼接每帧RGB图像上点云数据，得到真实尺度的三维模型。解决了纯图像三维重建的模型没有尺度的问题，并且仅依靠稀疏激光点云数据实现室内三维重建，对硬件要求较低，有效降低了硬件成本。

附图说明

图1为本发明步骤流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此其不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；当然的，还可以是机械连接，也可以是电连接；另外的，还可以是直接相连，也可以是通过中间媒介间接相连，或者可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

如图1所示，本发明提供的一种室内结构化场景三维重建方法，包括如下步骤：

步骤1、同步利用相机和激光雷达进行数据采集，获取室内RGB图像数据以及对应的稀疏激光点云数据；

步骤2、将稀疏激光点云数据输入ransac算法拟合出多个平面方程，分割每个平面对应的像素区域；

步骤3、获取相邻帧RGB图像数据的特征点，基于特征点计算单应矩阵；

步骤4、通过平面方程恢复平面像素点的三维坐标，通过单应矩阵完成三维坐标的匹配；

步骤5、将匹配的三维坐标输入ICP算法计算变换矩阵，根据变换矩阵拼接每帧点云数据，得到带尺度信息的三维模型。

在一些实施例中，在步骤1中：步骤11、同步利用相机和激光雷达进行数据采集，相机拍摄室内得到室内RGB图像数据，激光雷达设备多次发射激光至室内并接收室内平面反射激光得到世界坐标系下稀疏激光点云数据；步骤12、通过张正友标定法，得到相机内参矩阵，通过PnP算法标定世界坐标系至相机坐标系的外参矩阵，通过外参矩阵对世界坐标系下稀疏激光点云数据进行转换得到相机坐标系下稀疏激光点云数据。

步骤2包括：

步骤21、将相机坐标系下稀疏激光点云数据输入ransac算法循环拟合出多个平面方程，每次循环删除已使用的稀疏点云数据，直到剩下的稀疏点云数据不足以拟合出一个平面方程；

步骤22、将稀疏点云数据通过内参矩阵转换成像素点，计算方法为：

；

其中，u、v表示像素坐标；Zc表示相机坐标系下的深度值；K表示相机内参矩阵；Tcw表示外参矩阵；Xw、Yw、Zw表示激光点云三维坐标数据，由硬件设备直接测量，带有真实尺度信息。

步骤4包括：

步骤41，找到平面方程对应平面的左上角、左下角、右上角和右下角对应的四个像素点，确定出该平面方程对应的像素区域；

步骤42，遍历获取像素区域内所有在这个区域内的像素点的像素坐标，将像素坐标转换为三维坐标；

步骤43，利用单应矩阵对每两帧图像之间像素坐标进行匹配，并将每两帧图像之间的三维坐标进行匹配。

步骤42中，将像素坐标转换为三维坐标的计算方法为：

；

其中，u，v表示图像中像素点的像素坐标；Xc，Yc表示像素坐标转换至相机坐标系下对应的坐标，没有尺度信息；A、B、C是平面方程对应平面的法向量；D是平面方程的已知常数；X，Y，Z表示相机坐标系下的三维坐标，带有尺度信息；cx，cy，fx，fy表示相机内参参数。

步骤43中，利用单应矩阵对每两帧图像之间像素坐标进行匹配的方法为：

；

其中，H表示单应矩阵；u1，v1表示其中一帧图像上的像素点的像素坐标；u2，v2表示另一帧图像上的像素点的像素坐标。

在一些实施例中，步骤3包括：

步骤31：将RGB图像数据输入LoFTR算法得到相邻帧RGB图像数据的特征点；

步骤32：将特征点数据输入opencv算法计算出单应矩阵。

在一些实施例中，步骤5包括：

步骤51：将匹配的三维坐标输入ICP算法计算变换矩阵，得到每帧图像的位姿；

步骤52：利用位姿数据，拼接每帧图像上三维点，得到带尺度的三维模型。

所述平面方程为：

Ax+By+Cz+D=0；

其中，A、B、C是平面方程对应平面的法向量；D是平面方程的已知常数；x、y、z为激光点云三维坐标变量。

最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。