一种SFM稀疏重建方法、系统及应用

技术领域

本发明属于计算机视觉与多视角几何技术领域，尤其涉及一种SFM稀疏重建方法、系统及应用。

背景技术

目前，三维模型的建立具有多种方式，根据深度测量方式主要可以分为主动式与被动式两大类。主动式重建通过主动控制发射光源，根据接收的光波获取深度信息，常用的有结构光法、三角测距法、飞行时间法、莫尔条纹法，应用该类技术，已有kinect等深度相机、以及激光雷达扫描等产品的应用。主动法通过光源的控制简化了获取深度点云深度信息的步骤，但是对光照十分敏感，抗干扰能力弱，同时设备成本高昂而应用场景限制较多。

被动式重建一般通过相机获取自然反射光成像，需要对图像进行较为复杂的处理，但是低成本、限制少，能够更加广泛地向市场推广。被动式重建主要有三种：(1)阴影恢复法SFS利用阴影的轮廓信息恢复深度，但是数学精度较低，且需要光源参数的先验信息；(2)纹理恢复形状法利用纹理元的变形信息，对物体表面纹理信息与投影畸变信息要求严苛，实际应用较少；(3)多视角立体视觉法MVS通过构建多视图间几何对应关系估计深度图，获取点云后，在此方法中常用的有单目多视图法与双目视觉两种。双目视觉通过模拟人眼视觉通过视差计算深度，还需要正平面假设，配置与标定复杂、对于大基线情况效果较差；而单目多视图法通过移动的相机对物体多角度拍摄，数据来源广泛、成本较低、应用更加广泛。

单目多视角重建中点云主要通过运动恢复结构(Structure from Motion，SfM)获取，可以处理无序图像集，以模型构建为主定位为辅，可以离线处理，构建高精度模型。在SFM算法中，特征匹配由于计算量小、鲁棒性好、对图像形变不敏感等优点，相较基于灰度、基于频域的匹配算法而言能够得到更为鲁棒的匹配结果。近些年来，点特征的研究与应用得到了长足的发展，出现了各种成熟的SFM系统，相较而言，对于线特征的研究尽管有较大发展，仍然不如点特征完善，尤其是线的提取通常存在端点不同与断裂的问题，导致了匹配以及后续重建的困难。但是线段作为比点更高级别的特征，也可同样表示为多点特征构成，在人造场景中广泛存在，能够在等量计算代价下提取更多的有效信息、更直观地表现物体的结构，尤其在低纹理环境下提供更多的指导，因此，需要在线的SFM重建方向继续研究。

通过上述分析，现有技术存在的问题及缺陷为：

(1)主动法通过光源的控制简化了获取深度点云深度信息的步骤，但是对光照十分敏感，抗干扰能力弱，同时设备成本高昂而应用场景限制较多。

(2)被动式重建一般通过相机获取自然反射光成像，需要对图像进行较为复杂的处理，但是低成本、限制少，能够更加广泛地向市场推广。

(3)阴影恢复法SFS利用阴影的轮廓信息恢复深度，但是数学精度较低，且需要光源参数的先验信息。

(4)纹理恢复形状法利用纹理元的变形信息，对物体表面纹理信息与投影畸变信息要求严苛，实际应用较少。

(5)双目视觉通过模拟人眼视觉通过视差计算深度，还需要正平面假设，配置与标定复杂、对于大基线情况效果较差。

(6)对于线特征的研究尽管有较大发展，仍然不如点特征完善，尤其是线的提取通常存在端点不同与断裂的问题，导致了匹配以及后续重建的困难。

解决以上问题及缺陷的难度为：主动法对光照敏感，抗干扰能力弱，设备成本高昂而应用场景限制较多，数据源较少；被动式计算量大，较为复杂，且基于特征获得点云较为稀疏，不精确匹配会造成杂乱重建，需要进一步滤除及扩充。

解决以上问题及缺陷的意义为：主动式三维重构能够获取精确的特征点对应深度，完成点云配准可直接获得稠密的三维点。而改进基于图像的多视角单目三维重构能够使用大量数据源，对于任意场景提供足够图像即可完成恢复稀疏点云，便宜消费者使用。

发明内容

针对现有技术存在的问题，本发明提供了一种SFM稀疏重建方法、系统及应用，尤其涉及一种基于点线融合的SFM稀疏重建方法、系统及应用。

本发明是这样实现的，一种SFM稀疏重建方法，所述SFM稀疏重建方法包括：从无序图像集输入开始，获取相机内参K；提取点线特征并获得初始匹配；通过四方向局部区域扩展算法选择特征邻域，构建特征三元组；在邻域内通过几何位置不变量一致性判断迭代进行误匹配剔除，得到精确的特征匹配对应关系；在局部邻域平面内有点对虚拟连线与线特征相交，得到线特征上对应的点，使用点来表示线；对相机对匹配数目、角度差、平面性进行评分，选择最佳初始相机对作为增量种子点；对点特征与线特征表示点分别整理成轨迹，输入到点SFM流程之中，得到相机位姿与稀疏点云；对重新生成的线结构进行3D评分滤除后，聚类生成最终线结构重建结果。

进一步，所述SFM稀疏重建方法包括以下步骤：

步骤一，从输入图片中获取相机内参；正确的内参获取可以减小重投影误差计算，有利于恢复精确点3D位置。

步骤二，对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；特征初始匹配关系是后续步骤的决定性输入，大量的准确的匹配可以提高重建精确度。

步骤三，以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；选取的局部邻域限制了三元组构建范围，可以减少不一致三元组误差计算量，提升算法速度。

步骤四，对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；精确的三元组一致判断可以识别误匹配，对初始匹配关系进行精化，提升重建质量。

步骤五，对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；用点表示线可以避免线特征不精确的端点估计，并且使线特征能够适用于点SFM系统之中，完成稀疏点云重建。

步骤六，每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对；好的初始视角提供大量匹配与广阔视角，使得之后的增量选择更加多元化，减少相机注册失败可能性。

步骤七，将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；将双视图匹配整理为对应3D点的参考点长轨迹，可以建立全图集联系，而线转换点使得可以利用现有现进的点SFM系统进行精准重建。

步骤八，利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。线转换点造成的线直观表示缺失，快速恢复线结构可以获得场景结构信息。

进一步，步骤一中，所述相机内参从EXIF标签获得，否则需要相机标定；即获取对应相机的内参矩阵K，从图片的EXIF标签读取，或通过标定法得到。

进一步，步骤二中，所述对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配，包括：

使用任意点、线特征提取与匹配算法，获得点线特征的图像位置

进一步，步骤三中，所述以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T，包括：

(1)构建初始区域，进而四方向扩展得到特征邻域，在邻域内构建三元组：

针对点线特征同时存在情况，以线特征为对角线作初始矩形区域，由于线段存在平行与垂直的特殊情况，设定初始区域最小边长；

为适应仅点特征存在情况，以点特征为中心，最小边长作初始区域；

(2)以初始区域对角线划分四方向，依据各方向内得到特征点的数量进行循环方向扩增，得到特征局部邻域以及邻域内点特征；

(3)进行三元组T＝(p

进一步，步骤四中，所述对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配，包括：

(1)选取三元组T，并根据特征匹配关系得到对应匹配图像中三元组T′；基于几何位置不变量进行三元组一致性判断，进而统计点对应误差，迭代进行误匹配剔除；

其中，所述三元组一致性判断如下：

式中，side计算三元组之间相对几何位置，计算如下：

side(T)＝sign((p

(2)不一致三元组表示至少存在一个误匹配对应关系，为量化误差且将三元组误差对应到点误差中，使用点涉及三元组数量进行归一化，对点误差统计如下：

(3)进行迭代剔除，每次删除误差最高的特征点并删除与其相关三元组，重新计算各点对应误差，直至误差小于阈值认为剩余均为正确匹配。

进一步，步骤五中，所述对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点，包括：

将线特征转换为点表示，输入成熟的点SFM系统中；应用交比原理，对线特征邻域内每两点连接虚拟线，虚拟线与线特征相交生成线上点，由于匹配两图中满足射影变换，匹配点连线与匹配线对应交点也是匹配的，从而将线特征表示为点，同时获得精确的线表示点对应关系。

进一步，步骤六中，所述评分机制如下：

Q(I

Q(α)＝f(∠(I

Q(H)＝f(H

式中，由于对相机角度与平面性规定最大最小值，因此开发了非对称高斯评分，计算如下：

进一步，步骤七中，将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统中；对新加入的图像进行PnP算法估计相机位姿，得到R，t；通过三角测量恢复新图像中未估计三维点X，每图像注册完毕之后进行局部单相机BA优化，间隔进行全局BA优化点位置与相机参数，直至所有图像注册完毕，得到稀疏点云与所有相机位姿。

进一步，步骤八中，从线表示点重新生成线结构，对每线段利用位姿得到暂定线结构，经过3D评分，对重建评分<0.5的线结构滤除，通过聚类保留线结构生成线重建结果，降低断裂线段的不准确性并整合端点的重建位置；

其中，所述3D评分如下：

本发明的另一目的在于提供一种应用所述的SFM稀疏重建方法的SFM稀疏重建系统，所述SFM稀疏重建系统包括：

相机内参获取模块，用于从输入图片中获取相机内参；

特征提取模块，用于对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；

点线三元组构建模块，用于以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；

位置判断模块，用于对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；

线点转化模块，用于对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；

相机对评分模块，用于每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳相机对作为增量SFM的初始种子相机对；

轨迹输出模块，用于将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；

3D评分模块，用于利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

从输入图片中获取相机内参；

对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；

以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；

对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；

对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；

每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对；

将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；

利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

从输入图片中获取相机内参；

对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；

以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；

对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；

对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；

每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对；

将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；

利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的SFM稀疏重建系统。

本发明的另一目的在于提供一种所述的SFM稀疏重建方法在深度相机以及激光雷达扫描产品中的应用。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的SFM稀疏重建方法，具体涉及一种适应于多种点线特征、获得点线重建结构的点线融合SFM算法，能够广泛适用于任意点线特征，较快地完成误匹配剔除，获得精确的匹配对应关系，并且能够将线匹配转换为点匹配对应，适用于点特征SFM机制，最后还能够恢复线结构的重建表示，提供更多场景信息。

同时，本发明提出一种普适性的误匹配剔除算法，提高重建精度，并使用该算法，提出了点线融合的SFM机制，获得精确的点线稀疏结构。本发明对点线特征的使用具有普适性，能够较快地完成误匹配剔除提高匹配精度，同时可以用现有的成熟点SFM体系对线特征进行处理，完成线结构的重建。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的SFM稀疏重建方法流程图。

图2是本发明实施例提供的SFM稀疏重建方法原理图。

图3是本发明实施例提供的SFM稀疏重建系统结构框图；

图中：1、相机内参获取模块；2、特征提取模块；3、点线三元组构建模块；4、位置判断模块；5、线点转化模块；6、相机对评分模块；7、轨迹输出模块；8、3D评分模块。

图4是本发明实施例提供的拍摄的9幅不同角度的物体图像。

图5是本发明实施例提供的生成的四方向扩展特征邻域，以及邻域内包含的点特征示意图。

图6是本发明实施初始匹配与误匹配剔除算法效果示意图。

图7是本发明实施例提供的重建生成的点线结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种SFM稀疏重建方法、系统及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的SFM稀疏重建方法包括以下步骤：

S101，从输入图片中获取相机内参；

S102，对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；

S103，以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；

S104，对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；

S105，对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；

S106，每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对；

S107，将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；

S108，利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。

本发明实施例提供的SFM稀疏重建方法原理图如图2所示。

如图3所示，本发明实施例提供的SFM稀疏重建系统包括：

相机内参获取模块1，用于从输入图片中获取相机内参；

特征提取模块2，用于对输入的图像集中的每幅图像进行点、线特征的提取与初始匹配；

点线三元组构建模块3，用于以每个线特征对角线为标准构建初始区域，并进行四方向区域扩展得到的线特征局部邻域，构建点线三元组T；

位置判断模块4，用于对选取三元组进行几何位置一致性判断，对错误进行统计从而识别并剔除误匹配；

线点转化模块5，用于对线特征邻域内点连接虚拟线，与线特征交点生成对应的点，从而将线表示为点；

相机对评分模块6，用于每两图像间计算相对位姿，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳相机对作为增量SFM的初始种子相机对；

轨迹输出模块7，用于将点、线表示点匹配关系整理成轨迹，输入现有点增量SFM系统；

3D评分模块8，用于利用位姿得到暂定线结构，经过3D评分滤除后，通过聚类算法生成线结构重建结果。

下面结合实施例对本发明的技术方案作进一步的描述。

本发明提出一种普适性的误匹配剔除算法，提高重建精度，并使用该算法，提出了点线融合的SFM机制，获得精确的点线稀疏结构。

本发明提出了基于点线融合的SFM稀疏重建机制，能够广泛适用于任意点线特征，较快地完成误匹配剔除，获得精确的匹配对应关系，并且能够将线匹配转换为点匹配对应，适用于点特征SFM机制，最后还能够恢复线结构的重建表示，提供更多场景信息。

本发明从无序图像集输入开始，获取相机内参K；提取点线特征并获得初始匹配；通过四方向局部区域扩展算法选择特征邻域，构建特征三元组；在邻域内通过几何位置不变量一致性判断迭代进行误匹配剔除，得到精确的特征匹配对应关系；在局部邻域平面内有点对虚拟连线与线特征相交，得到线特征上对应的点，使用点来表示线；对相机对匹配数目、角度差、平面性进行评分，选择最佳初始相机对作为增量种子点；对点特征与线特征表示点分别整理成轨迹，输入到点SFM流程之中，得到相机位姿与稀疏点云；对重新生成的线结构进行3D评分滤除后，聚类生成最终线结构重建结果。

本发明的流程如图2所示，其具体步骤如下：

步骤1、输入图像集，子集示意图如图4所示，获取对应相机的内参矩阵K，一般来说可以从图片带有的EXIF标签读取，也可以通过标定法得到。

步骤2、使用任意点、线特征提取与匹配算法，获得点线特征的图像位置

步骤3、构建初始区域并四方向扩展得到特征邻域，邻域内构建三元组。针对点线特征同时存在情况，以线特征为对角线作初始矩形区域，由于线段存在平行与垂直的特殊情况，设定初始区域最小边长；为适应仅点特征存在情况，以点特征为中心，最小边长作初始区域。之后以初始区域对角线划分四方向，依据各方向内得到特征点的数量进行循环方向扩增，得到特征局部邻域以及邻域内点特征，如图5所示。最后进行三元组T＝(p

步骤4、选取三元组T，并根据特征匹配关系得到对应匹配图像中三元组T′，基于几何位置不变量进行三元组一致性判断，从而统计点对应误差，迭代进行误匹配剔除。

其中，三元组一致性判断如下：

式中，side计算三元组之间相对几何位置，计算如下：

side(T)＝sign((p

不一致三元组表示至少存在一个误匹配对应关系，为量化误差且将三元组误差对应到点误差中，使用点涉及三元组数量进行归一化，对点误差统计如下：

之后进行迭代剔除，每次删除误差最高的特征点并删除与其相关三元组，重新计算各点对应误差，直至误差小于阈值认为剩余均为正确匹配，如图6右图所示。

步骤5、将线特征转换为点表示，以便输入成熟的点SFM系统中。应用交比原理，对线特征邻域内每两点连接虚拟线，虚拟线与线特征相交生成线上点，由于匹配两图中满足射影变换，匹配点连线与匹配线对应交点也是匹配的，从而将线特征表示为点，同时获得精确的线表示点对应关系。

步骤6、每两图像间计算相对位置，从匹配数量、相机角度、平面性三方面对相机对评分，选择最佳的相机对作为增量SFM的初始种子相机对。

其中，评分机制如下：

Q(I

Q(α)＝f(∠(I

Q(H)＝f(H

式中，由于对相机角度与平面性规定最大最小值，因此开发了非对称高斯评分，计算如下：

步骤7、将点、线表示点匹配关系整理成轨迹，由于线表示点避免了线端点不确定，转换为匹配的点表示，可以输入现有点增量SFM系统中。

步骤8、对新加入的未注册图像进行PnP算法估计相机位姿，得到R，t。

步骤9、通过三角测量恢复新图像中未估计三维点X。

步骤10、每图像估计之后进行局部单相机BA优化，间隔进行全局BA优化点位置与相机参数，如果存在未注册的图像，重复步骤8之后操作，直至所有图像注册完毕，得到稀疏点云与所有相机位姿，如图7所示。

步骤11、从线表示点重新生成线结构。对每线段利用位姿得到暂定线结构，经过3D评分，对重建评分<0.5的线结构滤除，通过聚类保留线结构生成线重建结果，如图2所示，降低断裂线段的不准确性并整合端点的重建位置。

3D评分如下：

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。