基于线段匹配的三维重建方法、装置、终端及存储介质

技术领域

本申请涉及三维模型技术领域，特别是涉及一种基于线段匹配的三维重建方法、装置、终端及存储介质。

背景技术

基于图像的三维重建，主要包括稀疏重建和稠密重建两个阶段。其中，稀疏重建是在数据关联(图像匹配)的基础上，实现特征点的重建，一般通过运动恢复结构完成。而稠密重建则是在稀疏重建之后，进一步得到更加稠密的三维点云。

现有的图像匹配与三维重建技术严重依赖于特征点的提取与匹配，而特征点法受环境影响较大，可能存在大量的错误匹配，传统的基于特征点的三维重建方法，精度较低，且在不同数据中的效果有较大差异，鲁棒性不够。虽然已经有一些研究成果用线段作为特征进行图像匹配与三维重建，但都难以摆脱对特征点提取的依赖，此类方法以点线结合为主，且对线段的位置有着较为严格的要求(例如：需要线段平行或垂直)，局限性大。

发明内容

本申请提供一种基于线段匹配的三维重建方法、装置、终端及存储介质，以解决现有的基于特征点匹配的三维重建方法精度不高的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种基于线段匹配的三维重建方法，包括：从不同角度拍摄的至少两张平面图像中提取线段，并基于线段确认每张平面图像的多个线段结构；分别将任意两张平面图像的线段结构进行匹配，得到任意两张平面图像的线段结构的匹配数目；利用匹配的线段结构计算得到任意两张平面图像之间的相对位姿参数；利用匹配数目和相对位姿参数计算得到拍摄每一张平面图像时相机的绝对位姿参数；基于线段和绝对位姿参数构建最终三维模型。

作为本发明的进一步改进，基于线段确认每张平面图像的多个线段结构的步骤，包括：设定每张平面图像中每一条线段的影响区域；检测到任意两条线段中，第一线段的至少一个端点在第二线段的影响区域内，且第一线段所在直线与第二线段所在直线的交点在第二线段的影响区域内时，确认任意两条线段相邻；将任意两条线段构成线段结构。

作为本发明的进一步改进，将任意两张平面图像的线段结构进行匹配的步骤，包括：为每一个线段结构设置描述向量，以对线段结构的局部特征进行描述；利用线段结构的描述向量，对不属于同一张平面图像两个线段结构进行匹配。

作为本发明的进一步改进，利用线段结构的描述向量，对不属于同一张平面图像两个线段结构进行匹配的步骤，包括：获取每一个线段结构内线段之间的夹角；计算目标线段结构与另一平面图像的每一个线段结构的夹角差值，并筛选出夹角差值小于预设夹角阈值的第一线段结构集合；利用描述向量计算目标线段结构与第一线段结构集合中的每一个线段结构的距离，并筛选出距离小于预设距离阈值的第二线段结构集合；从第二线段结构集合中确认距离最小的线段结构，并确认距离最小的线段结构与目标线段结构匹配。

作为本发明的进一步改进，得到任意两张平面图像的线段结构的匹配数目的步骤之后，还包括：基于极线约束和线段结构的拓扑分布删除错误匹配的线段结构。

作为本发明的进一步改进，利用匹配数目和相对位姿参数计算得到拍摄每一张平面图像时，相机的绝对位姿参数的步骤，包括：选取匹配数目最多的第一平面图像和第二平面图像，并以第一平面图像对应的相机为原点构建世界坐标系，则第一平面图像和第二平面图像的相对位姿参数为第二平面图像对应的相机的绝对位姿参数；从剩余的平面图像中选取与第一平面图像或第二平面图像的匹配数目最多的第三平面图像，并利用第三平面图像与第一平面图像或第二平面图像的相对位姿参数计算得到第三平面图像对应的相机的绝对位姿参数，循环执行上述步骤，直至得到每一张平面图像对应的相机的绝对位姿参数。

作为本发明的进一步改进，基于线段和绝对位姿参数构建最终三维模型的步骤，包括：基于线段和绝对位姿参数，利用点和线段的光束平差法进行稀疏重建，得到初始三维模型；利用多视图立体视觉库对初始三维模型进行稠密重建，得到最终三维模型。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种基于线段匹配的三维重建装置，包括：提取模块，用于从不同角度拍摄的至少两张平面图像中提取线段，并基于线段确认每张平面图像的多个线段结构；匹配模块，用于分别将任意两张平面图像的线段结构进行匹配，得到任意两张平面图像的线段结构的匹配数目；相对位姿计算模块，用于利用匹配的线段结构计算得到任意两张平面图像之间的相对位姿参数；绝对位姿计算模块，用于利用匹配数目和相对位姿参数计算得到拍摄每一张平面图像时相机的绝对位姿参数；三维重建模块，用于基于线段和绝对位姿参数构建最终三维模型。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种终端，该终端包括处理器、与处理器耦接的存储器，其中，存储器存储有用于实现上述基于线段匹配的三维重建方法的程序指令；处理器用于执行存储器存储的程序指令以重建三维模型。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有能够实现上述基于线段匹配的三维重建方法的程序文件。

本申请的有益效果是：本发明通过利用平面图像中的线段构成的线段结构进行匹配，摆脱了对特征点提取的依赖，相比于特征点匹配的方式，鲁棒性和精确度更高，并且，本发明不要不要求线段之间具有平行或垂直关系，只需共面即可，通用性较强，此外，在进行匹配时，任意两张图像之间相互匹配，从而可以基于无序图像进行三维重建，不要求图像连续有序。

附图说明

图1是本发明第一实施例的基于线段匹配的三维重建方法的流程示意图；

图2是本发明第二实施例的基于线段匹配的三维重建方法的流程示意图；

图3是本发明实施例中确定线段结构的示意图；

图4是本发明实施例中线段结构类型的示意图；

图5是本发明第三实施例的基于线段匹配的三维重建方法的流程示意图；

图6是本发明实施例构建线段结构的描述向量的示意图；

图7是本发明第四实施例的基于线段匹配的三维重建方法的流程示意图；

图8本发明实施例线段结构的拓扑分布约束示意图；

图9是本发明第五实施例的基于线段匹配的三维重建方法的流程示意图；

图10本发明实施例的线段共面约束示意图；

图11是本发明实施例的基于线段匹配的三维重建装置的结构示意图；

图12是本发明实施例的终端的结构示意图；

图13是本发明实施例的存储介质的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明第一实施例的基于线段匹配的三维重建方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：

步骤S101：从不同角度拍摄的至少两张平面图像中提取线段，并基于线段确认每张平面图像的多个线段结构。

在步骤S101中，首先通过相机从多个不同角度拍摄目标物体的图像，得到多张二维的平面图像，在利用线段检测算法(Line Segment Detector，LSD)从每张平面图像中提取线段，并确定每张平面图像中线段构成的线段结构。

步骤S102：分别将任意两张平面图像的线段结构进行匹配，得到任意两张平面图像的线段结构的匹配数目。

在步骤S102中，任意两张平面图像的线段结构进行一一匹配，从而确认两张平面图像中相互匹配的线段结构，以及相互匹配的线段结构的匹配数目。

步骤S103：利用匹配的线段结构计算得到任意两张平面图像之间的相对位姿参数。

在步骤S103中，在记性线段结构的匹配过程中，根据对极几何约束，结合一直的相机的内参数，基于五点法和随机抽样一致算法(RANSAC)，可以求出每两张图像间的本质矩阵，进而通过奇异值分解得到旋转矩阵和平移向量，即两张平面图像之间的相对位姿参数。需要说明的是，在相机内参数未知的情况下，我们也能从图像的EXIF信息中获取相关参数。

步骤S104：利用匹配数目和相对位姿参数计算得到拍摄每一张平面图像时相机的绝对位姿参数。

在步骤S104中，在求得每两张平面图像间的相对位姿参数后，结合平面图像间的匹配数目，确定出匹配数目最多的一对平面图像为初始平面图像，并将其中一张平面图像对应的相机作为原点来构建世界坐标系，再结合平面图像间的相对位姿参数计算得到每张平面图像对应的相机的绝对位姿参数。

步骤S105：基于线段和绝对位姿参数构建最终三维模型。

具体地，步骤S105具体包括：

基于线段和绝对位姿参数，利用点和线段的光束平差法进行稀疏重建，得到初始三维模型；再利用多视图立体视觉库对初始三维模型进行稠密重建，得到最终三维模型。

本发明第一实施例的基于线段匹配的三维重建方法通过利用平面图像中的线段构成的线段结构进行匹配，摆脱了对特征点提取的依赖，相比于特征点匹配的方式，鲁棒性和精确度更高，并且，本发明不要不要求线段之间具有平行或垂直关系，只需共面即可，通用性较强，此外，在进行匹配时，任意两张图像之间相互匹配，从而可以基于无序图像进行三维重建，不要求图像连续有序。

图2是本发明第二实施例的基于线段匹配的三维重建方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图2所示的流程顺序为限。如图2所示，该方法包括步骤：

步骤S201：从不同角度拍摄的至少两张平面图像中提取线段。

在本实施例中，图2中的步骤S201和图1中的步骤S101类似，为简约起见，在此不再赘述。

步骤S202：设定每张平面图像中每一条线段的影响区域。

步骤S203：检测到任意两条线段中，第一线段的至少一个端点在第二线段的影响区域内，且第一线段所在直线与第二线段所在直线的交点在第二线段的影响区域内时，确认任意两条线段相邻，属于共面的两条线段。

在步骤S202～步骤S203中，如图3所示，对于一张平面图像中的每条线段，定义一个(|l

步骤S204：将任意两条线段构成线段结构。

在步骤S204中，线段结构通常包括三种，如图4中A所示，两条线段的交点位于两条线段的延长线上，为第一种线段结构；如图4中B所示，两条线段的交点位于其中一条线段上，位于另一条线段的延长线上，为第二种线段结构；如图4中C所示，当两条线段的交点同时位于两条线段上，为第三种线段结构。

步骤S205：分别将任意两张平面图像的线段结构进行匹配，得到任意两张平面图像的线段结构的匹配数目。

在本实施例中，图2中的步骤S205和图1中的步骤S102类似，为简约起见，在此不再赘述。

步骤S206：利用匹配的线段结构计算得到任意两张平面图像之间的相对位姿参数。

在本实施例中，图2中的步骤S206和图1中的步骤S103类似，为简约起见，在此不再赘述。

步骤S207：利用匹配数目和相对位姿参数计算得到拍摄每一张平面图像时相机的绝对位姿参数。

在本实施例中，图2中的步骤S207和图1中的步骤S104类似，为简约起见，在此不再赘述。

步骤S208：基于线段和绝对位姿参数构建最终三维模型。

在本实施例中，图2中的步骤S208和图1中的步骤S105类似，为简约起见，在此不再赘述。

本发明第二实施例的基于线段匹配的三维重建方法在第一实施例的基础上，通过为每条线段设定影响区域，进而根据影响区域来确定相邻的线段，在以相邻的线段构建线段结构，其对线段的位置没有严格要求，从而保证可以提取到足够多的线段，使得线段匹配的结果更为精确。

图5是本发明第三实施例的基于线段匹配的三维重建方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图5所示的流程顺序为限。如图5所示，该方法包括步骤：

步骤S301：从不同角度拍摄的至少两张平面图像中提取线段，并基于线段确认每张平面图像的多个线段结构。

在本实施例中，图5中的步骤S201和图1中的步骤S101类似，为简约起见，在此不再赘述。

步骤S302：为每一个线段结构设置描述向量，以对线段结构的局部特征进行描述。

在步骤S302中，获取到每张平面图像的线段结构后，请参阅图6，类比SIFT特征，在线段结构的交点周围的局部区域构建梯度方向直方图，对于线段结构AOB，以交点O为圆心，构建两个同心圆，其中小圆半径为r，大圆半径是小圆半径的两倍。两个同心圆被两条线段所在直线划分为4个部分，每个部分包含一个扇形和一个环状区域，将每个环状区域等分为三个子区域，可使子区域的面积和对应扇形的面积相等。一共16个区域，构建8组梯度方向直方图，生成128维向量作为线段结构的描述向量。

步骤S303：利用线段结构的描述向量，对不属于同一张平面图像两个线段结构进行匹配，得到任意两张平面图像的线段结构的匹配数目。

在步骤S303中，在对线段结构进行匹配时，可通过计算线段结构的描述向量之间的距离，来确认线段结构是否匹配。考虑到线段结构内的线段是共面的，在图像变换中，两条线段的夹角变化不会太大，因此，在本实施例中，为了减少计算量，并提高匹配结果的精度，在计算描述向量的距离之前，还可先比对不同线段结构之间的夹角，具体步骤如下：

1、获取每一个线段结构内线段之间的夹角。

具体地，参阅第二实施例中所述的线段结构三种类型，获取每种线段结构内线段之间的夹角。

2、计算目标线段结构与另一平面图像的每一个线段结构的夹角差值，并筛选出夹角差值小于预设夹角阈值的第一线段结构集合。

需要说明的是，预设夹角阈值预先设定。具体地，将一个目标线段结构与另一平面图像的每一个线段结构进行匹配时，计算目标线段结构与另一平面图像的线段结构的夹角差值，当夹角差值小于预设夹角阈值时，将该线段结构划分至第一线段结构集合。

3、利用描述向量计算目标线段结构与第一线段结构集合中的每一个线段结构的距离，并筛选出距离小于预设距离阈值的第二线段结构集合。

需要说明的是，预设距离阈值预先设定。

4、从第二线段结构集合中确认距离最小的线段结构，并确认距离最小的线段结构与目标线段结构匹配。

具体地，当一个平面图像存在多个线段结构满足上述预设夹角阈值和预设距离阈值的要求时，选择其中距离最小的线段结构与该目标线段结构匹配。

步骤S304：利用匹配的线段结构计算得到任意两张平面图像之间的相对位姿参数。

在本实施例中，图5中的步骤S304和图1中的步骤S103类似，为简约起见，在此不再赘述。

步骤S305：利用匹配数目和相对位姿参数计算得到拍摄每一张平面图像时相机的绝对位姿参数。

在本实施例中，图5中的步骤S305和图1中的步骤S104类似，为简约起见，在此不再赘述。

步骤S306：基于线段和绝对位姿参数构建最终三维模型。

在本实施例中，图5中的步骤S306和图1中的步骤S105类似，为简约起见，在此不再赘述。

本发明第三实施例的基于线段匹配的三维重建方法在第一实施例的基础上，通过描述向量对每一个线段结构进行描述，而通过计算描述向量之间的距离即可确认两个描述向量对应的线段结构之间的相似程度，当描述向量之间的距离小于预设距离阈值时，即可认为对应的两个线段结构匹配，并且，本实施例在计算描述向量之间的距离前，通过线段结构之间的夹角差值来进行初步筛选，从而降低数据处理量。

图7是本发明第四实施例的基于线段匹配的三维重建方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图7所示的流程顺序为限。如图7所示，该方法包括步骤：

步骤S401：从不同角度拍摄的至少两张平面图像中提取线段，并基于线段确认每张平面图像的多个线段结构。

在本实施例中，图7中的步骤S401和图1中的步骤S101类似，为简约起见，在此不再赘述。

步骤S402：分别将任意两张平面图像的线段结构进行匹配，得到任意两张平面图像的线段结构的匹配数目。

在本实施例中，图7中的步骤S402和图1中的步骤S102类似，为简约起见，在此不再赘述。

步骤S403：基于极线约束和线段结构的拓扑分布删除错误匹配的线段结构。

在步骤S403中，在完成对线段结构的匹配后，根据线段结构匹配结构可以求得两张平面图像之间的基础矩阵，在基于极线约束删除部分错误匹配的线段结构。此外，LJL结构之间的拓扑分布应该是不变的，我们也据此删除了一些错误匹配，请参阅图8，每个线段结构将其周围的区域划分为4个象限，可以认为，两个匹配的线段结构，各自周围的线段结构里，至少应有50％是匹配的，且在这些匹配的线段结构里，至少80％位于相同的象限。

步骤S404：利用匹配的线段结构计算得到任意两张平面图像之间的相对位姿参数。

在本实施例中，图7中的步骤S404和图1中的步骤S103类似，为简约起见，在此不再赘述。

步骤S405：利用匹配数目和相对位姿参数计算得到拍摄每一张平面图像时相机的绝对位姿参数。

在本实施例中，图7中的步骤S405和图1中的步骤S104类似，为简约起见，在此不再赘述。

步骤S406：基于线段和绝对位姿参数构建最终三维模型。

在本实施例中，图7中的步骤S406和图1中的步骤S105类似，为简约起见，在此不再赘述。

本发明第四实施例的基于线段匹配的三维重建方法在第一实施例的基础上，通过基于极线约束和线段结构的拓扑分布删除掉部分错误匹配的线段结构，进一步提升了最终的匹配结果的精确度，使得三重重建效果更好。

图9是本发明第五实施例的基于线段匹配的三维重建方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图9所示的流程顺序为限。如图9所示，该方法包括步骤：

步骤S501：从不同角度拍摄的至少两张平面图像中提取线段，并基于线段确认每张平面图像的多个线段结构。

在本实施例中，图9中的步骤S501和图1中的步骤S101类似，为简约起见，在此不再赘述。

步骤S502：分别将任意两张平面图像的线段结构进行匹配，得到任意两张平面图像的线段结构的匹配数目。

在本实施例中，图9中的步骤S502和图1中的步骤S102类似，为简约起见，在此不再赘述。

步骤S503：利用匹配的线段结构计算得到任意两张平面图像之间的相对位姿参数。

在本实施例中，图9中的步骤S503和图1中的步骤S103类似，为简约起见，在此不再赘述。

步骤S504：选取匹配数目最多的第一平面图像和第二平面图像，并以第一平面图像对应的相机为原点构建世界坐标系，则第一平面图像和第二平面图像的相对位姿参数为第二平面图像对应的相机的绝对位姿参数。

在步骤S504中，获取到任意两张平面图像的线段结构的匹配数目后，从其中选取处匹配数目最多的两张平面图像，并将两张平面图像中的任一张平面图像作为第一平面图像，另一张作为第二平面图像。以拍摄第一平面图像的第一相机的位姿为远点构建世界坐标系，并将该第一相机的旋转矩阵作为单位矩阵，从而得到该第一相机的绝对位姿参数，再以该第一相机和拍摄第二平面图像的第二相机间的距离作为单位长度，基于第一平面图像和第二平面图像之间的相对位姿参数，即可求出该第二相机的绝对位姿参数。

步骤S505：从剩余的平面图像中选取与第一平面图像或第二平面图像的匹配数目最多的第三平面图像，并利用第三平面图像与第一平面图像或第二平面图像的相对位姿参数计算得到第三平面图像对应的相机的绝对位姿参数，循环执行上述步骤，直至得到每一张平面图像对应的相机的绝对位姿参数。

在步骤S505中，在确定第一平面图像和第二平面图像的绝对位姿参数后，从剩余的平面图像中选取处第三平面图像，该第三平面图像与第一平面图像或第二平面图像之间线段结构的匹配数目仅次于第一平面图像与第二平面图像之间线段结构的匹配数目。

其中，第三平面图像对应的相机的绝对位姿参数计算过程如下：

(1)当第三平面图像与第一平面图像之间的匹配数目最多时，则参考求解第二平面图像对应的相机的绝对位姿参数的过程，求解出第三平面图像对应的相机的绝对位姿参数。

(2)当第三平面图像与第二平面图像之间的匹配数目最多时，请参阅图10，将第一平面图像、第二平面图像、第三平面图像依次编号为1、2、3，假设三张平面图像对应的相机的中心为C

R

T

其中R

计算可得

假设M为平面

上式中左侧为定值，故在i＝a,k＝1和i＝b,k＝3两种情况下，上式右侧的值相等，进而可得：

其中t

在得到第一、二、三平面图像的绝对位姿参数之后，在剩余的平面图像中进行挑选，并参考计算第三平面图像的绝对位姿参数的过程计算得到新挑选的平面图像对应的相机的绝对位姿参数，循环执行上述过程，直至获取到每一张平面图像对应的相机的绝对位姿参数。举一个例子进行说明：

假设有A、B、C、D、E一共5张平面图像，各平面图像之间线段结构的匹配数目如下：

AB：200；

AC：150；

AD：100；

AE：120；

BC：160；

BD：140；

BE：180；

CD：300；

CE：110；

DE：180；

首先，选出匹配数目最多的CD作为初始匹配平面图像，进行初始化，以C对应的相机的中心为坐标原点，建立世界坐标系，C对应的相机的绝对旋转矩阵为单位矩阵I，绝对平移向量为0；利用CD之间的相对位姿参数可以得到D对应的相机的绝对旋转矩阵为CD间的相对旋转矩阵Rcd，绝对平移向量为CD间的相对平移向量Tcd，亦即，将CD间的距离作为单位长度。至此，C对应的相机与D对应的相机的绝对位姿参数已经确定。

然后，在A、B、E里选一个跟C或D匹配数目最多的，求绝对位姿参数。比较AC、AD、BC、BD、EC、ED，发现ED(DE)匹配最多，于是根据三元组C、D、E求解E对应的相机的绝对位姿参数。

再次在A、B中选取一张平面图像，求对应的相机绝对位姿参数。其中，BE匹配数目最多，所以选择B，此时可以选三元组B、E、C或B、E、D以计算B对应的相机的绝对位姿参数，此处ED的匹配数目比EC的多，因此，选择三元组B、E、D进行计算以保证结果更为精确。

最后，需要求解A对应的相机的绝对位姿参数，AB匹配数目最多，且BE的匹配数目最多，故选择三元组A、B、E，求解A对应的相机的绝对位姿参数，至此，A、B、C、D、E对应的相机的绝对位姿参数都已求出。

步骤S506：基于线段和绝对位姿参数构建最终三维模型。

在本实施例中，图9中的步骤S506和图1中的步骤S105类似，为简约起见，在此不再赘述。

本发明第五实施例的基于线段匹配的三维重建方法在第一实施例的基础上，通过利用线段结构内的两条共面线段来计算平面图像对应的相机的绝对位姿参数，不需要另外再选择共面线段来进行计算，因而具有更强的鲁棒性，此外，本实施例中从多张平面图像中无序选择平面图像来计算相机的绝对位姿参数，并且，按照平面图像之间的匹配数目从大到小的顺序进行计算，使得最终得到绝对位姿参数更为准确。

图11是本发明实施例的基于线段匹配的三维重建装置的结构示意图。如图11所示，该装置10包括提取模块11、匹配模块12、相对位姿计算模块13、绝对位姿计算模块14和三维重建模块15。

提取模块11，用于从不同角度拍摄的至少两张平面图像中提取线段，并基于线段确认每张平面图像的多个线段结构；

匹配模块12，用于分别将任意两张平面图像的线段结构进行匹配，得到任意两张平面图像的线段结构的匹配数目；

相对位姿计算模块13，用于利用匹配的线段结构计算得到任意两张平面图像之间的相对位姿参数；

绝对位姿计算模块14，用于利用匹配数目和相对位姿参数计算得到拍摄每一张平面图像时相机的绝对位姿参数；

三维重建模块15，用于基于线段和绝对位姿参数构建最终三维模型。

可选地，基于线段确认每张平面图像的多个线段结构的操作还可以为：设定每张平面图像中每一条线段的影响区域；检测到任意两条线段中，第一线段的至少一个端点在第二线段的影响区域内，且第一线段所在直线与第二线段所在直线的交点在第二线段的影响区域内时，确认任意两条线段相邻；将任意两条线段构成线段结构。

可选地，匹配模块12将任意两张平面图像的线段结构进行匹配的操作还可以为：为每一个线段结构设置描述向量，以对线段结构的局部特征进行描述；利用线段结构的描述向量，对不属于同一张平面图像两个线段结构进行匹配。

可选地，匹配模块12利用线段结构的描述向量，对不属于同一张平面图像两个线段结构进行匹配的操作还可以为：获取每一个线段结构内线段之间的夹角；计算目标线段结构与另一平面图像的每一个线段结构的夹角差值，并筛选出夹角差值小于预设夹角阈值的第一线段结构集合；利用描述向量计算目标线段结构与第一线段结构集合中的每一个线段结构的距离，并筛选出距离小于预设距离阈值的第二线段结构集合；从第二线段结构集合中确认距离最小的线段结构，并确认距离最小的线段结构与目标线段结构匹配。

可选地，匹配模块12得到任意两张平面图像的线段结构的匹配数目的操作之后，还用于：基于极线约束和线段结构的拓扑分布删除错误匹配的线段结构。

可选地，绝对位姿计算模块14利用匹配数目和相对位姿参数计算得到拍摄每一张平面图像时，相机的绝对位姿参数的操作还可以为：选取匹配数目最多的第一平面图像和第二平面图像，并以第一平面图像对应的相机为原点构建世界坐标系，则第一平面图像和第二平面图像的相对位姿参数为第二平面图像对应的相机的绝对位姿参数；从剩余的平面图像中选取与第一平面图像或第二平面图像的匹配数目最多的第三平面图像，并利用第三平面图像与第一平面图像或第二平面图像的相对位姿参数计算得到第三平面图像对应的相机的绝对位姿参数，循环执行上述步骤，直至得到每一张平面图像对应的相机的绝对位姿参数。

可选地，三维重建模块15基于线段和绝对位姿参数构建最终三维模型的操作还可以为：基于线段和绝对位姿参数，利用点和线段的光束平差法进行稀疏重建，得到初始三维模型；利用多视图立体视觉库对初始三维模型进行稠密重建，得到最终三维模型。

请参阅图12，图12为本发明实施例的终端的结构示意图。如图12所示，该终端60包括处理器61及和处理器61耦接的存储器62。

存储器62存储有用于实现上述任一实施例所述的基于线段匹配的三维重建方法的程序指令。

处理器61用于执行存储器62存储的程序指令以重建三维模型。

其中，处理器61还可以称为CPU(Central Processing Unit，中央处理单元)。处理器61可能是一种集成电路芯片，具有信号的处理能力。处理器61还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图13，图13为本发明实施例的存储介质的结构示意图。本发明实施例的存储介质存储有能够实现上述所有方法的程序文件71，其中，该程序文件71可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。