基于图像的三维重建处理方法及装置

技术领域

本公开涉及图像处理技术领域，具体涉及一种基于图像的三维重建方法、一种基于图像的三维重建装置、一种计算机可读介质以及一种电子设备。

背景技术

在计算机视觉领域，三维重建是一个研究重点。一般来说，现有技术中常用的三维重建算法包括：SFM(Structure from motion，运动恢复结构)技术、Dynamic Fusion(动态融合)算法、Bundle Fusion(捆绑融合)算法等等。在相关技术中，大多采用基于图像特征进行匹配筛选的方式，比较依赖图像特征描述子的鲁棒性。然而对于局部相似纹理，图像特征并不能有效解决此种场景重建。例如，相同的标志牌或logo出现在不同地方时，可能会出现错误匹配；即，将不属于同一处地方的图片相互关联，这会严重降低三维重建的精度，甚至导致建图失败。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种基于图像的三维重建方法、一种基于图像的三维重建装置、一种计算机可读介质以及一种电子设备，能够有效的避免图像误匹配的情况，提升重建地图的精度。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种基于图像的三维重建方法，包括：

采集图像序列，并获取各图像的定位信息；

在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及

利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合，对所述第一图像与所述第二图像集合中的各图像进行特征点匹配以筛选与所述第一图像匹配的第二图像，生成第二图像匹配对并建立所述第一图像与所述第二图像的匹配关系；

基于所述第一图像对应的第一图像匹配对和第二图像匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。

根据本公开的第二方面，提供一种基于图像的三维重建装置，包括：

数据采集模块，用于采集图像序列，并获取各图像的定位信息；

第一图像匹配模块，用于在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及

第二图像匹配模块，用于利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合，对所述第一图像与所述第二图像集合中的各图像进行特征点匹配以筛选与所述第一图像匹配的第二图像，生成第二图像匹配对并建立所述第一图像与所述第二图像的匹配关系；

重建模块，用于基于所述第一图像对应的第一图像匹配对和第二图像匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于图像的三维重建方法。

根据本公开的第四方面，提供一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的基于图像的三维重建方法。

本公开的一种实施例所提供的基于图像的三维重建方法，首先采集图像序列，并在采集图像时标记各图像的定位信息；利用各图像之后的连续多帧后续图像进行匹配图像的筛选并建立匹配关系；在建立上述的匹配关系之后，再利用各图像对应的定位信息进行再次筛选位置匹配的图像，并计算位置匹配的图像之间的特征匹配关系，从而能够根据位置信息实现回环检测；实现了仅对相同空间位置附件的图像进行非序列化的匹配，进而极大减少了错误回环匹配，提升了建图精度以及鲁棒性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中一种基于图像的三维重建方法的流程示意图；

图2示意性示出本公开示例性实施例中一种图像采集方法的流程示意图；

图3示意性示出本公开示例性实施例中一种图像匹配方法的流程示意图；

图4示意性示出本公开示例性实施例中一种基于图像的三维重建装置的组成示意图；

图5示意性示出本公开示例性实施例中一种电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在计算机视觉的相关技术中，通常使用SFM技术来恢复三维环境的空间结构。传统的SFM算法一般包括：特征提取与匹配、计算初始匹配对及点云、光束平差、然后重复添加新的图像帧数据再结合一定策略进行光束平差等步骤依次进行来实现三维重建。对于序列化的图像输入在特征匹配环节常见的方法主要有两种：一种为序列化匹配，另一种则为全局暴力匹配。其中序列化匹配在大尺度环境下会由于累计误差积累过大导致无法形成回环。为了保证最终地图在一个大尺度环境下仍与实际地图保持一致，常使用暴力搜索对所有的图像进行特征的匹配计算，来增加一些回环图像对，减少累计误差。但这样的方式使得计算量较大、耗时较长。基于此，现有的方法通常还是基于图像特征进行匹配筛选，比较依赖图像特征描述子的鲁棒性，并且对于局部相似纹理，图像特征不能有效解决此种场景重建。如相同的标志牌或logo等出现在不同地方时，可能会出现错误匹配，即将不属于同一处地方的图片相互关联，这会严重降低三维重建的精度，甚至导致建图失败。

针对上述的现有技术的缺点和不足，本示例实施方式中提供了一种基于图像的三维重建方法。参考图1中所示，上述的基于图像的三维重建方法可以包括以下步骤：

S11，采集图像序列，并获取各图像的定位信息；

S12，在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系；以及

S13，利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合，对所述第一图像与所述第二图像集合中的各图像进行特征点匹配以筛选与所述第一图像匹配的第二图像，生成第二图像匹配对并建立所述第一图像与所述第二图像的匹配关系；

S14，基于所述第一图像对应的第一图像匹配对和第二图像匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。

本示例实施方式所提供的三维重建方法中，一方面进行序列化的匹配，即利用各图像之后的连续多帧后续图像进行匹配图像的筛选并建立匹配关系；另一方面，在建立上述的匹配关系之后，再利用各图像对应的定位信息进行再次筛选位置匹配的图像，并计算位置匹配的图像之间的特征匹配关系，从而能够根据位置信息实现回环检测；进而避免了传统意义上的基于图像特征的回环检测，而仅对相同空间位置附近的图像进行非序列化匹配，即回环检测；进而极大减少了错误回环匹配，提升了建图精度以及鲁棒性。尤其对于图像特征不可靠的场景(包括但不限于重复纹理较多、光照变化、弱纹理)，能够极大提升重建地图的精度。

下面，将结合附图及实施例对本示例实施方式中的基于图像的三维重建方法的各个步骤进行更详细的说明。

在步骤S11中，采集图像序列，并获取各图像的定位信息。

本示例实施方式中，上述的方法可以应用于带有拍摄功能的终端设备，例如配置有后置摄像头的手机、平板电脑等智能终端设备；例如，可以应用于对室内环境进行图像和室内定位信息的采集。具体来说，参考图2所示，上述的步骤S11可以包括：

步骤S111，响应于图像采集指令，激活单目相机进行RGB图像采集；以及

步骤S112，调用超宽带驱动程序，以获取采集所述RGB图像时的位置信息，并将该位置信息配置为所述RGB图像的定位信息。

举例而言，用户可以在终端设备上，应用程序的交互界面中触发对图像的采集指令。在应用程序获取到用户的图像采集指令后，便可以通过指令端口调用并激活单目相机，使单目相机按一定的规则对当前室内环境或当前室内场景进行RGB图像的采集和拍摄，得到对应的图像序列。举例来说，拍摄的规则可以是终端设备的移动速度、图像拍摄的频率、拍摄的角度以及具体的拍摄参数等等。

此外，在调用单目相机进行RGB图像采集的同时，还可以根据图像采集指令同步调用超带宽(Ultra Wide Band，UWB)驱动程序，在采集图像的同时，同步采集UWB的定位信息。举例来说，可以在上述的终端设备中搭载UWB芯片；用户可以预先配置UWB驱动程序采集定位信息的频率与图像采集的频率相同；或者，也可以根据UWB驱动程序自身的要求配置定位信息采集的频率。具体来说，对于采集的定位信息，可以标记对应的定位信息采集时间。

在步骤S12中，在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系。

本示例实施方式中，在完成图像和定位信息的采集后，可以通过离线的方式对图像序列进行处理。具体来说，对于图像序列而言，可以按顺序依次选取各帧图像作为第一图像；同时，选取第一图像之后的连续的k帧图像作为第一图像的后序图像。其中，k为正整数，例如可以配置为5、7、8、9或者10、11等数值。本公开对k的具体数值不做特殊限定。然后，便可以对第一图像和对应的后序图像集合进行特征匹配。实现对图像序列中的各图像进行序列化计算图像间的匹配关系。

具体来说，上述的步骤S12中所述的对所述第一图像与所述后序图像进行特征点匹配，以筛选所述第一图像匹配的后序图像，并建立所述第一图像与所述后序图像的匹配关系，参考图3所示，具体可以包括：

步骤S121，对所述第一图像和后序图像进行特征提取以获取二维特征点，以及各所述二维特征点对应的特征描述子；

步骤S122，利用所述特征描述子计算所述第一图像与后序图像之间特征点的距离，并将距离小于预设阈值的特征点建立所述第一图像与后序图像之间的特征点匹配对；

步骤S123，基于上述第一图像和所述后序图像构建对应的基础矩阵，基于所述基础矩阵利用随机抽样一致性算法对所述特征点匹配对进行筛选；

步骤S124，若筛选后的特征点匹配数量大于预设阈值，则判断所述第一图像与所述后序图像匹配并建立所述第一图像与所述后序图像之间的匹配关系。

具体来说，对于图像序列而言，可以由第一帧图像开始进行序列化匹配。例如，初始将图像序列中的第一帧图像作为第一图像，然后选取后序的连续6帧图像作为后序图像。对于选取的第一图像和多帧后序图像，可以分别计算第一图像与各帧后序图像之间的匹配关系。

具体的，可以对第一图像与各后序图像的进行特征点提取，以计算对应的二维特征点及其特征描述子信息。利用特征描述子信息计算两张图像之间各特征点的距离；若小于特征点之前的距离小于预设的阈值，便可以判定两特征点构成一对特征点匹配对。这样，每两张图片之间都可以得到多对二维特征点匹配对。

在得到两张图像之间的全部特征点匹配对之后，再利用RANSAC算法(RandomSample Consensus，随机抽样一致性算法)对两图像之间的特征点匹配对进行筛选，删除误匹配的特征点匹配对。具体来说，可以首先利用两图像的特征点信息构建基础矩阵，使用基础矩阵对这些图片间的匹配点对进行RANSAC筛选。若筛选后两张图像间的特征点匹配点对的数量仍大于一预设的阈值，则判定为两张图片匹配，构成图像匹配对；并将两图像的匹配关系保存在数据库中，且记录筛选后的特征点匹配对。随机抽样一致性算法采用常规方法即可完成对特征点匹配的筛选，其具体过程不再赘述。

通过上述的方式遍历图像序列，完成对图像序列中各图像的第一次匹配，得到各图像对应的图像匹配结果及匹配关系。

或者，在本公开的一些示例性实施例中，也可以在图像采集完成后，便对图像序列中的全部图像进行特征提取，计算各图像的二维特征点及对应的特征描述子，并存储在预设数据库中。例如，可以利用SIFT算法(Scale-invariant features transform，尺度不变特征变换)进行特征提取。

在步骤S13中，利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合，对所述第一图像与所述第二图像集合中的各图像进行特征点匹配以筛选与所述第一图像匹配的第二图像，生成第二图像匹配对并建立所述第一图像与所述第二图像的匹配关系

本示例实施方式中，在对图像序列利用特征信息进行匹配的同时，还可以利用位置关系对图像进行第二次匹配。例如，可以利用定位信息对图像序列中各图像之间进行匹配。具体来说，对于上述的第一图像而言，在利用特征信息进行第一次匹配的同时，或者在第一次匹配完成之后，还可以利用定位信息筛选对应的第二图像集合。

本示例实施方式中，具体的，上述的利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合可以包括：

步骤S131，分别计算所述第一图像的定位信息与所述图像序列中的其他图像的定位信息之间的距离；

步骤S132，若所述距离小于预设距离阈值，则将对应的图像添加至所述第二图像集合。

具体来说，由于在相同位置采集的图片，在整个采样时间内，即使在不同时刻采集也存在匹配关系。对于选取的第一图像，可以向数据库中读取对应的定位信息P，同时读取图像序列中其他图像的定位信息Q，并分别计算第一图像的位置Q与各图像之间的位置Q之间的欧式距离。

若两帧图像之间的距离小于预设的距离阈值，则可以认为这两帧图片是在同一处位置采集，可能构成图像匹配对，将该图像添加至第一图像对应的第二图像集合中。若两帧图像之间的距离较大，则认为不存在对应的匹配关系。重复上述的步骤，遍历图像序列，便可以得到各图像对应的第二图像集合。

本示例实施方式中，在得到各图像对应的第二图像集合后，便可以利用上述的步骤S121-步骤S124的方法，利用特征信息对第一图像和第二图像集合中的各图像再次进行特征匹配，计算对应的匹配关系；即，首先计算两图像之间的特征点匹配对，再对特征点匹配对进行筛选得到图像对匹配结果。

若经过再次匹配建立匹配关系，则认为产生了回环匹配。至此，完成第一次匹配和第二次匹配。

或者，在本公开的其他示例性实施例中，还可以利用上述的第一图像的前序图像进行第二次匹配。具体来说，所述生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系之后，所述方法还包括：

步骤S21，选取所述第一图像前序的各帧图像，并利用定位信息筛选与所述第一图像之间距离小于预设距离阈值的前序图像以构建前序图像集合；对所述第一图像与所述前序图像集合中各所述前序图像进行特征点匹配，以筛选所述第一图像匹配的前序图像，生成第三图像匹配对并建立所述第一图像与所述前序图像的匹配关系；

步骤S22，遍历所述图像序列以获取各所述图像对应的前序图像和/或后序图像的匹配关系，以构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。

具体来说，对于图像序列中选取的第一图像，可以选取该第一图像之前序列的各帧前序图像；再利用位置信息计算第一图像与对应的各帧前序图像之间的欧式距离。此时，图像序列中的第一帧图像除外。

具体的，对于各帧图像及对应的全部前序图像，可以首先利用定位信息计算图像位置信息之间的欧式距离，并利用欧式距离的计算结果与预设的距离阈值进行第一次筛选，得到可能存在的匹配关系的第三图像匹配对。之后，再利用各图像的特征信息对初步匹配的第三图像匹配对进行第二次筛选，如上述步骤S121-步骤S124的方法，利用特征信息对第三图像匹配第中的各图像再次进行特征匹配，计算对应的匹配关系；即，首先计算两图像之间的特征点匹配对，再对特征点匹配对进行筛选得到图像对匹配结果。若匹配成功并建立匹配关系，则认为产生了回环匹配。至此，完成第一次匹配和第二次匹配。

对于图像序列中的各帧图像来说，通过利用各帧图像之后序列的连续多帧图像进行第一次匹配，以及利用各帧图像之前序列的各帧图像进行第二次匹配，能够有效的降低图像匹配过程中的资源消耗，并最大限度的保证匹配关系的准确性，确保回环匹配的有效性。

在步骤S14中，基于所述第一图像对应的第一图像匹配对和第二图像匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。

本示例实施方式中，可以利用上述的步骤S12、S13的方法遍历图像序列，从而得到各帧图像对应的匹配关系。基于该些匹配关系，可以构建图像序列的全局匹配关系，并利用该全局匹配关系和图像序列进行三维重建。例如，可以利用SFM(Structure from motion)算法进行三维重建。一般来说，利用SFM算法进行三维重建时，其输入可以为二维图像序列；可以通过上述的全局匹配关系推断出相机的各项参数。例如，SFM算法的过程可以包括：首先从图片中提取焦距信息(之后初始化BA需要)，然后利用SIFT等特征提取算法去提取图像特征，用kd-tree模型去计算两张图片特征点之间的欧式距离进行特征点的匹配，从而找到特征点匹配个数达到要求的图像对。对于每一个图像匹配对，计算对极几何，估计F矩阵并通过ransac算法优化改善匹配对。这样子如果有特征点可以在这样的匹配对中链式地传递下去，一直被检测到，那么就可以形成轨迹。之后进入structure-from-motion部分，关键的第一步就是选择好的图像对去初始化整个BA过程。首先对初始化选择的两幅图片进行第一次BA，然后循环添加新的图片进行新的BA，最后直到没有可以继续添加的合适的图片，BA结束。得到相机估计参数和场景几何信息，即稀疏的3D点云。其中两幅图片之间的bundleadjust用的是稀疏光束平差法sba软件包，稀疏光束平差法是一种非线性最小二乘的优化目标函数算法。

当然，在本公开的其他示例性实施例中，在构建全局匹配关系后，也可以利用其他算法进行三维重建。例如，基于Deep learning的深度估计和结构重建算法等。

基于上述内容，在本公开的其他示例性实施例中，所述采集图像序列时，上述的方法还可以包括：

步骤S31，对所述图像之间的匹配特征点进行解析，以获取姿态信息和特征点的三维坐标；

步骤S32，基于匹配的所述图像对应的姿态信息和特征点的三维坐标对相机进行姿态校正。

具体来说，在构建全局匹配关系之后，或者，也可以在图像序列的采集过程中；可以对图像序列中任意相邻的两图像之间进行特征点匹配，并对匹配的特征点进行解析，从而计算得到相机的位置和姿态信息。以及，求解图像中的二维特征点在三维空间中的位置坐标。基于该些信息，可以生成对相机姿态的校正信息，从而在后序图像的拍摄之前，实时的对相机的姿态进行校正，进而保证后序拍摄图像的姿态信息保持一致。

基于上述内容，在本公开的其他示例性实施例中，在构建全局匹配关系之后，上述的方法还可以包括：根据各图像的采集时间对所述全局匹配关系进行验证，以删除错误的匹配关系。

具体来说，才利用单目相机进行RGB图像采集时，还可以标记各帧图像的采集时间。在获取全局匹配关系后，对于各图像匹配对，还可以根据图像采集时间对各图像匹配对进行再次的校验，若图像采集时间接近，还可以再次判断定位信息是否接近。从而能够根据图像的采集时间和位置信息对图像全局匹配结果中的图像匹配对进行校验。

本公开实施例所提供的基于图像的三维重建方法，可以应用于离线形式的三维重建过程中。应用于室内外定位导航解决方案中，例如AR导航等。对于图像特征不可靠的场景，例如重复纹理较多、光照变化、弱纹理的场景中，能够极大提升地图精度，同时由于本方案的方法完全通过在第二次匹配过程中结合图像的定位信息，避免了图像误匹配情况，能够极大增加建图的成功率。并且由于在数据采集阶段就确定了回环匹配的图像，避免了在图像匹配检索时的全局暴力匹配，能够大大节省运算时间。区别于传统方法，充分利用其他传感器获取大致的全局位置信息直接确定回环帧的位置，得到更为准确的全局图像连通图，为三维重建的后续步骤提供了很好的输入。并且该方案操作简便，亦可作为对已有的三维重建方案的补充，与其他回环筛选手段相结合。相比其它案例具有较大的使用优势。

需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图4所示，本示例的实施方式中还提供一种基于图像的三维重建装置40，包括：数据采集模块401、第一图像匹配模块402第二图像匹配模块403和重建模块404。其中，

所述数据采集模块401可以用于采集图像序列，并获取各图像的定位信息。

所述第一图像匹配模块402可以用于在所述图像序列中选取第一图像及所述第一图像后序的连续多帧后序图像，对所述第一图像与各所述后序图像进行特征点匹配以筛选与所述第一图像匹配的后序图像，生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系。

所述第二图像匹配模块403可以用于利用所述定位信息在所述图像序列中筛选与所述第一图像位置匹配的第二图像集合，对所述第一图像与所述第二图像集合中的各图像进行特征点匹配以筛选与所述第一图像匹配的第二图像，生成第二图像匹配对并建立所述第一图像与所述第二图像的匹配关系。

所述重建模块404可以用于基于所述第一图像对应的第一图像匹配对和第二图像匹配对的图像匹配关系构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。

在本公开的一种示例中，所述数据采集模块401可以包括：图像采集单元和定位信息采集单元(图中未示出)。其中，

所述图像采集单元可以用于响应于图像采集指令，激活单目相机进行RGB图像采集。

定位信息采集单元可以用于调用超宽带驱动程序，以获取采集所述RGB图像时的位置信息，并将该位置信息配置为所述RGB图像的定位信息

在本公开的一种示例中，所述第一图像匹配模块402还可以用于对所述第一图像和后序图像进行特征提取以获取二维特征点，以及各所述二维特征点对应的特征描述子；利用所述特征描述子计算所述第一图像与后序图像之间特征点的距离，并将距离小于预设阈值的特征点建立所述第一图像与后序图像之间的特征点匹配对；基于上述第一图像和所述后序图像构建对应的基础矩阵，基于所述基础矩阵利用随机抽样一致性算法对所述特征点匹配对进行筛选；若筛选后的特征点匹配数量大于预设阈值，则判断所述第一图像与所述后序图像匹配并建立所述第一图像与所述后序图像之间的匹配关系。

在本公开的一种示例中，所述第二图像匹配模块403还可以用于分别计算所述第一图像的定位信息与所述图像序列中的其他图像的定位信息之间的距离；若所述距离小于预设距离阈值，则将对应的图像添加至所述第二图像集合。

在本公开的一种示例中，所述装置40还可以包括：第三匹配模块(图中未示出)。

所述第三匹配模块可以用于在生成第一图像匹配对并建立所述第一图像与所述后序图像的匹配关系之后，选取所述第一图像前序的各帧图像，并利用定位信息筛选与所述第一图像之间距离小于预设距离阈值的前序图像以构建前序图像集合；对所述第一图像与所述前序图像集合中各所述前序图像进行特征点匹配，以筛选所述第一图像匹配的前序图像，生成第三图像匹配对并建立所述第一图像与所述前序图像的匹配关系；遍历所述图像序列以获取各所述图像对应的前序图像和/或后序图像的匹配关系，以构建全局匹配关系；并基于所述全局匹配关系对所述图像序列进行三维重建。

在本公开的一种示例中，所述装置40还包括：第一校验模块(图中未示出)。

所述第一校验模块可以用于在图像采集时，或者构建全局匹配关系之后，对所述图像之间的匹配特征点进行解析，以获取姿态信息和特征点的三维坐标；基于匹配的所述图像对应的姿态信息和特征点的三维坐标对相机进行姿态校正。

在本公开的一种示例中，所述装置40还可以包括：第二校验模块(图中未示出)。

所述第二校验模块可以用于在构建全局匹配关系之后，根据各图像的采集时间对所述全局匹配关系进行验证，以删除错误的匹配关系。

上述的基于图像的三维重建装置中各模块的具体细节已经在对应的基于图像的三维重建方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

图5示出了适于用来实现本发明实施例的电子设备的示意图。

需要说明的是，图5示出的电子设备500仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500包括中央处理单元(Central Processing Unit，CPU)501，其可以根据存储在只读存储器(Read-Only Memory，ROM)502中的程序或者从储存部分508加载到随机访问存储器(Random Access Memory，RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM502以及RAM 503通过总线504彼此相连。输入/输出(Input/Output，I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分507；包括硬盘等的储存部分508；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入储存部分508。

特别地，根据本发明的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的各种功能。

具体来说，上述的电子设备可以是手机、平板电脑或者笔记本电脑等智能移动终端设备。或者，上述的电子设备也可以是台式电脑等智能终端设备。

需要说明的是，本发明实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

需要说明的是，作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图1所示的各个步骤。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。