结合标志物的区域重叠式三维地图构建方法和装置

技术领域

本发明涉及三维地图构建技术领域，尤其涉及一种结合标志物的区域重叠式三维地图构建方法和装置。

背景技术

对诸如变电站，石化工厂等大型重要生产设施进行自动巡检是工业机器人领域一个非常重要的应用，通过实施自动巡检功能，可以大大提升巡检效率及可靠性，并能促进生产安全及降低运营成本。同时利用多传感器及大数据分析技术，可以提供更加全面的智能化报警、预测、跟踪及分析手段。实现自动巡检的一个重要前提是需要事先获得巡检设施的高精度三维点云建图。

目前实施高精度三维建图主要基于激光雷达SLAM或者视觉SLAM技术，激光雷达SLAM技术可以提供高精度三维地图，但在需要对大型场景中多个区域扫描图进行自动拼图时，由于目前环回检测技术存在的缺陷，往往会拼图错误的情况发生，从而不得不依赖手工拼图以重建大型场景的三维点云地图。

而基于视觉SLAM的点云建图方法存在着对环境敏感、点云稀疏及建图精度相对较低的问题。

传统的大场景三维地图构建方法，需要将大场景划分为各个主小区分别进行三维建图，然后拼接得到最终的大场景的三维地图，然而，由于进行定位的特征点都是从主小区环境中的靠图像处理自动提取，因此，特征点的识别准确性和可靠性都得不到保障，导致分别对主小区进行三维建图的精度不能保证且拼接时的准确性也不能保证。

因此，如何避免传统的三维地图构建方法中将大场景划分为各个主小区分别进行三维建图，然后拼接得到最终的大场景的三维地图时对主小区进行三维建图的精度不能保证且拼接时的准确性也不能保证，仍然是本领域技术人员亟待解决的问题。

发明内容

本发明提供一种结合标志物的区域重叠式三维地图构建方法，用以解决现有三维地图构建方法中将大场景划分为各个主小区分别进行三维建图，然后拼接得到最终的大场景的三维地图时对主小区进行三维建图的精度不能保证且拼接时的准确性也不能保证的缺陷，实现提高三维地图构建的可靠性和精度。

本发明提供一种结合标志物的区域重叠式三维地图构建方法，包括：

采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物；

按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图；

按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图；

将所有主小区的三维地图进行拼接得到待建图场景的三维地图。

根据本发明提供一种的结合标志物的区域重叠式三维地图构建方法，所述按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图，具体包括：

基于所述三维点云数据和IMU信息确定视频数据采集设备在各所述子区域内的局部位姿；

基于所述IMU信息筛选出所述视频数据中采集设备静止时刻下拍摄的静止视频帧；

若所述静止视频帧中识别出标志物，则结合三维点云数据确定所述标志物的三维坐标；

若确定所述标志物与其所处子区域在对应静止时刻的视频数据采集设备的位姿关系符合预设要求，则判定所述标志物为有效标志物；

其中，所述位姿关系基于所述视频数据采集设备在所述子区域内的局部位姿和所述标志物的三维坐标确定；

基于所述有效标志物对各所述子区域进行环回检测后进行三维建图得到三维地图。

根据本发明提供一种的结合标志物的区域重叠式三维地图构建方法，所述基于所述有效标志物对各所述子区域进行环回检测后进行三维建图得到三维地图，具体包括：

若确定各所述子区域的扫描开始识别的开头有效标志物和扫描结束时识别的结尾有效标志物一致，则以所述开头有效标志物和所述结尾有效标志物的三维坐标相等作为约束条件进行扫描轨迹闭环优化更新所述各子区域内的三维点云坐标；

基于更新后的三维点云坐标进行三维建图得到各所述子区域的三维地图。

根据本发明提供一种的结合标志物的区域重叠式三维地图构建方法，所述按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图，具体包括：

按照所述蛇形扫描的顺序进行前后子区域的子拼接得到所述任一主小区的三维地图；

其中，任一子拼接具体包括：基于共用的标志物在前后子区域内不同的三维坐标，得到前后坐标系转换关系，基于所述关系将后子区域的三维点云更新为前子区域坐标系下的三维点云实现前后子区域的拼接。

根据本发明提供一种的结合标志物的区域重叠式三维地图构建方法，所述将所有主小区的三维地图进行拼接得到待建图场景的三维地图，具体包括：

依次进行前后主小区的主拼接得到待建图场景的三维地图；

其中，任一主拼接具体包括：基于共用的有效标志物在前后主小区内不同的三维坐标，得到前后坐标系转换关系，基于所述关系将后主小区的三维点云更新为前主小区坐标系下的三维点云实现前后主小区的拼接。

根据本发明提供一种的结合标志物的区域重叠式三维地图构建方法，前后扫描的子区域之间共用两个标志物且每个子区域使用三个标志物。

根据本发明提供一种的结合标志物的区域重叠式三维地图构建方法，所述标志物为特定尺度对应于唯一ID的二维码图形。

本发明还提供一种结合标志物的区域重叠式三维地图构建装置，包括：

采集单元，用于采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物；

子区域单元，用于按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图；

第一拼接单元，用于按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图；

第二拼接单元，用于将所有主小区的三维地图进行拼接得到待建图场景的三维地图。

本发明提供的结合标志物的区域重叠式三维地图构建方法和装置，采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物；按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图；按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图；将所有主小区的三维地图进行拼接得到待建图场景的三维地图。由于采集构建三维地图数据之前就已经在需要建图的空间中设置了标志物用于定位，因此，在采集到数据后对数据进行处理建图时可以根据标志物对各个子区域进行环回检测保证每个子区域的三维建图精准可靠，而同一主小区的相邻子区域之间又有重叠区域，且重叠区域有共用标志物可以基于共用标志物进行坐标系转换保证相邻子区域之间的拼接的精确性。因此，本发明提供的结合标志物的区域重叠式三维地图构建方法和装置，实现了提高三维地图构建的可靠性和精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的结合标志物的区域重叠式三维地图构建方法的流程示意图；

图2为本发明提供的子区域划分和扫描路径的原理示意图；

图3为本发明提供的建图数据采集设备的硬件架构图；

图4为本发明提供的AprilTag二维码的示例示意图；

图5为本发明提供的结合标志物的区域重叠式三维地图构建装置的结构示意图；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的三维地图构建方法普遍存在将大场景划分为各个主小区分别进行三维建图，然后拼接得到最终的大场景的三维地图时对主小区进行三维建图的精度不能保证且拼接时的准确性也不能保证的问题。下面结合图1-图4描述本发明的结合标志物的区域重叠式三维地图构建方法。图1为本发明提供的结合标志物的区域重叠式三维地图构建方法的流程示意图，如图1所示，该方法包括：

步骤110，采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，

其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物。

具体地，对于待建图场景，首先由专业人员将该场景所在的大区域划分为多个主小区，主小区通常是规整的矩形，可以划分为M行×N列个子区域，当主小区的形状不能保证为规整的矩形时，可根据实际情况划分实际行数和列数。任一主小区内的子区域的划分是基于标志物的共用原则进行，而采集数据时的扫描路径则是基于蛇形推进的方式进行。图2为本发明提供的子区域划分和扫描路径的原理示意图，如图2所示，将主小区划分为N列×M行个子区域，每一行中，相邻子小区之间共用2个标志物(图2中用实心三角形表示标志物)，标志物中包含的用于识别定位的特征各不相同，例如可以采用颜色作为标志物的区分特征，也可以采用形状作为标志物的区分特征或者使用特定尺度方便扫描识别对应唯一ID的二维码等等，此处不作具体限定。图2给的示例刚好显示每个子区域的形状一致，且同一行中相邻两个子区域重叠的面积占自身面积一般，且由于标志物是均匀分布在每个子区域的一个边上的，此为一种特殊例子，因此，同一行中的相邻子区域共用两个标志物。实际划分子区域时，对于各个子区域的形状只需要都限定为同高度的矩形，长度可以调整，每个长边上设置的标志物的间隔也无需规定均匀设置，只要两个相邻子区域可以共用至少一个标志物且每个子区域设置有至少两个标志物，此处还需要说明的是对于同一行的子区域，它们的标志物都需要设置在同一边的矩形长边上才能实现重叠区域的标志物共用。图2中的箭头展示了扫描的推进路径，即每一个子区域完成自身区域的扫描后进行下一个子区扫描时候下一个子区域的确定方法，完成第一行的N个子区域扫描后，相邻列中完成当前行最后一个子区域的扫描后下个扫描的子区域为竖直矩形形状(即高大于长)，图2中竖向编辑的“N+1”即表示扫描的第N+1个子区域是连接相邻列的竖直矩形，其上半部分与上列第一个子区域重叠，其下半部分与下列最后一个子区域重叠。扫描方向如箭头所示按蛇形扫描方式。整个区域的第一行按从左到右方向依次扫描该行中所有子区域，扫描完该行最后一个区域后，向上扫描一个竖直的子区域，再扫描第二行相邻的也就是第二行最右边的子区域，再从右向左依次扫描第二行中所有子区域中，依此类推，直到扫描完整个目标区域。可以根据扫描顺序对子区域进行编号，方便后续的子区域之间按扫描顺序进行拼接。

此外还对采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息的采集设备进行说明。由于每个子区域的扫描都需要围绕该子区域进行环形扫描，即在该子区域外围进行360度的全方位的拍摄视频数据和获取三维点云数据，而为了确定采集设备的位置还需要在采集设备上配置IMU传感器。图3为本发明提供的建图数据采集设备的硬件架构图，如图3所示，为了方便和加快扫描使用机器扫描车携带图3中的所有设备按照预先设定的扫描路径以蛇形推进方式依次扫描完任一主小区内的所有子区域，因此，车上的设备包括水平和垂直的激光雷达用于获取三维点云数据，左右摄像机用于采集视频数据，IMU传感器提供扫描车当前实时位姿及加速度，GPS提供扫描车所处的精确地理位置，双激光雷达(包括在水平方向和垂直方向分别设置一个)提供目标场景的全视角、高精度三维点云数据，摄像机提供目标场景的高清视频数据，用于识别用于定位的标志物，而车载扫描建图主机上运行的扫描应用软件统对实现上述传感器控制、数据采集及建存储功能，实现从输入多传感器原始数据到输出全场景、高分辨率全彩点云地图的完整流程。

步骤120，按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图。

具体地，按照步骤120中的蛇形扫描顺序依次提取各个子区域的三维点云数据、视频数据和IMU信息，对于任一子区域都基于它的三维点云数据、视频数据和IMU信息使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图。基于三维点云数据、视频数据和IMU信息对子区域进行三维建图的过程包含一个标准的激光SLAM过程，建图程序读取扫描结果数据文件，利用IMU信息辅助，对激光雷达点云数据进行逐帧局部扫描匹配(Scan Matching)，以获得相邻帧扫描设备所处的在子区域地图中的局部位姿。然后基于环回扫描360度围绕式采集数据开始拍摄到的第一个标志物与结束拍摄到的最后一个标志物需要重合从而保证任一子区域的扫描轨迹闭环，可以进一步提高扫描的子区域的建图可靠性及定位精度。

步骤130，按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图。

具体地，为了实现任一主小区的自动拼接建图，在建图过程中，按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接，由于相邻子区域存在共用至少一个标志物，可以利用共用标志物获得的两个相邻子区域之间的相对坐标变换关系提升全局建图的效率及精度。

步骤140，将所有主小区的三维地图进行拼接得到待建图场景的三维地图。

具体地，主小区的划分方法可以分为相邻主小区之间有重叠区域且重叠区域包含标志物和没有共用标志物两种关系，前面一种关系也可以采用子区域的划分和蛇形推进的扫描建图方式也以同样的蛇形推进方式进行拼接，直到完成整个场景的三维建图，后面一种关系直接拼接。

本发明提供的结合标志物的区域重叠式三维地图构建方法，采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物；按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图；按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图；将所有主小区的三维地图进行拼接得到待建图场景的三维地图。由于采集构建三维地图数据之前就已经在需要建图的空间中设置了标志物用于定位，因此，在采集到数据后对数据进行处理建图时可以根据标志物对各个子区域进行环回检测保证每个子区域的三维建图精准可靠，而同一主小区的相邻子区域之间又有重叠区域，且重叠区域有共用标志物可以基于共用标志物进行坐标系转换保证相邻子区域之间的拼接的精确性。因此，本发明提供的结合标志物的区域重叠式三维地图构建方法，实现了提高三维地图构建的可靠性和精度。

可选地，在一个实施例中，所述结合标志物的区域重叠式三维地图构建方法，所述按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图，具体包括：

基于所述三维点云数据和IMU信息确定视频数据采集设备在各所述子区域内的局部位姿；

基于所述IMU信息筛选出所述视频数据中采集设备静止时刻下拍摄的静止视频帧；

若所述静止视频帧中识别出标志物，则结合三维点云数据确定所述标志物的三维坐标；

若确定所述标志物与其所处子区域在对应静止时刻的视频数据采集设备的位姿关系符合预设要求，则判定所述标志物为有效标志物；

其中，所述位姿关系基于所述视频数据采集设备在所述子区域内的局部位姿和所述标志物的三维坐标确定；

基于所述有效标志物对各所述子区域进行环回检测后进行三维建图得到三维地图。

具体地，按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息对各个子区域进行三维建图的过程包含一个标准的激光SLAM过程，建图程序读取扫描结果数据文件，利用IMU信息辅助，对激光雷达点云数据进行逐帧局部扫描匹配(Scan Matching)，以获得相邻帧扫描设备所处的在子区域地图中的局部位姿。在此基础上，另增加了标志物的识别定位过程，分析跟踪IMU数据，筛选出所述视频数据中采集设备静止时刻下拍摄的静止视频帧，然后对上述静止视频帧进行标志物的检测识别，识别过程为基于标志物特有的特性进行，例如不同标志物的特性为颜色区别，则以识别出来的颜色对视频帧中的标志物打上属于它的唯一ID。例如：分析某一子区域扫描开始后第一帧静止视频帧数据，尝试识别其中包含的标志物，如果识别到标志物，则继续计算得到标志物与摄像头之间的位姿关系，如果位姿范围满足一定的距离及视角条件，则认为该标志物是有效标志物，利用事先标定得到的摄像头与扫描设备基准坐标的外参，计算得到并记录下该有效标志物所在位置的实际位姿数据及并打上标志物对应ID，依次进行后续静止视频帧中的有效标志物的确定并都记录下有效标志物所在位置的实际位姿数据和打上对应ID，完成有效标志物的标定。在完成对整个子区域局部建图后进入子区域的全局图优化即环回检测过程：由于本发明采用的是区域环回扫描的方法，前后扫描所覆盖的点云区域会存在较大的重叠，可以通过全局点云匹配获得较好的匹配精度，同时还可以利用记录到的标志物的实际位姿数据进一步优化全局匹配过程，在实现子区域整个扫描轨迹闭环的约束条件下使得该扫描子区域的建图及定位精度更高。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建方法，所述基于所述有效标志物对各所述子区域进行环回检测后进行三维建图得到三维地图，具体包括：

若确定各所述子区域的扫描开始识别的开头有效标志物和扫描结束时识别的结尾有效标志物一致，则以所述开头有效标志物和所述结尾有效标志物的三维坐标相等作为约束条件进行扫描轨迹闭环优化更新所述各子区域内的三维点云坐标；

基于更新后的三维点云坐标进行三维建图得到各所述子区域的三维地图。

具体地，在完成对整个子区域局部建图后进入子区域的全局图优化即环回检测过程：利用在确定有效标志物时计算得到的标志物与摄像头之间的相对位姿关系，再利用事先标定得到的摄像头与扫描设备基准坐标的外参，计算得到并记录下该有效标志物所在位置的实际位姿数据可以进一步优化子区域内全局匹配过程。由于子区域的扫描开始及结束时是对同一个标志物进行视频采集，两次识别到的标志物对应的ID号相同，可以将该ID号的标志物两次被识别时得到的两个实际位姿数据应该保持一致作为全局图优化的约束条件，从而实现整个扫描轨迹闭环，进一步提升该扫描区域的建图及定位精度，优化目标可以是全局点云平均误差最小，或者不同区域设置不同权重求得的全局点云误差总和最小，求此处不对优化目标函数作限定。子区域三维建图完成后，输出保存有当前区域的栅格地图、轨迹点坐标及有效标志物相对位姿信息的局部建图状态文件。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建方法，

所述按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图，具体包括：

按照所述蛇形扫描的顺序进行前后子区域的子拼接得到所述任一主小区的三维地图；

其中，任一子拼接具体包括：基于共用的标志物在前后子区域内不同的三维坐标，得到前后坐标系转换关系，基于所述关系将后子区域的三维点云更新为前子区域坐标系下的三维点云实现前后子区域的拼接。

具体地，按照所述蛇形扫描的顺序进行前后子区域的子拼接得到所述任一主小区的三维地图，每一次拼接都充分利用了子区域扫描建图过程中得到的有效标志物的实际位姿数据提取出的三维坐标。由于相邻子区域存在至少一个公用的标志物，可以利用共用标志物的三维坐标提取出其所在两个子区域三维地图之间的相对坐标变换关系来提升全局建图的效率及精度。采用迭代的方式完成主小区的全局建图：对蛇形扫描顺序中的第一个子区域的三维地图为起点，即将第一个子区域的轨迹位姿认定为全局位姿(以第一个子区域的三维地图所在坐标系为全局坐标系)，开始进行全局合并建图，首先合并与第一个子区域相邻的子区域即第二个子区域建图，以共用标志物的绝对坐标相同为条件，例如，以图2中的共用标志物为例，第二个子区域中起始标志物与第一个子区域的中段标志物相同，并且已知第一个区域扫描轨迹上任一点的全局位姿，从而可以获得第一个区域保存的其中段标志物时所处轨迹点的全局位姿，根据这一全局位姿，对于第二子区域，结合第一子区域的中段标志物的轨迹相对位姿、第二子区域的起始标志物的轨迹相对位姿，计算得到第二子区域轨迹起始全局位姿，对第二子区域合并时，先设置上一步计算得到的轨迹起始位姿，再将全局坐标更新为在第一子区域坐标系下的坐标，更新后将第二子区域所有轨迹点加入到全局图优化的状态结点集合中，同时将相邻子区域的共用两个标志物作为全局图优化的约束条件加入到图优化的边集合中。由于已经为当前区域设定了较为准确的全局坐标，可以设置较小的全局点云匹配位姿范围，从而加快全局优化的速度及精度。

本发明进一步提供的结合标志物的区域重叠式三维地图构建方法中的相邻子区域之间的拼接方式，避免了现有的手工拼接的效率低下的问题。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建方法，

所述将所有主小区的三维地图进行拼接得到待建图场景的三维地图，具体包括：

依次进行前后主小区的主拼接得到待建图场景的三维地图；

其中，任一主拼接具体包括：基于共用的有效标志物在前后主小区内不同的三维坐标，得到前后坐标系转换关系，基于所述关系将后主小区的三维点云更新为前主小区坐标系下的三维点云实现前后主小区的拼接。

具体地，依次进行前后主小区的主拼接得到待建图场景的三维地图，优选地，主小区的划分和扫描路径和子区域的划分和扫描路径相同，而且也将前后主小区之间设置有重叠区域且保证重叠区域内包括共用标志物，如此进行相邻主小区的拼接时也有共用标志物可以利用进行坐标系的转换，而共用的标志物越多，可以保证拼接的精度越高。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建方法，

前后扫描的子区域之间共用两个标志物且每个子区域使用三个标志物。

具体地，每次将主小区划分为子区域时都是划分为若干个近似等尺寸矩形子区域，每个区域的长度不超过30米，宽不超过20米。在本发明中，设定主小区是规则的矩形，因此可以规律地划分为M行x N列个子区域，在同一行中，相邻矩形区域有1/2的区域是重叠的，因此，相邻两子区域共用两个标志物。将共用标志物设置为每个子区域总标志物的2/3，可以在保证拼接精度的同时还平衡计算量，控制计算复杂度。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建方法，

所述标志物为特定尺度对应于唯一ID的二维码图形。

具体地，标志物优选可以方便识别扫描的二维码，每个二维码都有对应的唯一ID用于识别后的记录，而二维码也方便放大缩小打印到合适的尺度能适用于各种规模场景各种采集设备的硬件性能。优选地，采用AprilTag二维码图板提供视觉识别和定位，AprilTag是一个视觉基准库，在AR，机器人，相机校准领域广泛使用。通过特定的标志(一种类二维码的图形，但相对于标准二维码降低了复杂度以满足实时性要求)，可以快速地检测标志，并计算相对位置。图4为本发明提供的AprilTag二维码的示例示意图。如图2所示，AprilTag包含多个标志家族，本发明根据实际应用场景选择了Tag36h11标志家族，然后为所有Tag36h11图样打印制作了硬质图板，图板可以牢固安置于各个标志点位置。

下面对本发明提供的结合标志物的区域重叠式三维地图构建装置进行描述，下文描述的结合标志物的区域重叠式三维地图构建装置与上文描述的结合标志物的区域重叠式三维地图构建方法可相互对应参照。

图5为本发明提供的结合标志物的区域重叠式三维地图构建装置的结构示意图，如图5所示，该装置包括采集单元510、子区域单元520、第一拼接单元530和第二拼接单元540，其中，

所述采集单元510，用于采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物；

所述子区域单元520，用于按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图；

所述第一拼接单元530，用于按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图；

所述第二拼接单元540，用于将所有主小区的三维地图进行拼接得到待建图场景的三维地图。

本发明提供的结合标志物的区域重叠式三维地图构建装置，采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物；按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图；按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图；将所有主小区的三维地图进行拼接得到待建图场景的三维地图。由于采集构建三维地图数据之前就已经在需要建图的空间中设置了标志物用于定位，因此，在采集到数据后对数据进行处理建图时可以根据标志物对各个子区域进行环回检测保证每个子区域的三维建图精准可靠，而同一主小区的相邻子区域之间又有重叠区域，且重叠区域有共用标志物可以基于共用标志物进行坐标系转换保证相邻子区域之间的拼接的精确性。因此，本发明提供的结合标志物的区域重叠式三维地图构建装置，实现了提高三维地图构建的可靠性和精度。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建装置，所述子区域单元，具体用于：

基于所述三维点云数据和IMU信息确定视频数据采集设备在各所述子区域内的局部位姿；

基于所述IMU信息筛选出所述视频数据中采集设备静止时刻下拍摄的静止视频帧；

若所述静止视频帧中识别出标志物，则结合三维点云数据确定所述标志物的三维坐标；

若确定所述标志物与其所处子区域在对应静止时刻的视频数据采集设备的位姿关系符合预设要求，则判定所述标志物为有效标志物；

其中，所述位姿关系基于所述视频数据采集设备在所述子区域内的局部位姿和所述标志物的三维坐标确定；

基于所述有效标志物对各所述子区域进行环回检测后进行三维建图得到三维地图。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建装置，所述基于所述有效标志物对各所述子区域进行环回检测后进行三维建图得到三维地图，具体包括：

若确定各所述子区域的扫描开始识别的开头有效标志物和扫描结束时识别的结尾有效标志物一致，则以所述开头有效标志物和所述结尾有效标志物的三维坐标相等作为约束条件进行扫描轨迹闭环优化更新所述各子区域内的三维点云坐标；

基于更新后的三维点云坐标进行三维建图得到各所述子区域的三维地图。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建装置，所述第一拼接单元，具体用于：

按照所述蛇形扫描的顺序进行前后子区域的子拼接得到所述任一主小区的三维地图；

其中，任一子拼接具体包括：基于共用的标志物在前后子区域内不同的三维坐标，得到前后坐标系转换关系，基于所述关系将后子区域的三维点云更新为前子区域坐标系下的三维点云实现前后子区域的拼接。

本发明进一步提供的结合标志物的区域重叠式三维地图构建装置中的相邻子区域之间的拼接方式，避免了现有的手工拼接的效率低下的问题。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建装置，所述第二拼接单元，具体用于：

依次进行前后主小区的主拼接得到待建图场景的三维地图；

其中，任一主拼接具体包括：基于共用的有效标志物在前后主小区内不同的三维坐标，得到前后坐标系转换关系，基于所述关系将后主小区的三维点云更新为前主小区坐标系下的三维点云实现前后主小区的拼接。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建装置，前后扫描的子区域之间共用两个标志物且每个子区域使用三个标志物。

可选地，在一些实施例中，所述结合标志物的区域重叠式三维地图构建装置，所述标志物为特定尺度对应于唯一ID的二维码图形。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行结合标志物的区域重叠式三维地图构建方法，该方法包括：采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物；按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图；按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图；将所有主小区的三维地图进行拼接得到待建图场景的三维地图。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的结合标志物的区域重叠式三维地图构建方法，该方法包括：采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物；按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图；按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图；将所有主小区的三维地图进行拼接得到待建图场景的三维地图。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的结合标志物的区域重叠式三维地图构建方法，该方法包括：采集待建图场景中任一主小区的子区域的三维点云数据、视频数据和IMU信息，其中，采集过程为从所述任一主小区任意顶角的子区域开始蛇形扫描至所述任意顶角的对顶角结束，前后扫描的子区域之间共用至少一个标志物，每个子区域至少使用两个标志物；按照所述蛇形扫描的顺序基于所述三维点云数据、视频数据和IMU信息依次使用基于标志物的环回检测对各所述子区域进行三维建图得到三维地图；按照所述蛇形扫描的顺序基于所述前后扫描的子区域之间共用的标志物依次进行各所述子区域三维地图的拼接得到所述任一主小区的三维地图；将所有主小区的三维地图进行拼接得到待建图场景的三维地图。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。