地图构建方法、装置、设备及存储介质

技术领域

本发明实施例涉及高精度地图技术领域，尤其涉及地图构建方法、装置、设备及存储介质。

背景技术

随着自动驾驶技术、智能机器人技术的发展，如何保证自动驾驶车辆和智能机器人的精确行驶成为了一个热点问题。在自动驾驶技术中，一般会应用高精度地图(HighDefinition Map)，高精度地图主要包括点云地图和语义地图。其中，点云地图可以是包含空间位置信息的三维(3-dimension，3D)点云，主要用于基于配准的在线定位；语义地图可以是包括车道线、路杆或红绿灯等道路信息的地图，可用于在线定位以及路径规划等，其中，车道线、路杆或红绿灯等交通要素可称为语义对象。

目前，构建高精度点云地图和车道线地图的方法主要有两种：一是利用高精度的组合导航设备计算实时位姿，然后根据得到的位姿将激光雷达扫描得到的点云转换到世界坐标系下，累计一段时间或者一段距离内的数据即可得到稠密的点云地图，之后根据不同物体在点云地图中的反射率的不同，人工绘制出语义地图。二是通过传统视觉同时定位和建图(Simultaneous Localization and Mapping，SLAM)方法实现位姿估计和稀疏点云地图的构建，在此基础上对二维(2-dimension，2D)图像进行语义分割得到道路信息相关的点，进而构建出语义地图。

然而，现有方案中，人工绘制车道线的方式成本高且效率低，另外，点云的反射率容易受外界因素干扰，如路面材质、湿度以及激光雷达安装高度等，在真实道路场景中，难以通过点云反射率准确识别出所有道路信息。而视觉方法直接获得的是2D信息，精度较低，所构建的语义地图误差较大。可见，现有的高精地图的构建方案仍不够完善，需要改进。

发明内容

本发明实施例提供了地图构建方法、装置、设备及存储介质，可以优化现有的高精度地图的构建方案。

第一方面，本发明实施例提供了一种地图构建方法，包括：

获取预设传感器采集的传感器数据；

根据所述传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系；

根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果；以及

根据所述语义结果和所述位姿结果构建语义地图和点云地图。

第二方面，本发明实施例提供了一种地图构建装置，包括：

数据获取模块，用于获取预设传感器采集的传感器数据；

约束关系建立模块，用于根据，所述传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系；

联合求解模块，用于根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果；

地图构建模块，用于根据所述语义结果和所述位姿结果构建语义地图和点云地图。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的地图构建方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的地图构建方法。

本发明实施例中提供的地图构建方案，根据预设传感器采集的传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系，根据位姿约束关系和语义约束关系进行联合优化求解，确定语义结果和可移动物体的位姿结果，最后根据语义结果和位姿结果构建语义地图和点云地图。通过采用上述技术方案，将语义地图的构建过程和点云地图的构建过程相融合，利用位姿约束关系和语义约束关系进行联合求解，使得语义结果和位姿结果能够形成相互约束关系，可以快速准确地得到语义地图和点云地图，进而得到更加精准的高精度地图，有利于提高可移动物体的自主移动性能。

附图说明

图1为本发明实施例提供的一种地图构建方法的流程示意图；

图2为本发明实施例提供的又一种地图构建方法的流程示意图；

图3为本发明实施例提供的一种地图构建过程的原理示意图；

图4为本发明实施例提供的大桥场景的地图构建结果示意图；

图5为本发明实施例提供的隧道场景的地图构建结果示意图；

图6为本发明实施例提供的一种地图构建装置的结构框图；

图7为本发明实施例提供的一种计算机设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了使本领域的技术人员更好的了解本申请，下面先对本申请实施例中出现的部分技术术语进行解释如下：

可移动物体：是指车辆、移动机器人以及飞行器等可进行地图采集的物体，可移动物体上可以搭载各类型传感器，如激光雷达和相机等。

同时定位和建图：未知环境中，可移动物体根据位置估计和地图进行自身定位，同时根据自身定位增量式构建地图。

建图(Mapping)：根据估计得到的车辆或移动机器人实时位姿以及激光雷达等视觉传感器的采集数据，构建出描述当前场景的高精度地图。

位姿(Pose)：位置和朝向的总称，包含6个自由度，其中包括3个位置自由度和3个朝向自由度。朝向的3个自由度通常用俯仰角(Pitch)、翻滚角(Roll)和偏航角(Yaw)来表示。

帧(Frame)：传感器完成一次观测所接收到的测量数据，如相机的一帧数据为一张图片，激光雷达的一帧数据为一组激光点云。

配准(Registration)：对同一区域在不同时刻、不同位置的观测结果进行匹配，得到两个观测时刻间的相对位姿关系。

非线性优化(Nonlinear Optimization)：求解由一系列未知实函数组成的组方程和不等式的最优化问题。

关键帧(Keyframe)：使用非线性优化方法或其他方法进行多传感器融合时，为了降低系统计算量，通常当距离改变量或者姿态改变量超过一定阈值时创建一个关键帧，且优化时一般对关键帧进行优化。

GNSS：Global Navigation Satellite System，全球导航卫星系统，可包括GPS或北斗定位系统等。

GPS：Global Positioning System，全球定位系统。

IMU：Inertial Measurement Unit，惯性测量单元，是测量物体三轴姿态角(或角速率)以及加速度的装置。

组合导航设备：例如包括GNSS和IMU的组合导航设备。

在本申请的一些实施例中，术语“车辆”广泛地解释为包括任何移动物体，包括例如飞行器、船只、航天器、汽车、卡车、厢式货车、半挂车、摩托车、高尔夫球车、越野车辆、仓库运输车辆或农用车以及行驶在轨道上的运输工具，例如电车或火车以及其它有轨车辆。本申请中的“车辆”通常可以包括：动力系统、传感器系统、控制系统、外围设备和计算机系统。在一些实施例中，车辆可以包括更多、更少或者不同的系统。

图1为本发明实施例提供的一种地图构建方法的流程示意图，该方法可以适用于高精度地图构建的应用场景，可以由地图构建装置执行，其中该装置可由软件和/或硬件实现，一般可集成在计算机设备中。这里的计算机设备可以集成到可移动物体中，也可外接于可移动物体或与可移动物体进行通信。如图1所示，该方法包括：

步骤101、获取预设传感器采集的传感器数据。

示例性的，预设传感器可搭载于所述可移动物体上，具体搭载方式不做限定，可以集成于可移动物体中或外接于可移动物体上等。预设传感器的类型不做限定，可以是任意的用于建立位姿约束关系的传感器，例如，可以包括组合导航设备(GNSS/IMU)INS、IMU、轮速计、图像采集装置、点云采集装置、加速度计和陀螺仪中的一个或多个，部分传感器还可集成到一起，例如IMU中可以包括加速度计和陀螺仪等，GNSS和IMU可以采用为组合导航设备。在一些实施例中，图像采集装置例如为相机，点云采集装置例如为激光雷达、毫米波雷达、超声波雷达等，当然不限于此。

步骤102、根据传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系。

在一些实施例中，本公开根据第一组传感器采集的传感器数据建立可移动物体的位姿约束关系，根据第二组传感器采集的传感器数据建立语义对象的语义约束关系。该语义对象为可移动物体所在环境内的语义对象。位姿约束关系包含与位姿相关的状态变量，语义约束关系包括语义相关的状态变量。该第一组传感器例如可包括组合导航设备、轮速计、激光采集装置等，当然也可以包括图像采集装置。第二组传感器包括图像采集装置和点云采集装置，本公开根据图像采集装置采集的图像和激光采集装置采集的点云生成语义对象的三维空间表示，通过联合优化后得到语义对象的状态量。

本申请实施例中，位姿约束关系的具体类型不做限定，例如可以是全局位姿约束关系和局部一致性约束关系，其中，局部一致性约束关系例如可包括IMU预积分约束关系、速度约束关系和点云配准约束关系等等。可以根据可移动物体中的预设传感器的不同选择建立不同的位姿约束关系，也可根据所需建立的位姿约束关系为可移动物体配置相应的预设传感器等。在建立位姿约束关系时，可以基于传感器数据建立相应的误差函数，作为位姿约束关系，误差函数中包含的状态变量以及误差函数的具体表达形式不做限定，可以根据实际情况进行设置。

在语义地图中，可能包含很多类型的语义对象，例如车道线、路杆、路牌、马路牙子以及红绿灯等，本发明实施例中，在建立语义约束关系时所涉及的语义对象可以是一个或多个，具体不做限定，需要说明的是，当存在多个语义对象时，也可能包含同类型的语义对象，例如，语义对象类型为车道线，在建立语义约束关系时可能涉及多条车道线。

在建立语义约束关系时，可以有效结合图像中的2D信息和点云中的3D信息，提升语义对象3D信息的计算精度，从而有利于构建出高精度的语义地图，具体结合方式可以根据实际情况设置，可根据2D信息和3D信息建立相应的误差函数，作为语义约束关系，误差函数中包含的状态变量以及误差函数的具体表达形式不做限定。

步骤103、根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果。

示例性的，可根据位姿约束关系对应的误差函数和语义约束关系对应的误差函数建立联合误差函数，采用一定的求解方式对该联合误差函数进行求解，得到各状态变量的估计值，将估计值中与语义相关的状态变量的估计值确定为语义结果，将估计值中与位姿相关的状态变量的估计值确定为可移动物体的位姿结果。

步骤104、根据所述语义结果和所述位姿结果构建语义地图和点云地图。

示例性的，可对语义结果进行一定处理得到语义对象的3D轮廓，再根据语义对象的3D轮廓构建语义地图。可根据位姿结果对点云进行叠加，得到点云地图。

本发明实施例中提供的地图构建方法，根据预设传感器采集的传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系，根据位姿约束关系和语义约束关系进行联合优化求解，确定语义结果和可移动物体的位姿结果，最后根据语义结果和位姿结果构建语义地图和点云地图。通过采用上述技术方案，将语义地图的构建过程和点云地图的构建过程相融合，利用位姿约束关系和语义约束关系进行联合求解，使得语义结果和位姿结果能够形成相互约束关系，可以快速准确地得到语义地图和点云地图，进而得到更加精准的高精度地图，有利于提高可移动物体的自主移动性能。

在一些实施例中，传感器数据采集的数据包括图像采集装置采集的图像和点云采集装置采集的点云，根据传感器数据建立语义对象的语义约束关系，包括：根据所述图像和所述点云，确定各语义对象对应的三维轮廓的观测值；基于所述三维轮廓的观测值建立语义约束关系。这样设置的好处在于，基于语义对象的3D轮廓的观测值建立语义约束关系，3D相比于2D轮廓可以更好地体现语义对象之间以及语义对象与可移动物体之间的空间位置关系，且结合图像和点云，可以提高语义对象3D信息的计算精度。

在一些实施例中，所述根据所述图像和所述点云，确定语义对象对应的三维轮廓的观测值，包括：对所述图像进行语义分割处理，得到语义对象所在区域的二维轮廓；将所述点云投射到所述图像中，并根据所述二维轮廓确定所述语义对象对应的目标三维点；对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值。这样设置的好处在于，可以得到更加精准的3D轮廓观测值。

其中，语义分割可以采用深度学习方式实现，具体可以根据语义对象的类型有针对性地进行相关模型的训练，进而准确地分割出语义对象在图像中的所处区域。随后，可通过图像采集装置的内参以及图像采集装置与点云采集装置之间的外参将点云中的3D点投射到经过语义分割后的图像中，可以将落入语义对象所在区域的二维轮廓中的点确定为目标三维点，根据语义对象3D轮廓的特点对目标三维点进行拟合后，得到语义对象对应的三维轮廓的观测值。

在一些实施例中，所述对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值，包括：对所述目标三维点进行平面拟合或直线拟合，得到对应的空间方程；根据所述二维轮廓的像素坐标、所述图像采集装置的内参以及所述图像采集装置与所述点云采集装置之间的外参确定所述目标三维点的三维坐标；根据所述空间方程和所述目标三维点的三维坐标对所述目标三维点进行拟合，得到语义对象对应的三维轮廓的观测值。这样设置的好处在于，可以更加精准地得到语义对象对应的3D轮廓的观测值。

示例性的，可以根据语义对象的3D轮廓的特点将语义对象抽象为相应的3D形状，对于不同的语义对象，还可设定不同的表征量对相应的3D轮廓进行表征。例如，表面积较大的且厚度较小的语义对象可以抽象为平面图形，并以法向量等表征该平面图形在空间中的相对位置或角度，从而得到空间图形，在进行拟合时，可以进行平面拟合，若厚度较大，则可以抽象为立方体等形状，对各个面分别进行平面拟合等；又如，柱形语义对象可以抽象为圆柱体，若半径较小，可以进行直线拟合。另外，需要说明的是，同一语义对象可能形状比较复杂，可以进行拆解，例如拆分为圆柱体和平面图像，此时可以针对该语义对象的不同组成部分分别进行拟合，得到对应的空间方程。目标三维点的三维坐标可根据二维轮廓的像素坐标、图像采集装置的内参以及图像采集装置与点云采集装置之间的外参来确定。采用预设分析方式结合空间方程和目标三维点的三维坐标拟合出语义对象对应的3D轮廓的观测值，其中，预设分析方式例如可以是主成分分析(Principal Component Analysis，PCA)方式。

车道线是语义地图中最常见的语义对象之一，在一些实施例中，所述语义对象包括车道线，所述车道线对应的三维轮廓包括空间矩形(也可称为3D矩形)，所述空间矩形的表征量可包括中心点、法向量、长边向量、长度和宽度中的至少一种，所述车道线对应的目标三维点对应的拟合方式为平面拟合，从而得到对应的空间平面方程。其中，每段虚线车道线对应一个空间矩形，每条实线车道线根据其长度和曲率对应多个空间矩形。这样设置的好处在于，可以精准地对车道线的3D轮廓进行表征。虚线车道线一般由多段组成，每段虚线车道线的几何结构可近似为矩形，对于各段虚线，可以使用一个空间矩形进行表示。实线车道线的长度通常较长，且道路经常存在一定的曲率，为了保证建图精度，可以根据其长度和曲率将长实线分为多个短线段，也即用连续的多个空间矩形来表示实线，对于各个线段分别进行拟合，从而得到多个连续空间矩形的几何信息。

路杆(可包括灯杆或其他杆状路标)是公路场景中的语义地图中最常见的路标之一，通过将观测到的路杆与先验地图进行匹配定位，可有效提升定位的精度。在一些实施例中，所述语义对象包括路杆，所述路杆对应的三维轮廓包括柱体，所述柱体的表征量包括顶面中心点、底面中心点和半径中的至少一种；所述路杆对应的目标三维点对应的拟合方式为直线拟合，从而得到对应的空间直线方程。这样设置的好处在于，可以精准地对路杆的3D轮廓进行表征。

在一些实施例中，所述基于所述三维轮廓的观测值建立语义约束关系，包括：对于预设滑动窗口中的每个关键帧，建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，并建立当前关键帧中各三维轮廓所对应的误差函数；根据所述预设滑动窗口中各关键帧分别对应的误差函数，建立语义约束关系。这样设置的好处在于，通过融合预设滑动窗口中的各关键帧，可以有效提升建图精度。

示例性的，预设滑动窗口的大小可以根据实际情况预先设置或者根据预先设定的规则动态设置，预设滑动窗口中通常包含多个关键帧，可以维护一个动态更新的语义对象状态变量集合，预设滑动窗口中的每个关键帧拟合得到的三维轮廓可以与语义对象状态变量集合进行关联，进而建立各三维轮廓对应的误差函数，对这些误差函数进行整合，可以得到语义约束关系。

在一些实施例中，对于车道线，所述建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，包括：对于当前关键帧中的每个空间矩形，在同一坐标系下计算当前空间矩形的中心点的观测值与车道线状态变量集合中的各矩形状态变量的中心点的第一距离，若存在小于第一预设距离阈值的第一距离，则将当前空间矩形与对应的矩形状态变量建立关联，若不存在，则在车道线状态变量集合中创建当前空间矩形对应的矩形状态变量。这样设置的好处在于，准确地对不同关键帧中的同一车道线矩形的数据进行关联，当随着可移动物体的行进，出现新的车道线矩形时，及时在车道线状态变量集合中创建对应的矩形状态变量，保证车道线状态变量集合的准确动态更新。其中，第一预设距离阈值可根据实际需求设置。

在一些实施例中，对于路杆，所述建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，包括：对于当前关键帧中的每个柱体，在同一坐标系下计算当前柱体的顶面中心点的观测值与路杆状态变量集合中的各矩形状态变量的顶面中心的第三距离，以及计算当前柱体的底面中心点的观测值与车道线状态变量集合中的各矩形状态变量的底面中心的第四距离，若同时满足第三距离小于第二预设距离阈值以及第四距离小于第三预设距离阈值，则将当前柱体与对应的柱体状态变量建立关联，若不存在，则在路杆状态变量集合中创建当前柱体对应的柱体状态变量。这样设置的好处在于，准确地对不同关键帧中的同一路杆柱体的数据进行关联，当随着可移动物体的行进，出现新的路杆柱体时，及时在路杆状态变量集合中创建对应的柱体状态变量，保证路杆状态变量集合的准确动态更新。其中，第二预设距离阈值和第三预设距离阈值可根据实际需求设置。

在一些实施例中，当前关键帧中的误差函数包括空间矩形对应的车道线误差函数和/或柱体对应的路杆误差函数，所述车道线误差函数包括各虚线车道线的误差函数和各实线车道线的误差函数。这样设置的好处在于，可以丰富语义地图中的语义对象类型，从而进一步提升建图精度。

在一些实施例中，虚线车道线的误差函数包括：关于中心点、法向量、长边向量、长度和宽度的状态变量与观测值的误差函数，以及法向量和长边向量的状态变量分别与单位向量的误差函数。这样设置的好处在于，可以从多个维度更加全面地构建虚线车道线的误差函数，有利于提高建图精度。

在一些实施例中，实线车道线的误差函数包括：关于法向量、长边向量和宽度的状态变量与观测值的误差函数，中心点的状态变量到观测中心线的第二距离，以及法向量和长边向量的状态变量分别与单位向量的误差函数。这样设置的好处在于，由于实线车道线是连续的，因此可以省去关于长度的误差函数，兼顾实线车道线的误差函数的全面性和构建速度，有利于提高建图精度以及控制联合求解的计算量。

在一些实施例中，路杆误差函数包括：关于顶面中心点、底面中心点和半径的状态变量与观测值的误差函数。

需要说明的是，在构建上述各语义对象对应的误差函数时，若状态变量与观测值未处于同一坐标系，可以先将两者转换至同一坐标系下，具体转换至何种坐标系可以根据实际情况设置，一般可以与状态变量一致，如世界坐标系。

在一些实施例中，在所述位姿约束关系包括全局位姿约束关系的情况下，根据采集的传感器数据建立可移动物体的全局位姿约束关系包括：根据上一时刻的位姿和上一时刻至当前时刻对应的位姿改变量，估算当前时刻的当前位姿，其中，位姿改变量通过IMU积分得到；若估算的当前位姿与位姿观测值的差距小于预设差距阈值，则根据位姿的状态变量和位姿观测值建立当前时刻对应的全局位姿约束关系；否则，丢弃当前时刻对应的全局位姿约束关系。这样设置的好处在于，提高全局位姿的精度。这里，采集的传感器数据可以包括组合导航设备采集的传感器数据，位姿观测值可以是组合导航设备的位姿观测值，其可以包括GNSS采集的传感器数据，也可以包括IMU采集的传感器数据。当然，采集的传感器数据也可以是单个传感器所采集的数据，位姿观测值也可以包括其中单个传感器的位姿观测值。组合导航设备是可移动物体进行建图时常用的传感器，可提供较高精度的实时全局位姿，但遮挡或多路径效应等因素对定位精度会产生一定影响，甚至可能会定位失败，而错误的全局位置可能会严重降低精度，本发明实施例中，根据上一时刻位姿以及IMU积分得到的位姿改变量，推算出当前时刻的位姿，若推算的位姿与组合导航设备观测的位姿的差别超过设定的阈值，则认为该时刻的组合导航设备观测是不准确的，则进行丢弃，避免对全局位姿的精度产生影响。

在一些实施例中，所述根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定所述语义对象的语义结果和所述可移动物体的位姿结果，包括：根据所述位姿约束关系和所述语义约束关系构建预设滑动窗口内各关键帧对应的联合优化目标函数；针对所述联合优化目标函数进行求解，得到各状态变量的估计值；其中，将语义对象状态变量的估计值记为语义结果，将位置状态变量和姿态状态变量的估计值记为位姿结果。这样设置的好处在于，可以利用预设滑动窗口合理确定联合优化的数据范围，兼顾建图精度和建图效率。本公开进行联合优化的状态变量集合中既包含代表位姿的状态量、也包含代表语义对象的状态量，从而在联合优化过程中同时实现了位姿状态量和语义对象状态量的联合优化。其中，具体的求解方式不做限定，可以是非线性优化求解方式，例如Ceres-Solver。

在一些实施例中，根据所述语义结果和所述位姿结果构建语义地图和点云地图，包括：根据所述语义结果和几何关系计算语义对象的角点；对各角点进行连接处理，得到语义对象的3D轮廓；综合各语义对象的3D轮廓，得到语义对象的语义地图；根据所述位姿结果对点云进行叠加，得到点云地图；其中，对于虚线车道线，3D轮廓与空间矩形的四个角点顺次连线相对应，对于实线车道线，3D轮廓与按照空间顺序顺次连接长度方向上的角点得到的两条边线相对应。这样设置的好处在于，有效利用语义结果和位姿结果快速准确地构建语义地图和点云地图，输出给下游模块使用。

在一些实施例中，还可以将语义地图和点云地图融合构建在一张地图中，如点云地图中叠加语义地图，呈现上述语义结果，提高地图呈现的可视化效果和便利性，降低数据量。

在一些实施例中，所述点云配准约束通过以下方式得到：对于预设滑动窗口内各关键帧的点云，根据点云中的点的曲率信息将各点划分为线特征点和平面特征点；对于预设滑动窗口内的每个关键帧，将上一关键帧的位姿与IMU积分得到的帧间位姿改变量进行叠加，得到当前关键帧对应的初始配准位姿；针对线特征点和平面特征点，分别根据初始配准位姿在局部地图中进行最近邻搜索，得到对应的最近邻特征点集，所述局部地图包括所述预设滑动窗口中各关键帧的特征点；根据对应的最近邻特征点集分别建立线误差函数和面误差函数；根据所述预设滑动窗口内的各线误差函数和面误差函数确定点云配准约束。这样设置的好处在于，采用帧到局部地图(Frame-to-Local Map)的配准方式，可以提高点云配准的精度和效率，且同样是针对预设滑动窗口内的关键帧进行配准，可以与语义约束关系的建立相关联，配合后续的联合优化求解。

可选的，在建立点云配准约束之前，可以根据所采用的点云采集装置的特点对点云数据进行预处理。例如，机械式激光雷达的观测数据可能会因可移动物体的运动而产生运动畸变，对于每一帧激光雷达数据，可先对点云进行运动补偿。

在一些实施例中，根据线特征点对应的最近邻特征点集建立线误差函数，包括：根据线特征点对应的最近邻特征点集进行直线拟合，根据线特征点到对应的拟合直线的距离确定线误差函数。根据平面特征点对应的最近邻特征点集建立面误差函数，包括：根据平面特征点对应的最近邻特征点集进行平面拟合，根据平面特征点到对应的拟合平面的距离确定面误差函数。这样设置的好处在于，根据线特征点和平面特征点各自的特点，准确构建相应的误差函数，进一步提升建图精度。

图2为本发明实施例提供的又一种地图构建方法的流程示意图，图3为本发明实施例提供的一种地图构建过程的原理示意图，可结合图2和图3对本发明实施例进行理解，为了便于说明，以可移动物体为车辆为例。

如图2所示，该方法可包括：

步骤201、根据预设传感器采集的传感器数据建立车辆的位姿约束关系。

本发明实施例中，预设传感器可包括组合导航设备(如GNSS/IMU)、惯性测量单元IMU、轮速计和激光雷达，其中，IMU中可包括加速度计和陀螺仪，IMU可集成于组合导航设备中。由于对多个预设传感器的观测进行融合，所以可能涉及到IMU坐标系(可记为I)、车体坐标系(可记为B)、激光雷达坐标系(可记为L)以及世界坐标系(可记为W)。待优化的状态变量包括世界坐标系下的IMU位置

本发明实施例中，所述位姿约束关系包括全局位姿约束关系、IMU预积分约束关系、速度约束关系和点云配准约束关系。下面对各位姿约束关系的建立过程进行示意性介绍。

(1)全局位姿约束关系

全局位姿约束关系也可称为绝对位姿约束，根据上一时刻的位姿和上一时刻至当前时刻对应的位姿改变量，估算当前时刻的当前位姿，其中，位姿改变量通过IMU积分得到，若估算的当前位姿与组合导航设备的位姿观测值的差距小于预设差距阈值，则根据位姿的状态变量和组合导航设备的位姿观测值建立当前时刻对应的全局位姿约束关系；否则，丢弃当前时刻对应的全局位姿约束关系。

全局位姿约束关系可通过以下表达式表示：

其中，r

(2)IMU预积分约束关系

IMU可以实时测量角速度和加速度，通过进行预积分可以得到关于IMU位置、姿态以及速度的约束，增加状态估计的平滑性，所述IMU预积分约束通过以下表达式表示：

其中，r

(3)速度约束关系

轮速计可以测量车轮在世界坐标系下的运行速度：

其中，

结合IMU坐标系与车体坐标系间的外参，可得IMU坐标系下的速度为：

其中，ω表示IMU陀螺仪测量的角速度，

综上，根据轮速计和陀螺仪观测可建立关于速度的误差函数：

其中，r

(4)点云配准约束关系

对于预设滑动窗口(以下简称滑动窗口或滑窗)中的各个关键帧，可依次使用k维树(KD-Tree)算法为其建立特征点到Local Map的关联，各关键帧的位姿被用作KD-Tree进行最近邻搜索的初值。对于当前帧，使用上一个关键帧的位姿以及IMU积分得到的帧间位姿改变量确定点云配准的初值，之后根据搜索得到的最近邻特征点集，为各线特征点和面特征点建立对应的线误差函数和面误差函数。也就是说，针对线特征点和平面特征点分别采用KD-Tree算法根据初始配准位姿在局部地图中进行最近邻搜索，得到对应的最近邻特征点集，并根据对应的最近邻特征点集分别建立线误差函数和面误差函数。

对于任一线特征点x

其中，r

对于任一面特征点x

其中，r

相应的，所述点云配准约束通过以下表达式表示：

其中，r

步骤202、对图像采集装置采集的图像进行语义分割处理，得到语义对象所在区域的二维轮廓。

本发明实施例中的语义对象可包括车道线和/或路杆，为了便于说明，下面以同时包括车道线和路杆为例。可先通过基于深度学习的语义分割方法从图像中检测出对应于车道线和路杆的像素区域，之后结合激光雷达提供的深度信息计算出车道线和路杆的3D信息。为了便于帧间语义信息的数据关联和联合优化，可以用几何图形对车道线和路杆进行参数化。

对于车道线，对应的三维轮廓包括空间矩形，空间矩形的表征量包括中心点(C)、法向量(N)、长边向量(T)、长度(L)和宽度(W)中，每段虚线车道线对应一个空间矩形，每条实线车道线根据其长度和曲率对应多个空间矩形。

示例性的，通过语义分割，从图像中提取出属于车道线的像素区域，之后通过图像处理可进一步得到车道线区域的2D轮廓。

对于路杆，对应的三维轮廓包括柱体，柱体的表征量包括顶面中心点(也可称为起始点，记为S)、底面中心点(也可称为结束点，记为E)和半径(d)。

示例性的，通过语义分割，从图像中提取出属于路杆的像素区域，之后通过图像处理可进一步得到路杆的2D轮廓。

步骤203、将点云采集装置采集的点云投射到图像中，并根据二维轮廓确定语义对象对应的目标三维点。

示例性的，通过相机内参以及相机与激光雷达间的外参，可以将激光雷达测量得到的3D点投射到图像，并根据2D轮廓得到对应于车道线和路杆的激光雷达点。

步骤204、对目标三维点进行平面拟合或直线拟合，得到对应的空间方程。

对于车道线，由于对应的区域通常在一个平面上，所以对上述激光雷达点进行平面拟合即可得到对应的空间平面方程。

所述空间平面方程通过如下表达式表示：

其中，n＝(n

对于路杆，通过对属于路杆的激光点进行直线拟合，可以得到路杆所对应的直线方程，并可计算出属于路杆的各激光点到该直线的距离，可将该距离的均值作为路杆半径d，并采用方向向量m＝(m

步骤205、根据二维轮廓的像素坐标、图像采集装置的内参以及图像采集装置与点云采集装置之间的外参确定目标三维点的三维坐标。

对于车道线，根据几何关系，可知2D轮廓所对应的3D点坐标，也即目标三维点的三维坐标通过如下表达式表示：

其中，u和v表示二维轮廓的点的像素坐标，f

对于路杆，由于路杆两个端点的像素坐标和直线方程已知，根据几何关系可以得到两个端点S和E的三维坐标，也即目标三维点的三维坐标通过如下表达式表示：

其中，u和v表示两端点的像素坐标，f

步骤206、根据空间方程和目标三维点的三维坐标对目标三维点进行拟合，得到语义对象对应的三维轮廓的观测值。

对于车道线，可以使用PCA方法对车道线轮廓所对应的3D点集进行拟合，可以得到3D矩形的中心点、法向量、长边向量、长度和宽度。同理，对于路杆，可以使用PCA方法对路杆所对应的3D点集进行拟合，可以得到柱体的顶面中心点、底面中心点和半径。

步骤207、对于预设滑动窗口中的每个关键帧，建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新语义对象状态变量集合中的语义对象状态变量，并建立当前关键帧中各三维轮廓所对应的误差函数。

对于车道线，为了融合滑动窗口中所有的车道线观测以提升建图精度，可维护一个动态更新的车道线状态变量集合M。滑窗内每一帧拟合得到的车道线矩形均与M进行关联，并建立误差函数。

对于虚线空间矩形，可根据中心点坐标来建立观测与M的关联，首先根据当前帧的全局位姿对中心点进行坐标变换，得到该矩形中心点在世界坐标系下的坐标，若可以在一定阈值范围内找到相对应的状态变量，即认为成功关联，并建立一个误差函数，若无法找到对应的状态变量，则创建一个新的状态变量，并建立误差函数。

虚线车道线误差函数通过以下表达式表示：

其中，r

对于实线空间矩形，关联方式可以虚线空间矩形类似，也即，可根据中心点坐标来建立观测与M的关联，首先根据当前帧的全局位姿对中心点进行坐标变换，得到该矩形中心点在世界坐标系下的坐标，若可以在一定阈值范围内找到相对应的状态变量，即认为成功关联，并建立一个误差函数，若无法找到对应的状态变量，则创建一个新的状态变量，并建立误差函数。

由于实线是连续的，且状态变量与各帧的拟合结果无严格的对应关系，所以需建立状态变量中心点到各观测中心线的距离，且无需优化矩形的长度，实线车道线误差函数通过以下表达式表示：

其中，r

综合一帧中所有的车道线拟合结果，可得到当前关键帧中的空间矩形对应的车道线误差函数，可通过以下表达式表示：

其中，r

对于路杆，为了融合滑动窗口中所有的路杆观测以提升建图精度，可维护一个动态更新的路杆状态变量集合N。滑窗内每一帧拟合得到的路杆均与N进行关联，并建立误差函数。可根据路杆的两个端点坐标来建立观测与N的关联。首先根据当前帧的全局位姿对端点坐标进行坐标变换，得到该两端点在世界坐标系下的坐标。对于状态变量集合N，若存在某个状态变量与当前路杆两端点的距离差小于阈值，则认为关联成功，并建立一个误差函数，若无法找到对应的状态变量，则创建一个新的状态变量，并建立误差函数。

路杆误差函数通过以下表达式表示：

其中，r

综合一帧中所有的路杆拟合结果，可得到当前关键帧中的柱体对应的路杆误差函数，可通过以下表达式表示：

其中，r

步骤208、根据预设滑动窗口中各关键帧分别对应的误差函数，建立语义约束关系。

示例性的，语义约束关系可以表示为：

其中，n

步骤209、根据位姿约束关系和语义约束关系构建预设滑动窗口内各关键帧对应的联合优化目标函数。

综合滑动窗口内各帧的预积分约束r

其中，X＝{R,P,v,b

步骤210、针对联合优化目标函数进行求解，得到各状态变量的估计值，其中，将语义对象状态变量的估计值记为语义结果，将位置状态变量和姿态状态变量的估计值记为位姿结果。

示例性的，可以采用Ceres-Solver对上述联合优化目标函数进行求解，得到各状态变量的估计值。

步骤211、根据语义结果和位姿结果构建语义地图和点云地图。

示例性的，对于车道线来说，可以依据几何关系根据语义结果计算空间矩形的四个角点，对各角点进行连接处理，得到车道线的3D轮廓，综合所有车道线的3D轮廓，得到车道线的语义地图。其中，对于虚线车道线，3D轮廓与空间矩形的四个角点顺次连线相对应，对于实线车道线，3D轮廓与按照空间顺序顺次连接长度方向上的角点得到的两条边线相对应。

示例性的，对于路杆来说，可以依据几何关系根据语义结果确定顶面中心点和底面中心点，再根据半径构建路杆的3D轮廓，综合所有路杆的3D轮廓，得到路杆的语义地图。

对于点云地图，可以使用优化后的位姿将运动补偿后的点云叠起来，即可得到稠密的点云地图。

本发明实施例通过采用上述技术方案，首先，通过对组合导航设备、轮速计、相机、以及激光雷达的观测数据进行融合建模，建立了关于系统状态的全局约束和局部一致性约束，有效提升了位姿估计的精度和鲁棒性，并可实现在隧道、跨海大桥等场景下的正常建图，通过基于图片的语义分割技术，有效检测出属于车道线和路杆的像素区域，之后结合激光雷达的3D观测，计算出车道线和路杆的3D信息，并利用时序信息对不同时刻的车道线观测和路杆观测进行联合优化，提升了语义地图的精度和一致性。

为验证本发明实施例技术方案的有效性，使用装配了GNSS、IMU、轮速计、相机、激光雷达等传感器的数据采集车，采集了多种复杂路况下的道路数据进行实验验证。图4为本发明实施例提供的大桥场景的地图构建结果示意图，其中，子图A为大桥场景图，子图B为构建的点云地图，子图C为构建的语义地图示意图，子图D为优化出的位置(X，Y和Z分别表示空间坐标系下的三个坐标分量)与真实值的差值曲线图。图5为本发明实施例提供的隧道场景的地图构建结果示意图，子图A为隧道场景图，子图B为构建的点云地图，子图C为构建的语义地图示意图，子图D为优化出的位置(X，Y和Z分别表示空间坐标系下的三个坐标分量)与真实值的差值曲线图。通过采集车采集图4所示大桥场景下的相关数据以及采集图5所示隧道场景下的相关数据，采用本发明实施例提供的技术方案进行地图构建，以语义对象为车道线为例。采集车装备了高精度的商用组合导航设备，其后处理结果可以作为位姿的真实值，为了验证车道线地图的精度，通过测绘设备测量了一部分车道线虚线角点的空间位置坐标(下文简称作绝对位置点)。参见图4和图5可以看出，本发明实施例提供的技术方案在跨海大桥、隧道等复杂路况下依然可以建图，且计算得到的位置与真值的误差在10cm以内，此外，所构建的车道线地图的角点坐标与绝对位置点的差也在10cm以内，有效保证了建图的精度和准确度。

图6为本发明实施例提供的一种地图构建装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行地图构建方法来进行地图构建。如图6所示，该装置包括：

数据获取模块601，用于获取预设传感器采集的传感器数据；

约束关系建立模块602，用于根据传感器数据建立可移动物体的位姿约束关系和语义对象的语义约束关系；

联合求解模块603，用于根据所述位姿约束关系和所述语义约束关系进行联合优化求解，确定语义对象的语义结果和所述可移动物体的位姿结果；

地图构建模块604，用于根据所述语义结果和所述位姿结果构建语义地图和点云地图。

本发明实施例中提供的地图构建装置，将语义地图的构建过程和点云地图的构建过程相融合，利用位姿约束关系和语义约束关系进行联合求解，使得语义结果和位姿结果能够形成相互约束关系，可以快速准确地得到语义地图和点云地图，进而得到更加精准的高精度地图，有利于提高可移动物体的自主移动性能。

可选的，预设传感器采集的传感器数据包括图像采集装置采集的图像和点云采集装置采集的点云，约束关系建立模块具体用于：根据所述图像和所述点云，确定各语义对象对应的三维轮廓的观测值；基于所述三维轮廓的观测值建立语义约束关系。

可选的，所述根据所述图像和所述点云，确定语义对象对应的三维轮廓的观测值，包括：对所述图像进行语义分割处理，得到语义对象所在区域的二维轮廓；将所述点云投射到所述图像中，并根据所述二维轮廓确定所述语义对象对应的目标三维点；对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值。

可选的，所述对所述目标三维点进行拟合，得到所述语义对象对应的三维轮廓的观测值，包括：对所述目标三维点进行平面拟合或直线拟合，得到对应的空间方程；根据所述二维轮廓的像素坐标、所述图像采集装置的内参以及所述图像采集装置与所述点云采集装置之间的外参确定所述目标三维点的三维坐标；根据所述空间方程和所述目标三维点的三维坐标对所述目标三维点进行拟合，得到语义对象对应的三维轮廓的观测值。

可选的，所述语义对象包括车道线，所述车道线对应的三维轮廓包括空间矩形，所述空间矩形的表征量包括中心点、法向量、长边向量、长度和宽度中的至少一种，所述车道线对应的目标三维点对应的拟合方式为平面拟合，从而得到对应的空间平面方程；其中，每段虚线车道线对应一个空间矩形，每条实线车道线根据其长度和曲率对应多个空间矩形。

可选的，所述语义对象包括路杆，所述路杆对应的三维轮廓包括柱体，所述柱体的表征量包括顶面中心点、底面中心点和半径中的至少一种；所述路杆对应的目标三维点对应的拟合方式为直线拟合，从而得到对应的空间直线方程。

可选的，所述基于所述三维轮廓的观测值建立语义约束关系，包括：对于预设滑动窗口中的每个关键帧，建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，并建立当前关键帧中各三维轮廓所对应的误差函数；根据所述预设滑动窗口中各关键帧分别对应的误差函数，建立语义约束关系。

可选的，对于车道线，所述建立当前关键帧中的三维轮廓的观测值与语义对象状态变量集合之间的关联，以更新所述语义对象状态变量集合中的语义对象状态变量，包括：对于当前关键帧中的每个空间矩形，在同一坐标系下计算当前空间矩形的中心点的观测值与车道线状态变量集合中的各矩形状态变量的中心点的第一距离，若存在小于第一预设距离阈值的第一距离，则将当前空间矩形与对应的矩形状态变量建立关联，若不存在，则在车道线状态变量集合中创建当前空间矩形对应的矩形状态变量。

可选的，当前关键帧中的误差函数包括空间矩形对应的车道线误差函数和/或柱体对应的路杆误差函数，所述车道线误差函数包括各虚线车道线的误差函数和各实线车道线的误差函数。

可选的，虚线车道线的误差函数包括：关于中心点、法向量、长边向量、长度和宽度的状态变量与观测值的误差函数，以及法向量和长边向量的状态变量分别与单位向量的误差函数。

可选的，实线车道线的误差函数包括：关于法向量、长边向量和宽度的状态变量与观测值的误差函数，中心点的状态变量到观测中心线的第二距离，以及法向量和长边向量的状态变量分别与单位向量的误差函数。

可选的，所述预设传感器包括GNSS、惯性测量单元IMU、轮速计、图像采集装置和点云采集装置中的一个或多个；其中，所述IMU中包括加速度计和陀螺仪，GNSS还可以和IMU组成组合导航设备；其中，所述位姿约束关系包括以下一个或多个：全局位姿约束关系、IMU预积分约束关系、速度约束关系和点云配准约束关系。

可选的，约束关系建立模块具体用于：在所述位姿约束关系包括全局位姿约束关系的情况下，根据上一时刻的位姿和上一时刻至当前时刻对应的位姿改变量，估算当前时刻的当前位姿，其中，位姿改变量通过IMU积分得到；若估算的当前位姿与位姿观测值的差距小于预设差距阈值，则根据位姿的状态变量和位姿观测值建立当前时刻对应的全局位姿约束关系；否则，丢弃当前时刻对应的全局位姿约束关系。

可选的，所述联合求解模块具体用于：根据所述位姿约束关系和所述语义约束关系构建预设滑动窗口内各关键帧对应的联合优化目标函数；针对所述联合优化目标函数进行求解，得到各状态变量的估计值；其中，将语义对象状态变量的估计值记为语义结果，将位置状态变量和姿态状态变量的估计值记为位姿结果。

可选的，所述地图构建模块具体用于：根据所述语义结果和几何关系计算语义对象的角点；对各角点进行连接处理，得到语义对象的3D轮廓；综合各语义对象的3D轮廓，得到语义对象的语义地图；根据所述位姿结果对点云进行叠加，得到点云地图；其中，对于虚线车道线，3D轮廓与空间矩形的四个角点顺次连线相对应，对于实线车道线，3D轮廓与按照空间顺序顺次连接长度方向上的角点得到的两条边线相对应。

可选的，所述点云配准约束通过以下方式得到：对于预设滑动窗口内各关键帧的点云，根据点云中的点的曲率信息将各点划分为线特征点和平面特征点；对于预设滑动窗口内的每个关键帧，将上一关键帧的位姿与IMU积分得到的帧间位姿改变量进行叠加，得到当前关键帧对应的初始配准位姿；针对线特征点和平面特征点，分别根据初始配准位姿在局部地图中进行最近邻搜索，得到对应的最近邻特征点集，所述局部地图包括所述预设滑动窗口中各关键帧的特征点；根据对应的最近邻特征点集分别建立线误差函数和面误差函数；根据所述预设滑动窗口内的各线误差函数和面误差函数确定点云配准约束。

可选的，根据线特征点对应的最近邻特征点集建立线误差函数，包括：根据线特征点对应的最近邻特征点集进行直线拟合，根据线特征点到对应的拟合直线的距离确定线误差函数。根据平面特征点对应的最近邻特征点集建立面误差函数，包括：根据平面特征点对应的最近邻特征点集进行平面拟合，根据平面特征点到对应的拟合平面的距离确定面误差函数。

本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的地图构建装置。图7为本发明实施例提供的一种计算机设备的结构框图。计算机设备700可以包括：存储器701，处理器702及存储在存储器701上并可在处理器运行的计算机程序，所述处理器702执行所述计算机程序时实现如本发明实施例所述的地图构建方法。这里的计算机设备可以集成到可移动物体中，此时，计算机设备也可认为是可移动物体本身，如车辆；计算机设备也可外接于可移动物体或与可移动物体进行通信。

本发明实施例提供的计算机设备，将语义地图的构建过程和点云地图的构建过程相融合，利用位姿约束关系和语义约束关系进行联合求解，使得语义结果和位姿结果能够形成相互约束关系，可以快速准确地得到语义地图和点云地图，进而得到更加精准的高精度地图，有利于提高可移动物体的自主移动性能。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时实现如本发明实施例提供的地图构建方法。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

上述实施例中提供的地图构建装置、设备及存储介质可执行本发明任意实施例所提供的地图构建方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的地图构建方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。