矿区障碍物检测方法及系统

技术领域

本发明涉及目标检测技术领域，尤其涉及一种矿区障碍物检测方法及系统。

背景技术

随着自动驾驶技术的突破，矿区无人化运输受到广泛的关注，作为无人驾驶的最佳应用场景，矿区的场景模式单一，运输路线较为固定，且矿区环境恶劣，部分地区的天气十分严寒，应用无人驾驶技术可以大大节省人力成本，提高工业效率。但是，矿区场景为非结构化道路，路况复杂多变，路面小障碍物较多且尺度变化大，给无人驾驶系统引入了不安全因素。因此，提升路面低洼、高突小障碍物的检测能力，是保证无人驾驶矿卡平稳运行的基础，也是提升无人驾驶矿卡运行效率的关键。

现有技术中，矿区无人驾驶系统对于小障碍物的感知主要采用传统激光雷达点云处理方法，但受制于激光雷达点云稀疏性的缺点和易受物体表面发射率的影响，无法准确检测路面低凸起小障碍物(车辙)和高表面反射率的小障碍物(水坑和淤泥)。

发明内容

本发明提供的矿区障碍物检测方法及系统，用于解决现有技术中存在的受制于激光雷达点云稀疏性的缺点和易受物体表面发射率的影响，无法实现对车辙、水坑、淤泥等矿区路面小障碍物的实时精准检测问题。

本发明提供的一种矿区障碍物检测方法，包括：

基于连续的车辆位置信息和连续的车辆单帧三维语义点云数据，构建局部语义点云地图，所述局部语义点云地图由矿区障碍物语义点云数据和矿区障碍物周围预设范围内的地面点云数据构成，所述车辆单帧三维语义点云数据通过将实时获取的车辆视觉图像数据中的矿区障碍物语义信息赋予实时获取的车辆三维点云数据后得到，所述矿区障碍物语义信息用于表征矿区障碍物所属类别；

基于矿区障碍物数据，构建局部矿区障碍物地图，所述矿区障碍物数据包括矿区障碍物的位置、边界和高度信息；

基于所述局部语义点云地图、所述局部矿区障碍物地图和车辆当前位置信息，获取车辆前方矿区障碍物的信息，所述信息包括车辆前方矿区障碍物所属类别及车辆前方矿区障碍物数据，所述车辆前方矿区障碍物数据包括车辆前方矿区障碍物的位置、边界和高度信息。

根据本发明提供的一种矿区障碍物检测方法，所述基于所述局部语义点云地图、所述局部矿区障碍物地图和车辆当前位置信息，获取车辆前方矿区障碍物的信息，包括：

基于所述局部语义点云地图和所述局部矿区障碍物地图，获得矿区障碍物区域的包络框、矿区障碍物点云数据和地面点云数据；

对所述地面点云数据进行拟合，得到地平面高度；

根据矿区障碍物的高度信息和所述地平面高度，对所述矿区障碍物进行凸起和低凹判断；

根据判断结果、所述局部矿区障碍物地图和所述车辆当前位置信息，获取所述车辆前方矿区障碍物的信息。

根据本发明提供的一种矿区障碍物检测方法，所述基于所述局部语义点云地图和所述局部矿区障碍物地图，获得矿区障碍物区域的包络框、矿区障碍物点云和地面点云数据，包括：

对所述局部矿区障碍物地图中的矿区障碍物点云数据进行计算，得到所述矿区障碍物区域的包络框；

从所述局部矿区障碍物地图中提取所述矿区障碍物区域的包络框中的矿区障碍物点云数据；

从所述局部语义点云地图中提取所述矿区障碍物区域的包络框中的矿区障碍物周围预设范围内的所述地面点云数据。

根据本发明提供的一种矿区障碍物检测方法，所述基于连续的车辆位置信息和连续的车辆单帧三维语义点云数据，构建局部语义点云地图，包括：

基于所述连续的车辆位置信息，对所述连续的车辆单帧三维语义点云数据进行预处理，所述预处理至少包括点云配准、点云滤波和点云拼接；

基于预处理后的连续的车辆单帧三维语义点云数据，构建所述局部语义点云地图。

根据本发明提供的一种矿区障碍物检测方法，所述车辆单帧三维语义点云数据的获取方式，包括：

对所述实时获取的车辆视觉图像数据进行图像语义分割，得到二维语义分割图，所述二维语义分割图中的每个像素点均被赋予所述矿区障碍物语义信息，所述车辆视觉图像数据通过部署在车辆的相机获取；

根据所述实时获取的车辆三维点云数据、外参标定矩阵和所述二维语义分割图，将所述车辆三维点云数据投影到所述二维语义分割图上，得到所述车辆三维点云数据与所述二维语义分割图中的每个像素点的匹配关系，所述外参标定矩阵根据部署在所述车辆的激光雷达和所述相机之间的转换关系确定，所述车辆三维点云数据通过所述激光雷达获取；

根据所述匹配关系，将每个像素点对应的所述矿区障碍物语义信息赋予所述车辆三维点云数据，得到所述车辆单帧三维语义点云数据。

根据本发明提供的一种矿区障碍物检测方法，所述基于矿区障碍物数据，构建局部矿区障碍物地图，包括：

对连续单帧矿区障碍物数据进行合并和剔除处理，所述单帧矿区障碍物数据为单帧矿区障碍物包络框对应的矿区障碍物数据，所述单帧矿区障碍物包络框根据所述车辆单帧三维语义点云数据得到；

对合并和剔除处理后的连续单帧矿区障碍物数据进行融合，得到融合后的连续单帧矿区障碍物数据；

根据所述融合后的连续单帧矿区障碍物数据，构建所述局部矿区障碍物地图本发明还提供一种矿区障碍物检测系统，包括：

第一构建模块，用于基于连续的车辆位置信息和连续的车辆单帧三维语义点云数据，构建局部语义点云地图，所述局部语义点云地图由矿区障碍物语义点云数据和矿区障碍物周围预设范围内的地面点云数据构成，所述车辆单帧三维语义点云数据通过将实时获取的车辆视觉图像数据中的矿区障碍物语义信息赋予实时获取的车辆三维点云数据后得到，所述矿区障碍物语义信息用于表征矿区障碍物所属类别；

第二构建模块，用于基于矿区障碍物数据，构建局部矿区障碍物地图，所述矿区障碍物数据包括矿区障碍物的位置、边界和高度信息；

检测模块，用于获取车辆前方矿区障碍物的信息，所述信息包括车辆前方矿区障碍物所属类别及车辆前方矿区障碍物数据，所述车辆前方矿区障碍物数据包括车辆前方矿区障碍物的位置、边界和高度信息。

本发明还提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现如上述任一种所述矿区障碍物检测方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述矿区障碍物检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述矿区障碍物检测方法。

本发明提供的矿区障碍物检测方法及系统，通过对视觉图像数据的矿区障碍物语义信息与三维点云数据进行融合，构建车辆单帧三维语义点云数据，并基于此构建局部语义点云地图，再利用矿区障碍物数据构建局部矿区障碍物地图，同时结合车辆当前位置信息对车辆前方的矿区障碍物所属类别以及矿区障碍物数据进行检测，实现对各类别矿区障碍物位置、边界和高度信息的实时精准检测。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的矿区障碍物检测方法的流程示意图之一；

图2是本发明提供的矿区障碍物检测方法的流程示意图之二；

图3是本发明提供的矿区障碍物检测系统的结构示意图；

图4是本发明提供的电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

受制于激光雷达点云稀疏性的缺点和物体表面反射率的影响，传统激光雷达点云检测方法无法准确检测矿区路面低洼及高突小障碍物，而视觉图像能够准确获得环境的稠密纹理信息，本发明提供一种矿区障碍物检测方法，可以适用于对矿区路面低洼及高凸小障碍物的检测，通过对视觉图像数据进行二维(简称为2D)图像语义分割，然后融合激光雷达三维(简称为3D)点云数据，构建车辆单帧3D语义点云数据，再利用时序信息融合多帧矿区障碍物，同时结合车辙小障碍物的高突特征及水坑淤泥小障碍物的低洼特征，对矿区障碍物点云进行多维度评判，获得准确的矿区障碍物位置、边界、高度信息，从而实现对车辙、水坑、淤泥等矿区路面小障碍物的实时精确检测，具体实现如下：

图1是本发明提供的矿区障碍物检测方法的流程示意图之一，如图1所示，方法包括：

步骤110、基于连续的车辆位置信息和连续的车辆单帧三维语义点云数据，构建局部语义点云地图，所述局部语义点云地图由矿区障碍物语义点云和矿区障碍物周围预设范围内的地面点云构成，所述车辆单帧三维语义点云数据通过将实时获取的车辆视觉图像数据中的矿区障碍物语义信息赋予实时获取的车辆三维点云数据后得到，所述矿区障碍物语义信息用于表征矿区障碍物所属类别；

步骤120，基于矿区障碍物数据，构建局部矿区障碍物地图，所述矿区障碍物数据包括矿区障碍物的位置、边界和高度信息；

步骤130，基于所述局部语义点云地图、所述局部矿区障碍物地图和车辆当前位置信息，获取车辆前方矿区障碍物的信息，所述信息包括车辆前方矿区障碍物所属类别及车辆前方矿区障碍物数据，所述车辆前方矿区障碍物数据包括车辆前方矿区障碍物的位置、边界和高度信息。

需要说明的是，上述方法的执行主体可以是计算机设备。

可选地，该连续的车辆位置信息可以通过全球定位系统(Global PositioningSystem，GPS)或惯性测量单元(Inertial Measurement Unit，IMU)等传感器获取，而车辆单帧3D语义点云数据可以通过将实时获取的车辆视觉图像数据中的矿区障碍物语义信息赋予实时获取的车辆3D点云数据后得到，该矿区障碍物语义信息可以具体用于表示矿区障碍物所属类别，例如，矿区路面的高凸小障碍物，如车辙障碍物等，矿区路面的低洼/低凹小障碍物，如淤泥障碍物、水坑障碍物等。

具体而言，通过使用连续的车辆位置信息和连续的车辆单帧3D语义点云数据构建局部语义点云地图，其中，局部语义点云地图构建过程中，为降低内存占用和减少点云数据的计算量，该局部语义点云地图中的地图元素只包括矿区障碍物语义点云数据和矿区障碍物周围预设范围内的地面点云数据，同时可以采用不同的颜色对矿区障碍物语义点云数据和地面点云数据进行区分，黄色点云为矿区障碍物语义点云数据，白色点云为矿区障碍物周围预设范围内的地面点云数据。

使用矿区障碍物数据，构建局部矿区障碍物地图，该矿区障碍物数据可以具体为单帧矿区障碍物包络框对应的矿区障碍物的数据，该单帧包络框可以具体为使用车辆单帧3D语义点云数据计算矿区障碍物区域包络框，并使用不同颜色区分矿区障碍物区域包络框中的车辆单帧3D语义数据和单帧矿区障碍物包络框，如彩色点云为车辆单帧3D语义点云数据，蓝色多边形框为单帧矿区障碍物包络框。

基于局部语义点云地图、局部矿区障碍物地图和车辆当前位置信息，获取车辆前方矿区障碍物的信息，具体包括车辆前方矿区障碍物所属类别(例如车辙障碍物、淤泥障碍物和水坑障碍物等)以及车辆前方矿区障碍物数据(包括车辆前方矿区障碍物的位置、边界和高度信息)。

本发明提供的矿区障碍物检测方法，通过对视觉图像数据的矿区障碍物语义信息与三维点云数据进行融合，构建车辆单帧三维语义点云数据，并基于此构建局部语义点云地图，再利用矿区障碍物数据构建局部矿区障碍物地图，同时结合车辆当前位置信息对车辆前方的矿区障碍物所属类别以及矿区障碍物数据进行检测，实现对各类别矿区障碍物(例如车辙、水坑、淤泥等矿区路面小障碍物)位置、边界和高度信息的实时精准检测。

进一步地，在一个实施例中，所述基于所述局部点云地图、所述局部矿区障碍物地图和车辆当前位置信息，获取车辆前方矿区障碍物的信息，包括：

基于所述局部语义点云地图和所述局部矿区障碍物地图，获得矿区障碍物区域的包络框、矿区障碍物点云数据和地面点云数据；

对所述地面点云数据进行拟合，得到地平面高度；

根据矿区障碍物的高度信息和所述地平面高度，对所述矿区障碍物进行凸起和低凹判断；

根据判断结果、所述局部矿区障碍物地图和所述车辆当前位置信息，获取所述车辆前方矿区障碍物的信息。

可选地，从局部矿区障碍物地图和局部语义点云地图中，获得矿区障碍物区域的包络框(例如包络多边形框)、矿区障碍物点云数据和矿区障碍物周围预设范围内的地面点云数据。

使用随机抽样一致性RANSAC等算法，对地面点云数据进行拟合，得到一个平面模型，并基于此得到地平面高度。

对矿区障碍物点云数据进行高度计算，得到矿区障碍物的高度信息。可以通过将矿区障碍物点云数据投影到地平面上，然后计算矿区障碍物点云数据到地平面的距离来实现矿区障碍物的高度信息计算。

将矿区障碍物的高度信息与地平面高度作差，对矿区障碍物进行凸起或低凹判断，得到判断结果，具体而言，若差值为正，则代表矿区障碍物的高度高于地平面高度，矿区障碍物为凸起障碍物，否则，矿区障碍物为低凹障碍物。

将车辆当前位置信息映射到局部矿区障碍物地图中，结合上述判断结果，便可以确定车辆前方的矿区障碍物的信息。

进一步地，在一个实施例中，所述基于所述局部语义点云地图和所述局部矿区障碍物地图，获得矿区障碍物区域的包络框、矿区障碍物点云和地面点云数据，包括：

对所述局部矿区障碍物地图中的矿区障碍物点云数据进行计算，得到所述矿区障碍物区域的包络框；

从所述局部矿区障碍物地图中提取所述矿区障碍物区域的包络框中的矿区障碍物点云数据；

从所述局部语义点云地图中提取所述矿区障碍物区域的包络框中的矿区障碍物周围预设范围内的所述地面点云数据。

可选地，使用凹包或凸包搜索策略，对局部矿区障碍物地图中的矿区障碍物点云数据进行计算，得到一个多边形框来表示矿区障碍物区域的包络框。从局部矿区障碍物地图中提取矿区障碍物区域的包络框对应的矿区障碍物点云数据，用于后续的矿区障碍物的高度信息计算和凸起或低凹判断。

从局部语义点云地图中提取矿区障碍物区域的包络框对应的矿区障碍物预设范围内的地面点云数据，用于地平面拟合和地平面高度计算。

本发明提供的矿区障碍物检测方法，针对传统激光雷达点云检测方法无法准确检测矿区路面低洼和凸起小障碍物的问题，本发明提出基于视觉与激光雷达融合的矿区路面低洼、凸起小障碍物检测方法。该方法通过融合激光雷达点云的位置信息和视觉图像的纹理信息，实现对车辙、水坑、淤泥等矿区路面小障碍物的实时精准检测。

进一步地，在一个实施例中，所述基于连续的车辆位置信息和连续的车辆单帧三维语义点云数据，构建局部语义点云地图，包括：

基于所述连续的车辆位置信息，对所述连续的车辆单帧三维语义点云数据进行预处理，所述预处理至少包括点云配准、点云滤波和点云拼接；

基于预处理后的连续的车辆单帧三维语义点云数据，构建所述局部语义点云地图。

可选地，创建3D语义点云队列：使用一个数据结构(例如队列)来存储连续的车辆单帧3D语义点云数据。每当新的车辆单帧3D点云数据到达时，将其加入队列，并移除过时的数据，以保持队列的长度不变。

基于连续的车辆位置信息，对3D语义点云队列中的连续的车辆单帧3D语义点云数据进行点云配准、点云滤波以及点云拼接等预处理。

点云配准：对于3D语义点云队列中的连续的车辆单帧3D语义点云数据，进行点云配准以消除不同帧之间的姿态差异。常见的点云配准算法包括ICP(Iterative ClosestPoint)和NDT(Normal Distributions Transform)等。这些算法可以估计出点云之间的刚体变换，使它们在同一坐标系下对齐。

点云滤波：对配准后的连续的车辆单帧3D语义点云数据进行滤波操作，以去除噪声和离群点。常见的点云滤波方法包括体素滤波、统计滤波和高斯滤波等。这些滤波方法可以平滑点云数据并提高数据质量。

点云拼接：将配准并滤波后的连续的车辆单帧3D语义点云数据进行拼接，形成一个更大的点云。拼接可以通过简单的点云连接或更复杂的算法，如基于特征匹配的拼接方法来实现。

构建局部语义点云地图：使用拼接后的连续的车辆单帧3D点云数据构建局部语义点云地图。可以根据连续的车辆单帧3D点云数据中的矿区障碍物语义信息对不同类别的矿区障碍物进行分割和标记，从而实现地图的语义化。此外，还可以使用体素网格或Octree等数据结构来组织和存储连续的车辆单帧3D点云数据，以便进行快速的地图查询和更新。

进一步地，在一个实施例中，所述车辆单帧三维语义点云数据的获取方式，包括：

对所述实时获取的车辆视觉图像数据进行图像语义分割，得到二维语义分割图，所述二维语义分割图中的每个像素点均被赋予所述矿区障碍物语义信息，所述车辆视觉图像数据通过部署在车辆的相机获取；

根据所述实时获取的车辆三维点云数据、外参标定矩阵和所述二维语义分割图，将所述车辆三维点云数据投影到所述二维语义分割图上，得到所述车辆三维点云数据与所述二维语义分割图中的每个像素点的匹配关系，所述外参标定矩阵根据部署在所述车辆的激光雷达和所述相机之间的转换关系确定，所述车辆三维点云数据通过所述激光雷达获取；

根据所述匹配关系，将每个像素点对应的所述矿区障碍物语义信息赋予所述车辆三维点云数据，得到所述车辆单帧三维语义点云数据。

可选地，车辆视觉图像数据可以具体有部署在车辆的相机获取。

具体而言，使用相机或摄像头等设备获取实时的车辆视觉图像数据。可以使用USB相机、工业相机、手机等设备来获取图像。

数据预处理：对于实时获取的车辆的视觉图像数据，需要进行预处理以提高分割算法的效果。常见的预处理方法包括图像去噪、图像增强、图像缩放等。

选择合适的2D图像语义分割算法：根据实际需求和场景特点，选择合适的2D图像语义分割算法。例如包括全卷积网络(Fully Convolutional Networks，FCN)、Unet、SegNet等。

训练模型：使用已标注的车辆视觉图像数据集进行训练，得到一个适用于当前场景的2D图像语义分割模型。训练过程需要大量的计算资源和时间。

进行2D图像语义分割：使用训练好的模型对实时获取的车辆视觉图像数据进行分割，将每个像素点分配到不同的语义类别(即矿区障碍物语义信息)中，例如车辙、淤泥、水坑等障碍物，得到2D语义分割图。

可视化结果：将分割得到的2D语义分割图可视化，例如使用不同颜色表示不同的语义类别，以便于后续的处理和决策。

获取实时激光雷达点云数据(即车辆3D点云数据)、激光雷达坐标系-相机坐标系-世界坐标系对应的外参标定数据，并结合得到的2D语义分割图，基于坐标系转换关系，将3D点云投影至2D语义分割图，建立车辆3D点云数据与2D语义分割图中的每个像素点的匹配关系，完成车辆3D点云数据-2D语义分割图像的融合。

具体而言，获取激光雷达数据：使用部署在车辆的激光雷达设备获取实时的点云数据，即车辆3D点云数据。激光雷达会以一定频率扫描周围环境并返回点云数据，其中包含了每个点的三维坐标信息。

进行外参标定：为了将激光雷达坐标系与相机坐标系、世界坐标系进行转换，需要进行外参标定，得到外参标定矩阵。例如使用棋盘格等模板进行标定。通过计算激光雷达和相机之间的转换矩阵，可以得到它们之间的外参关系。

将2D语义分割图投影到车辆3D点云数据上：根据外参标定矩阵，将2D语义分割图的像素位置转换为3D点云上的坐标位置。这样就可以得到2D语义分割图上每个像素点在车辆3D点云数据中的对应位置。

建立车辆3D点云数据和2D语义分割图上每个像素点的匹配关系：通过对比车辆3D点云数据中的每个点在2D语义分割图上的投影位置，可以建立车辆3D点云数据和2D语义分割图上每个像素点的匹配关系。对于每个点云点，在2D语义分割图中找到对应的像素位置，并获取该像素的矿区障碍物语义信息对应的语义标签。

将语义标签赋值给车辆3D点云数据：将匹配到的语义标签赋值给对应的点云点的属性，从而实现矿区障碍物语义信息赋予车辆3D点云数据，得到车辆单帧3D语义点云数据。

本发明提供的矿区障碍物检测方法，针对稀疏的激光雷达点云检测方法无法准确检测小障碍物的问题，本发明提出结合多帧融合的局部区域稠密激光雷达点云的小障碍物凸起、低洼二次判断方法，通过融合多帧三维语义点云，构建稠密局部语义点云地图，并通过拟合地平面，准确地计算小障碍物位置和高度信息，得到小障碍物凸起和低洼信息，实现对车辙、水坑、淤泥等矿区路面小障碍物的实时精准检测。

进一步地，在一个实施例中，所述基于矿区障碍物数据，构建局部矿区障碍物地图，包括：

对连续单帧矿区障碍物数据进行合并和剔除处理，所述单帧矿区障碍物数据为单帧矿区障碍物包络框对应的矿区障碍物数据，所述单帧矿区障碍物包络框根据所述车辆单帧三维语义点云数据得到；

对合并和剔除处理后的连续单帧矿区障碍物数据进行融合，得到融合后的连续单帧矿区障碍物数据；

根据所述融合后的连续单帧矿区障碍物数据，构建所述局部矿区障碍物地图。

可选地，创建矿区障碍物队列存储连续单帧矿区障碍物的位置、边界和高度信息，并对矿区障碍物队列中的连续单帧矿区障碍物数据进行合并、剔除等处理，融合连续单帧矿区障碍物数据，构建局部矿区障碍物地图。

具体而言，获取连续的单帧矿区障碍物位置、边界和高度信息。这些信息可以为单帧矿区障碍物包络框对应的矿区障碍物数据，该单帧矿区障碍物包络框可以具体基于单帧车辆3D语义点云数据计算得到。

创建矿区障碍物队列：使用一个数据结构(例如队列)来存储连续的单帧矿区障碍物数据。每当新的单帧矿区障碍物数据到达时，将其加入矿区障碍物队列，并移除过时的数据，以保持矿区障碍物队列的长度不变。

矿区障碍物合并：对于矿区障碍物队列中的连续单帧矿区障碍物数据，进行矿区障碍物数据合并操作以消除重复的矿区障碍物。可以使用聚类算法(如DBSCAN)将相邻的矿区障碍物点云数据聚类为一个矿区障碍物实例，或者使用距离阈值和形状匹配等方法将相似的矿区障碍物合并为一个。矿区障碍物进行合并后的矿区障碍物区域包络框搜索采用凹包搜索策略。

矿区障碍物剔除：对合并后的矿区障碍物数据进行剔除操作，以去除无效或不感兴趣的矿区障碍物。可以根据矿区障碍物的属性(如速度、大小)或场景上下文来判断矿区障碍物的可靠性和重要性，并剔除不符合条件的矿区障碍物。

矿区障碍物融合：将合并并剔除后的连续单帧矿区障碍物数据进行融合，形成一个更完整和一致的矿区障碍物表示。可以使用滤波方法(如卡尔曼滤波)对矿区障碍物的位置、边界和高度信息进行估计和预测，从而获得更准确和连续的矿区障碍物轨迹信息。

构建局部矿区障碍物地图：使用融合后的连续单帧矿区障碍物数据构建局部矿区障碍物地图。可以将矿区障碍物表示为点云、网格或其他数据结构，并根据矿区障碍物的属性(如类型、大小)进行标记和分类。此外，还可以使用碰撞检测等算法来分析矿区障碍物与车辆或其他物体之间的关系，以实现安全驾驶和路径规划等功能。

图2是本发明提供的矿区障碍物检测方法的流程示意图之二，如图2所示，包括：

步骤S1，获取实时车辆视觉图像数据，并对车辆视觉图像进行2D图像语义分割，得到车辙、淤泥、水坑矿区障碍物的2D语义分割图。

步骤S2，获取实时激光雷达点云数据、激光雷达坐标系-相机坐标系-世界坐标系外参标定数据，并结合步骤S1中得到的2D语义分割图，基于坐标系转换关系，将车辆3D点云数据投影至2D语义分割图，建立车辆3D点云数据-2D语义分割图上每个像素点的匹配关系，完成车辆3D点云数据与2D语义分割图的融合。

步骤S3，基于S2中的匹配关系，将矿区障碍物语义信息赋予3D点云，构建车辆单帧3D语义点云，并基于车辆单帧3D语义点云计算矿区障碍物区域包络框。

步骤S4，基于连续车辆单帧3D语义点云数据和连续的车辆位置信息，创建3D语义点云队列，并对队列中的连续单帧(或称为多帧)车辆3D语义点云数据进行点云配准、点云滤波、点云拼接等传统点云处理方法，融合多帧3D语义点云数据，并构建局部语义点云地图。

步骤S5，基于单帧矿区障碍物的位置、边界、高度信息，创建矿区障碍物队列，并对矿区障碍物队列中的多帧矿区障碍物数据进行合并、剔除等处理，融合多帧矿区障碍物数据，并构建局部矿区障碍物地图。

步骤S6，基于局部语义点云地图、局部矿区障碍物地图，获得矿区障碍物区域包络框、矿区障碍物点云数据和地面点云数据，基于地面点云数据拟合地平面，同时基于矿区障碍物点云数据计算矿区障碍物的高度信息，再对矿区障碍物进行凸起和低凹判断。

步骤S7，结合车辆当前位置信息、局部矿区障碍物地图和判断结果，实时输出车辆前方矿区障碍物的信息。

本发明提出基于视觉与激光雷达融合的矿区路面低洼、高突小障碍物检测方法，通过深度融合图像与点云两种模态信息和增加连续数据帧的时序信息，解决视觉图像检测方法检测不稳定、缺乏3D空间信息和相机视野范围不足的问题，解决激光雷达点云检测方法的难以准确检测路面小障碍物的缺点。

本发明提供的矿区障碍物检测方法，针对视觉图像分割方法对矿区障碍物检测不稳定和相机感知范围较小的问题，本发明提出基于连续帧的多帧矿区障碍物融合方法，通过融合多帧连续矿区障碍物，构建局部矿区障碍物地图，弥补视觉图像分割方法检测不稳定的缺点，同时扩大了相机感知范围。

下面对本发明提供的矿区障碍物检测系统进行描述，下文描述的矿区障碍物检测系统与上文描述的矿区障碍物检测方法可相互对应参照。

图3是本发明提供的矿区障碍物检测系统的结构示意图，如图3所示，包括：

第一构建模块310，用于基于连续的车辆位置信息和连续的车辆单帧三维语义点云数据，构建局部语义点云地图，所述局部语义点云地图由矿区障碍物语义点云数据和矿区障碍物周围预设范围内的地面点云数据构成，所述车辆单帧三维语义点云数据通过将实时获取的车辆视觉图像数据中的矿区障碍物语义信息赋予实时获取的车辆三维点云数据后得到，所述矿区障碍物语义信息用于表征矿区障碍物所属类别；

第二构建模块311，用于基于矿区障碍物数据，构建局部矿区障碍物地图，所述矿区障碍物数据包括矿区障碍物的位置、边界和高度信息；

检测模块312，用于获取车辆前方矿区障碍物的信息，所述信息包括车辆前方矿区障碍物所属类别及车辆前方矿区障碍物数据，所述车辆前方矿区障碍物数据包括车辆前方矿区障碍物的位置、边界和高度信息。

本发明提供的矿区障碍物检测系统，通过对视觉图像数据的矿区障碍物语义信息与三维点云数据进行融合，构建车辆单帧三维语义点云数据，并基于此构建局部语义点云地图，再利用矿区障碍物数据构建局部矿区障碍物地图，同时结合车辆当前位置信息对车辆前方的矿区障碍物所属类别以及矿区障碍物数据进行检测，实现对各类别矿区障碍物(例如车辙、水坑、淤泥等矿区路面小障碍物)位置、边界和高度信息的实时精准检测。

图4是本发明提供的一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communication interface)411、存储器(memory)412和通信总线(bus)413，其中，处理器410，通信接口411，存储器412通过通信总线413完成相互间的通信。处理器510可以调用存储器412中的逻辑指令，以执行如下方法：

基于连续的车辆位置信息和连续的车辆单帧三维语义点云数据，构建局部语义点云地图，所述局部语义点云地图由矿区障碍物语义点云数据和矿区障碍物周围预设范围内的地面点云数据构成，所述车辆单帧三维语义点云数据通过将实时获取的车辆视觉图像数据中的矿区障碍物语义信息赋予实时获取的车辆三维点云数据后得到，所述矿区障碍物语义信息用于表征矿区障碍物所属类别；

基于矿区障碍物数据，构建局部矿区障碍物地图，所述矿区障碍物数据包括矿区障碍物的位置、边界和高度信息；

基于所述局部语义点云地图、所述局部矿区障碍物地图和车辆当前位置信息，获取车辆前方矿区障碍物的信息，所述信息包括车辆前方矿区障碍物所属类别及车辆前方矿区障碍物数据，所述车辆前方矿区障碍物数据包括车辆前方矿区障碍物的位置、边界和高度信息。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

进一步地，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的矿区障碍物检测方法，例如包括：

基于连续的车辆位置信息和连续的车辆单帧三维语义点云数据，构建局部语义点云地图，所述局部语义点云地图由矿区障碍物语义点云数据和矿区障碍物周围预设范围内的地面点云数据构成，所述车辆单帧三维语义点云数据通过将实时获取的车辆视觉图像数据中的矿区障碍物语义信息赋予实时获取的车辆三维点云数据后得到，所述矿区障碍物语义信息用于表征矿区障碍物所属类别；

基于矿区障碍物数据，构建局部矿区障碍物地图，所述矿区障碍物数据包括矿区障碍物的位置、边界和高度信息；

基于所述局部语义点云地图、所述局部矿区障碍物地图和车辆当前位置信息，获取车辆前方矿区障碍物的信息，所述信息包括车辆前方矿区障碍物所属类别及车辆前方矿区障碍物数据，所述车辆前方矿区障碍物数据包括车辆前方矿区障碍物的位置、边界和高度信息。

另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的矿区障碍物检测方法，例如包括：

基于连续的车辆位置信息和连续的车辆单帧三维语义点云数据，构建局部语义点云地图，所述局部语义点云地图由矿区障碍物语义点云数据和矿区障碍物周围预设范围内的地面点云数据构成，所述车辆单帧三维语义点云数据通过将实时获取的车辆视觉图像数据中的矿区障碍物语义信息赋予实时获取的车辆三维点云数据后得到，所述矿区障碍物语义信息用于表征矿区障碍物所属类别；

基于矿区障碍物数据，构建局部矿区障碍物地图，所述矿区障碍物数据包括矿区障碍物的位置、边界和高度信息；

基于所述局部语义点云地图、所述局部矿区障碍物地图和车辆当前位置信息，获取车辆前方矿区障碍物的信息，所述信息包括车辆前方矿区障碍物所属类别及车辆前方矿区障碍物数据，所述车辆前方矿区障碍物数据包括车辆前方矿区障碍物的位置、边界和高度信息。

以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。