港口障碍物的检测方法、装置、电子装置和存储介质

技术领域

本申请涉及无人驾驶障碍物检测技术领域，特别是涉及港口障碍物的检测方法、装置、电子装置和存储介质。

背景技术

随着无人驾驶技术的发展和普及，越来越多的封闭或半开放场景开始采用无人驾驶技术对作业过程进行辅助和支持，港口环境即是其中之一。由于机器的特性之一是能够进行7×24小时的无间断工作，因而从效率提升和成本管控的角度，港口自动驾驶车辆作业是替代传统港口人工作业的未来趋势和重要手段，而港口障碍物的检测占据无人驾驶车辆作业的重要位置。

障碍物检测，主要指的是利用多种传感器，完成周边环境中障碍物的感知，辨识障碍物的位置和类型。而港口中的障碍物检测面临诸多挑战。港口包含大量的金属物体，例如龙门吊、集装箱、护栏建筑物等，这极大的限制了毫米波传感器的使用。且港口里包含较多的异常车型；卡车也是以半挂车为主，这种铰链式车型严重影响了分割和聚类的难度。

目前的障碍物检测方案为：先利用激光对路面进行分割，提取障碍物疑似点云；通过欧式聚类或其他聚类方法得到障碍物的凸包；再利用激光对路面进行分割，提取障碍物疑似点云；通过相机投影，辨识障碍物的凸包和类型；再投影回3d空间中。但是对于港口自动驾驶来说这种方案存在的问题是：由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测；同时，半挂车转弯的时候，整体呈现的是一个凹多边形，利用凸包会造成误检，不能满足港口真实作业需求。

目前针对相关技术中，，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种港口障碍物的检测方法、装置、电子装置和存储介质，以至少解决相关技术中，由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测；同时，半挂车转弯的时候，整体呈现的是一个凹多边形，利用凸包会造成误检的问题。

第一方面，本申请实施例提供了一种港口障碍物的检测方法，包括：

获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；

对所述点云数据进行障碍物的粗提取，得到点云点；

利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。

在其中一些实施例中，还包括：

将若干传感器设置于自动驾驶车辆上，且所述干传感器的感知范围全覆盖当前自动驾驶车辆。

在其中一些实施例中，还包括：

对神经网络模型的训练，包括：

获取大量的粗提取得到的点云点；

构建H×W的张量空间，将所述点云点进行映射；

根据预设的2D的CNN的backbone网络对映射后的点云点进行网格图像的特征提取，得到特征数据；

利用预设的single shot detection(SSD)检测头将所述特征数据作为训练集以完成神经网络模型进行训练。

在其中一些实施例中，对所述点云数据进行障碍物的粗提取，得到点云点，包括：

对所述点云数据进行分割，并利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点；

遍历所有拟合的点云点，判断属于障碍物或地面点；

若拟合的点云点属于障碍物，则进行提取，得到点云点。

在其中一些实施例中，还包括：

若拟合的点云点属于地面点，则删除该点云点。

在其中一些实施例中，利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点，包括：

每次都从局部区域中随机选择不共线的三个点，并对这三个点进行第一平面拟合；

统计内点的数目，并根据统计结果选择得到点云簇；

利用最小二乘法对所述点云簇进行第二平面拟合，得到拟合的点云点。

第二方面，本申请实施例提供了一种港口障碍物的检测装置，包括获取模块、粗提取模块、细提取模块；

所述获取模块，用于获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个所述坐标数据进行融合，得到点云数据；

所述粗提取模块，用于对所述点云数据进行障碍物的粗提取，得到点云点；

所述细提取模块，用于利用训练完备的神经网络模型对所述点云点进行障碍物的细提取，以完成港口障碍物的检测。

第三方面，本申请实施例提供了一种港口障碍物的检测系统，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；

所述终端设备用于点云数据；

所述传输设备用于传输点云数据；

所述服务器设备用于执行如第一方面所述的港口障碍物的检测方法。

第四方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的港口障碍物的检测方法。

第五方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的港口障碍物的检测方法。

相比于相关技术，本申请实施例提供的港口障碍物的检测方法、装置、电子装置和存储介质，通过获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个坐标数据进行融合，得到点云数据；对点云数据进行障碍物的粗提取，得到点云点；利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。解决了由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测；同时，半挂车转弯的时候，整体呈现的是一个凹多边形，利用凸包会造成误检的问题；基于多传感器融合和神经网络模型的方案能够提高检测精度和效率，满足港口真实作业需求，安全且稳定。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请一实施例提供的港口障碍物的检测方法的终端设备的硬件结构框图；

图2是本申请一实施例提供的港口障碍物的检测方法的流程图；

图3是本申请一实施例多传感器融合后的点云数据示意图；

图4是本申请一实施例中步骤S220的流程图；

图5是本申请一实施例障碍物粗提取后的示意图；

图6是本申请一实施例障碍物细提取后的示意图；

图7是本申请一实施例提供的港口障碍物的检测装置的结构框图。

图中：210、获取模块；220、粗提取模块；230、细提取模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的港口障碍物的检测方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的港口障碍物的检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

本实施例提供了一种港口障碍物的检测方法，图2是根据本申请实施例的港口障碍物的检测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S210，获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个坐标数据进行融合，得到点云数据；

步骤S220，对点云数据进行障碍物的粗提取，得到点云点；

步骤S230，利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。

需要说明的是，传感器是预先设置。具体的是将若干传感器设置于自动驾驶车辆上，且干传感器的感知范围全覆盖当前自动驾驶车辆。也就是说传感器设置的个数是以感知范围全覆盖当前自动驾驶车辆为基础，而不是传感器的数量，对于不同的车辆类型，传感器的数量也是不一样的。比如，卡车、偏置码头车以及平板车上传感器的数量就不一定相同；卡车上的传感器可以是4个，通过拼接这4个传感器的坐标数据，能够达到360°全覆盖的目的。在一个实施例中，传感器可以是激光雷达，对此并不进行限制。

对于不同的车辆类型预设的融合原点也是不相同。比如，对于卡车或者偏置码头车而言，一般设为后轴中心；对于平板车而言，一般设为车辆中心点。上述的设置可以构建多传感器融合的坐标系，基于上述预设的原点，平行车辆前行方向为x轴，z轴垂直于地面向上，y轴满足右手坐标系原则。将所有传感器标定到设置好的多传感器融合的坐标系上，一般标定的参数包括三维坐标和三个轴的偏转角，即x、y、z、航向角、俯仰角、横滚角。当采集到各个传感器回传的点云数据后，通过旋转和平移，可以得到融合后的点云数据。如图3给出了一帧多传感器融合后的点云数据。

再通过对点云数据进行障碍物的粗提取，得到点云点；利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。通过上述步骤，利用多传感器可以全覆盖自动驾驶车辆，且利用多传感器融合的点云数据可以覆盖障碍物；从而避免现有技术中由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测的问题；并且融合的点云数据无论当前无人驾驶车辆的行驶怎么变化，始终能够达到360°全覆盖车辆，这样就是的半挂车转弯的时候，整体呈现的是一个凹多边形，也能够检测到，避免误检的问题。总的来说，本申请基于多传感器融合和神经网络模型的方案能够提高检测精度和效率，满足港口真实作业需求，安全且稳定。

下面通过优选实施例对本申请实施例进行描述和说明。

图4是本申请优选实施例的港口障碍物的检测方法步骤S220的流程图，包括以下步骤；

步骤S221，对点云数据进行分割，并利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点；

步骤S222，遍历所有拟合的点云点，判断属于障碍物或地面点；

步骤S223，若拟合的点云点属于障碍物，则进行提取，得到点云点。

步骤S224，若拟合的点云点属于地面点，则删除该点云点。

在一个实施例中，具体的过程可以为：

步骤一，为对融合后的点云数据进行分割，完成障碍物的粗提取；这样作为深度学习的样本数据能够保证深度学习的效果。这里的分割方法可以是将点云进行栅格化处理，即(x

式中，scale表示栅格的分辨率，即像素/m；

步骤二，对栅格化处理后的点云数据的每个局部区域，利用随机一致性采样算法(RANdom Sampling Consensus)进行平面拟合。具体的可以包括：每次都从局部区域中随机选择不共线的三个点，并对这三个点进行第一平面拟合；统计内点的数目，并根据统计结果选择得到点云簇；利用最小二乘法对点云簇进行第二平面拟合，得到拟合的点云点。在本实施例中，在统计内点的数目时，选择内点数目最多的点云簇。这里采用的最小二乘法完成平面拟合为：

式中，a、b、c为平面方程的参数；x

步骤三，遍历所有的点云点，判断属于障碍物还是地面点；若拟合的点云点属于障碍物，则进行提取，得到点云点；若拟合的点云点属于地面点，则删除该点云点。

式中，c

在一个实施例中，为了快速完成港口障碍物的检测，需要预先训练神经网络模型；对神经网络模型的训练，包括一下步骤；

获取大量的粗提取得到的点云点；

构建H×W的张量空间，将点云点进行映射；

根据预设的2D的CNN的backbone网络对映射后的点云点进行网格图像的特征提取，得到特征数据；

利用预设的single shot detection(SSD)检测头将特征数据作为训练集以完成神经网络模型进行训练。

在一个实施例中，具体的过程可以为：

步骤一，构建H×W的张量空间，将障碍物粗提取的点云点全部映射，以(x

式中，scale′表示网格的分辨率，即像素/m；

在一个实施例中，考虑到原始特征不够抽象，不足以很好的表达点云点的柱状特征。增加了一个柱状提取网络，通过卷积加上最大池化变成H×W×C的张量空间，完成点云柱状体的抽象表达。其中，C表示每个网格点的特征表达维度。

步骤二，引入2DCNN的backbone网络，可以进行网格图像的特征提取。具体过程为：首先，对张量空间进行逐层卷积，通过减小输出张量空间的尺寸来降低检测的搜索空间。其次，再对下采样的结果进行逐层反卷积，通过增大输出张量空间的尺寸来增加特征的颗粒度，保证分类和检测框的拟合效果。最后，合并所有张量空间，作为输出点云网格图像的深层次表达。

在一个实施例中，可以采用3×3的小卷积和，并通过残差单元减少参数和计算量；同时，因为障碍物粗提取已经滤除大量的误检元素，所以特征层的数目可以要求降低。上述过程能够保证算法耗时满足车载需求。

步骤三，预先涉及single shot detection(SSD)经典检测头来完成障碍物的辨识。具体的，主要设计了6个输出项(x

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种港口障碍物的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图7是根据本申请实施例的港口障碍物的检测装置的结构框图，如图7所示，该装置包括获取模块210、粗提取模块220、细提取模块230；

获取模块210，用于获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个坐标数据进行融合，得到点云数据；

粗提取模块220，用于对点云数据进行障碍物的粗提取，得到点云点；

细提取模块230，用于利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。

本申请利用多传感器可以全覆盖自动驾驶车辆，且利用多传感器融合的点云数据可以覆盖障碍物；从而避免现有技术中由于港口的障碍物体积大的影响使得单个相机通常无法通过2d框完成精确检测，且跨越多个相机幅面的障碍物很难完成检测的问题；并且融合的点云数据无论当前无人驾驶车辆的行驶怎么变化，始终能够达到360°全覆盖车辆，这样就是的半挂车转弯的时候，整体呈现的是一个凹多边形，也能够检测到，避免误检的问题。总的来说，本申请基于多传感器融合和神经网络模型的方案能够提高检测精度和效率，满足港口真实作业需求，安全且稳定。

在一个实施例中，还包括预训练模块；

预训练模块，用于对神经网络模型的训练，包括：获取大量的粗提取得到的点云点；构建H×W的张量空间，将所述点云点进行映射；根据预设的2D的CNN的backbone网络对映射后的点云点进行网格图像的特征提取，得到特征数据；利用预设的single shotdetection(SSD)检测头将所述特征数据作为训练集以完成神经网络模型进行训练。

在一个实施例中，粗提取模块220，还用于对所述点云数据进行分割，并利用随机一致性采样算法对分割后的点云数据进行平面拟合，得到拟合的点云点；

遍历所有拟合的点云点，判断属于障碍物或地面点；

若拟合的点云点属于障碍物，则进行提取，得到点云点；

若拟合的点云点属于地面点，则删除该点云点。

在一个实施例中，粗提取模块220，还用于每次都从局部区域中随机选择不共线的三个点，并对这三个点进行第一平面拟合；

统计内点的数目，并根据统计结果选择得到点云簇；

利用最小二乘法对所述点云簇进行第二平面拟合，得到拟合的点云点。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取感知范围全覆盖当前自动驾驶车辆的传感器的每个坐标数据，并根据预设融合原点对每个坐标数据进行融合，得到点云数据；

S2，对点云数据进行障碍物的粗提取，得到点云点；

S3，利用训练完备的神经网络模型对点云点进行障碍物的细提取，以完成港口障碍物的检测。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的港口障碍物的检测方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种港口障碍物的检测方法。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。