一种用于矿车无人驾驶的矿区落石检测方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种用于矿车无人驾驶的矿区落石检测方法。

背景技术

在矿区道路，车辆在行驶中往往会遇到道路落石，容易造成车辆轮胎破损、夹石严重影响车辆正常行驶，并容易引发一系列安全事故。在人工驾驶时，司机师傅可以观测到道路中的落石位置，控制车辆绕行、骑行或紧急停车；在自动驾驶模式下，对行驶道路上的落石进行精准检测是保证自动驾驶安全的重要环节。当前进行落石检测主要通过激光雷达或者视觉传感器检测到较大尺寸的落石。由此，针对矿区此种落石尺寸复杂、不固定的场景，需要专业的安全员进行落石判断或者通过人工来进行远程观察。

但是，基于人工进行落石检测会大大增加人力消耗，影响自动驾驶车辆的运行效率。

发明内容

本发明提供一种用于矿车无人驾驶的矿区落石检测方法，用以解决现有技术中基于人工进行落石检测影响自动驾驶车辆的运行效率的缺陷。

本发明提供一种用于矿车无人驾驶的矿区落石检测方法，包括：

获取视图图像以及点云数据，并将所述点云数据投影到所述视图图像中，得到点云投影视图，所述视图图像和所述点云数据是针对同一待检测空间采集得到的；

基于所述视图图像的图像特征，确定所述待检测空间中的初始目标的视图检测数据，并基于所述视图检测数据，从所述点云投影视图中得到所述初始目标对应的目标点云数据；

基于所述目标点云数据以及所述视图检测数据，得到所述待检测空间的目标检测结果。

根据本发明提供的一种用于矿车无人驾驶的矿区落石检测方法，所述基于所述目标点云数据以及所述视图检测数据，得到所述待检测空间的目标检测结果，之后还包括：

基于所述点云数据以及所述目标检测结果中初始目标的目标尺寸，确定所述初始目标的凹凸判定结果；

对多帧所述点云投影视图进行帧间匹配融合，得到高频初始目标，并基于所述高频初始目标得到所述初始目标的多帧检测结果；

基于所述目标检测结果，以及所述凹凸判定结果和/或所述多帧检测结果，确定所述待检测空间的增强检测结果。

根据本发明提供的一种用于矿车无人驾驶的矿区落石检测方法，所述基于所述点云数据以及所述目标检测结果中初始目标的目标尺寸，确定所述初始目标的凹凸判定结果，包括：

基于所述目标尺寸，确定所述初始目标的预设判定范围；

从所述点云数据中提取所述预设判定范围内的判定点云数据；

基于所述判定点云数据，确定所述初始目标的凹凸判定结果。

根据本发明提供的一种用于矿车无人驾驶的矿区落石检测方法，所述对多帧所述点云投影视图进行帧间匹配融合，得到高频初始目标，包括：

基于所述点云投影视图对应的目标检测结果，对所述点云投影视图中的初始目标进行全局坐标转换，得到全局目标视图；

将当前帧的全局目标视图与上一帧的全局目标视图进行帧间匹配融合，得到所述初始目标的出现次数，并基于所述出现次数与预设出现次数，得到所述高频初始目标。

根据本发明提供的一种用于矿车无人驾驶的矿区落石检测方法，所述基于所述高频初始目标得到所述初始目标的多帧检测结果，包括：

基于所述高频初始目标的出现次数，得到可信目标队列；

将所述可信目标队列中各初始目标对应的目标检测结果进行目标坐标系转换，得到所述多帧检测结果。

根据本发明提供的一种用于矿车无人驾驶的矿区落石检测方法，所述基于所述视图图像的图像特征，确定所述待检测空间中的初始目标的视图检测数据，包括：

对所述图像特征进行多尺寸特征融合，得到各尺寸的融合特征；

基于所述融合特征以及特征分类网络，得到各尺寸的预测目标；

对所述各尺寸的预测目标进行得分筛选，确定各尺寸的初始目标的视图检测数据。

本发明还提供一种用于矿车无人驾驶的矿区落石检测装置，包括：

获取单元，获取视图图像以及点云数据，并将所述点云数据投影到所述视图图像中，得到点云投影视图，所述视图图像和所述点云数据是针对同一待检测空间采集得到的；

融合单元，基于所述视图图像的图像特征，确定所述待检测空间中的初始目标的视图检测数据，并基于所述视图检测数据，从所述点云投影视图中得到所述初始目标对应的目标点云数据；

检测单元，基于所述目标点云数据以及所述视图检测数据，得到所述待检测空间的目标检测结果。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述一种用于矿车无人驾驶的矿区落石检测方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述一种用于矿车无人驾驶的矿区落石检测方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述一种用于矿车无人驾驶的矿区落石检测方法。

本发明提供的一种用于矿车无人驾驶的矿区落石检测方法，基于获取同一待检测空间的视图图像和点云数据，并将点云数据投影到视图图像中，得到点云投影视图，提取视图图像的图像特征以得到平面维度的初始目标的视图检测数据，接着从点云投影视图中获取视图检测数据对应的目标点云数据，以得到待检测空间的目标检测结果，实现了在平面维度上的目标检测结果的基础上，结合目标检测结果局部稠密的点云数据，得到更加精准的目标检测结果，尤其大大提升在检测环境复杂的场景下针对小尺寸的目标检测结果的精确性，进而提升了基于目标检测结果在如自动驾驶等场景下的应用性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种用于矿车无人驾驶的矿区落石检测方法的流程示意图之一；

图2是本发明提供的凸起判定的流程示意图；

图3是本发明提供的进行多帧检测的流程示意图；

图4是本发明提供的确定视图检测数据的流程示意图；

图5是本发明提供的一种用于矿车无人驾驶的矿区落石检测方法的流程示意图之二；

图6是本发明提供的一种用于矿车无人驾驶的矿区落石检测装置的结构示意图；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在矿山场景下，落石形状尺寸并不固定，由于激光雷达的点云数据比较稀疏，导致基于激光雷达进行落石检测，无法将落石与警示标志、挡墙等路面障碍物进行分类。另外，由于视觉传感器缺乏准确的距离信息，这导致车辆在复杂环境中对小尺寸落石无法进行准确的检测，不能对周围环境障碍物进行准确的判断。由此，基于激光雷达或视觉传感器在环境复杂的矿上进行落石检测的检测效果并不理想。所以目前在矿区需要配备专业的安全人员进行落石检测，但是基于人工的检测方式降低了自动驾驶的效率，并且耗费大量的人工成本。

针对上述问题，本发明提出了一种用于矿车无人驾驶的矿区落石检测方法，以实现高效且准确的目标检测，可以应用在如矿区此种环境复杂、落石尺寸不固定的场景下。图1是本发明提供的一种用于矿车无人驾驶的矿区落石检测方法的流程示意图之一，如图1所示，该方法包括：

步骤110，获取视图图像以及点云数据，并将所述点云数据投影到所述视图图像中，得到点云投影视图，所述视图图像和所述点云数据是针对同一待检测空间采集得到的；

具体地，可以通过摄像头等图像采集设备获取待检测空间的视图图像，以及可以通过激光雷达传感器对同一待检测空间采集得到点云数据。在矿区进行自动驾驶的场景下，可以通过车辆上设置的相机以及激光雷达传感器，实现对同一待检测空间的多传感器感知数据的获取，即分别获取得到2D维度的视图图像以及3D维度的点云数据。

进一步地，在得到待检测空间的视图图像和点云数据之后，可以通过个传感器坐标系之间的标定得到视图坐标系与雷达坐标系之间的转换关系，并基于视图坐标系与雷达坐标系之间的转换关系，将点云数据投影到视图图像上，得到点云投影图。在一实施例中，具体在车辆上进行自动检测的场景下，可以通过得到图像采集设备以及激光雷达设备的外参标定和内参标定，实现将点云数据投影到视图图像中。由此，可以通过获取车体坐标系与激光雷达坐标系的外参标定、激光雷达坐标系与相机坐标系的外参标定、激光雷达传感器的内参标定和相机传感器的内参标定，来得到视图坐标系与雷达坐标系之间的转换关系。其中，激光雷达传感器的内参在出厂之前已完成标定；其余参数可以通过张正友标定法进行实现。例如，可以通过标定用棋盘格和Matlab相机标定工具箱测算相机的内部参数f

式中，f

接着，可以通过视图图像的像素与点云之间的对应点，得到雷达坐标系与图像坐标系之间的映射关系，比如可以通过以下公式计算得到：

式中，R

此处，视图图像可以在2D维度上反映待检测空间中各检测对象的语义、外形等特征，比如，道路上落石、警示牌等障碍物；又比如红绿灯指示的通行状态。可以理解的是，在待检测空间中存在尺寸大小不规则、且位置复杂的检测对象时，从视图图像中获取待检测空间中各检测对象的位置信息是有限的。由此，可以通过激光雷达传感器获取的点云数据，在3D维度上通过丰富、准确、稠密的点云数据反映待检测空间中各检测对象的位置信息。由此，可以将对应同一待检测空间的视图图像与点云数据进行融合，以实现针对同一待检测空间进行精准的目标检测。

步骤120，基于所述视图图像的图像特征，确定所述待检测空间中的初始目标的视图检测数据，并基于所述视图检测数据，从所述点云投影视图中得到所述初始目标对应的目标点云数据；

具体地，首先，可以将视图图像输入至基于深度学习算法的目标检测模型中，通过目标检测模型中的神经网络提取视图图像的图像特征，比如可以通过多层卷积对视图图像进行下采样，得到视图图像的不同卷积尺度的图像特征。接着，可以将提取得到的图像特征进行特征融合，得到视图图像的融合特征，比如可以将不同卷积尺度的图像特征进行特征融合。最后，可以通过分类网络对融合特征进行目标位置预测和目标分类预测，以得到视图图像中的初始目标的视图检测数据。此处，视图图像地图像特征可以反映视图图像中各检测对象的语义信息，比如可以反映待检测对象是警示牌、落石、车辆、行人等信息；还可以反映待检测对象的位置信息，比如可以反映待检测对象在视图图像中距离检测点的距离、待检测对象的尺寸。由此，可以将通过视图图像的图像特征得到的检测对象作为待检测空间中的初始目标，将检测对象的类别、检测对象距离检测点的距离、待检测对象的尺寸等信息，作为待检测空间中的初始目标的视图检测数据。此处得到的初始目标的个数可以是一个或者多个，初始目标的种类可以是单个或者多个，比如在矿区场景下，检测目标可以是落石、行人、警示牌、车辆等。需说明的是，当在环境复杂、检测对象的尺寸不规则的场景下进行目标检测时，仅通过对视图图像进行平面视图维度的目标检测，得到的初始目标的视图检测数据在针对较大尺寸的检测目标的检测效果比较好，但是针对尺寸较小或者位置复杂的检测目标的检测效果则并不理想，比如在矿区进行目标检测时，针对数个尺寸不规则且存在遮挡的落石时，可能得到的针对小尺寸且位置复杂的落石的视图检测数据不准确。

进一步地，可以从点云投影视图中搜索基于视图图像得到的初始目标所对应的点云数据，作为目标点云数据。比如，可以通过初始目标的定位框来筛选点云投影视图中的点云数据，当定位框内部不存在点云时，则将定位框的长宽扩大为原来的数倍，寻找定位框内部的点云，得到目标点云数据。此处初始目标的定位框即可以是视图检测数据中用于确定初始目标位置和尺寸的检测框。由此，可以通过目标点云数据所反映的三维信息，对得到的初始目标进行更精细化的位置和尺寸定位。

此处，目标点云数据可以由初始目标对应的多个有效点云数据构成，即可以包括初始目标内或者周围的多个点云数据。需说明的是，目标点云数据可以精准的反映初始目标的位置以及尺寸信息，即将局部稠密的点云信息作为对初始目标的视图检测数据中位置和尺寸信息的弥补，以得到更加精准的检测结果。

步骤130，基于所述目标点云数据以及所述视图检测数据，得到所述待检测空间的目标检测结果。

具体地，可以将目标点云数据中的每个点云的三维坐标进行计算，得到初始目标精确地目标位置和目标尺寸，即得到待检测空间的目标检测结果。比如，可以将目标点云数据中的每个点云的x、y坐标的平均值以及目标点云数据中z轴值最大的点的z轴坐标作为初始目标的三维坐标，并通过得到的初始目标的三维坐标计算得到初始目标距离检测点的位置信息。接着，可以通过得到的初始目标的三维坐标信息以及视图图像中视图检测数据中初始目标的尺寸，计算得到初始目标的精确尺寸信息。

在一实施例中，可以通过目标点云数据中每个点云的三维坐标计算得到初始目标的初始三维坐标。例如，可以将目标点云数据中每个点的x、y坐标的平均值作为初始三维坐标的x、y坐标值，将目标点云数据中z轴中最大值作为初始三维坐标的z坐标值。比如，初始三维坐标可以通过以下公式计算得到：

式中，x

接着，通过初始三维坐标计算得到初始目标位置。比如可以通过以下公式计算得到：

式中，Distance表示初始目标到检测点的距离，即初始目标位置；x、y、z表示初始三维坐标。

另外，初始目标的尺寸可以通过初始目标的初始目标位置以及视图检测数据中初始目标的尺寸信息计算得到，比如，可以通过以下公式计算得到：

Width＝width

Height＝Height

式中，Width表示初始目标的宽度；width

本发明实施例提供的方法，基于获取同一待检测空间的视图图像和点云数据，并将点云数据投影到视图图像中，得到点云投影视图，提取视图图像的图像特征以得到平面维度的初始目标的视图检测数据，接着从点云投影视图中获取视图检测数据对应的目标点云数据，以得到待检测空间的目标检测结果，实现了在平面维度上的目标检测结果的基础上，结合目标检测结果局部稠密的点云数据，得到更加精准的目标检测结果，尤其大大提升在检测环境复杂的场景下针对小尺寸的目标检测结果的精确性，进而提升了基于目标检测结果在如自动驾驶等场景下的应用性。

在实际进行目标检测的过程中存在一定程度的误检问题，比如会将路面的阴影区域检测为落石。另外，在基于多传感器进行目标检测时，由于图像传感器的帧间不连续性，以及图像传感器的视野局限性，可能存在中间帧的视图图像漏掉的检测对象，或者某一帧视图图像中没有拍摄到的检测对象。针对上述问题，基于上述任一实施例，步骤130之后还包括：

基于所述点云数据以及所述目标检测结果中初始目标的目标尺寸，确定所述初始目标的凹凸判定结果；

对多帧所述点云投影视图进行帧间匹配融合，得到高频初始目标，并基于所述高频初始目标得到所述初始目标的多帧检测结果；

基于所述目标检测结果，以及所述凹凸判定结果和/或所述多帧检测结果，确定所述待检测空间的增强检测结果。

具体地，可以通过目标检测结果中初始目标的目标尺寸对应的区域的点云数据，对初始目标进行凹凸判定。此处目标尺寸对应的区域可以是根据目标尺寸的大小确定，例如当目标尺寸小于预设阈值时，目标尺寸对应的区域可以是目标尺寸的数倍大小的区域；当目标尺寸大于预设阈值时，目标尺寸对应的区域可以是目标尺寸大小的区域。另外，此处对初始目标进行凹凸判定，可以是通过初始目标尺寸对应的区域的点云数据的z轴坐标进行凹凸判定。例如，当点云数据的z轴坐标的平均值或者最大值大于凸起预设阈值时，则可以认作为该初始目标包含凸起区域，即该初始目标的凹凸判定结果为存在凸起；当点云数据的z轴坐标的平均值或者最大值小于凹陷预设阈值时，则可以认作为该初始目标包含凹陷区域，即该初始目标的凹凸判定结果为存在凹陷。可以理解的是，当初始目标的凹凸判定结果为存在凸起或凹陷时，表示该初始目标为路面阴影区域的可能性越小，则初始目标的检测结果的准确性越高；当初始目标的凹凸判定结果为不存在凸起或凹陷时，表示该初始目标为路面阴影区域的可能性越大，则初始目标的检测结果的准确性越低。由此，初始目标的凹凸判定结果可以降低如阴影等干扰因素对目标检测结果的影响程度，使得得到的目标检测结果更加可靠。

另外，针对单帧的视图图像对应的点云投影视图得到的目标检测结果，可能由于相机视野存在漏检的情况。比如在车辆行驶过程中，可能存在当前帧的点云投影视图中未拍摄到的检测对象，但是在其他帧的点云投影视图中能够检测到该检测对象，若基于该帧未拍摄到该检测对象的视图图像得到目标检测结果，则可能存在漏检的情况。

具体地，可以将多帧的点云投影视图中的初始目标进行帧间匹配融合，得到在多帧点云投影视图中出现频率较高的高频初始目标。例如当一个初始目标在5帧点云投影视图中出现4次，则可以将该初始目标作为高频初始目标，并且在进行障碍物检测时，高频初始目标为障碍物的可能性远高于其他初始目标。由此，可以通过对多帧点云投影视图进行帧间融合匹配，得到出现次数高的高频初始目标，避免单帧的点云投影视图对个别高频初始目标漏检，大大提升了进行目标检测的可靠性和准确性。

进一步地，可以通过高频初始目标的出现次数，对高频初始目标进行置信度得分，将得分高于预设值的高频初始目标作为多帧检测结果，比如可以将各高频初始目标的得分按照从高到低进行排序，将排序在预设排序之后的高频初始目标舍弃，将预设排序之前的高频初始目标作为多帧检测结果。可以理解的是，高频初始目标的出现次数越高，其置信度得分越高；高频初始目标的出现次数越低，其置信度得分越低。可以理解的是，使用多帧融合对初始目标进行帧间融合，增强落石检测的稳定性，同时扩大了相机感知范围。

最后，可以在得到的单帧点云投影视图对应的目标检测结果的基础上，仅通过目标检测结果中各初始目标的凹凸判定结果对全部的初始目标进行置信度打分，可以将得分低于预设阈值的初始目标视为误检，或者直接将凹凸判定结果为不存在凹陷或者凸起的初始目标视为误检，从目标检测结果中剔除该初始目标，得到增强检测结果。

又或者，可以在得到的单帧点云投影视图对应的目标检测结果的基础上，将目标检测结果中除多帧检测结果对应的初始目标之外的初始目标进行剔除，即得到仅包括多帧检测结果的增强检测结果；或者增加目标检测结果中与多帧检测结果相对应的初始目标的置信度得分。

再或者，可以在得到的单帧点云投影视图对应的目标检测结果的基础上，通过各初始目标的凹凸判定结果，将不存在凹陷或者凸起的初始目标视为误检，从目标检测结果中剔除该初始目标；再接着，从剩余的目标检测结果中，增加目标检测结果中与多帧检测结果相对应的初始目标的置信度得分，最后按照置信度得分的高低输出增强检测结果，本发明实施例优选在得到目标检测结果后，基于凹凸判定结果和多帧检测结果，确定待检测空间的增强检测结果。需说明的是，此处的增强检测结果是检测准确性以及可靠性更高的检测结果。

本发明实施例提供的方法，在得到目标检测结果后，通过对得到的目标检测结果进行凹凸判定和/或融合多帧的检测结果，得到稳定可靠的多帧检测结果，避免了阴影等干扰数据对检测结果的影响，以及突破了图像传感器的视野局限，进而大大降低了目标检测结果的误检率和漏检率，得到了准确性高且可靠性高的增强目标检测结果。

基于上述任一实施例，所述基于所述点云数据以及所述目标检测结果中初始目标的目标尺寸，确定所述初始目标的凹凸判定结果，包括：

基于所述目标尺寸，确定所述初始目标的预设判定范围；

从所述点云数据中提取所述预设判定范围内的判定点云数据；

基于所述判定点云数据，确定所述初始目标的凹凸判定结果。

具体地，首先，可以通过目标尺寸中的宽度，以及激光雷达传感器的采集参数，比如采集间隔，确定初始目标的预设判定范围。比如，当目标尺寸的宽度小于预设宽度时，可以将数倍采集参数对应的区域作为初始目标的预设判定范围。此处，目标尺寸可以反映初始目标的大小，初始目标的预设判定范围可以用于对初始目标进行凹凸判定的点云数据。可以理解的是，当初始目标越小，其区域对应的点云数据可能越稀疏，则预设判定范围越大；当初始目标越大，其区域对应的点云数据可能越丰富，则预设判定范围可以越小。由此，基于初始目标的目标尺寸得到的预设判定范围，可以使得进行凹凸判定的准确性和可靠性越高，进而提升目标检测结果的精确性和可靠性。

接着，可以从全部的点云数据中提取预设判定范围内的点云数据作为判定点云数据。此处的判定点云数据可以用于反映该初始目标的表面是否存在凹陷，即是否是立体的。需说明的是，此处得到的判定点云数据可以是一个或者多个，为了保证进行凹凸判定的可靠性，可以在判定点云数据小于一定阈值时，不对该初始目标进行凹凸判定。

进一步地，可以通过将判定点云数据中的所有点云的三维坐标，对初始目标进行凹凸判定，比如，可以计算所有点云的z坐标的平均值，将平均值与预设高度进行比较，当平均值高于预设高度时，该初始目标的凹凸判定结果为凸起；当平均值低于预设高度时，该初始目标的凹凸判定结果为凹陷。可以理解的是，此处的预设高度可以根据初始目标实际大小进行统计得到的。另外，初始目标的凹凸判定结果可以反映该初始目标是否是立体的，避免阴影等干扰因素对目标检测的影响。

图2是本发明提供的凸起判定的流程示意图，如图2所示，该方法是用于在矿山场景下，针对落石进行目标检测，该方法具体包括：

首先，输入落石位置点云，计算落石区域点云，得到落石尺寸大小，即得到落石检测结果。若落石尺寸大于0.5米，则提取落石周围1米范围作为落石凸起判定区域；若落石尺寸小于0.5米，则提取落石周围两倍范围作为落石凸起判定区域。进一步地，对凸起判定区域进行点云搜索，并判断得到的有效点云个数。此处的有效点云指的是凸起判定区域内包含的点云。当有效点云个数小于5个时，则认定为凸起判定失败，即不执行凸起判定；当有效点云个数大于5个时，则通过计算落落石凸起判定区域z轴高度均值，当高度均值小于高度阈值时，则判定该初始目标为误检；当高度均值小于高度阈值时，则判定该初始目标为凸起。

本发明实施例提供的方法，通过预设判定范围内的点云数据对初始目标进行凹凸判定，得到可以反映初始目标是否是立体的判定依据，有利于降低对非检测目标的误检率，进而提升进行目标检测可靠性。

基于上述任一实施例，所述对多帧所述点云投影视图进行帧间匹配融合，得到高频初始目标，包括：

基于所述点云投影视图对应的目标检测结果，对所述点云投影视图中的初始目标进行全局坐标转换，得到全局目标视图；

将当前帧的全局目标视图与上一帧的全局目标视图进行帧间匹配融合，得到所述初始目标的出现次数，并基于所述出现次数与预设出现次数，得到所述高频初始目标。

可以理解的是，每一帧的点云投影视图中的初始目标的位置都是相对检测点的位置，当检测点为移动状态时，则针对同一初始目标其在不同帧的点云投影视图中的位置是不相同的。比如车辆在移动过程中，车辆在不同位置，同一落石相对车辆的位置是不同的。

具体地，可以将单帧的点云投影视图中的初始目标的目标位置进行全局坐标转换，得到全局目标视图。即将视图坐标系中的初始目标的位置信息转换到现实世界的坐标系中，保证了不同帧之间针对同一初始目标的位置信息是相同的。

进一步地，可以将当前帧的全局目标视图与上一帧的全局目标视图进行帧间匹配融合，得到各初始目标的出现次数。并将出现次数高于预设出现次数的初始目标作为高频初始目标。

本发明实施例提供的方法，基于将单帧的点云投影图对应的目标检测结果进行全局坐标转换，得到全局目标视图，并将多帧的全局目标视图进行帧间匹配融合，得到高频初始目标，实现了在目标检测结果中进一步确认稳定性高的高频初始目标，进而提升最后得到的目标检测结果的可靠性。

基于上述任一实施例，所述基于所述高频初始目标得到所述初始目标的多帧检测结果，包括：

基于所述高频初始目标的出现次数，得到可信目标队列；

将所述可信目标队列中各初始目标对应的目标检测结果进行目标坐标系转换，得到所述多帧检测结果。

具体地，可以通过高频初始目标的出现次数，对高频初始目标进行置信度打分，将各高频初始目标的置信度得分按照从高到低进行排序，得到可信目标队列。比如，可以将排序在60之后的高频初始目标进行剔除，将剩余的高频初始目标作为可信目标队列。

进一步地，可以对可信目标队列进行维护，并融合可信目标队列中所有初始目标，并将可信目标队列中各初始目标对应的目标检测结果进行目标坐标系转换，得到多帧检测结果。举例来说，在车辆上进行目标检测时，可以通过将全局坐标系的可信目标队列中各初始目标对应的目标检测结果，转换到车体坐标系中，得到各初始目标的位置信息，即得到多帧检测结果。

本发明实施例提供的方法，基于高频初始目标的出现次数，得到可信目标队列，并将可信目标队列中各初始目标对应的目标检测结果进行目标坐标系转换，得到多帧检测结果，保证了得到的多帧检测结果的可靠性。

基于上述任一实施例，图3是本发明提供的进行多帧检测的流程示意图，如图3所示，该方法是用于在矿山场景下，针对落石进行目标检测，该方法具体包括：

首先，输入单帧实时落石障碍物，即输入单帧实时的点云投影视图。接着，将单帧的落石障碍物转换为全局坐标，并可以通过接收车辆的卫星定位数据，判断车辆是否移动0.5m，当车辆移动小于0.5米时，可以认为车辆处于静止状态，则可以丢弃当前帧的落石障碍物，不对当前帧的落石障碍物进行帧间匹配融合；当车辆移动大于0.5米时，可以认为车辆处于运动状态，则可以对障碍物进行障碍物帧间匹配融合，可以计算5帧内落石障碍物出现次数，若出现次数多于3次则判断该障碍物为稳定障碍物。再接着，可以通过稳定障碍物的出现次数，对稳定障碍物按照置信度高低进行排序，得到可信障碍物队列。再接着，可以判断可信障碍物队列的队列长度是否超出60。若队列长度超出60，则将队列长度超出60之外的障碍物剔除可信障碍物队列中，将队列长度在60之内的障碍物，作为维护障碍物队列；若队列长度未超出60，则可以直接将可信障碍物队列中的障碍物作为维护障碍物队列。并融合队列中所有障碍物，将全部障碍物转换为车体坐标，最后输出融合结果。

可以理解的是，基于局部地图的落石障碍物多帧融合方法，使得落石障碍物可以一直保存在车辆前方，即使落石超出相机视野范围也能保存落石障碍物，为自动驾驶的决策规划模块提供更加准确稳定的信息，提高了行车的安全性。

基于上述任一实施例，所述基于所述视图图像的图像特征，确定所述待检测空间中的初始目标的视图检测数据，包括：

对所述图像特征进行多尺寸特征融合，得到各尺寸的融合特征；

基于所述融合特征以及特征分类网络，得到各尺寸的预测目标；

对所述各尺寸的预测目标进行得分筛选，确定各尺寸的初始目标的视图检测数据。

具体地，图4是本发明提供的确定视图检测数据的流程示意图，如图4所示，该方法包括：

首先，在特征提取阶段，由多个卷积模块Conv、以及多个特征提取模块C3模块构成，如图中的P1 Conv、P2 C3、P3 C3、P4 C3、P5 C3，其中C3模块是由三个Conv模块和一个Bottleneck模块组成的，P1 C3表示的是第一层特征提取模块，即P2 C3至P5 C3表示的是第二层特征提取模块、第三层特征提取模块、第四层特征提取模块、第五层特征提取模块。具体来说，可以通过多层卷积对视图图像进行下采样，利用C3模块进行特征提取，重复进行五次，得到五个不同尺寸的图像特征，即分别是P1至P5层输出的图像特征。接着，在特征融合阶段，使用P3、P4、P5层作为进行特征融合的特征层，通过将P3至P5层得到的图像特征进行多尺寸特征融合。例如可以是通过P5、P4层上采样后与P4、P3层结合得到P4_1、P3_1层的融合特征，P3_1、P4_1下采样后与P4_1、P5_1层结合得到P4_2、P5_2层的融合特征。

再接着，在特征分类阶段，可以将融合特征输入特征分类网络，得到各个尺寸的预测目标。举例来说，可以将P3_1、P4_2、P5_2层的融合特征输入至对应的检测通道中，即P3Head、P4 Head、P5 Head，通过sigmoid可以获得三个不同尺寸的预测结果。其中，P3 Head的检测通道对应的尺寸为80*80*3*6；P4 Head的检测通道对应的尺寸为40*40*3*6；P5 Head的检测通道对应的尺寸为20*20*3*6。此处，在每个检测通道中，每个检测头上的每一个特征点存在3个先验框。每个先验框有6个参数，分别为xmin、xmax、ymin、ymax、cls、conf。其中，xmin、xmax、ymin、ymax用于判断每一个特征点的回归参数，回归参数调整后可以获得预测框；cls用于判断每一个特征点所包含的物体种类。conf用于判断每一个特征点是否包含物体；以(20,20,3,6)这个特征层为例，该特征层相当于将图像划分成20x20个特征点，如果某个特征点落在物体的对应框内，则用于预测该物体。

最后，可以通过对预测目标进行得分排序，即筛选出得分满足置信度的预测框，以及对预测结果进行非极大抑制筛选，即筛选出一定区域内属于同一种类得分最大的框，防止检测框重叠，并将最后筛选得到的预测目标作为初始目标，并计算得到初始目标的视图检测数据。

本发明实施例提供的方法，基于将多尺寸的图像特征进行特征融合，并基于融合特征进行特征预测，得到各尺寸的预测目标，并对预测目标进行得分筛选，得到更加准确的视图维度上的目标检测结果。

基于上述任一实施例，图5是本发明提供的一种用于矿车无人驾驶的矿区落石检测方法的流程示意图之二，如图5所示，该方法应用于在矿区场景下，在车辆驾驶过程中多落石进行检测，该方法包括：包括落石目标检测、相机-雷达融合、后处理三个模块。其中落石目标检测中包括目标检测模型的训练阶段和推理阶段，即模型的应用阶段。

针对目标检测模型的训练阶段，首先，采集落石数据集，可以对不同矿区、不同时间、不同天气条件下的落石图像数据进行采集，并对采集到的图像数据标注，框选出图片中的落石位置，建立矿区落石图像数据集。接着，将落石数据集用于目标检测模型的迭代训练中，可以通过将样本图像输入初始模型中，利用初始模型的预测输出与标注结果进行比对，计算模型损失。通过模型损失不断迭代模型，直到模型精度不再增长，并保存此时的模型权重，可以将最终的目标检测模型的权重导出为支持跨平台使用的onnx格式，并将其转化为部署在自动驾驶车辆上运行的TensorRT引擎模型文件。

针对在实际应用中进行落石检测时，首先，通过相机获取相机数据即视图图像，以及通过雷达获取雷达数据即点云数据。接着，对视图图像进行落石检测，可以将视图图像进行预处理，比如将视图图像的尺寸归一化为640*640像素。可以理解的是，由于图像长宽比例不同，在图像归一化时采用不失真的方式，即对图像按照长宽进行等比例压缩，并对空白区域使用灰色填充，保证了视图图像的图像质量。接着，将归一化后的视图图像输入TensorRT引擎模型中，利用TensorRT引擎模型在Nvidia硬件加速，最大化利用GPU性能，提升推理速度。然后，将模型推理结果进行得分排序与非极大抑制筛选，得到平面维度上的视图检测数据。与此同时，可以通过获取视图图像以及点云数据，以及通过雷达与相机之间的标定，得到点云数据与视图图像之间的坐标转换关系，并通过此坐标转换关系，将点云数据投影到视图图像中，得到点云投影视图。相较于传统的激光雷达障碍物检测，本发明实施例提供的方法可以在50米距离满足尺寸大于20cm的落石检测，同时使用了TensorRT技术加速，进一步提升检测速度。

在后处理阶段，通过点云投影视图进行落石检测框内点云搜索，得到目标点云数据，并基于目标点云数据以及视图检测数据，进行落石三维位置即宽高计算，得到待检测空间的落石检测结果。再进一步的，可以通过目标检测结果中落石的宽度以及点云数据，对落石进行凸起判定，将非凸起的落石视为误检。针对剩下的落石，可以继续进行多帧融合，得到稳定的落石，并将稳定的落石作为最终的落石检测结果。

基于上述任一实施例，图6是本发明提供的一种用于矿车无人驾驶的矿区落石检测装置示意图，如图6所示，该装置包括：

获取单元610，获取视图图像以及点云数据，并将所述点云数据投影到所述视图图像中，得到点云投影视图，所述视图图像和所述点云数据是针对同一待检测空间采集得到的；

融合单元620，基于所述视图图像的图像特征，确定所述待检测空间中的初始目标的视图检测数据，并基于所述视图检测数据，从所述点云投影视图中得到所述初始目标对应的目标点云数据；

检测单元630，基于所述目标点云数据以及所述视图检测数据，得到所述待检测空间的目标检测结果。

本发明实施例提供的装置，基于获取同一待检测空间的视图图像和点云数据，并将点云数据投影到视图图像中，得到点云投影视图，提取视图图像的图像特征以得到平面维度的初始目标的视图检测数据，接着从点云投影视图中获取视图检测数据对应的目标点云数据，以得到待检测空间的目标检测结果，实现了在平面维度上的目标检测结果的基础上，结合目标检测结果局部稠密的点云数据，得到更加精准的目标检测结果，尤其大大提升在检测环境复杂的场景下针对小尺寸的目标检测结果的精确性，进而提升了基于目标检测结果在如自动驾驶等场景下的应用性。

基于上述任一实施例，检测单元之后还包括后处理单元，后处理单元具体用于：

基于所述点云数据以及所述目标检测结果中初始目标的目标尺寸，确定所述初始目标的凹凸判定结果；

对多帧所述点云投影视图进行帧间匹配融合，得到高频初始目标，并基于所述高频初始目标得到所述初始目标的多帧检测结果；

基于所述目标检测结果，以及所述凹凸判定结果和/或所述多帧检测结果，确定所述待检测空间的增强检测结果。

基于上述任一实施例，后处理单元具体用于：

基于所述目标尺寸，确定所述初始目标的预设判定范围；

从所述点云数据中提取所述预设判定范围内的判定点云数据；

基于所述判定点云数据，确定所述初始目标的凹凸判定结果。

基于上述任一实施例，后处理单元具体用于：

基于所述点云投影视图对应的目标检测结果，对所述点云投影视图中的初始目标进行全局坐标转换，得到全局目标视图；

将当前帧的全局目标视图与上一帧的全局目标视图进行帧间匹配融合，得到所述初始目标的出现次数，并基于所述出现次数与预设出现次数，得到所述高频初始目标。

基于上述任一实施例，后处理单元具体用于：

基于所述高频初始目标的出现次数，得到可信目标队列；

将所述可信目标队列中各初始目标对应的目标检测结果进行目标坐标系转换，得到所述多帧检测结果。

基于上述任一实施例，融合单元具体用于：

对所述图像特征进行多尺寸特征融合，得到各尺寸的融合特征；

基于所述融合特征以及特征分类网络，得到各尺寸的预测目标；

对所述各尺寸的预测目标进行得分筛选，确定各尺寸的初始目标的视图检测数据。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行一种用于矿车无人驾驶的矿区落石检测方法，该方法包括：获取视图图像以及点云数据，并将所述点云数据投影到所述视图图像中，得到点云投影视图，所述视图图像和所述点云数据是针对同一待检测空间采集得到的；基于所述视图图像的图像特征，确定所述待检测空间中的初始目标的视图检测数据，并基于所述视图检测数据，从所述点云投影视图中得到所述初始目标对应的目标点云数据；基于所述目标点云数据以及所述视图检测数据，得到所述待检测空间的目标检测结果。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的一种用于矿车无人驾驶的矿区落石检测方法，该方法包括：获取视图图像以及点云数据，并将所述点云数据投影到所述视图图像中，得到点云投影视图，所述视图图像和所述点云数据是针对同一待检测空间采集得到的；基于所述视图图像的图像特征，确定所述待检测空间中的初始目标的视图检测数据，并基于所述视图检测数据，从所述点云投影视图中得到所述初始目标对应的目标点云数据；基于所述目标点云数据以及所述视图检测数据，得到所述待检测空间的目标检测结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的一种用于矿车无人驾驶的矿区落石检测方法，该方法包括：获取视图图像以及点云数据，并将所述点云数据投影到所述视图图像中，得到点云投影视图，所述视图图像和所述点云数据是针对同一待检测空间采集得到的；基于所述视图图像的图像特征，确定所述待检测空间中的初始目标的视图检测数据，并基于所述视图检测数据，从所述点云投影视图中得到所述初始目标对应的目标点云数据；基于所述目标点云数据以及所述视图检测数据，得到所述待检测空间的目标检测结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。