一种三维物体检测方法

技术领域

本发明涉及机器视觉技术领域，更具体地是涉及一种三维物体检测方法。

背景技术

三维物体检测是机器感知真实世界首要解决的关键问题，在各个领域都有广泛的应用，比如自动驾驶、增强现实、安防监控等。相比于二维物体检测，三维物体检测更具挑战性，因为其还需估计物体在真实世界的姿态。另一方面，在不同的传感器采集到的数据上进行三维物体检测，存在不同的局限性，比如：单目相机采集的图像具有丰富的场景语义信息，然而缺乏深度信息，难以准确估计三维物体，并且单目相机的观察视角存在局限性；双目相机则可以间接提供深度信息，然而估计深度的过程耗时较高；激光雷达能够采集精确的三维点云，然而数据量庞大，数据分布稀疏，相比于图像这类有序、离散型的数据，点云属于无序、连续型的数据，难以寻找合适的表示方式输入到现有的深度学习方法中。

为解决上述技术问题，中国专利CN109543601A公开了一种基于多模态深度学习的无人车目标检测方法，包括以下步骤：(1)数据采集；(2)数据同步；(3)处理激光雷达点云数据；(4)特征提取；(5)特征分类回归；(6)投影；(7)去除冗余候选框；(8)矫正；(9)输出三维检测框。其能够克服图像模式对车道场景表达能力的不足问题，但是，此方案只能生成与图像轴对称的候选框，然而实际情况下汽车等物体与图像中轴线的位置有多种关系，即物体会旋转一定角度，使得物体中轴线与图像中轴线有一定夹角，若此时用与图像轴对称的候选框进行匹配，会出现候选框内大部分都是背景的现象，造成无法精确识别物体，这样直接用轴对称候选框对所有物体进行匹配，效果不够精确，进而对分类任务造成影响，使得三维物体检测精度达不到要求。

发明内容

本发明为克服上述现有技术中的不足，提供了一种旋转检测、能够精确识别复杂物体关系的三维物体检测方法。

在本技术方案中，提供了一种三维物体检测方法，包括以下步骤：

S1：获取三维物体的点云数据，根据点云数据得到三维物体的俯瞰特征图；

S2：构造二维旋转候选框，运用二维旋转目标检测网络对俯瞰特征图进行二维旋转目标检测，提取得到初始特征图F；

S3：通过初始特征图F得到旋转物体的二维初步检测结果P；

S4：调整初始特征图F的特征值，得到调整特征图f，使初步检测结果P与特征图f中的像素点对齐；

S5：将初步检测结果P作为候选框，对调整特征图f进行检测，得到二维旋转物体精细检测结果；

S6：将二维旋转物体精细检测结果恢复到点云尺度，得到三维物体检测结果。

本方案中通过构造二维旋转候选框对俯瞰特征图进行检测，其相对传统的轴对称候选框而言匹配结果更加精准，解决了轴对称候选框匹配旋转物体出现的背景内容过多的问题，而且俯瞰视角下物体间的关系更为清晰，不会出现前面的物体遮挡后面物体的问题；另外再调整特征图的特征值，使得二维旋转候选框的几何中心点与像素点对齐，进一步提高检测结果的精确度。

进一步地，上述的步骤S1具体包括以下步骤：

S11：通过激光雷达扫描三维物体，得到点云数据；

S12：设置比例尺，对点云数据进行三维空间体素化，得到三维格栅；

S13：根据点云数据的体素坐标，计算三维物体的高度特征和密度特征，得到点云数据的俯瞰特征图。

优选地，上述的步骤S11中还设置筛选范围对原始点云数据进行筛选。

进一步地，上述的步骤S2中具体包括以下步骤：

S21：设定长度、宽度、旋转角度值，构造二维旋转候选框；

S22：将步骤S13得到的俯瞰特征图输入到二维旋转目标检测网络进行特征提取，得到特征图F。

进一步地，上述的步骤S3中具体包括以下步骤：

S31：对特征图F中每个像素点进行物体类别预测、物体二维旋转参数值预测，得到预测结果；

S32：根据二维旋转候选框的设定值与步骤S31中得到的预测结果，计算二维物体的边界框参数值，得到二维旋转物体的初步检测结果P。

优选地，上述的步骤S2中得到的初步检测结果P为俯瞰图的图像尺寸。

进一步地，上述的步骤S4中通过特征插值调整初始特征图F的特征值，得到调整特征图f，具体包括以下步骤：

S41：获取初步检测结果P的几何中心点和几何中心点周围的四个像素点对应的特征值；

S42：分别计算四个像素点与几何中心点的距离；

S43：根据距离进行加权计算四个像素点的和，得到几何中心点的特征值；

S44：对特征图F中的每个像素点均执行步骤S41至步骤S43，得到调整后的特征图f。

进一步地，步骤S5具体包括以下步骤：

S51：预测调整后的特征图f中物体的类别、二维旋转边界框的参数值、三维高度、朝向类别、180度朝向角度值，得到调整后的预测结果；

S52：将初步检测结果P作为候选框，根据检测结果P的参数值和步骤S51中得到的预测结果，计算物体的边界框参数值，得到二维旋转物体精细检测结果、三维高度值、物体朝向类别。

优选地，上述的步骤S52中所述物体朝向类别包括正朝向和反朝向。

进一步地，上述的步骤S6中具体包括以下步骤：

S61：根据步骤S12中设置的比例尺，将二维旋转物体精细检测结果从俯瞰图尺度恢复到点云数据尺度；

S62：根据步骤S52中得到的物体朝向角类别、180度朝向角度值，得到点云数据尺度下物体360度朝向角度值；

S63：结合物体360度角度值与步骤S52得到的三维高度值，得到三维检测结果。

与现有技术相比，有益效果是：

(1)使用俯瞰视角，解决了前向视角物体遮挡的问题；

(2)运用二维旋转候选框对特征图F进行检测，解决轴对称候选框出现的背景内容过多问题，提高三维物体检测精度；

(3)二维旋转候选框解决了轴对称候选框检测密集排布旋转物体时互相干扰的问题；

(4)使用特征插值的方法，使得二维旋转候选框几何中心点与像素点对齐，进一步提高目标检测精度

(5)通过设计180度朝向角和朝向角类别，估计物体的360度朝向角，可以减少冗余的二维旋转候选框，进一步提高检测精度。

附图说明

图1为本发明三维物体检测方法的流程示意图；

图2为运用本发明三维物体检测方法得到的第一场景点云俯瞰特征图检测结果；

图3为运用本发明三维物体检测方法得到的第二场景点云俯瞰特征图检测结果；

图4为运用本发明三维物体检测方法得到的第三场景点云俯瞰特征图检测结果；

图5为图2对应的三维物体检测结果；

图6为图3对应的三维物体检测结果；

图7为图4对应的三维物体检测结果。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：

实施例1

如图1为一种三维物体检测方法的第一实施例，包括以下步骤：

S1：获取三维物体的点云数据，根据点云数据得到三维物体的俯瞰特征图；

S2：构造二维旋转候选框，运用二维旋转目标检测网络对俯瞰特征图进行二维旋转目标检测，提取得到初始特征图F；

S3：通过初始特征图F得到旋转物体的二维初步检测结果P；

S4：调整初始特征图F的特征值，得到调整特征图f，使初步检测结果P与特征图f中的像素点对齐；

S5：将初步检测结果P作为候选框，对调整特征图f进行检测，得到二维旋转物体精细检测结果；

S6：将二维旋转物体精细检测结果恢复到点云尺度，得到三维物体检测结果。

其中，将KITTI数据集代替步骤S1中获取三维物体的点云数据。

本实施例中的步骤S1具体包括以下步骤：

S11：获取KITTI数据集中的原始点云数据，筛选出x轴位于[0,70.4],y轴位于[-40,40],z轴位于[-3,1]范围内的点云；需要说明的是，本实施例中利用KITTI数据集仅仅是一种实施方式，其是为了更便捷地进行实施，在具体实施过程中当然可以通过其他手段如激光雷达扫描三维物体，得到点云数据，本方案中不限定获取点云数据的方式；另外筛选范围也可根据具体实施方式作出改变。

S12：设置比例尺：x＝0.08m,y＝0.08m,z＝0.8m，对筛选后的点云数据进行三维空间体素化，得到三维格栅；需要说明的是，本实施例中设定的比例尺数值仅为一种实施方式，不能理解为对本方案的限定。

S13：根据点云数据的体素坐标，计算三维物体的高度特征和密度特征，得到点云数据的俯瞰特征图。

本实施例中的步骤S2中具体包括以下步骤：

S21：设定面积为32、长与宽的比为0.4，旋转角度值为(0,60,120)，构造二维旋转候选框；需要说明的是，本实施例中设定的二维旋转候选框参数仅仅为一种参考实施方式，其不能理解为对本方案的限定，在具体实施过程中当然可以对二维旋转候选框设置其他合适的参数值。

S22：将步骤S13得到的俯瞰特征图输入到二维旋转目标检测网络进行特征提取，得到特征图F。

本实施例中的步骤S3中具体包括以下步骤：

S31：对特征图F中每个像素点进行物体类别预测、物体二维旋转参数值预测，得到预测结果；

S32：根据二维旋转候选框的设定值与步骤S31中得到的预测结果，计算二维物体的边界框参数值，得到二维旋转物体的初步检测结果P，其中初步检测结果P为俯瞰图的图像尺寸。

本实施例中的步骤S4中通过特征插值调整初始特征图F的特征值，得到调整特征图f，具体包括以下步骤：

S41：获取初步检测结果P的几何中心点和几何中心点周围的四个像素点对应的特征值；

S42：分别计算四个像素点与几何中心点的距离；

S43：根据距离进行加权计算四个像素点的和，得到几何中心点的特征值；

S44：对特征图F中的每个像素点均执行步骤S41至步骤S43，得到调整后的特征图f。

本实施例中的步骤S5具体包括以下步骤：

S51：预测调整后的特征图f中物体的类别、二维旋转边界框的参数值、三维高度、朝向类别、180度朝向角度值，得到调整后的预测结果；

S52：将初步检测结果P作为候选框，根据检测结果P的参数值和步骤S51中得到的预测结果，计算物体的边界框参数值，得到二维旋转物体精细检测结果、三维高度值、物体朝向类别。其中，物体朝向类别包括正朝向和反朝向。

本实施例中的步骤S6中具体包括以下步骤：

S61：根据步骤S12中设置的比例尺，将二维旋转物体精细检测结果从俯瞰图尺度恢复到点云数据尺度；

S62：根据步骤S52中得到的物体朝向角类别、180度朝向角度值，得到点云数据尺度下物体360度朝向角度值；

S63：结合物体360度角度值与步骤S52得到的三维高度值，得到三维检测结果。

实施例2

本实施例与实施例1的区别仅在于，本实施例步骤S21中设定面积为32、长与宽的比为2.5，旋转角度值为(0,60,120)，构造二维旋转候选框。这样可以构造另一种类型的候选框，以更好地匹配三维物体。当然在具体实施过程中还可以设置其他的长宽比，以匹配三维物体。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。