一种数据标注方法

技术领域

本发明涉及车辆数据处理技术领域，尤其涉及一种数据标注方法。

背景技术

目前常用的传感器有激光雷达、毫米波雷达、摄像头和超声波雷达等。其中，毫米波雷达和摄像头是ADAS系统最常见的传感器，具有成本低廉的优点且技术比较成熟，便于实现工业化和产业化应用。摄像头具有成本低，可以识别不同物体，在物体高度和宽度测量精度，行人、道路标志识别的准确度等方面优势较为突出。在车辆前方布置双目摄像头还可以实现定位功能。但是摄像头的检测效果容易受到恶劣环境影响，如雨雾天气和黑天。而毫米波雷达通过发射电磁波实现测距和测速功能，不受光照和天气因素影响，但是无法识别车道线和交通标志等。

因此通过将摄像头和雷达结合起来从而实现对道路环境的感知，将摄像头和雷达的优势互补，因此目前的自动驾驶深度学习感知算法一般是基于激光雷达点云和摄像头图像。其数据标注方法一般是对二维图像以及较为稠密的激光雷达点云进行人工标注。

随着4D毫米波雷达发展快速，在普通毫米波雷达距离-速度-方位角3维数据上，增加了高度数据的探测精度。4D毫米波雷达具有成本低、全天候的优点。然而4D毫米波雷达的点云密度相对比较稀疏，人类难以直接根据点云数据进行识别和标注。如何利用4D毫米波雷达的点云数据来提升数据标准的准确性，成为亟待解决的问题。

发明内容

针对现有技术的上述问题，本发明提出了一种数据标注方法，能有效利用4D毫米波雷达的点云数据，提升数据标注的准确性。

具体地，本发明提出了一种数据标注方法，适用于车辆，所述车辆配置4D毫米波雷达和摄像头，包括步骤：

S1，对所述4D毫米波雷达和摄像头进行标定；

S2，通过所述4D毫米波雷达和摄像头采集道路行驶数据；

S3，基于图像视觉的目标检测算法，对摄像头采集的图像数据进行目标识别，获取的识别结果至少包括目标的类型、目标的视觉感知边界框、目标的速度、目标的运动趋势、目标的置信度；

S4，将所述视觉感知边界框与目标提议边界框插入到所述4D毫米波雷达获取的点云空间中，将两者进行融合，获取融合结果对应的边界框内的点云作为目标检测物进行标注；

S5，基于标注为目标检测物的点云，预测下一帧点云空间中的目标提议边界框；

S6，重复执行步骤S3～S5，完成对目标检测物的标注。

根据本发明的一个实施例，在步骤S1中，还包括对所述4D毫米波雷达和摄像头进行时钟同步。

根据本发明的一个实施例，在步骤S1中，对所述摄像头的标定步骤包括：

将所述摄像头安装于所述车辆的前挡风玻璃内；

在车辆前方设定距离放置特征目标；

对所述摄像头的图像数据中的特征目标像素点进行标记；

建立车辆坐标系与摄像头坐标系的转换矩阵。

根据本发明的一个实施例，在步骤S1中，对所述4D毫米波雷达的标定步骤包括：

在标定板上布置多个标记点；

改变所述4D毫米波雷达和标定板的位姿，以使所述4D毫米波雷达采集所述标记点的多组观测数据；

获取所述标记点的像素坐标；

将所述标记点的像素坐标和空间坐标对应，建立优化模型，包含所述4D毫米波雷达的外参矩阵待优化变量；

采用优化算法使重投影误差最小；

通过优化获得所述标定板的外参矩阵，再转换到车辆坐标系。

根据本发明的一个实施例，所述摄像头为单目摄像头或双目摄像头，在步骤S3中，采用单目摄像头的目标检测算法包括步骤：

利用单目图像的语义信息和深度估计进行3D检测；

基于区域提议网络的单目3D检测器，通过合成视图训练；

将单目图像深度图转化为点云，然后进行点云3D检测；

将单目图像投影到体素格栅进行3D检测；

采用双目摄像头的目标检测算法包括步骤：

利用双目视觉的立体匹配信息进行特征提升，监测3D目标；

立体匹配网络生成的深度图转化为点云，进行点云3D检测；

通过双目区域提议网络，生成2D和3D候选框进行联合优化。

根据本发明的一个实施例，在步骤S4中,将所述视觉感知边界框与目标提议边界框进行融合，该融合过程包括：

若目标提议边界框未生成，则融合结果对应的边界框为所述视觉感知边界框；

若目标提议边界框已生成，则判断所述视觉感知边界框与目标提议边界框是否存在交集；

若不存在交集，则融合结果对应的边界框为视觉感知边界框和目标提议边界框；

若存在交集，则计算所述视觉感知边界框与目标提议边界框的交并比，基于交并比及所述视觉感知边界框与目标提议边界框内的点云的速度来获得融合结果。

根据本发明的一个实施例，在步骤S4中,若所述视觉感知边界框与目标提议边界框存在交集，计算所述视觉感知边界框与目标提议边界框的交并比及所述视觉感知边界框与目标提议边界框内的点云的速度；

若交并比大于a，且速度差异小于b％，则合并所述视觉感知边界框与目标提议边界框作为融合结果；

若交并比小于c，且速度差异大于d％，则融合结果为视觉感知边界框和目标提议边界框；

若不符合以上两个条件，则融合结果为视觉感知边界框和目标提议边界框，并通过人工介入对目标检测物进行标注。

根据本发明的一个实施例，所述交并比IOU的计算公式为：

其中，S

根据本发明的一个实施例，a＝0.8，b＝20，c等于0.2，d＝50。

根据本发明的一个实施例，在步骤S4中，采用线性插值法将所述视觉感知边界框插入到所述4D毫米波雷达获取的点云空间中。

根据本发明的一个实施例，将所述视觉感知边界框插入到所述4D毫米波雷达获取的点云空间的过程还包括步骤：

扩展所述视觉感知边界框，放大倍数为115％～125％。

根据本发明的一个实施例，在步骤S4中，还包括噪声点剔除，通过Z-score离群点检测方法来剔除噪声点。

根据本发明的一个实施例，在步骤S5中，对标注为同一目标检测物的点云，计算平均相对速度，根据平均相对速度预测下一帧点云空间中的目标提议边界框。

本发明提供的一种数据标注方法，通过目标检测算法对摄像头采集的图像数据进行目标识别，获得目标的视觉感知边界框，将视觉感知边界框与目标提议边界框插入到所述4D毫米波雷达获取的点云空间进行融合，从而提升目标检测物的标注的准确性。

应当理解，本发明以上的一般性描述和以下的详细描述都是示例性和说明性的，并且旨在为如权利要求所述的本发明提供进一步的解释。

附图说明

包括附图是为提供对本发明进一步的解释，它们被收录并构成本申请的一部分，附图示出了本发明的实施例，并与本说明书一起起到解释本发明原理的作用。

附图中：

图1示出了本发明一个实施例的数据标注方法的流程框图。

图2示出了本发明一个实施例的视觉感知边界框和4D毫米波雷达点云的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在本申请的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本申请保护范围的限制。此外，尽管本申请中所使用的术语是从公知公用的术语中选择的，但是本申请说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本申请。

图1示出了本发明一个实施例的数据标注方法的流程框图。如图所示，本发明提供了一种数据标注方法，适用于配置4D毫米波雷达和摄像头的车辆。该数据标注方法包括步骤：

S1，对4D毫米波雷达和摄像头进行标定；

S2，通过4D毫米波雷达和摄像头采集道路行驶数据；

S3，基于图像视觉的目标检测算法，对摄像头采集的图像数据进行目标识别，获取的识别结果至少包括目标的类型、目标的视觉感知边界框、目标的速度、目标的运动趋势、目标的置信度。其中，目标的类型包括交通参与者，如行人、自行车、摩托车、轿车、大货车等，以及道路设备，如指示牌、井盖、路灯等。目标的视觉感知边界框是目标边界的长、宽和高。目标的速度指运动速度，包含三个方向的速度分量。目标的运动趋势是目标在各个方向上的加速度或转动趋势。置信度是检测结果整体的置信度，表示对标的类型及视觉感知边界框整体判断正确的概率。

由于在本发明的使用场景中，基于图像视觉的目标检测算法的目的是为了给4D毫米波雷达获取的点云空间的标注提供基本参考，在后续操作中，对于误检目标可以较为方便的剔除，而对于漏检目标则无法提供视觉感知边界框，需要更多的人力操作。因此需要尽量减少漏检，即提高召回率，而由此引起的误检率提高是可以接受的。在目标检测算法的参数调试过程中，损失函数的计算应当增加漏检权重。

S4，将视觉感知边界框与目标提议边界框插入到4D毫米波雷达获取的点云空间中，将两者进行融合。由于道路目标通常不会在z方向运动，因此将视觉感知边界框与目标提议边界框投影到xy平面形成2D边界框。获取融合结果对应的边界框内的点云作为目标检测物进行标注；

S5，基于标注为目标检测物的点云，预测下一帧点云空间中的目标提议边界框；

S6，重复执行步骤S3～S5，完成对目标检测物的标注。

较佳地，在步骤S1中，对4D毫米波雷达和摄像头进行标定还包括对4D毫米波雷达和摄像头进行时钟同步。就是通过统一的时钟源给4D毫米波雷达和摄像头提供相同的基准时间，4D毫米波雷达和摄像头根据基准时间校准各自的时钟时间，从硬件上实现时间同步。

较佳地，在步骤S1中，对摄像头标定的目的是将图像坐标系转换到车辆坐标系中，该标定步骤包括：

将摄像头安装于车辆的前挡风玻璃内；

在车辆前方设定距离放置特征目标，通常选择车辆前方5m/10m/15m/20m/25m位置放置特征目标；

对摄像头的图像数据中的特征目标像素点进行标记；

建立车辆坐标系与摄像头坐标系的转换矩阵。

设置r

其中c

从摄像头坐标(x,y,z)到世界坐标(X,Y,Z)转换公式为:

X＝r

Y＝r

X＝r

将前述两个过程合并，公式为：

较佳地，在步骤S1中，对4D毫米波雷达标定就是将雷达测量坐标系转换到车辆坐标系，该标定步骤包括：

准备一个精确的标定板，在标定板上布置多个标记点，其空间坐标准确已知；

将标定板放置到4D毫米波雷达的视野中，控制4D毫米波雷达和标定板以改变两者的位姿，以使4D毫米波雷达采集标记点的多组观测数据；

对每组观测数据，提取出标记点的特征，获取标记点的像素坐标；

将标记点的像素坐标和空间坐标对应，建立优化模型，包含4D毫米波雷达的外参矩阵待优化变量；

采用优化算法使重投影误差最小，优化算法可以是LM算法、最大似然解等，再通过迭代优化外参矩阵使重投影误差最小；在此优化过程中需要增加外参矩阵的约束条件，如单位向量约束，旋转矩阵正交约束等；

通过优化获得4D毫米波雷达到标定板的外参矩阵，再转换到车辆坐标系。

需要说明的是，在对4D毫米波雷达标定过程中，为了获得更精确结果，需要通过4D毫米波雷达采集标记点的多组多位置多姿态的观测数据，并对所有数据进行统一优化。

较佳地，摄像头为单目摄像头或双目摄像头，在步骤S3中，采用单目摄像头的目标检测算法包括步骤：

利用单目图像的语义信息和深度估计进行3D检测；

基于区域提议网络的单目3D检测器，通过合成视图训练；

将单目图像深度图转化为点云，然后进行点云3D检测；

将单目图像投影到体素格栅进行3D检测；

深度缩放网络，利用单目图像预测不同尺度的深度图，进行多尺度3D检测。

采用双目摄像头的目标检测算法包括步骤：

利用双目视觉的立体匹配信息进行特征提升，监测3D目标；

立体匹配网络生成的深度图转化为点云，进行点云3D检测；

通过双目区域提议网络，生成2D和3D候选框进行联合优化。

总体来说，单目摄像头或双目摄像头均适用于本发明。采用双目算法可以利用精确的深度信息提升检测精度，但成本更高。相对来说，单目算法更具应用价值，但检测效果仍待提升。

较佳地，在步骤S4中,将视觉感知边界框与目标提议边界框进行融合，该融合过程包括：

若目标提议边界框未生成，则融合结果对应的边界框为视觉感知边界框。即在第一次获得视觉感知边界框时，尚未生成预测的目标提议边界框。则将该视觉感知边界框插入到4D毫米波雷达获取的点云空间中，将视觉感知边界框内的点云作为目标检测物进行标注。

若目标提议边界框已生成，则判断视觉感知边界框与目标提议边界框是否存在交集；

若不存在交集，则说明两者不存在共同的目标检测物，融合结果对应的边界框为视觉感知边界框和目标提议边界框(两者独立)。将各自边界框内的点云作为不同的目标检测物进行标注，在步骤S5中，基于不同目标检测物的点云，分别预测下一帧点云空间中的目标提议边界框。

若存在交集，则说明可能存在共同的目标检测物，计算视觉感知边界框与目标提议边界框的交并比，基于交并比及视觉感知边界框与目标提议边界框内的点云的速度来获得融合结果。

更佳地，在步骤S4中,若视觉感知边界框与目标提议边界框存在交集，计算视觉感知边界框与目标提议边界框的交并比，以及视觉感知边界框与目标提议边界框内的点云的速度；

若交并比大于a，且速度差异小于b％，则说明两者存在共同的目标检测物，合并视觉感知边界框与目标提议边界框，即将视觉感知边界框与目标提议边界框内的点云合并作为融合结果；

若交并比小于c，且速度差异大于d％，仍判断为不同的目标检测物，则融合结果为视觉感知边界框和目标提议边界框(各自独立)；

若不符合以上两个条件，则融合结果为各自独立的视觉感知边界框和目标提议边界框，并通过人工介入对目标检测物进行标注。

较佳地，交并比IOU的计算公式为：

其中，S

较佳地，a＝0.8，b＝20，c等于0.2，d＝50。

图2示出了本发明一个实施例的视觉感知边界框和4D毫米波雷达点云的示意图。较佳地，在步骤S4中，采用线性插值法将视觉感知边界框插入到4D毫米波雷达获取的点云空间中。由于不同的传感器具有不同的采样频率，摄像头采样间隔一般为30ms左右，而4D毫米波雷达采样间隔一般为60～70ms。也就是说，摄像头和4D毫米波雷达的采样周期存在差异。如图所示，以4D毫米波雷达的采样时刻t0为基准，获取前后最接近的两帧图像数据，前后两帧摄像头的图像采集时刻分别为t1和t2，识别t1和t2时刻的视觉感知边界框。图中虚线上方为t1和t2时刻的所识别的视觉感知边界框，虚线下方为4D毫米波雷达获取的点云空间，虚线方框为所插入的视觉感知边界框。

线性插值法就是计算t1和t2时刻视觉感知边界框的8个角点的坐标在t0时刻的坐标位置，从而可以基于图像视觉的目标检测算法获得的视觉感知边界框插入到4D毫米波雷达获取的点云空间中。图中虚线框为插入点云空间的视觉感知边界框。具体来说，插值计算公式：

△t＝t

δt＝t

其中，x

较佳地，将视觉感知边界框插入到4D毫米波雷达获取的点云空间的过程还包括步骤：

扩展视觉感知边界框，放大倍数为115％～125％。

如图2所示，通过视觉感知边界框在雷达点云空间的映射，可以初步判断处于视觉感知边界框内的点云属于同一目标。但是由于视觉感知边界框通过插值得到，存在一定误差，并且雷达的识别也可能误差，所以仅仅通过视觉感知边界框的坐标判断雷达点云的目标归属，可能存在漏检。

为了减少漏检，以基于图像视觉的目标检测算法获得的视觉感知边界框的几何中心点为中心，将长宽高均放大一定倍数，形成新的视觉感知边界框，将接近原视觉感知边界框的雷达点云纳入目标归属。

假设原始视觉感知边界框立方体的8个顶点坐标为：

立方体的中心点坐标为：

将立方体按照中心点C沿着xyz轴均放大1.2倍，则放大后的立方体的8个顶点坐标为:

较佳地，在步骤S4中，还包括噪声点剔除，通过Z-score离群点检测方法来剔除噪声点。由于雷达点云中存在噪声点，若噪声点坐标处于视觉感知边界框中，会造成误检。若扩展视觉感知边界框，也可能引入更多噪声。

由于同一个目标的点云，应当具有相似的径向速度，因此可利用雷达点云的径向速度特征，进行噪声点的剔除。

使用Z-score离群点检测方法来识别异常噪声点。该方法属于基于统计模型的方法，基本思想是：假设数据集符合正态分布，计算每个样本相对于总体分布的Z-score值，然后根据阈值判断哪些样本的Z-score值异常，从而判定为离群点。Z-score的计算公式为：

其中，x为样本值，在本发明的应用场景中，取各雷达点的径向速度；μ为样本总体的均值，在本发明的应用场景中，取边界框内所有点的平均径向速度；σ为样本总体的标准差，在本发明的应用场景中，取边界框内所有点的径向速度标准差。

较佳地，在步骤S5中，对标注为同一目标检测物的点云，计算平均相对速度，根据平均相对速度预测下一帧点云空间中的目标提议边界框。由于摄像头感知特性，会存在目标被遮挡后无法识别的情况，并且极端天气下的识别能力也会有所下降。而4D毫米波雷达由于其传感器特性，可以探测到前方被遮挡的目标，若仅通过视觉算法进行目标预选，则无法标注摄像头未识别到，而4D雷达探测到的目标点云。

因此，可以利用目标点云的速度，预测下一帧的目标提议边界框，并在步骤S4中将目标提议边界框与视觉感知边界框做感知融合，获得融合结果对应的边界框。

雷达点云的径向速度可以通过4D毫米波雷达直接获得，而切向速度无法直接测量，因此需要通过该目标在相邻两帧的位置差异进行计算。假设目标边界框立方体在笛卡尔坐标系中做平移运动，设其8个顶点的初始坐标为：

经过相邻两帧的时间间隔t后,顶点坐标为：

则边界框立方体的运动速度为：

目标在空间中的速度向量为

本发明提供了一种数据标注方法，适用于配置4D毫米波雷达和摄像头的车辆，具有如下优点：

实现4D毫米波雷达点云的标注；

并不完全依赖激光雷达的点云数据，结合摄像头的使用，有效降低数据采集成本；

结合4D毫米波雷达的测速特点，预测下一帧的目标提议边界框位置，可以改善摄像头、激光雷达中的遮挡问题。

本领域技术人员可显见，可对本发明的上述示例性实施例进行各种修改和变型而不偏离本发明的精神和范围。因此，旨在使本发明覆盖落在所附权利要求书及其等效技术方案范围内的对本发明的修改和变型。