掌桥专利:专业的专利平台
掌桥专利
首页

一种数据标注方法、装置、计算机设备及存储介质

文献发布时间:2023-06-19 11:29:13


一种数据标注方法、装置、计算机设备及存储介质

技术领域

本公开涉及机器学习领域,具体而言,涉及一种数据标注方法、装置、计算机设备及存储介质。

背景技术

随着信息技术的发展,无人驾驶技术也逐渐得到了广泛的应用。目前,无人驾驶技术主要通过雷达采集点云数据,然后基于训练好的神经网络识别采集的点云数据中的物体,进而实现避障。

随着雷达技术的快速发展,出现了越来越多的新型雷达,这些新型雷达一方面拥有更强的性能和更好的使用效果,另一方面也给新老雷达之间的换装带来了新的问题。

相关技术中,为了提高信息处理的效率,通常采用训练好的神经网络对雷达采集到的信息进行处理,对刚面世的新型雷达,其线束、检测范围等与已使用的雷达可能会有所不同,如果采用已使用的雷达对应的神经网络直接对新型雷达采集的点云数据进行识别,由于新旧雷达之间线束、检测范围等的不同,检测精度可能较低。而若重新对新型雷达对应的神经网络进行训练,则需要对新型雷达采集的点云数据进行标注,再用标注的点云数据对神经网络进行训练,由于点云数据的标注过程工作量较大,因此可能造成神经网络的训练效率较低。

发明内容

本公开实施例至少提供一种数据标注方法、装置、计算机设备及存储介质。

第一方面,本公开实施例提供了一种数据标注方法,包括:

获取第一雷达和第二雷达针对同一场景同步采集的第一点云数据和第二点云数据;

基于训练好的第一神经网络确定所述第一点云数据的目标检测结果;其中,第一神经网络利用所述第一雷达采集的样本点云训练得到;

基于所述第一雷达和所述第二雷达之间的相对位置关系、以及所述第一点云数据的目标检测结果,确定所述第二点云数据对应的标注结果。

上述方法中,可以基于训练好的第一神经网络自动对第二雷达采集的第二点云数据进行标注,从而实现对第二点云数据的自动标注,避免人工对第二点云数据进行标注的过程,提高了数据标注效率。

一种可能的实施方式中,所述第一点云数据的目标检测结果,包括:针对至少一个候选物体的检测信息、以及每个候选物体的检测信息对应的置信度信息;

其中,所述检测信息包括:

包含所述候选物体的检测框的第一位置信息和所述候选物体的属性信息。

一种可能的实施方式中,所述候选物体的属性信息包括以下信息中的至少一种:

候选物体的类型信息、尺寸、位置、朝向。

一种可能的实施方式中,所述基于所述第一雷达和所述第二雷达之间的相对位置关系、以及所述第一点云数据的目标检测结果,确定所述第二点云数据对应的标注结果,包括:

基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,和预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息;

基于所述目标物体的检测信息、所述目标物体的属性信息、以及所述相对位置关系,确定所述第二点云数据对应的标注结果。

这样,可以避免因为基于第一点云数据和第一神经网络生成的目标检测结果中错误的检测结果对所述第二神经网络训练所产生的影响,从而提高了第二点云数据的标注精度。

一种可能的实施方式中,所述基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,和预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息,包括:

基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,以及每种候选物体对应的预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息。

这样,通过对不同类型的候选物体设置不同的置信度阈值,可以避免由于第一神经网络的检测精度带来的对于不同类型的候选物体筛选的影响,实现对于不同候选物体的针对性筛选。

一种可能的实施方式中,所述基于所述目标物体的检测信息、所述目标物体的属性信息、以及所述相对位置关系,确定所述第二点云数据对应的标注结果,包括:

基于所述相对位置关系,将包含所述目标物体的检测框的第一位置信息由所述第一雷达对应的第一坐标系,转换至所述第二雷达对应的第二坐标系中,得到包含所述目标物体的检测框的第二位置信息;以及

在所述目标物体的属性信息包括位置和朝向中的任一信息的情况下,基于所述相对位置关系,将所述目标物体的属性信息由所述第一坐标系转换至所述第二坐标系中;

基于包含所述目标物体的检测框的第二位置信息、以及转换后的所述目标物体的属性信息,确定所述第二点云数据对应的标注结果。

一种可能的实施方式中,所述基于包含所述目标物体的检测框的第二位置信息、以及转换后的所述目标物体的属性信息,确定所述第二点云数据对应的标注结果,包括:

基于包含所述目标物体的检测框的第二位置信息,确定所述第二点云数据中,落入各个检测框内的雷达扫描点的个数;

基于落入各个检测框内的雷达扫描点的个数,从包含所述目标物体的检测框中,筛选出目标检测框;

将所述目标检测框的位置信息、以及所述目标检测框内包含的目标物体的属性信息,确定为所述第二点云数据对应的标注结果。

这样,可以进一步去除第二点云数据中的无效数据,避免因为不同类型的雷达识别和检测能力的不同,所导致的错误标注的情况,从而提高了第二点云数据的标注精度。

一种可能的实施方式中,所述第二点云数据对应的标注结果,用于对待训练的第二神经网络进行训练,所述第二神经网络用于对所述第二雷达采集的点云数据进行目标物体检测;

基于以下步骤对待训练的所述第二神经网络进行训练:

将所述第二点云数据输入至待训练的所述第二神经网络,得到所述第二点云数据对应的目标检测结果;

基于所述第二点云数据对应的目标检测结果、以及所述第二点云数据对应的标注结果,对待训练的所述第二神经网络进行训练。

在对所述第二点云数据进行标注之后,采用带有标注结果的第二点云数据对待训练的第二神经网络进行训练,然后基于训练完成的第二神经网络对第二雷达采集的点云数据进行识别,这样相比较于直接通过第一神经网络对第二雷达采集的点云数据进行识别,提高了识别精度。

一种可能的实施方式中,所述方法还包括:

获取第二雷达采集的待识别点云数据;

利用基于第一方面,或第一方面任一可能的实施方式中的方法得到的第二点云数据的标注结果和所述第二点云数据训练的第二神经网络,对所述待识别点云数据进行识别,得到所述待识别点云数据的识别结果。

一种可能的实施方式中,所述方法还包括:

获取车辆在行驶过程中基于所述第二雷达采集的点云数据;其中,所述第二雷达部署在所述车辆上;

利用基于第一方面,或第一方面任一可能的实施方式中的方法得到的第二点云数据的标注结果和所述第二点云数据训练的第二神经网络,检测所述点云数据中的目标对象;

基于检测的目标对象,控制所述车辆行驶。

第二方面,本公开实施例还提供一种数据标注装置,包括:

获取模块,用于获取第一雷达和第二雷达针对同一场景同步采集的第一点云数据和第二点云数据;

第一确定模块,用于基于训练好的第一神经网络确定所述第一点云数据的目标检测结果;其中,第一神经网络利用所述第一雷达采集的样本点云训练得到;

第二确定模块,用于基于所述第一雷达和所述第二雷达之间的相对位置关系、以及所述第一点云数据的目标检测结果,确定所述第二点云数据对应的标注结果。

一种可能的实施方式中,所述第一点云数据的目标检测结果,包括:针对至少一个候选物体的检测信息、以及每个候选物体的检测信息对应的置信度信息;

其中,所述检测信息包括:

包含所述候选物体的检测框的第一位置信息和所述候选物体的属性信息。

一种可能的实施方式中,所述候选物体的属性信息包括以下信息中的至少一种:

候选物体的类型信息、尺寸、位置、朝向。

一种可能的实施方式中,所述第二确定模块,在基于所述第一雷达和所述第二雷达之间的相对位置关系、以及所述第一点云数据的目标检测结果,确定所述第二点云数据对应的标注结果时,用于:

基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,和预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息;

基于所述目标物体的检测信息、所述目标物体的属性信息、以及所述相对位置关系,确定所述第二点云数据对应的标注结果。

一种可能的实施方式中,所述第二确定模块,在基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,和预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息时,用于:

基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,以及每种候选物体对应的预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息。

一种可能的实施方式中,所述第二确定模块,在基于所述目标物体的检测信息、所述目标物体的属性信息、以及所述相对位置关系,确定所述第二点云数据对应的标注结果时,用于:

基于所述相对位置关系,将包含所述目标物体的检测框的第一位置信息由所述第一雷达对应的第一坐标系,转换至所述第二雷达对应的第二坐标系中,得到包含所述目标物体的检测框的第二位置信息;以及

在所述目标物体的属性信息包括位置和朝向中的任一信息的情况下,基于所述相对位置关系,将所述目标物体的属性信息由所述第一坐标系转换至所述第二坐标系中;

基于包含所述目标物体的检测框的第二位置信息、以及转换后的所述目标物体的属性信息,确定所述第二点云数据对应的标注结果。

一种可能的实施方式中,所述第二确定模块,在基于包含所述目标物体的检测框的第二位置信息、以及转换后的所述目标物体的属性信息,确定所述第二点云数据对应的标注结果时,用于:

基于包含所述目标物体的检测框的第二位置信息,确定所述第二点云数据中,落入各个检测框内的雷达扫描点的个数;

基于落入各个检测框内的雷达扫描点的个数,从包含所述目标物体的检测框中,筛选出目标检测框;

将所述目标检测框的位置信息、以及所述目标检测框内包含的目标物体的属性信息,确定为所述第二点云数据对应的标注结果。

一种可能的实施方式中,所述第二点云数据对应的标注结果,用于对待训练的第二神经网络进行训练,所述第二神经网络用于对所述第二雷达采集的点云数据进行目标物体检测;

所述装置还包括训练模块,所述训练模块用于基于以下步骤对待训练的所述第二神经网络进行训练:

将所述第二点云数据输入至待训练的所述第二神经网络,得到所述第二点云数据对应的目标检测结果;

基于所述第二点云数据对应的目标检测结果、以及所述第二点云数据对应的标注结果,对待训练的所述第二神经网络进行训练。

一种可能的实施方式中,所述装置还包括识别模块,所述识别模块用于:

获取第二雷达采集的待识别点云数据;

利用基于第一方面,或第一方面任一可能的实施方式中的方法得到的第二点云数据的标注结果和所述第二点云数据训练的第二神经网络,对所述待识别点云数据进行识别,得到所述待识别点云数据的识别结果。

一种可能的实施方式中,所述装置还包括控制模块,所述控制模块用于:

获取车辆在行驶过程中基于所述第二雷达采集的点云数据;其中,所述第二雷达部署在所述车辆上;

利用基于第一方面,或第一方面任一可能的实施方式中的方法得到的第二点云数据的标注结果和所述第二点云数据训练的第二神经网络,检测所述点云数据中的目标对象;

基于检测的目标对象,控制所述车辆行驶。

第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。

第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的实施方式中的步骤。

关于上述数据标注装置、计算机设备、及计算机可读存储介质的效果描述参见上述数据标注方法的说明,这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种数据标注方法的流程图;

图2示出了本公开实施例所提供的数据标注方法中,所述第一雷达和所述第二雷达安装位置的示意图;

图3示出了本公开实施例所提供的数据标注方法中,一种确定所述第二点云数据对应的标注结果的流程图;

图4示出了本公开实施例所提供的数据标注方法中,另一种确定所述第二点云数据对应的标注结果的流程图;

图5示出了本公开实施例所提供的一种对待识别点云数据的识别方法的流程图;

图6示出了本公开实施例所提供的一种智能行驶控制方法的流程图;

图7示出了本公开实施例所提供的一种数据标注装置的架构示意图;

图8示出了本公开实施例所提供的一种计算机设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

经研究发现,为了提高信息处理的效率,通常采用训练好的神经网络对雷达采集到的信息进行处理,对刚面世的新型雷达,其线束、检测范围等与已使用的雷达可能会有所不同,如果采用已使用的雷达对应的神经网络直接对新型雷达采集的点云数据进行识别,由于新旧雷达之间线束、检测范围等的不同,检测精度可能较低。而若重新对新型雷达对应的神经网络进行训练,则需要对新型雷达采集的点云数据进行标注,再用标注的点云数据对神经网络进行训练,由于点云数据的标注过程工作量较大,因此可能造成神经网络的训练效率较低。

基于上述研究,本公开提供了一种数据标注方法、装置、计算机设备及存储介质,可以基于训练好的第一神经网络自动对第二雷达采集的第二点云数据进行标注,这样,一方面,可以实现对于第二点云数据的自动标注,避免人工对第二点云数据进行标注的过程,提升了第二神经网络的训练效率;另一方面,在对所述第二点云数据进行标注之后,带有标注结果的第二点云数据可用于对第二雷达对应的第二神经网络进行训练,然后可以基于重新训练出的第二神经网络对第二点云数据进行识别,这样相比较于直接通过第一神经网络对第二点云数据进行识别,提高了识别精度。

针对以上方案所存在的缺陷,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解,首先对本公开实施例所公开的一种数据标注方法进行详细介绍,本公开实施例所提供的数据标注方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为用户设备(User Equipment,UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant,PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该数据标注方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示,为本公开实施例提供的数据标注方法的流程图,所述方法包括S101~S103,其中:

S101:获取第一雷达和第二雷达针对同一场景同步采集的第一点云数据和第二点云数据。

S102:基于训练好的第一神经网络确定所述第一点云数据的目标检测结果;其中,第一神经网络利用所述第一雷达采集的样本点云训练得到。

S103:基于所述第一雷达和所述第二雷达之间的相对位置关系、以及所述第一点云数据的目标检测结果,确定所述第二点云数据对应的标注结果。

以下是针对上述步骤的详细说明:

针对S101、

在一种可能的实施方式中,所述第一雷达和所述第二雷达是同类型的雷达,示例性的,所述第一雷达和第二雷达可以是激光雷达、毫米波雷达等。所述第一雷达为对应有训练好的第一神经网络的雷达,所述第二雷达为待标注的雷达。

其中,所述第一雷达和第二雷达可以是线数或探测范围不同的不同型号的雷达,如果所述第一雷达和第二雷达的型号相同,则不需要重新训练神经网络,可以直接利用第一雷达对应的第一神经网络对第二雷达采集的点云数据进行检测。

一种可能的应用场景下,为了同时采集点云数据,可以将第一雷达和第二雷达部署在同一车辆上,在车辆的行驶过程中,可以控制第一雷达和第二雷达同步采集同一场景。

在一种可能的实施方式中,在控制第一雷达和第二雷达同时采集点云数据时,可以通过硬同步和软同步两种时间同步方式中的任意一种来实现同时采集。

其中,硬同步指的是通过搭载相应的硬件从而实现时间同步的方式,所述硬件可以是全球定位系统(Global Positioning System,GPS)、北斗卫星导航系统等导航定位系统的接收和处理装置,通过导航定位系统提供的授时服务,控制第一雷达和第二雷达同时开始采集数据;软同步指的是通过软件系统中自带的系统时钟或者联网进行时间查询从而实现时间同步的方式。

示例性的,所述第一雷达和所述第二雷达安装位置的示意图可以如图2所示,图2中,第一雷达和第二雷达被部署在车辆的顶端,且各自的安装位置是固定的。

针对S102、

这里,所述第一雷达对应的训练好的第一神经网络可以是经过训练且精度较高的3维(3Dimension,3D)目标检测模型,通过该模型可以确定所述第一雷达采集的点云数据对应的目标检测结果。

一种可能的实施方式中,所述第一点云数据的目标检测结果中,包括:针对至少一个候选物体的检测信息、以及每个候选物体的检测信息对应的置信度信息;

其中,所述检测信息包括:包含所述候选物体的检测框的第一位置信息和所述候选物体的属性信息。

一种可能的实施方式中,所述候选物体的属性信息包括以下信息中的至少一种:

候选物体的类型信息、尺寸、位置、朝向。

其中,候选物体的类型信息可以是候选物体的类别,比如:汽车、客车、卡车、自行车、电动车、摩托车、行人等;候选物体的尺寸包括所述候选物体的长、宽、高;所述候选物体的位置为所述候选物体相对雷达的位置信息,可以将雷达所在位置作为坐标原点建立坐标系,所述候选物体在该坐标系下的坐标即为该候选物体的位置;所述候选物体的朝向为所述候选物体相对雷达的朝向信息,以雷达所在位置为坐标原点建立坐标系,将所述候选物体在该坐标系下的坐标进行角度转换得到所述朝向信息,比如,所述候选物体在坐标系的X轴和Y轴上坐标均为5,则可以得到该候选物体在所述雷达的右前方45°位置。

在一种可能的实施方式中,在将第一点云数据输入至训练好的第一神经网络后,第一神经网络可以对第一点云数据中所包含的候选物体进行识别,得到每个候选物体的检测信息,以及对应的置信度信息。

其中,所述第一神经网络在训练时,可以先对第一雷达采集的点云数据进行标注,然后将带有标注的点云数据输入至第一神经网络,第一神经网络输出对于该点云数据的检测结果,然后基于点云数据的检测结果和点云数据的标注,对第一神经网络进行训练。

第一雷达采集的点云数据可以包括多帧,在对第一雷达采集的点云数据进行标注时,针对每一帧点云数据,可以在该帧点云数据中标注出该帧点云数据中包含候选物体的检测框和候选物体的类别、尺寸、位置、朝向等属性信息,还可以根据检测框在坐标系中的位置确定检测框的顶点坐标、长、宽、高等位置信息。

一种可能的实施方式中,为了弥补模型漏检结果,可以通过雷达多目标追踪的方法,对基于多帧点云数据确定的多个目标的各种信息进行检验,确保检测目标结果的准确性。

具体的,可以同时对当前帧中已标注出的检测框进行跟踪记录,并基于已标注的检测框的位置信息,对后续帧中的得到的检测框的位置信息进行检验,以确定是否存在标注遗漏。

示例性的,在第1、3、4、5帧点云数据中,在位置1附近存在1个检测框,而在第2帧点云数据中,在位置1附近只有一定数量的雷达扫描点,并无检测框,此时则可以确定对所述第2帧点云数据的标注出现遗漏,需要用检测框对位置1附近的雷达扫描点进行标注。

针对S103、

一种可能的实施方式中,在基于所述第一雷达和所述第二雷达之间的相对位置关系、以及所述第一点云数据的目标检测结果,确定所述第二点云数据对应的标注结果时,参见图3所示,可以通过以下两个步骤:

S301、基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,和预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息。

实际应用中,第一神经网络的检测精度有限,因此基于第一神经网络所确定的目标检测结果中可能会出现错误的检测结果,例如由于骑车的人在进行扫描的时候得到的雷达扫描点的数量较少,可能会出现检测不到或者将少数几个雷达扫描点误认为是骑车的人的情况,通过上述步骤,可以避免因为基于第一点云数据和第一神经网络生成的目标检测结果中错误的检测结果对所述第二神经网络训练所产生的影响,从而提高了第二点云数据的标注精度。

在一种可能的实施方式中,基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,和预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息时,可以将至少一个候选物体的检测信息中,对应的置信度信息超过所述预设的置信度阈值的候选物体的检测信息,作为所述目标物体的检测信息。

在另一种可能的实施方式中,在执行上述S301时,还可以基于所述第一点云数据的目标检测结果中每个目标物体的检测信息对应的置信度信息,以及每种目标物体对应的预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息。

实际应用中,所述第一雷达对应的训练好的第一神经网络对不同类型的候选物体的识别和检测能力可能不同,对于不同类型的候选物体,可以设置不同的置信度阈值,然后根据每种候选物体对应的不同的置信度阈值,筛选出目标物体以及目标物体的检测信息。

具体的,第一神经网络的输出结果中包含候选物体的类型信息和对应的置信度,可以基于候选物体的类型信息,确定与该类型信息对应的置信度阈值,并基于所述置信度阈值与所述候选物体对应的置信度,确定所述候选物体是否为目标物体。

示例性的,以所述候选物体的类型为卡车、汽车、自行车为例,由于体积越小的物体越难以准确识别,因此可以将卡车、汽车、自行车对应的置信度阈值依次设置为90%、70%、50%,再以所述候选物体的类型为卡车为例,当所述第一神经网络输出结果中表征该候选物体为卡车的置信度为95%时,由于95%大于其对应的置信度阈值90%,则可以确定该候选物体为所述目标物体,其对应的检测信息即为所述目标物体的检测信息。

通过对不同类型的候选物体设置不同的置信度阈值,可以避免由于第一神经网络的检测精度带来的对于不同类型的候选物体筛选的影响,实现对于不同候选物体的针对性筛选。

S302、基于所述目标物体的检测信息、所述目标物体的属性信息、以及所述相对位置关系,确定所述第二点云数据对应的标注结果。

一种可能的实施方式中,在执行上述S302时,参见图4所示,具体可以包括以下三个步骤:

S3021:基于所述相对位置关系,将包含所述目标物体的检测框的第一位置信息由所述第一雷达对应的第一坐标系,转换至所述第二雷达对应的第二坐标系中,得到包含所述目标物体的检测框的第二位置信息。

这里,每个雷达所对应的坐标系都以各自雷达所在位置为坐标原点,因此通过各雷达之间的相对位置关系,可以确定用于将所述第一位置信息转换至所述第二位置信息的外参变换矩阵。

具体的,可以先确定所述检测框的中心点坐标,所述检测框的中心点可以是检测框体对角线的交点,并对检测框的长、宽、高、朝向进行记录。然后,在进行转换时,可以先通过所述外参变换矩阵,将检测框的中心点坐标和朝向信息由所述第一坐标系转换至所述第二坐标系,并在转换后基于记录的长、宽、高即可在新坐标系下完成坐标转换,得到包含所述目标物体的检测框的第二位置信息;

或者,可以先确定检测框的各个顶点的坐标,然后通过所述外参变换矩阵将检测框的各个顶点坐标,由所述第一坐标系转换至所述第二坐标系,即可完成坐标转换,得到包含所述目标物体的检测框的第二位置信息。

以所述检测框为立方体为例,立方体共有8个顶点,通过所述外参变换矩阵将检测框的8个顶点坐标,由所述第一坐标系转换至所述第二坐标系,即可完成坐标转换,得到包含所述目标物体的检测框的第二位置信息。

S3022:在所述目标物体的属性信息包括位置和朝向中的任一信息的情况下,基于所述相对位置关系,将所述目标物体的属性信息由所述第一坐标系转换至所述第二坐标系中。

在所述目标物体的属性信息包括位置和朝向中的任一信息的情况下,可以基于所述外参变换矩阵,将所述目标物体的属性信息由所述第一坐标系转换至所述第二坐标系中。

这里,所述目标物体的属性信息中的类型信息和尺寸不受坐标变换的影响,因此不需要单独对类型信息和/或尺寸进行坐标系变换。

需要说明的是,S3021和S3022的执行顺序不分先后,可同步执行。

S3023:基于包含所述目标物体的检测框的第二位置信息、以及转换后的所述目标物体的属性信息,确定所述第二点云数据对应的标注结果。

一种可能的实施方式中,在执行上述S3023时,可以先基于包含所述目标物体的检测框的第二位置信息,确定所述第二点云数据中,落入各个检测框内的雷达扫描点的个数;然后,基于落入各个检测框内的雷达扫描点的个数,从包含所述目标物体的检测框中,筛选出目标检测框;最后,将所述目标检测框的位置信息、以及所述目标检测框内包含的目标物体的属性信息,确定为所述第二点云数据对应的标注结果。

具体的,在完成所述检测框的坐标转换后,为了确保检测框与第二点云数据中的雷达扫描点相匹配,避免出现目标物体不在第二雷达检测范围或在第二雷达视角下被遮挡时,凭空出现本不应存在的标注结果的情况,比如,第一雷达的检测范围为100米,第二雷达的检测范围为70米,当目标物体在80米处,按照检测范围,对应的检测框本不应存在,却在坐标转换后出现在标注结果中。为了避免出现这种情况,可以基于预设的雷达扫描点阈值对检测框进行筛选,筛选出目标检测框。

示例性的,可以设置雷达扫描点阈值为10,并对检测框中的雷达扫描点个数小于10个的检测框进行舍弃,对检测框中的雷达扫描点个数大于10个的检测框进行保留,从而筛选出符合筛选条件的目标检测框。

通过上述筛选步骤,可以进一步去除第二点云数据中的无效数据,避免因为不同类型的雷达识别和检测能力的不同,所导致的错误标注的情况,从而提高了第二点云数据的标注精度。

一种可能的实施方式中,所述待训练的第二神经网络为所述第一神经网络。

这里,当第一雷达与第二雷达型号/性能参数相近时,不需要使用新的神经网络,可以直接在原有神经网络的基础上做一定程度的调整,即可与第二雷达适配。

示例性的,所述第一雷达与第二雷达均为A公司生产的产品,所述第二雷达为所述第一雷达的改进型,区别为线数从16线增至32线,其余内部组件及参数指标均相同,仅需对所述第一雷达搭载的第一神经网络进行相应的调整和训练即可完成与第二雷达的适配,从而实现了神经网络从第一雷达到第二雷达之间的域迁移。

一种可能的实施方式中,所述第二点云数据对应的标注结果,可用于对待训练的第二神经网络进行训练,所述第二神经网络用于对所述第二雷达采集的点云数据进行目标物体检测。

在获取第二点云数据对应的标注结果后,可以基于第二点云数据以及第二点云数据对应的标注结果,对所述第二雷达对应的待训练的第二神经网络进行训练。

具体的,在基于所述第二点云数据、以及第二点云数据对应的标注结果,对所述第二雷达对应的待训练的第二神经网络进行训练时,可以将所述第二点云数据输入至所述第二神经网络,得到所述第二点云数据对应的目标预测结果;然后基于所述第二点云数据对应的目标检测结果、以及所述第二点云数据对应的标注结果,对所述第二神经网络进行训练。

一种可能的实施方式中,在对所述第二神经网络进行训练后,参见图5所示,可以基于以下步骤,实现对待识别点云数据的识别:

S501、获取所述第二雷达采集的待识别点云数据。

这里,所述第二雷达可以是上述获取第二点云数据的雷达,也可以是安装在其他车辆上的与上述获取第二点云数据型号相同的雷达。

S502、利用基于本公开任一实施例所述的方法得到的第二点云数据的标注结果和所述第二点云数据训练的第二神经网络,对所述待识别点云数据进行识别,得到所述待识别点云数据的识别结果。

本公开实施在对待识别点云数据进行识别时,利用了通过本公开实施例提供的方法训练的第二神经网络来实现,通过该方法可以实现对于神经网络的快速训练,进而能够提高对待识别点云数据的识别效率。

一种可能的实施方式中,在对所述第二神经网络进行训练后,参见图6所示,可以基于以下步骤,实现智能行驶控制:

S601、获取车辆在行驶过程中基于所述第二雷达采集的点云数据;其中,所述第二雷达部署在所述车辆上。

S602、利用基于本公开任一实施例所述的方法得到的第二点云数据的标注结果和所述第二点云数据训练的第二神经网络,检测所述点云数据中的目标对象。

S603、基于检测的目标对象,控制所述车辆行驶。

所述控制车辆行驶,例如包括控制车辆加速、减速、转向、制动等,或者可以播放语音提示信息,以提示驾驶员控制车辆加速、减速、转向、制动等。

本公开提供的数据标注方法,可以基于训练好的第一神经网络自动对第二雷达采集的第二点云数据进行标注,从而实现对于第二点云数据的自动标注,避免人工对第二点云数据进行标注的过程,提高了数据标注效率。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思,本公开实施例中还提供了与数据标注方法对应的数据标注装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据标注方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

参照图7所示,为本公开实施例提供的一种数据标注装置的架构示意图,所述装置包括:获取模块701、第一确定模块702、第二确定模块703;其中,

获取模块701,用于获取第一雷达和第二雷达针对同一场景同步采集的第一点云数据和第二点云数据;

第一确定模块702,用于基于训练好的第一神经网络确定所述第一点云数据的目标检测结果;其中,第一神经网络利用所述第一雷达采集的样本点云训练得到;

第二确定模块703,用于基于所述第一雷达和所述第二雷达之间的相对位置关系、以及所述第一点云数据的目标检测结果,确定所述第二点云数据对应的标注结果。

一种可能的实施方式中,所述第一点云数据的目标检测结果,包括:针对至少一个候选物体的检测信息、以及每个候选物体的检测信息对应的置信度信息;

其中,所述检测信息包括:

包含所述候选物体的检测框的第一位置信息和所述候选物体的属性信息。

一种可能的实施方式中,所述候选物体的属性信息包括以下信息中的至少一种:

候选物体的类型信息、尺寸、位置、朝向。

一种可能的实施方式中,所述第二确定模块703,在基于所述第一雷达和所述第二雷达之间的相对位置关系、以及所述第一点云数据的目标检测结果,确定所述第二点云数据对应的标注结果时,用于:

基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,和预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息;

基于所述目标物体的检测信息、所述目标物体的属性信息、以及所述相对位置关系,确定所述第二点云数据对应的标注结果。

一种可能的实施方式中,所述第二确定模块703,在基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,和预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息时,用于:

基于所述第一点云数据的目标检测结果中每个候选物体的检测信息对应的置信度信息,以及每种候选物体对应的预设的置信度阈值,从所述目标检测结果包含的针对至少一个候选物体的检测信息中,筛选出目标物体的检测信息。

一种可能的实施方式中,所述第二确定模块703,在基于所述目标物体的检测信息、所述目标物体的属性信息、以及所述相对位置关系,确定所述第二点云数据对应的标注结果时,用于:

基于所述相对位置关系,将包含所述目标物体的检测框的第一位置信息由所述第一雷达对应的第一坐标系,转换至所述第二雷达对应的第二坐标系中,得到包含所述目标物体的检测框的第二位置信息;以及

在所述目标物体的属性信息包括位置和朝向中的任一信息的情况下,基于所述相对位置关系,将所述目标物体的属性信息由所述第一坐标系转换至所述第二坐标系中;

基于包含所述目标物体的检测框的第二位置信息、以及转换后的所述目标物体的属性信息,确定所述第二点云数据对应的标注结果。

一种可能的实施方式中,所述第二确定模块703,在基于包含所述目标物体的检测框的第二位置信息、以及转换后的所述目标物体的属性信息,确定所述第二点云数据对应的标注结果时,用于:

基于包含所述目标物体的检测框的第二位置信息,确定所述第二点云数据中,落入各个检测框内的雷达扫描点的个数;

基于落入各个检测框内的雷达扫描点的个数,从包含所述目标物体的检测框中,筛选出目标检测框;

将所述目标检测框的位置信息、以及所述目标检测框内包含的目标物体的属性信息,确定为所述第二点云数据对应的标注结果。

一种可能的实施方式中,所述第二点云数据对应的标注结果,用于对待训练的第二神经网络进行训练,所述第二神经网络用于对所述第二雷达采集的点云数据进行目标物体检测;

所述装置还包括训练模块704,所述训练模块704,用于基于以下步骤对待训练的所述第二神经网络进行训练:

将所述第二点云数据输入至待训练的所述第二神经网络,得到所述第二点云数据对应的目标检测结果;

基于所述第二点云数据对应的目标检测结果、以及所述第二点云数据对应的标注结果,对待训练的所述第二神经网络进行训练。

一种可能的实施方式中,所述装置还包括识别模块705,用于:

获取第二雷达采集的待识别点云数据;

利用基于第一方面,或第一方面任一可能的实施方式中的方法得到的第二点云数据的标注结果和所述第二点云数据训练的第二神经网络,对所述待识别点云数据进行识别,得到所述待识别点云数据的识别结果。

一种可能的实施方式中,所述装置还包括控制模块706,用于:

获取车辆在行驶过程中基于所述第二雷达采集的点云数据;其中,所述第二雷达部署在所述车辆上;

利用基于第一方面,或第一方面任一可能的实施方式中的方法得到的第二点云数据的标注结果和所述第二点云数据训练的第二神经网络,检测所述点云数据中的目标对象;

基于检测的目标对象,控制所述车辆行驶。

本公开提供的数据标注装置,可以基于训练好的第一神经网络自动对第二雷达采集的第二点云数据进行标注,从而实现对于第二点云数据的自动标注,避免人工对第二点云数据进行标注的过程,提高了数据标注效率。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。

基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图8所示,为本公开实施例提供的计算机设备800的结构示意图,包括处理器801、存储器802、和总线803。其中,存储器802用于存储执行指令,包括内存8021和外部存储器8022;这里的内存8021也称内存储器,用于暂时存放处理器801中的运算数据,以及与硬盘等外部存储器8022交换的数据,处理器801通过内存8021与外部存储器8022进行数据交换,当计算机设备800运行时,处理器801与存储器802之间通过总线803通信,使得处理器801在执行以下指令:

获取第一雷达和第二雷达针对同一场景同步采集的第一点云数据和第二点云数据;

基于训练好的第一神经网络确定所述第一点云数据的目标检测结果;其中,第一神经网络利用所述第一雷达采集的样本点云训练得到;

基于所述第一雷达和所述第二雷达之间的相对位置关系、以及所述第一点云数据的目标检测结果,确定所述第二点云数据对应的标注结果。

本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的数据标注方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的数据标注方法的步骤,具体可参见上述方法实施例,在此不再赘述。

其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

相关技术
  • 数据集标注方法、数据集标注装置和计算机可读存储介质
  • 一种数据标注的方法、装置、计算机设备和存储介质
技术分类

06120112940349