掌桥专利:专业的专利平台
掌桥专利
首页

物件识别模型训练方法及车载装置

文献发布时间:2023-06-19 11:39:06


物件识别模型训练方法及车载装置

技术领域

本发明涉及物件侦测技术领域,具体涉及一种物件识别模型训练方法及车载装置。

背景技术

随着自驾技术的发展,激光雷达(Lidar)被用来作为物体侦测的传感器。现有的物体侦测方法中,将激光雷达侦测得到的点云数据用XY坐标划分。然而,在该种划分方式下,由于激光雷达是以辐射状的方式射出,因此会遇到如下问题:距离激光雷达原点较近的数据密度较高,而距离激光雷达原点较远的数据密度较低,容易出现某些区域漏检或误检的情况发生。

发明内容

鉴于以上内容,有必要提出一种物件识别模型训练方法及车载装置,能够有效提升物件侦测的准确率。

本发明第一方面提供一种物件识别模型训练方法,应用于车载装置,该方法包括:

收集预设份数的点云数据,并对每份点云数据所对应的每个物件实际所在区域以及实际所在方向进行标记;

将所述预设份数的点云数据中的每份点云数据转换为极坐标系中的极坐标数据,由此获得所述预设份数的极坐标数据,并将所述预设份数的极坐标数据作为总训练样本;及

将所述总训练样本划分成训练集和验证集,并利用所述训练集训练神经网络获得物件识别模型,以及利用所述验证集验证所述物件识别模型;

其中,利用所述验证集验证所述物件识别模型包括:

利用所述物件识别模型识别所述验证集中的每份点云数据所对应的每个物件所在区域以及所在方向;

计算所识别到的每个物件所在区域与所标记的每个物件实际所在区域之间的重叠度IOU和距离d,并将每个物件与对应计算得到的重叠度IOU和距离d建立关联;

计算所识别到的每个物件所在方向与所标记的每个物件的实际所在方向之间的角度偏差值Δa,并将每个物件与对应计算得到的角度偏差值Δa建立关联;

根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件;

基于所述物件识别模型对所述验证集中的每份点云数据所对应的每个物件的识别结果计算所述物件识别模型的准确率;及

当所计算得到的准确率大于或等于预设值时,结束对所述物件识别模型的训练,以及当所计算得到的准确率小于所述预设值时,继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值。

优选地,所述重叠度IOU=I/U,其中,I代表所述物件识别模型所识别到的每个物件所在区域与所标记的每个物件实际所在区域的交集所在区域的面积,U代表所识别到的每个物件所在区域与所标记的每个物件实际所在区域的并集所在区域的面积。

优选地,所述距离d=max(Δx/Lgt,Δy/Wgt),其中,Δx代表所述物件识别模型所识别到的每个物件所在区域的中心点的横坐标与所标记的每个物件实际所在区域的中心点的横坐标之差;Δy代表所述物件识别模型所识别到的每个物件所在区域的中心点的纵坐标与所标记的每个物件实际所在区域的中心点的纵坐标之差;以及Lgt代表所标记的每个物件实际所在区域的长,Wgt代表所标记的每个物件实际所在区域的宽。

优选地,所述根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件包括:

当与任一物件所关联的所述重叠度IOU、d、Δa分别落入对应的预设的值域范围时,确定所述物件识别模型正确识别出该任一物件;当与任一物件所关联的所述重叠度IOU、d、Δa中的至少一者没有落入对应的预设的值域范围时,确定所述物件识别模型没有正确识别出该任一物件。

优选地,所述神经网络为卷积神经网络。

本发明第二方面提供一种车载装置,该车载装置包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器用于执行所述计算机程序时实现以下步骤,包括:

收集预设份数的点云数据,并对每份点云数据所对应的每个物件实际所在区域以及实际所在方向进行标记;

将所述预设份数的点云数据中的每份点云数据转换为极坐标系中的极坐标数据,由此获得所述预设份数的极坐标数据,并将所述预设份数的极坐标数据作为总训练样本;及

将所述总训练样本划分成训练集和验证集,并利用所述训练集训练神经网络获得物件识别模型,以及利用所述验证集验证所述物件识别模型;

其中,利用所述验证集验证所述物件识别模型包括:

利用所述物件识别模型识别所述验证集中的每份点云数据所对应的每个物件所在区域以及所在方向;

计算所识别到的每个物件所在区域与所标记的每个物件实际所在区域之间的重叠度IOU和距离d,并将每个物件与对应计算得到的重叠度IOU和距离d建立关联;

计算所识别到的每个物件所在方向与所标记的每个物件的实际所在方向之间的角度偏差值Δa,并将每个物件与对应计算得到的角度偏差值Δa建立关联;

根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件;

基于所述物件识别模型对所述验证集中的每份点云数据所对应的每个物件的识别结果计算所述物件识别模型的准确率;及

当所计算得到的准确率大于或等于预设值时,结束对所述物件识别模型的训练,以及当所计算得到的准确率小于所述预设值时,继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值。

优选地,所述重叠度IOU=I/U,其中,I代表所述物件识别模型所识别到的每个物件所在区域与所标记的每个物件实际所在区域的交集所在区域的面积,U代表所识别到的每个物件所在区域与所标记的每个物件实际所在区域的并集所在区域的面积。

优选地,所述距离d=max(Δx/Lgt,Δy/Wgt),其中,Δx代表所述物件识别模型所识别到的每个物件所在区域的中心点的横坐标与所标记的每个物件实际所在区域的中心点的横坐标之差;Δy代表所述物件识别模型所识别到的每个物件所在区域的中心点的纵坐标与所标记的每个物件实际所在区域的中心点的纵坐标之差;以及Lgt代表所标记的每个物件实际所在区域的长,Wgt代表所标记的每个物件实际所在区域的宽。

优选地,所述根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件包括:

当与任一物件所关联的所述重叠度IOU、d、Δa分别落入对应的预设的值域范围时,确定所述物件识别模型正确识别出该任一物件;及

当与任一物件所关联的所述重叠度IOU、d、Δa中的至少一者没有落入对应的预设的值域范围时,确定所述物件识别模型没有正确识别出该任一物件。

优选地,所述神经网络为卷积神经网络。

本发明实施例中所述的物件识别模型训练的方法及车载装置,通过收集预设份数的点云数据,并对每份点云数据所对应的每个物件实际所在区域以及实际所在方向进行标记;将所述预设份数的点云数据中的每份点云数据转换为极坐标系中的极坐标数据,由此获得所述预设份数的极坐标数据,并将所述预设份数的极坐标数据作为总训练样本;及将所述总训练样本划分成训练集和验证集,并利用所述训练集训练神经网络获得物件识别模型,以及利用所述验证集验证所述物件识别模型;其中,利用所述验证集验证所述物件识别模型包括:利用所述物件识别模型识别所述验证集中的每份点云数据所对应的每个物件所在区域以及所在方向;计算所识别到的每个物件所在区域与所标记的每个物件实际所在区域之间的重叠度IOU和距离d,并将每个物件与对应计算得到的重叠度IOU和距离d建立关联;计算所识别到的每个物件所在方向与所标记的每个物件的实际所在方向之间的角度偏差值Δa,并将每个物件与对应计算得到的角度偏差值Δa建立关联;根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件;基于所述物件识别模型对所述验证集中的每份点云数据所对应的每个物件的识别结果计算所述物件识别模型的准确率;及当所计算得到的准确率大于或等于预设值时,结束对所述物件识别模型的训练,以及当所计算得到的准确率小于所述预设值时,继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值,可以提升物件识别的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1是本发明较佳实施例提供的物件识别模型训练方法的流程图。

图2A举例说明物件的实际所在区域和利用物件识别模型所识别到的物件所在区域。

图2B举例说明物件的实际所在区域与利用物件识别模型所识别到的物件所在区域的交集所在区域。

图2C举例说明物件的实际所在区域与利用物件识别模型所识别到的物件所在区域的并集所在区域。

图3是本发明较佳实施例提供的物件识别模型训练系统的功能模块图。

图4是本发明较佳实施例提供的车载装置的架构图。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。

图1是本发明较佳实施例提供的物件识别模型训练方法的流程图。

在本实施例中,所述物件识别模型训练方法可以应用于车载装置中,对于需要进行物件识别模型训练的车载装置,可以直接在车载装置上集成本发明的方法所提供的用于物件识别模型训练的功能,或者以软件开发工具包(Software Development Kit,SDK)的形式运行在车载装置上。

如图1所示,所述物件识别模型训练方法具体包括以下步骤,根据不同的需求,该流程图中步骤的顺序可以改变,某些步骤可以省略。

步骤S1,车载装置收集预设份数的点云数据,并对每份点云数据所对应的每个物件实际所在区域以及实际所在方向进行标记。

本实施例中,所述预设份数的点云数据中的每份点云数据是车辆在行驶过程中利用激光雷达对车辆所在的行驶环境进行扫描所获得的。

本实施例中,所述预设份数可以为10万份、20万份,或其他数目。

步骤S2,车载装置将所述预设份数的点云数据中的每份点云数据转换为极坐标系中的极坐标数据,由此车载装置获得所述预设份数的极坐标数据,并将所述预设份数的极坐标数据作为总训练样本。

需要说明的是,在这里,将所述每份点云数据分别转换为极坐标系中的极坐标数据,可以使得近处密集的点得到较高的取样频率,远处稀疏的点取样频率较低,由此改善远近点被取样的频率不均的问题。

步骤S3,车载装置将所述总训练样本划分成训练集和验证集,并利用所述训练集训练神经网络获得物件识别模型,以及利用所述验证集验证所述物件识别模型。

在一个实施例中,所述训练集所包括的样本数目为所述总训练样本的m%,所述验证集所包括的样本数目为所述总训练样本的n%。在一个实施例中,m%与n%的和等于100%。

举例而言,所述训练集所包括的样本的数目为所述总训练样本的70%,所述验证集所包括的样本的数目为所述总训练样本的30%。

在一个实施例中,所述神经网络为卷积神经网络(Convolutional NeuralNetwork,CNN)。在一个实施例中,所述利用训练集训练神经网络获得物件识别模型的方法为现有技术,于此不再赘述。

在一个实施例中,利用所述验证集验证所述物件识别模型包括(a1)-(a6):

(a1)利用所述物件识别模型识别所述验证集中的每份点云数据所对应的每个物件所在区域以及所在方向。

(a2)计算所识别到的每个物件所在区域与所标记的每个物件实际所在区域之间的重叠度(Intersection over Union,IOU)和距离d,并将每个物件与对应计算得到的重叠度IOU和距离d建立关联。

本实施例中,重叠度IOU=I/U,其中,I代表所述物件识别模型所识别到的每个物件所在区域与所标记的每个物件实际所在区域的交集所在区域的面积,U代表所识别到的每个物件所在区域与所标记的每个物件实际所在区域的并集所在区域的面积。

举例而言,为清楚说明本发明,请参阅图2A-2C所示,假设图2A中实线所框区域E1代表所标记的物件O实际所在区域,图2A中虚线所框区域E2代表所述物件识别模型所识别到的物件O所在区域。那么图2B所示的黑色填充区域E10即是E1和E2的交集所在区域,图2C所示的黑色填充区域E12即是E1和E2的并集所在区域。由此可知,所述物件识别模型所识别到的物件O所在区域与所标记的物件O实际所在区域之间的重叠度IOU等于E10的面积除以E12的面积。所述车载装置还将所述物件O与所计算得到的重叠度IOU建立关联。

本实施例中,距离d=max(Δx/Lgt,Δy/Wgt),其中,Δx代表所述物件识别模型所识别到的每个物件所在区域的中心点的横坐标与所标记的每个物件实际所在区域的中心点的横坐标之差。Δy代表所述物件识别模型所识别到的每个物件所在区域的中心点的纵坐标与所标记的每个物件实际所在区域的中心点的纵坐标之差。Lgt代表所标记的每个物件实际所在区域的长,Wgt代表所标记的每个物件实际所在区域的宽。

举例而言,假设所述物件识别模型识别到物件O所在区域的中心点的横坐标为X1,纵坐标为Y1,所标记的物件O实际所在区域的长为L,宽为W,中心点的横坐标为X2,纵坐标为Y2,那么d=max((X1-X2)/L,(Y1-Y2)/W)。所述车载装置还将所述物件O与所计算得到的距离d建立关联。

(a3)计算所识别到的每个物件所在方向与所标记的每个物件的实际所在方向之间的角度偏差值Δa,并将每个物件与对应计算得到的角度偏差值Δa建立关联。

本实施例中,可以对所标记的每个物件定义一个第一方向向量,对所识别到的每个物件定义一个第二方向向量,由此,根据所述第一方向向量以及第二方向向量即可计算得到所述角度偏差值Δa。

具体地,可以基于所标记的每个物件实际所在区域的中心点与原点所构成的直线为所标记的每个物件定义第一方向向量。同样地,对所识别到的每个物件所在区域的中心点与原点所构成的直线为所识别到的每个物件定义第二方向向量。由此根据该第一方向向量和第二方向向量即可计算得出所述角度偏差值Δa。

(a4)根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件。

本实施例中,所述根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件包括:

当与任一物件所关联的所述重叠度IOU、d、Δa分别落入对应的预设的值域范围时,车载装置确定所述物件识别模型正确识别出该任一物件;及

当与任一物件所关联的所述重叠度IOU、d、Δa中的至少一者没有落入对应的预设的值域范围时,车载装置确定所述物件识别模型没有正确识别出该任一物件。

举例而言,假设与物件O所关联的重叠度IOU落入预设的重叠度值域范围,与物件O所关联的距离d落入预设的距离值域范围,以及与物件O所关联的角度偏差值Δa落入预设的角度偏差值的值域范围,则确定所述物件识别模型正确识别出所述物件O。

(a5)基于所述物件识别模型对所述验证集中的每份点云数据所对应的每个物件的识别结果计算所述物件识别模型的准确率。

为清楚说明本发明,假设所述验证集包括两份点云数据,分别是第一份点云数据和第二份点云数据,每份点云数据对应两个物件。假设所述物件识别模型正确识别出了第一份点云数据中的两个物件和第二份点云数据中的其中一个物件,但是未正确识别出第二份点云数据中的另一个物件。那么所述物件识别模型的准确率即为75%。

(a6)当所计算得到的准确率大于或等于预设值时,结束对所述物件识别模型的训练,以及当所计算得到的准确率小于所述预设值时,继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值。

在一个实施例中,当所计算得到的准确率小于所述预设值时,可以增加所述总训练样本的数量获得新的总训练样本,并基于新的总训练样本继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值。

当结束对所述物件识别模型的训练后,车载装置即可利用该物件识别模型在车辆运行过程中识别物件。

具体地,车载装置可以将激光雷达在车辆运行过程中所扫描获得的点云数据装换为极坐标数据后输入至所述物件识别模型即可获得物件识别结果。

需要说明的是,由于本发明在训练所述物件识别模型的时候加入了对所述距离d及角度偏差值Δa的判断,可以有效改善使用极坐标数据进行物件侦测时所导致的近处的车子呈现上是斜的技术问题。此外,还可进一步提升对物件识别的准确率。

根据上述记载可知,本发明实施例的所述物件识别模型训练方法,通过收集预设份数的点云数据,并对每份点云数据所对应的每个物件实际所在区域以及实际所在方向进行标记;将所述预设份数的点云数据中的每份点云数据转换为极坐标系中的极坐标数据,由此获得所述预设份数的极坐标数据,并将所述预设份数的极坐标数据作为总训练样本;及将所述总训练样本划分成训练集和验证集,并利用所述训练集训练神经网络获得物件识别模型,以及利用所述验证集验证所述物件识别模型;其中,利用所述验证集验证所述物件识别模型包括:利用所述物件识别模型识别所述验证集中的每份点云数据所对应的每个物件所在区域以及所在方向;计算所识别到的每个物件所在区域与所标记的每个物件实际所在区域之间的重叠度IOU和距离d,并将每个物件与对应计算得到的重叠度IOU和距离d建立关联;计算所识别到的每个物件所在方向与所标记的每个物件的实际所在方向之间的角度偏差值Δa,并将每个物件与对应计算得到的角度偏差值Δa建立关联;根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件;基于所述物件识别模型对所述验证集中的每份点云数据所对应的每个物件的识别结果计算所述物件识别模型的准确率;及当所计算得到的准确率大于或等于预设值时,结束对所述物件识别模型的训练,以及当所计算得到的准确率小于所述预设值时,继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值,可以提升物件识别的准确率。

上述图1详细介绍了本发明的物件识别模型训练方法,下面结合图3和图4,分别对实现所述物件识别模型训练方法的软件装置的功能模块以及实现所述物件识别模型训练方法的硬件装置架构进行介绍。

应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。

参阅图3所示,是本发明较佳实施例提供的物件识别模型训练系统30的功能模块图。

在一些实施例中,所述物件识别模型训练系统30运行于车载装置中。所述物件识别模型训练系统30可以包括多个由计算机程序的代码段所组成的功能模块。所述物件识别模型训练系统30中的各个计算机程序的代码段可以存储于车载装置的存储器中,并由所述车载装置的至少一个处理器所执行,以实现(详见图1描述)物件识别模型训练。

本实施例中,所述物件识别模型训练系统30根据其所执行的功能,可以被划分为多个功能模块。所述功能模块可以包括:收集模块301、执行模块302。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序的代码段,其存储在存储器中。在本实施例中,关于各模块的功能将在后续的实施例中详述。

收集模块301收集预设份数的点云数据,并对每份点云数据所对应的每个物件实际所在区域以及实际所在方向进行标记。

本实施例中,所述预设份数的点云数据中的每份点云数据是车辆在行驶过程中利用激光雷达对车辆所在的行驶环境进行扫描所获得的。

本实施例中,所述预设份数可以为10万份、20万份,或其他数目。

执行模块302将所述预设份数的点云数据中的每份点云数据转换为极坐标系中的极坐标数据,由此执行模块302获得所述预设份数的极坐标数据,并将所述预设份数的极坐标数据作为总训练样本。

需要说明的是,在这里,将所述每份点云数据分别转换为极坐标系中的极坐标数据,可以使得近处密集的点得到较高的取样频率,远处稀疏的点取样频率较低,由此改善远近点被取样的频率不均的问题。

执行模块302将所述总训练样本划分成训练集和验证集,并利用所述训练集训练神经网络获得物件识别模型,以及利用所述验证集验证所述物件识别模型。

在一个实施例中,所述训练集所包括的样本数目为所述总训练样本的m%,所述验证集所包括的样本数目为所述总训练样本的n%。在一个实施例中,m%与n%的和等于100%。

举例而言,所述训练集所包括的样本的数目为所述总训练样本的70%,所述验证集所包括的样本的数目为所述总训练样本的30%。

在一个实施例中,所述神经网络为卷积神经网络(Convolutional NeuralNetwork,CNN)。在一个实施例中,所述利用训练集训练神经网络获得物件识别模型的方法为现有技术,于此不再赘述。

在一个实施例中,利用所述验证集验证所述物件识别模型包括(a1)-(a6):

(a1)利用所述物件识别模型识别所述验证集中的每份点云数据所对应的每个物件所在区域以及所在方向。

(a2)计算所识别到的每个物件所在区域与所标记的每个物件实际所在区域之间的重叠度(Intersection over Union,IOU)和距离d,并将每个物件与对应计算得到的重叠度IOU和距离d建立关联。

本实施例中,重叠度IOU=I/U,其中,I代表所述物件识别模型所识别到的每个物件所在区域与所标记的每个物件实际所在区域的交集所在区域的面积,U代表所识别到的每个物件所在区域与所标记的每个物件实际所在区域的并集所在区域的面积。

举例而言,为清楚说明本发明,请参阅图2A-2C所示,假设图2A中实线所框区域E1代表所标记的物件O实际所在区域,图2A中虚线所框区域E2代表所述物件识别模型所识别到的物件O所在区域。那么图2B所示的黑色填充区域E10即是E1和E2的交集所在区域,图2C所示的黑色填充区域E12即是E1和E2的并集所在区域。由此可知,所述物件识别模型所识别到的物件O所在区域与所标记的物件O实际所在区域之间的重叠度IOU等于E10的面积除以E12的面积。所述执行模块302还将所述物件O与所计算得到的重叠度IOU建立关联。

本实施例中,距离d=max(Δx/Lgt,Δy/Wgt),其中,Δx代表所述物件识别模型所识别到的每个物件所在区域的中心点的横坐标与所标记的每个物件实际所在区域的中心点的横坐标之差。Δy代表所述物件识别模型所识别到的每个物件所在区域的中心点的纵坐标与所标记的每个物件实际所在区域的中心点的纵坐标之差。Lgt代表所标记的每个物件实际所在区域的长,Wgt代表所标记的每个物件实际所在区域的宽。

举例而言,假设所述物件识别模型识别到物件O所在区域的中心点的横坐标为X1,纵坐标为Y1,所标记的物件O实际所在区域的长为L,宽为W,中心点的横坐标为X2,纵坐标为Y2,那么d=max((X1-X2)/L,(Y1-Y2)/W)。所述执行模块302还将所述物件O与所计算得到的距离d建立关联。

(a3)计算所识别到的每个物件所在方向与所标记的每个物件的实际所在方向之间的角度偏差值Δa,并将每个物件与对应计算得到的角度偏差值Δa建立关联。

本实施例中,可以对所标记的每个物件定义一个第一方向向量,对所识别到的每个物件定义一个第二方向向量,由此,根据所述第一方向向量以及第二方向向量即可计算得到所述角度偏差值Δa。

具体地,可以基于所标记的每个物件实际所在区域的中心点与原点所构成的直线为所标记的每个物件定义第一方向向量。同样地,对所识别到的每个物件所在区域的中心点与原点所构成的直线为所识别到的每个物件定义第二方向向量。由此根据该第一方向向量和第二方向向量即可计算得出所述角度偏差值Δa。

(a4)根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件。

本实施例中,所述根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件包括:

当与任一物件所关联的所述重叠度IOU、d、Δa分别落入对应的预设的值域范围时,执行模块302确定所述物件识别模型正确识别出该任一物件;及

当与任一物件所关联的所述重叠度IOU、d、Δa中的至少一者没有落入对应的预设的值域范围时,执行模块302确定所述物件识别模型没有正确识别出该任一物件。

举例而言,假设与物件O所关联的重叠度IOU落入预设的重叠度值域范围,与物件O所关联的距离d落入预设的距离值域范围,以及与物件O所关联的角度偏差值Δa落入预设的角度偏差值的值域范围,则确定所述物件识别模型正确识别出所述物件O。

(a5)基于所述物件识别模型对所述验证集中的每份点云数据所对应的每个物件的识别结果计算所述物件识别模型的准确率。

为清楚说明本发明,假设所述验证集包括两份点云数据,分别是第一份点云数据和第二份点云数据,每份点云数据对应两个物件。假设所述物件识别模型正确识别出了第一份点云数据中的两个物件和第二份点云数据中的其中一个物件,但是未正确识别出第二份点云数据中的另一个物件。那么所述物件识别模型的准确率即为75%。

(a6)当所计算得到的准确率大于或等于预设值时,结束对所述物件识别模型的训练,以及当所计算得到的准确率小于所述预设值时,继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值。

在一个实施例中,当所计算得到的准确率小于所述预设值时,可以增加所述总训练样本的数量获得新的总训练样本,并基于新的总训练样本继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值。

当结束对所述物件识别模型的训练后,车载装置即可利用该物件识别模型在车辆运行过程中识别物件。

具体地,执行模块302可以将激光雷达在车辆运行过程中所扫描获得的点云数据装换为极坐标数据后输入至所述物件识别模型即可获得物件识别结果。

需要说明的是,由于本发明在训练所述物件识别模型的时候加入了对所述距离d及角度偏差值Δa的判断,可以有效改善使用极坐标数据进行物件侦测时所导致的近处的车子呈现上是斜的技术问题。此外,还可进一步提升对物件识别的准确率。

根据上述记载可知,本发明实施例的所述物件识别模型训练系统,通过收集预设份数的点云数据,并对每份点云数据所对应的每个物件实际所在区域以及实际所在方向进行标记;将所述预设份数的点云数据中的每份点云数据转换为极坐标系中的极坐标数据,由此获得所述预设份数的极坐标数据,并将所述预设份数的极坐标数据作为总训练样本;及将所述总训练样本划分成训练集和验证集,并利用所述训练集训练神经网络获得物件识别模型,以及利用所述验证集验证所述物件识别模型;其中,利用所述验证集验证所述物件识别模型包括:利用所述物件识别模型识别所述验证集中的每份点云数据所对应的每个物件所在区域以及所在方向;计算所识别到的每个物件所在区域与所标记的每个物件实际所在区域之间的重叠度IOU和距离d,并将每个物件与对应计算得到的重叠度IOU和距离d建立关联;计算所识别到的每个物件所在方向与所标记的每个物件的实际所在方向之间的角度偏差值Δa,并将每个物件与对应计算得到的角度偏差值Δa建立关联;根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件;基于所述物件识别模型对所述验证集中的每份点云数据所对应的每个物件的识别结果计算所述物件识别模型的准确率;及当所计算得到的准确率大于或等于预设值时,结束对所述物件识别模型的训练,以及当所计算得到的准确率小于所述预设值时,继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值,可以提升物件识别的准确率。

参阅图3所示,为本发明较佳实施例提供的车载装置的结构示意图。

本发明的较佳实施例中,车载装置3可以安装在车辆100上。所述车辆100可以是汽车、机车等。所述物件识别模型训练系统30用于在车辆100行驶过程中,对车辆100所在的行车环境中的物件进行识别(具体细节后面介绍)。

本实施例中,所述车载装置3包括互相之间电气连接的存储器31、至少一个处理器32。

本领域技术人员应该了解,图1示出的车载装置3的结构并不构成本发明实施例的限定,所述车载装置3还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置。例如,所述车载装置3还可以包括显示屏等部件。

在一些实施例中,所述车载装置3包括一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的终端,其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。

需要说明的是,所述车载装置3仅为举例,其他现有的或今后可能出现的电子产品如可适应于本发明,也应包含在本发明的保护范围以内,并以引用方式包含于此。

在一些实施例中,所述存储器31可以用于存储计算机程序的程序代码和各种数据。例如,所述存储器31可以用于存储安装在所述车载装置3中的物件识别模型训练系统30,并在车载装置3的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器31可以是包括只读存储器(Read-Only Memory,ROM)、可编程只读存储器(ProgrammableRead-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-OnlyMemory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读的存储介质。

在一些实施例中,所述至少一个处理器32可以由集成电路组成。例如,可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器32是所述车载装置3的控制核心(Control Unit),利用各种接口和线路连接整个车载装置3的各个部件,通过运行或执行存储在所述存储器31内的程序或者模块,以及调用存储在所述存储器31内的数据,以执行车载装置3的各种功能和处理数据,例如,训练物件识别模型(具体细节后面介绍)。

尽管未示出,所述车载装置3还可以包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理装置与所述至少一个处理器32逻辑相连,从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述车载装置3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。

应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。

上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块包括若干指令,该若干指令用以使得一台车载装置(即车载电脑)或处理器(processor)执行本发明各个实施例所述方法的部分。

在进一步的实施例中,结合图2,所述至少一个处理器32可执行所述车载装置3的操作装置以及安装的各类应用程序(如物件识别模型训练系统30)等。

所述存储器31中存储有计算机程序代码,且所述至少一个处理器32可调用所述存储器31中存储的计算机程序代码以执行相关的功能。例如,图2中所述的各个模块是存储在所述存储器31中的计算机程序代码,并由所述至少一个处理器32所执行,从而实现所述各个模块的功能以训练物件识别模型的目的。

在本发明的一个实施例中,所述存储器31存储多个指令,所述多个指令被所述至少一个处理器32所执行以训练物件识别模型。

具体地,结合图1所示,所述至少一个处理器32对上述指令的具体实现方法包括:

收集预设份数的点云数据,并对每份点云数据所对应的每个物件实际所在区域以及实际所在方向进行标记;

将所述预设份数的点云数据中的每份点云数据转换为极坐标系中的极坐标数据,由此获得所述预设份数的极坐标数据,并将所述预设份数的极坐标数据作为总训练样本;及

将所述总训练样本划分成训练集和验证集,并利用所述训练集训练神经网络获得物件识别模型,以及利用所述验证集验证所述物件识别模型;

其中,利用所述验证集验证所述物件识别模型包括:

利用所述物件识别模型识别所述验证集中的每份点云数据所对应的每个物件所在区域以及所在方向;

计算所识别到的每个物件所在区域与所标记的每个物件实际所在区域之间的重叠度IOU和距离d,并将每个物件与对应计算得到的重叠度IOU和距离d建立关联;

计算所识别到的每个物件所在方向与所标记的每个物件的实际所在方向之间的角度偏差值Δa,并将每个物件与对应计算得到的角度偏差值Δa建立关联;

根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件;

基于所述物件识别模型对所述验证集中的每份点云数据所对应的每个物件的识别结果计算所述物件识别模型的准确率;及

当所计算得到的准确率大于或等于预设值时,结束对所述物件识别模型的训练,以及当所计算得到的准确率小于所述预设值时,继续训练所述物件识别模型直至所述准确率大于或者等于所述预设值。

优选地,所述重叠度IOU=I/U,其中,I代表所述物件识别模型所识别到的每个物件所在区域与所标记的每个物件实际所在区域的交集所在区域的面积,U代表所识别到的每个物件所在区域与所标记的每个物件实际所在区域的并集所在区域的面积。

优选地,所述距离d=max(Δx/Lgt,Δy/Wgt),其中,Δx代表所述物件识别模型所识别到的每个物件所在区域的中心点的横坐标与所标记的每个物件实际所在区域的中心点的横坐标之差;Δy代表所述物件识别模型所识别到的每个物件所在区域的中心点的纵坐标与所标记的每个物件实际所在区域的中心点的纵坐标之差;以及Lgt代表所标记的每个物件实际所在区域的长,Wgt代表所标记的每个物件实际所在区域的宽。

优选地,所述根据与每个物件关联的重叠度IOU、距离d,以及角度偏差值Δa确定所述物件识别模型是否正确识别每个物件包括:

当与任一物件所关联的所述重叠度IOU、d、Δa分别落入对应的预设的值域范围时,确定所述物件识别模型正确识别出该任一物件;当与任一物件所关联的所述重叠度IOU、d、Δa中的至少一者没有落入对应的预设的值域范围时,确定所述物件识别模型没有正确识别出该任一物件。

优选地,所述神经网络为卷积神经网络。

在本发明所提供的几个实施例中,应该理解到,所揭露的计算机可读存储介质,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

相关技术
  • 物件识别模型训练方法及车载装置
  • 声纹识别模型训练方法和装置、声纹识别方法和装置
技术分类

06120113007487