车外障碍物检测方法、系统、电子设备、车辆

技术领域

本发明涉及目标检测技术领域，尤其涉及一种车外障碍物检测方法、系统、电子设备、车辆。

背景技术

车外障碍物检测作为驾驶辅助系统ADAS(Advanced Driver Assistant System，ADAS)中重要组成部分，对于整个系统的安全性至关重要。障碍物通过包括乘用车、面包车、巴士、行人、动物以及交通锥桶等，由于环境复杂包括天气光照等以及受限于计算平台算力，障碍物检测模型在特殊情况下出现误检，导致驾驶辅助系统出现误报或者漏报等情况严重影响驾驶员人身安全。

公开于该背景技术部分的信息仅仅旨在加深对本发明的总体背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

针对现有技术存在的问题，本发明提供一种车外障碍物检测方法、系统、电子设备、车辆。

本发明提供的一种车外障碍物检测方法，所述方法包括：

获取车外障碍物的探测数据；

基于所述探测数据，通过障碍物检测模型判断所述障碍物的类别；

其中，所述障碍物检测模型在训练时采用的障碍物样本预设有小类标签值和大类标签值，所述障碍物检测模型预测得到关于所述样本的小类预测值和大类预测值，所述障碍物检测模型所采用的总损失函数包括针对所述样本的小类预测的第一子损失函数，所述第一子损失函数包括第一损失和第二损失，所述第一损失通过所述小类预测值和对应的所述小类标签值获取，所述第二损失通过所述大类预测值和对应的所述大类标签值获取。

根据本发明提供的一种车外障碍物检测方法，所述障碍物检测模型所采用的总损失函数还包括针对所述样本的大类预测的第二子损失函数，所述第二子损失函数通过所述大类预测值和对应的所述大类标签值获取。

根据本发明提供的一种车外障碍物检测方法，所述障碍物检测模型所采用的总损失函数为所述第二子损失函数与所述第一子损失函数的加权之和；

其中，所述第二子损失函数的权重与所述第一子损失函数的权重不相等。

根据本发明提供的一种车外障碍物检测方法，所述第二子损失函数采用所述大类预测值与对应的所述大类标签值的交叉熵作为损失值。

根据本发明提供的一种车外障碍物检测方法，所述障碍物检测模型所采用的总损失函数还包括针对所述样本的预测框的第三子损失函数，所述第三子损失函数采用所述预测框和所述样本的真实框的不重合度作为损失值。

根据本发明提供的一种车外障碍物检测方法，所述第一损失采用所述小类预测值与对应的所述小类标签值的交叉熵作为损失值，所述第二损失采用所述大类预测值和对应的所述大类标签值的差值作为损失值。

本发明还提供的一种车外障碍物检测系统，所述系统包括：

获取模块，用来获取车外障碍物的探测数据；

检测模块，用来基于所述探测数据，通过障碍物检测模型判断所述障碍物的类别；

其中，所述障碍物检测模型在训练时采用的障碍物样本预设有小类标签值和大类标签值，所述障碍物检测模型预测得到关于所述样本的小类预测值和大类预测值，所述障碍物检测模型所采用的总损失函数包括针对所述样本的小类预测的第一子损失函数，所述第一子损失函数包括第一损失和第二损失，所述第一损失通过所述小类预测值和对应的所述小类标签值获取，所述第二损失通过所述大类预测值和对应的所述大类标签值获取。

本发明还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述车外障碍物检测方法的步骤。

本发明还提供的一种车辆，所述车辆具备自动驾驶和/或辅助驾驶功能，所述车辆包括所述的电子设备。

本发明还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述车外障碍物检测方法的步骤。

本发明提供的车外障碍物检测方法、系统、电子设备、车辆，在几乎不增加计算量的情况下，提高障碍物检测模型的精确度，降低障碍物检测模型的误检率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种车外障碍物检测方法的流程示意图；

图2为本发明提供的一种车外障碍物检测系统的结构示意图；

图3为本发明提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的车外障碍物检测方法进行详细地说明。

图1为本发明提供的一种车外障碍物检测方法的流程示意图，如图1所示，本发明提供的一种车外障碍物检测方法，方法可以包括如下步骤。

需要说明的是，本发明实施例针对具备驾驶辅助系统的车辆，进一步地，适用于自动驾驶的车辆。

车辆上设置有车载相机和车载激光雷达等探测设备，通过车辆上的探测设备获取车辆行驶所需的外部障碍物的信息。

进一步地，除了应用至车辆，本发明实施例还可应用于其他载体，如无人飞行器、地面机器人等。

S100、获取车外障碍物的探测数据。

优选地，所述探测数据包括来自车载相机的图像数据和车载激光雷达的激光点云数据等。

S200、基于探测数据，通过障碍物检测模型判断障碍物的类别；其中，障碍物检测模型在训练时采用的障碍物样本预设有小类标签值和大类标签值，障碍物检测模型预测得到关于样本的小类预测值和大类预测值，障碍物检测模型所采用的总损失函数包括针对样本的小类预测的第一子损失函数，第一子损失函数包括第一损失和第二损失，第一损失通过小类预测值和对应的小类标签值获取，第二损失通过大类预测值和对应的大类标签值获取。

需要说明的是，本发明中小类属于对应的大类。

具体地，比如“乘用车”、“面包车”、“货车”、“卡车”属于4个相互平行的小类实例，而“汽车”属于一个大类实例，并且，这4个小类实例都归属于“汽车”这一大类实例。

再比如，“交通锥”以及“路障”属于另一组相互平行的小类实例，归属于“障碍物”这一大类实例。

本发明实施例通过直接在针对小类的子损失函数中设计大类损失，实现了对小类损失和大类损失的直接约束，当修改小类的子损失函数权重，会同时影响到小类损失和大类损失。

因为对障碍物大类的预测相对于对障碍物的小类预测来说，预测正确率更高，在针对小类的子损失函数中加入大类损失之后，能够有效预防小类中对应的大类类别预测成别的大类类别，形成更好的预测约束。

优选地，障碍物检测模型包括获取探测数据进行数据处理的主干网络，主干网络对探测数据处理后形成特征图，进一步地，通过设计的任务头完成对特征图的预测。

优选地，基于所述特征图，通过同一任务头，获取所述小类预测值和所述大类预测值。

优选地，通过第一任务头获取所述小类预测值，通过第二任务头获取所述大类预测值。

可选地，第一损失采用小类预测值与对应的小类标签值的交叉熵作为损失值，第二损失采用大类预测值和对应的大类标签值的差值作为损失值。

优选地，针对第一子损失函数，一种公式参考如下：

loss_new＝(target_b-pred_b)+Cross Entropy(target_s，pred_s)

其中，loss_new即第一子损失函数，target_b为大类标签值，pred_b为大类预测值，target_s为小类标签值，pred_s为小类预测值,Cross Entropy(，)是对括号内的两个量求交叉熵。

可选地，障碍物检测模型所采用的总损失函数还包括针对样本的大类预测的第二子损失函数，第二子损失函数通过大类预测值和对应的大类标签值获取。

可选地，障碍物检测模型所采用的总损失函数为第二子损失函数与第一子损失函数的加权之和；

其中，第二子损失函数的权重与第一子损失函数的权重不相等。

可选地，第二子损失函数采用大类预测值与对应的大类标签值的交叉熵作为损失值。

优选地，总损失函数的参考公式如下：

loss_total＝w1*loss_cls_大类+w2*loss_cls_小类

其中，loss_total即总损失函数，loss_cls_大类为第二子损失函数，并且loss_cls_大类是交叉熵函数，loss_cls_小类为上述的第一子损失函数，即前述的loss_new，w1、w2为权重。

可选地，障碍物检测模型所采用的总损失函数还包括针对样本的预测框的第三子损失函数，第三子损失函数采用预测框和样本的真实框的不重合度作为损失值。

需要说明的是，在进行目标检测时，障碍物检测模型训练用的样本中预设有障碍物的标注信息，标注信息包括前述的关于障碍物的小类预测值和大类预测值，同时标注信息还包括一个将障碍物框选起来的最小矩形框，该最小矩形框即所述真实框，在训练过程中，通过任务头对样本中的障碍物进行预测，也会生成一个预测框。优化障碍物检测模型的过程，同时也是使得预测框和真实框趋向吻合的过程，在这一过程中，作为对应的损失函数，因为损失函数的收敛是一个最小化损失值的过程，因此，将与吻合程度相反的不重合度作为损失函数的损失值，当损失函数收敛时，不重合度最小，重合度最大，模型的预测框和真实框最接近。

优选地，本发明实施例的不重合度的获取，可以参考IoU(Intersection overUnion)损失，具体依赖将所述预测框与所述真实框的叠加部分的面积除以所述真实框的面积形成一个比例值，该比例值即重合度，对重合度进行一些数学处理，生成不重合度。进一步地，所述数学处理可以采用先对比例值取对数，再添加负号来实现。

优选地，加入第三子损失函数后，新的总损失函数的参考公式如下：

loss_total＝w1*loss_cls_大类+w2*loss_cls_小类+w3*loss_reg

其中，loss_total即新的总损失函数，loss_cls_大类为第二子损失函数，并且loss_cls_大类是交叉熵函数，loss_cls_小类为上述的第一子损失函数，loss_reg为第三子损失函数，w1、w2以及w3为权重。

本实施例在几乎不增加计算量的情况下，提高障碍物检测模型的精确度，降低障碍物检测模型的误检率。

本发明实施例在对辅助驾驶系统的障碍物检测实验中，使得障碍物类别识别的准确率相较于之前的现有技术方案提升了2.5个百分点。

下面对本发明提供的车外障碍物检测系统进行描述，下文描述的车外障碍物检测系统与上文描述的车外障碍物检测方法可相互对应参照。

图2为本发明提供的一种车外障碍物检测系统的结构示意图，如图2所示，本发明还提供的一种车外障碍物检测系统，系统包括：

获取模块，用来获取车外障碍物的探测数据；

检测模块，用来基于探测数据，通过障碍物检测模型判断障碍物的类别；

其中，障碍物检测模型在训练时采用的障碍物样本预设有小类标签值和大类标签值，障碍物检测模型预测得到关于样本的小类预测值和大类预测值，障碍物检测模型所采用的总损失函数包括针对样本的小类预测的第一子损失函数，第一子损失函数包括第一损失和第二损失，第一损失通过小类预测值和对应的小类标签值获取，第二损失通过大类预测值和对应的大类标签值获取。

本实施例在几乎不增加计算量的情况下，提高障碍物检测模型的精确度，降低障碍物检测模型的误检率。

图3为本发明提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行车外障碍物检测方法，所述方法包括：

获取车外障碍物的探测数据；

基于所述探测数据，通过障碍物检测模型判断所述障碍物的类别；

其中，所述障碍物检测模型在训练时采用的障碍物样本预设有小类标签值和大类标签值，所述障碍物检测模型预测得到关于所述样本的小类预测值和大类预测值，所述障碍物检测模型所采用的总损失函数包括针对所述样本的小类预测的第一子损失函数，所述第一子损失函数包括第一损失和第二损失，所述第一损失通过所述小类预测值和对应的所述小类标签值获取，所述第二损失通过所述大类预测值和对应的所述大类标签值获取。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明还提供的一种车辆，车辆具备自动驾驶和/或辅助驾驶功能，车辆包括所述的电子设备。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的车外障碍物检测方法，所述方法包括：

获取车外障碍物的探测数据；

基于所述探测数据，通过障碍物检测模型判断所述障碍物的类别；

其中，所述障碍物检测模型在训练时采用的障碍物样本预设有小类标签值和大类标签值，所述障碍物检测模型预测得到关于所述样本的小类预测值和大类预测值，所述障碍物检测模型所采用的总损失函数包括针对所述样本的小类预测的第一子损失函数，所述第一子损失函数包括第一损失和第二损失，所述第一损失通过所述小类预测值和对应的所述小类标签值获取，所述第二损失通过所述大类预测值和对应的所述大类标签值获取。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的车外障碍物检测方法，所述方法包括：

获取车外障碍物的探测数据；

基于所述探测数据，通过障碍物检测模型判断所述障碍物的类别；

其中，所述障碍物检测模型在训练时采用的障碍物样本预设有小类标签值和大类标签值，所述障碍物检测模型预测得到关于所述样本的小类预测值和大类预测值，所述障碍物检测模型所采用的总损失函数包括针对所述样本的小类预测的第一子损失函数，所述第一子损失函数包括第一损失和第二损失，所述第一损失通过所述小类预测值和对应的所述小类标签值获取，所述第二损失通过所述大类预测值和对应的所述大类标签值获取。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。