掌桥专利:专业的专利平台
掌桥专利
首页

感知数据检测方法及装置

文献发布时间:2023-06-19 10:21:15


感知数据检测方法及装置

技术领域

本申请涉及智能交通领域中的自动驾驶和车路协同领域,尤其涉及一种感知数据检测方法及装置。

背景技术

无人车的感知系统可以将障碍物的感知数据输出给下游模块,无人车在行驶过程中非常依赖感知数据,因此对感知系统的输出进行检测也显得尤为重要。

目前,无人车感知系统的检测主要是基于人工标注的正样本数据和感知系统的感知数据进行匹配,确定同时存在于人工标注的正样本数据和感知结果中的障碍物的数量,之后基于这部分障碍物的数量,以及感知结果中障碍物的数量,最终得出感知系统障碍物的召回率、识别准确率等指标。

然而,上述实现方式是基于正样本数据进行匹配实现进行检测的,无法反映对于负样本的识别情况,从而导致检测缺乏全面性。

发明内容

本申请提供了一种用于感知数据检测的方法、装置、设备以及存储介质。

根据本申请的第一方面,提供了一种感知数据检测方法,包括:

获取标注数据和感知数据,其中,所述标注数据包括至少一个第一障碍物的标注位置和标注类型,所述感知数据包括至少一个第二障碍物的感知位置和感知类型;

根据所述标注数据中的负样本,对所述感知数据中的第二障碍物进行粗过滤,得到粗过滤后剩余的第三障碍物,其中,所述负样本为非实体障碍物;

确定所述第三障碍物和所述负样本的匹配关系,将存在所述匹配关系的负样本确定为目标障碍物;

根据所述目标障碍物的数量和所述第一障碍物的数量,确定所述感知数据的检测结果。

根据本申请的第二方面,提供了一种感知数据检测装置,包括:

获取模块,用于获取标注数据和感知数据,其中,所述标注数据包括至少一个第一障碍物的标注位置和标注类型,所述感知数据包括至少一个第二障碍物的感知位置和感知类型;

过滤模块,用于根据所述标注数据中的负样本,对所述感知数据中的第二障碍物进行粗过滤,得到粗过滤后剩余的第三障碍物,其中,所述负样本为非实体障碍物;

确定模块,用于确定所述第三障碍物和所述负样本的匹配关系,将存在所述匹配关系的负样本确定为目标障碍物;

所述确定模块,还用于根据所述目标障碍物的数量和所述第一障碍物的数量,确定所述感知数据的检测结果。

根据本申请的第三方面,提供了一种电子设备,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上第一方面所述的方法。

根据本申请的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行如上第一方面所述的方法。

根据本申请的第五方面,提供了一种计算机程序产品,所述程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行如上第一方面所述的方法。

根据本申请的技术可以实现针对负样本的检测,从而可以有效保证检测的全面性。

应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案,不构成对本申请的限定。其中:

图1为本申请实施例提供的无人车尾随洒水车的场景示意图;

图2为本申请实施例提供的障碍物检测的理想情况示意图;

图3为本申请实施例提供的障碍物检测的错误情况示意图一;

图4为本申请实施例提供的障碍物检测的错误情况示意图二;

图5为本申请实施例提供的障碍物检测的错误情况示意图三;

图6为本申请实施例提供的车辆点云图的示意图;

图7为本申请实施例提供的感知数据检测方法的流程图;

图8为本申请实施例提供的感知数据检测方法的流程图二;

图9为本申请实施例提供的标注数据的实现示意图一;

图10为本申请实施例提供的粗过滤的实现示意图;

图11为本申请实施例提供的初步匹配关系的实现示意图;

图12为本申请实施例提供的标注数据的实现示意图二;

图13为本申请实施例提供的目标匹配关系的实现示意图;

图14为本申请实施例提供的感知数据检测方法的流程示意图;

图15为本申请实施例的感知数据检测装置的结构示意图;

图16是用来实现本申请实施例的感知数据检测方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

为了更好的理解本申请的技术方案,首先对本申请所涉及的背景技术进行进一步的详细介绍:

无人车的感知系统相当于无人车的眼睛,感知系统可以根据传感器收集的点云图像等数据,通过识别算法将道路上的人、车、自行车等障碍物输出给下游模块。

因为无人车的感知系统扮演着非常重要的角色,因此对感知系统的输出结果进行评估也就显得尤为重要。

目前,对无人车感知系统的评估通常依赖于标注真值,标注真值依赖于人工标注,人工标注的过程为通过比对点云、图像,将障碍物的位置、属性等信息记录下来作为真值。然后将标注数据与感知系统输出的结果进行对比,最终得出感知系统障碍物的召回率、识别准确率等指标。在人工标注时,会同时标注正样本与负样本,下面对正样本和负样本分别进行说明。

正样本:是指不可穿越的障碍物,需要感知系统报出给下游模块,可以理解为实体障碍物,例如人,车,自行车,锥桶等物体。

由于正向样本通常是道路上常见障碍物,其尺寸和规格都能找到对应的规范,无论是感知系统的识别还是数据的标注都较为容易,在评估时也能根据现有的规则,对这些障碍物的检测情况给出确定的评估结果。

负样本:是指可以穿越的障碍物,不需要感知系统报出给下游模块,可以理解为非实体障碍物,例如尾气、水雾、落叶、积雪、柳絮等物体。

对于负向样本,这些障碍物在现实世界中没有规则的形状和固定的尺寸,因此无人车的感知系统在检测时,有时会将这些障碍物额外报出为一个或多个障碍物,有时还会与其他障碍物黏连检出成一个比较大的障碍物。

下面以无人车尾随洒水车行驶的场景为例,对障碍物检测的各种可能的实现方式进行介绍,例如可以结合图1至图5进行理解。

图1为本申请实施例提供的无人车尾随洒水车的场景示意图,图2为本申请实施例提供的障碍物检测的理想情况示意图,图3为本申请实施例提供的障碍物检测的错误情况示意图一,图4为本申请实施例提供的障碍物检测的错误情况示意图二,图5为本申请实施例提供的障碍物检测的错误情况示意图三。

如图1所示,假设当前无人车在道路中行驶,无人车可以拍摄得到前向视野的场景,例如是图1所示的场景,当前无人车的视野前方存在一辆洒水车,该洒水车正在进行洒水,因此车辆尾部存在一些水雾。无人车的感知系统可以基于该图像进行障碍物的检测。

在一种可能的实现方式中,理想情况下,感知系统检测的障碍物应该仅仅包括洒水车,洒水车洒的水不会被识别为障碍物,如图2所示,图2中示意出了无人车的位置,以及感知的障碍物的信息,参见图2可以确定的是,当前是理想情况下,感知系统检测的障碍物仅仅是洒水车。

其中,背景的直线条为车道线的位置,立方体表示感知系统输出的障碍物,数字编号代表感知系统输出的障碍物的标识,例如图2中的“9522680”为洒水车的标识,以及图中还示出了障碍物的坐标,例如图2中的(2,14,5.67)为洒水车的坐标。

在另一种可能的实现方式中,感知系统可能将水雾识别为一个单独的障碍物,如图3所示,当前感知系统识别的障碍物包括洒水车和水雾,其中,洒水车的标识为图3中所示的“9518538”,坐标为(2.19,5.67),水雾的标识为图3中所示的“9522680”,坐标为(2.48,5.50)。

在另一种可能的实现方式中,感知系统可能将水雾与洒水车黏连,误识别为一个超大障碍物,如图4所示,当前感知系统识别的障碍物包括洒水车和水雾黏连形成的障碍物,其中,该障碍物的标识为图4中所示的“9522680”,坐标为(2.11,5.70)。

在另一种可能的实现方式中,感知系统可能将水雾误识别为多个障碍物,如图5所示,当前感知系统识别的障碍物包括洒水车和两个,其中,洒水车的标识为图5中所示的“9523833”,坐标为(2.18,5.70),水雾1的标识为图5中所示的“9522680”,坐标为(-0.58,0.01),水雾2的标识为图5中所示的“9518538”。

基于上述介绍可以确定的是,感知系统出现可能会对负样本的误检测,无论哪一种情况都是不利于无人车的行驶,因此鉴定感知系统负样本的输出情况具有重要的意义,并且因为负样本形状不规则,与传统评估的正样本差异大,因此传统方案中对感知系统进行检测的实现方案并不适用于负样本。

为了更好的理解本申请的技术方案,下面对现有技术中对感知系统的输出进行检测的实现方式进行介绍:

从宏观角度来讲,负样本和正样本在本质上都是一个障碍物,目前对于障碍物的评估核心准则为:

当一个障碍物同时存在于感知结果以及标注结果中,则认为感知正确,记为TP;

当一个障碍物在标注数据中出现,但没有出现在感知结果中,则认为感知系统出现了漏检,记为FN;

当一个障碍物在感知输出中出现,但没有出现在标注数据中,则认为感知系统出现了误检,记为FP。

从以上准则中可以看出,如何认定标注数据中的障碍物和感知输出的障碍物是同一个障碍物是整个评估系统的核心,也就是说需要在标注数据和感知数据中进行障碍物的匹配,下面结合图6对正样本的匹配方法进行介绍,图6为本申请实施例提供的车辆点云图的示意图。

如图6所示,当前根据车辆图像进行处理可以得到点云图,进一步的,基于点云图可以得到俯视图、侧视图和后视图。

在图6的基础上,目前常用的正样本匹配方法主要包括以下几种:

一、基于点云数量进行匹配:

例如可以参照图6中的点云图进行理解,根据感知输出的3d框(predictiontruth,PT)中包含的点云与标注数据(ground truth,GT)中3d框包含的点云进行对比,统计既存在于PT又存在于GT的3d框中点的数量,对比PT和GT的3d框中包含的总的点数量。

例如,障碍物i的人工标注结果GT障碍物点云总数为a,检测障碍物PT的点云数为b,则可以定义交并比JI满足如下公式二:

在一种可能的实现方式中,若某个障碍物的JI>0.5,则可以认为该障碍物匹配成功。

二、基于地面投影框交并比进行匹配:

例如可以参照图6中的俯视图进行理解,将障碍物的3d框投影到地面平面上,得到一个矩形,求GT与PT矩形框面积的交并比JI,在一种可能的实现方式中,若JI>0.5,则认为匹配成功。

三、基于障碍物3d框交并比进行匹配:

例如可以参照图6中的点云图进行理解,求GT与PT的3d框体积的交并比JI,在一种可能的实现方式中,若JI>0.5,则认为匹配成功。

四、基于2d投影框交并比进行匹配:

例如可以参照图6中的点云图进行理解,根据GT与PT在2d图像上投影框的交并比JI,在一种可能的实现方式中,若JI>0.5,则认为匹配成功。

五、基于3d位置进行匹配:

可以计算GT与PT障碍物的坐标Pgt(xgt,ygt,zgt)与Ppt(xpt,ypt,zpt)之间的差值△P,当△P小于一定阈值时,认为匹配成功

六、以上几种方式相互组合的匹配

上述介绍的几种方式都可以得到障碍物的匹配结果,根据匹配结果可以确定上述介绍的TP、FN、FP。

通常在评估正样本时,可以根据TP、FN、FP得到障碍物识别的精度,根据障碍物识别的精度(precision)进行判别,precision越高说明识别的负样本数量越少,感知效果越好,其中precision例如可以定义为如下公式二:

目前负样本的评估指标precision本质上还是在进行正样本评估,该指标的缺点在于:

当TP足够大时,FP的数量对指标的影响小,指标变化不灵敏不能直接反应对负样本的识别情况;

计算公式中FP除了与负样本有关的障碍物还大量包含了其他的虚拟障碍物,例如某个障碍物检测分裂,或由于算法缺陷生成了一个新的虚拟障碍物;

计算公式中没有用到标注数据中的负样本信息,从匹配到公式的计算,标注的负样本信息没有参与。

综上所述,目前在对感知系统的输出进行检测时,都是基于正样本进行的检测,没有针对负样本的有效的检测方法,因此无法反映对于负样本的识别情况,从而导致检测缺乏全面性。

针对现有技术中的问题,本申请提出了如下技术构思:提供一种专门针对负样本的评估方法,能够评估感知系统对于标注数据中负样本的感知效果,进而对感知算法的迭代提供参考意见,有助于无人车感知系统的正向迭代。

下面结合具体的实施例对本申请提供的感知数据检测方法进行介绍,图7为本申请实施例提供的感知数据检测方法的流程图。

如图7所示,该方法包括:

S701、获取标注数据和感知数据,其中,标注数据包括至少一个第一障碍物的标注位置和标注类型,感知数据包括至少一个第二障碍物的感知位置和感知类型。

在本实施例中,标注数据例如可以为人工标注的数据,例如可以通过比对点云、图像,将障碍物的位置、属性等信息记录下来作为真值,因此可以理解的是,标注数据中的障碍物的标注位置和障碍物的标注类型是真实可靠的。

以及,感知数据中所包括的障碍物数据可以是感知系统输出的,本实施例中正是要对感知系统输出的感知数据的准确性进行检测。

其中,在标注数据中可以包括至少一个第一障碍物,标注数据中包括至少一个第一障碍物的标注位置和标注类型,其中,标注类型例如可以包括正样本和负样本,分类依据例如可以为障碍物是否需要感知系统报出,例如水雾、尘土、柳絮、尾气等不影响主车通行的非实体障碍物可分为负样本,车辆、行人、路障等影响主车通行的实体障碍区可以确定为负样本。

其中,标注数据中所包括的标注位置和标注类型取决于具体环境中的障碍物信息,本实施例对此不做限制。

以及,在感知数据中包括至少一个第二障碍物,感知数据中包括至少一个第二障碍物的感知位置和感知类型,其中,感知类型例如可以为车辆、行人、路障、水雾、尘土等具体的障碍物类型,感知位置和感知类型的具体实现取决于感知系统的输出,本实施例对此不做特别限制。

S702、根据标注数据中的负样本,对感知数据中的第二障碍物进行粗过滤,得到粗过滤后剩余的第三障碍物,其中,负样本为非实体障碍物。

基于上述介绍可以确定的是,标注数据中包括负样本,负样本例如可以为非实体障碍物,在本实施例中,因为是需要对负样本进行针对性的检测,因此可以根据标注数据中的负样本对感知数据中的第二障碍物进行初步的粗过滤,过滤后剩余的第三障碍物可以认为是,初步确定的感知数据中的非实体障碍物。

在一种可能的实现方式中,例如可以确定负样本和第二障碍物的距离,当第二障碍物和负样本之间的距离较近时,则表明该第二障碍物可能可以和负样本进行匹配,也就是说可能是非实体障碍物,则将这部分第二障碍物保留,其余的第二障碍物剔除,从而得到粗过滤后剩余的第三障碍物。

因此在本实施例中,第三障碍物例如可以是和负样本的距离小于等于预设距离的障碍物。

在另一种可能的实现方式中,还例如可以将和负样本距离较远的第二障碍物剔除,从而将剩余的障碍物确定为第三障碍物,本实施例对粗过滤的具体实现方式不做特别介绍,只要可以保证粗过滤后剩余的第三障碍物是和负样本的距离较近的障碍物即可。

S703、确定第三障碍物和负样本的匹配关系,将存在匹配关系的负样本确定为目标障碍物。

粗过滤后剩余的第三障碍物和负样本之间的距离都比较近,本实施例中可以进一步的确定第三障碍物和负样本的匹配关系。

在一种可能的实现方式中,若第三障碍物和负样本的位置、形状完全匹配,则确定第三障碍物和负样本之间存在匹配关系。

在另一种可能的实现方式中,若第三障碍物和负样本的位置存在部分匹配,就可以确定第三障碍物和负样本之间存在匹配关系。

或者,还可以在第三障碍物和负样本之间的重叠面积大于等于预设面积的时候,确定第三障碍物和负样本之间存在匹配关系。

本实施例对确定匹配关系的具体实现方式不做特别限制,例如除了根据位置的重叠确定匹配关系之外,还可以根据障碍物的类型确定匹配关系,只要匹配关系可以指示标注数据和感知数据的对应关系即可。

其中,匹配关系可以理解为,假设当前标注数据中的某个负样本和感知数据中的某个第三障碍物存在匹配关系,则可以认为这个第三障碍物可能就是标注数据中的这个负样本。

可以理解的是,当前可以存在多个第三障碍物和多个负样本,在建立了匹配关系之后,部分负样本可能存在匹配关系,部分负样本可能不存在匹配关系,本实施例中例如可以将存在匹配关系的负样本确定为目标负样本。

S704、根据目标障碍物的数量和第一障碍物的数量,确定感知数据的检测结果。

基于上述过程,可以在标注数据的负样本中确定出目标障碍物,其中目标障碍物是和感知数据中的第三障碍物存在匹配关系的障碍物,因此可以根据目标障碍物的数量和标注数据中的第一障碍物的数量,确定感知数据的检测结果。

在一种可能的实现方式中,例如可以将两者的比值作为检测结果,该检测结果比如说是负样本的召回率。

或者,还可以基于目标障碍物的数量和第一障碍物的数量,确定其余的用于指示检测结果的指标,本实施例对此不做特别限制。

本实施例中确定感知数据的检测结果的整个实现过程中,均是基于负样本实现的,因此本实施例可以有效的确定针对负样本的检查结果,从而可以有效保证检测的全面性。

本申请实施例提供的感知数据检测方法,包括:获取标注数据和感知数据,其中,标注数据包括至少一个第一障碍物的标注位置和标注类型,感知数据包括至少一个第二障碍物的感知位置和感知类型。根据标注数据中的负样本,对感知数据中的第二障碍物进行粗过滤,得到粗过滤后剩余的第三障碍物,其中,负样本为非实体障碍物。确定第三障碍物和负样本的匹配关系,将存在匹配关系的负样本确定为目标障碍物。根据目标障碍物的数量和第一障碍物的数量,确定感知数据的检测结果。通过根据标注数据中的负样本首先对感知数据中的第二障碍物进行过滤,之间将过滤剩余的第三障碍物和负样本进行匹配,以获取存在匹配关系的目标负样本,根据目标负样本的数量和标注数据中的第一负样本的数量,确定感知数据的检测结果,从而可以实现针对负样本的检测,从而可以有效保证检测的全面性。

在上述实施例的基础上,下面结合图8至图13对本申请提供的感知数据检测方法进行进一步的详细介绍,图8为本申请实施例提供的感知数据检测方法的流程图二,图9为本申请实施例提供的标注数据的实现示意图一,图10为本申请实施例提供的粗过滤的实现示意图,图11为本申请实施例提供的初步匹配关系的实现示意图,图12为本申请实施例提供的标注数据的实现示意图二,图13为本申请实施例提供的目标匹配关系的实现示意图。

如图8所示,该方法包括:

S801、获取标注数据和感知数据,其中,标注数据包括至少一个第一障碍物的标注位置和标注类型,感知数据包括至少一个第二障碍物的感知位置和感知类型。

其中,S801的实现方式与S701的实现方式类似,此处不再赘述。

例如可以结合图9对标注数据的实现方式进行介绍,假设当前可以通过图像进行标注,从而标注障碍物的位置和类型,如图9所示,在图9的标注图像中例如可以包括洒水车的图像A,在图像A中包括正在洒水的洒水车900,根据该图像和点云数据进行标注,可以得到图9中所示的正在洒水的洒水车的标注图B,在当前示例中,例如可以包括9个第一障碍物,其中,901是洒水车车身的标注结果,902~909红色框是水雾的标注结果。

在一种可能的实现方式中,洒水车901是正样本,901~909是负样本。

在实际实现过程中,标注数据的具体实现可以根据实际需求进行确定,本实施例对此不做特别限制。

S802、根据各负样本的标注位置和各第二障碍物的感知位置,计算各负样本和各第二障碍物之间的距离。

在本实施例中,可以根据标注数据中的负样本和感知数据中的第二障碍物进行初步的筛选,其中,可以匹配成功的负样本和第二障碍物的距离肯定是比较近的,因此可以首先根据各负样本的标注位置和各第二障碍物的感知位置,计算各负样本和各第二障碍物之间的距离。

在一直能够可能的实现方式中,上述距离例如可以为欧式距离,以及,负样本可以有多个,第二障碍物也可以有多个,本实施例可以计算每两个负样本和第二障碍物之间的距离,例如当前存在负样本A和负样本B,以及存在第二障碍物1和第二障碍物2,则本实施例中可以计算A和1的距离,A和2的距离,B和1的距离,B和2的距离。

例如当前存在一个标注数据中负样本的坐标为P

D=((x

在实际实现过程中,除了计算欧式距离之外,还可以基于坐标计算任一种可能的距离,本实施例对此不做特别限制。

S803、将距离小于等于预设距离的第二障碍物保留,得到粗过滤后剩余的第三障碍物。

在本实施例中,若某个第二障碍物和负样本的距离小于等于预设距离,则说明这个第二障碍物和负样本的距离较近,因此该第二障碍物就有可能和负样本匹配成功,或者可以理解为该第二障碍物可能也为非实体障碍物,因此将距离小于等于预设距离的第二障碍物保留,将球的障碍物剔除,从而得到粗过滤后剩余的第三障碍物。

其中,具体的预设距离可以根据实际需求进行选择,本实施例对此不做特别限制。

值得说明的是,本实施例中的负样本可能有多个,以及第二障碍物也可能有多个,因此对于一个第二障碍物而言,可以和多个负样本都对应有距离,其中,只要第二障碍物和任一个负样本的距离小于预设距离,就可以认为该第二障碍物和这个负样本的距离较近,进而可以将该第二障碍物确定为可以进行保留的第三障碍物。

例如可以结合图10进行理解,假设当前存在3个第二障碍物,分别是1、2、3,以及假设当前存在3个负样本,分别是a、b、c,其中,为了明确的看出第二障碍物和负样本之间的距离,将第二障碍物和负样本标识在同一个框图中。

基于图10可以确定的是,当前第二障碍物1和负样本a之间的距离较小,第二障碍物3和负样本c之间的距离较小,假设这两个第二障碍物对应的距离都小于预设距离,则可以确定第二障碍物1和第二障碍物3都是可以保留的障碍物。

但是,第二障碍物2无论是和负样本a、还是负样本b还是负样本c,其距离都比较远,也就是说,第二障碍物2对应的每一个负样本的距离都大于预设距离,因此可以第二障碍物2过滤掉。

因此在基于图10中的示例对第二障碍物1、2、3过滤之后,会将障碍物2过滤掉,保留1、3,因此当前示例中确定的粗过滤后剩余的第三障碍物就是图10中的1和3。

上述结合图10进行的是示例性的说明,在实际实现过程中,第二障碍物的具体数量以及实际位置,负样本的具体数量以及实际位置均可以根据实际场景进行确定,本实施例对此不做特别限制。

S804、根据各第三障碍物的感知位置和各负样本的标注位置,确定位置存在重叠的第三障碍物和负样本。

S805、在位置存在重叠的第三障碍物和负样本之间建立初步匹配关系。

下面对S804和S805一起进行介绍:

在本实施例中,粗过滤后剩余的第三障碍物都是存在相邻的负样本的障碍物,因此本实施例中根据各个第三障碍物的感知位置和各个负样本的标注位置,可以有效减少需要处理的障碍物数量,从而快速高效的确定匹配关系。

在一种可能的实现方式中,本实施例中的匹配关系可以不是严格的一多关系,而是例如可以为多对多的关系,比如说只要某个第三障碍物和某个负样本存在重叠,就可以认为这个第三障碍物和这个负样本存在匹配关系。

此处进行举例说明,例如当前粗过滤后剩余的第三障碍物的集合为P{P

基于上述两个集合确定匹配关系,从P{P

在遍历完成之后,例如可以得到如图11所示的多对多的匹配关系,参见图11可以确定的是,至少存在如下的匹配关系:

值得说明的是,本实施例中基于位置重叠存在建立的匹配关系并非严格的一对一的匹配关系,因此当前基于位置重叠建立的仅仅是初步的匹配关系,在后续还要进行进一步的处理,再得到最终的匹配关系。

S806、将存在初步匹配关系的第三障碍物,确定为第四障碍物。

在对初步的匹配关系进行进一步处理时,需要基于存在初步匹配关系的障碍物进行处理,因此本实施例中可以从整体的第三障碍物中,筛选存在初步匹配关系的第三障碍物,得到第四障碍物。

例如基于上述介绍的粗过滤后剩余的第三障碍物的集合为P{P

可以将存在初步匹配关系的第三障碍物组成新的集合P`{P

以及,可以将存在初步匹配关系的负样本组成新的集合Q`{Q

S807、若第四障碍物满足预设条件,则将第四障碍物对应的初步匹配关系剔除,得到更新后的目标匹配关系,其中,预设条件用于指示第四障碍物为实体障碍物。

在确定第四障碍物之后,可以基于确定的第四障碍物,依次判断各个第四障碍物是否满足预设条件,在本实施例中,预设条件用于指示第四障碍物为实体障碍物,可以理解的是,本实施例中是要基于负样本进行检测,也就是说是针对非实体障碍物进行检测,因此针对满足预设条件的第四障碍物(也就是实体的障碍物),可以将这部分第四障碍物的初步匹配关系剔除,从而得到更新后的目标匹配关系。

在一种可能的实现方式中,预设条件包括如下中的至少一种:第四障碍物的感知类别为实体障碍物的类别,第四障碍物对应的图像帧的数量大于预设数量,当前图像帧中第四障碍物的长度和各个图像帧中第四障碍物的长度均值的差值小于等于第一阈值,当前图像帧中第四障碍物的宽度和各个图像帧中第四障碍物的宽度均值的差值小于等于第二阈值,当前图像帧中第四障碍物的高度和各个图像帧中第四障碍物的高度均值的差值小于等于第三阈值。

下面结合具体的示例对判断各第四障碍物是否满足预设条件的实现方式进行介绍:

当前预设条件是用于指示是否为实体障碍物的条件,或者可以理解为,判断各个第四障碍物是否具有连续性的条件,需要进行该项判断的原因是,负样本障碍物具有特殊性,例如一些水雾障碍物会与普通障碍物有重叠。

可以结合图12进行理解,如图12所示,假设当前针对图像C进行标注,在图像C中包括正在洒水的洒水车1201,洒水车洒出的水雾1202,洒水车左侧的车辆1203,洒水车右侧的车辆1204,针对该图像C进行标注之后,例如可以得到图12中所示的标注图D。

其中,障碍物1205对应的是洒水车1201,障碍物1206对应的是洒水车洒出的水雾1202,障碍物1207对应的是洒水车左侧的车辆1203,障碍物1208对应的是洒水车右侧的车辆1204.

基于图12中的标注图D可以确定的是,洒水车洒出的水的标注框1206与洒水车后的左右2辆车的标注框1207、1208产生重叠,因为位置存在重叠,则此时感知输出的对应这两辆车的障碍物也会存在于集合P’中。

但是实际上这两辆车并不是虚拟障碍物,本实施例中最终需要的是虚拟障碍物,因此根据预设条件进行判断的主要目的是滤除这一部分障碍物,并同时解除基于这部分障碍物建立的对应关系。

下面结合具体的示例对预设条件的实现方式进行介绍,其中,判断障碍物的属性是否具有连续性的依据是:

障碍物类别被检测为实体障碍物的类别,例如车、人、路障等,其中,实体障碍物的类别可以根据实际需求进行选择和扩展,本实施例对此不做特别限制。

以及,障碍物生命周期大于10帧,也就是说,障碍物对应的图像帧的数量大于预设数量,当前示例中预设数量例如可以为10,在实际实现过程中,预设数量的具体实现可以根据实际需求进行选择,本实施例对此不做特别限制。

以及,提取该障碍物整个生命周期内的长宽高属性,求取平均值

也就是说,本实施例中可以将满足预设条件的第四障碍物、所对应的初步匹配关系剔除,当前进行示例性的介绍:

例如目前的第四障碍物的集合是P`{P

最终获得剔除稳定障碍物后的映射集合P``{P

S808、将存在目标匹配关系的负样本确定为目标障碍物。

上述确定的目标匹配关系就是最终的匹配关系,将存在最终的目标匹配关系的负样本,确定为目标障碍物,例如上述基于确定的目标匹配关系确定了剔除稳定障碍物后的映射集合Q``{Q

S809、将目标障碍物的数量和负样本的数量的比值,确定为感知数据的检测结果,其中,检测结果为负样本的召回率。

目标障碍物为剔除了一部分负样本之后得到的障碍区,以及负样本原本就对应有一个初始的数量,本实施例中计算目标障碍物的数量和负样本的数量的比值,就可以得到感知数据的负样本的召回,从而有效实现了对负样本的检测。

结合上述示例进行说明,最终得到的集合Q``中的元素总数就是目标障碍物的数量,以及原始的集合Q中的元素总数就是负样本的数量,用集合Q``中的元素总数除以原始的集合Q中的元素总数,就可以得到负样本的召回率,其中,负样本的召回率越大,表示召回的负样本越多,感知效果越差,反之说明感知效果越好。

在实际实现过程中,还可以基于上述得到的数据确定任意的检测结果,本实施例对检测结果的具体实现方式不做特别限制,只要能够实现对负样本的识别的检测即可。

本申请实施例提供的感知数据检测方法,通过首先对根据感知数据中的第二障碍物和标注数据中的负样本之间的距离,对感知数据中的第二障碍物进行初步的粗过滤,可以得到距离负样本较近的第三障碍物,之后基于第三障碍物进行匹配,可以有效减少需要匹配的障碍物的数量,从而提升匹配的处理效率。以及基于位置重叠确定初步匹配关系,再根据预设条件进行筛选,得到最终的目标匹配关系,避免了需要确定一对一的精确匹配关系所导致的处理复杂度较高,因此本实施例可以简单高效,并且准确的实现对匹配关系的确定,并且上述的预设条件可以实现对实体障碍物的过滤,最终基于确定的目标匹配关系确定检测结果,可以有效实现对识别的负样本的检测,有效提升了对感知数据的检测的全面性。

在上述实施例的基础上,下面结合图14对本申请实施例提供的感知数据检测方法的整体流程进行一个系统的介绍,图14为本申请实施例提供的感知数据检测方法的流程示意图。

如图14所示:

首先是检测系统的输入部分,可以获取到标注数据和感知系统输出的感知数据,针对标注数据,可以以障碍物是否需要感知数据报出为依据,将标注数据分为正样本和负样本,其中,正样本是需要感知系统报出的障碍物,负样本是不需要感知系统报出的障碍物。

之后基于负样本和感知数据进行检测,首先判断感知数据和负样本之间的距离是否小于距离的阈值,若不小于,则说明这个感知数据的障碍物和负样本之间距离较远,应该是实体障碍物,因此可以将这部分感知数据淘汰。

将距离小于距离的阈值的感知数据和负样本进行进一步的判断,具体的,可以确定这部分感知数据和负样本之间的匹配关系,本实施例中的匹配关系例如可以是位置重叠即确定存在匹配关系,将确定存在匹配关系的感知数据保留,确定不存在匹配关系的感知数据淘汰。

之后,基于确定存在匹配关系的感知数据,判断是否满足预设条件,例如判断感知障碍物属性是否具有一致性,若具有一致性,则表明这部分感知数据应该是实体的障碍物,则将这部分感知数据淘汰,并且这部分感知数据对应的匹配关系也剔除。

将不具有一致性的感知数据保留,并基于其对应的匹配关系,确定匹配成功的负样本,可以得到TP,以及确定未匹配成功的负样本,可以得到FN,其中,TP和FN的含义与上述介绍的类似。,

接着,例如可以根据如下公式四得到负样本召回率:

其中,Recall为负样本召回率,可以理解的是,TP+FN就是负样本的数量,TP就是上述介绍的目标障碍物的数量。

综上所述,在自动驾驶技术日益成熟的今天,对正样本障碍物的感知算法和检测算法日益完善,此时对于负样本的感知效果逐渐引起人们的重视,水雾尾气等障碍物的误报常常会引起主车急刹,导致追尾等事故发生概率增加,不利于安全行驶。负样本障碍物由于形状的不规则,且由于其性质的特殊性,可以与正样本存在重叠,因此无法直接把正样本的检测规则适用于负样本的检测。

本申请提出了一种专门针对负样本的检测方法,能够检测感知系统对于标注数据中负样本的感知效果,进而对感知算法的迭代提供参考意见,有助于无人车感知系统的正向迭代。

图15为本申请实施例的感知数据检测装置的结构示意图。如图15所示,本实施例的感知数据检测装置1500可以包括:获取模块1501、过滤模块1502、确定模块1503。

获取模块1501,用于获取标注数据和感知数据,其中,所述标注数据包括至少一个第一障碍物的标注位置和标注类型,所述感知数据包括至少一个第二障碍物的感知位置和感知类型;

过滤模块1502,用于根据所述标注数据中的负样本,对所述感知数据中的第二障碍物进行粗过滤,得到粗过滤后剩余的第三障碍物,其中,所述负样本为非实体障碍物;

确定模块1503,用于确定所述第三障碍物和所述负样本的匹配关系,将存在所述匹配关系的负样本确定为目标障碍物;

所述确定模块1503,还用于根据所述目标障碍物的数量和所述第一障碍物的数量,确定所述感知数据的检测结果。

一种可能的实现方式中,所述过滤模块1502,包括:

计算单元,用于根据各所述负样本的标注位置和各所述第二障碍物的感知位置,计算各所述负样本和各所述第二障碍物之间的距离;

过滤单元,用于将所述距离小于等于预设距离的第二障碍物保留,得到粗过滤后剩余的第三障碍物。

一种可能的实现方式中,所述确定模块1503,包括:

确定单元,用于根据各所述第三障碍物的感知位置和各所述负样本的标注位置,确定位置存在重叠的第三障碍物和负样本;

建立单元,用于在所述位置存在重叠的第三障碍物和负样本之间建立初步匹配关系;

所述确定单元,还用于根据所述初步匹配关系以及所述第三障碍物,确定目标匹配关系。

一种可能的实现方式中,所述确定模块1503,包括:

所述确定单元,还用于将存在所述初步匹配关系的第三障碍物,确定为第四障碍物;

更新单元,用于若所述第四障碍物满足预设条件,则将所述第四障碍物对应的初步匹配关系剔除,得到更新后的目标匹配关系,其中,所述预设条件用于指示所述第四障碍物为实体障碍物。

一种可能的实现方式中,所述确定模块1503,包括:

所述确定单元,还用于将存在所述目标匹配关系的负样本确定为目标障碍物。

一种可能的实现方式中,所述预设条件包括如下中的至少一种:所述第四障碍物的感知类别为实体障碍物的类别,所述第四障碍物对应的图像帧的数量大于预设数量,当前图像帧中所述第四障碍物的长度和各个图像帧中第四障碍物的长度均值的差值小于等于第一阈值,当前图像帧中所述第四障碍物的宽度和各个图像帧中第四障碍物的宽度均值的差值小于等于第二阈值,当前图像帧中所述第四障碍物的高度和各个图像帧中第四障碍物的高度均值的差值小于等于第三阈值。

一种可能的实现方式中,所述确定模块1503,包括:

所述确定单元,还用于将所述目标障碍物的数量和所述负样本的数量的比值,确定为所述感知数据的检测结果,其中,所述检测结果为负样本的召回率。

本申请提供一种感知数据检测方法及装置,应用于智能交通领域中的自动驾驶、车路协同等领域,以达到有效保证检测的全面性的目的。

根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。

根据本申请的实施例,本申请还提供了一种计算机程序产品,程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图16示出了可以用来实施本申请的实施例的示例电子设备1600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图16所示,电子设备1600包括计算单元1601,其可以根据存储在只读存储器(ROM)1602中的计算机程序或者从存储单元1608加载到随机访问存储器(RAM)1603中的计算机程序,来执行各种适当的动作和处理。在RAM 1603中,还可存储设备1600操作所需的各种程序和数据。计算单元1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出(I/O)接口1605也连接至总线1604。

设备1600中的多个部件连接至I/O接口1605,包括:输入单元1606,例如键盘、鼠标等;输出单元1607,例如各种类型的显示器、扬声器等;存储单元1608,例如磁盘、光盘等;以及通信单元1609,例如网卡、调制解调器、无线通信收发机等。通信单元1609允许设备1600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1601执行上文所描述的各个方法和处理,例如感知数据检测方法。例如,在一些实施例中,感知数据检测方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1602和/或通信单元1609而被载入和/或安装到设备1600上。当计算机程序加载到RAM 1603并由计算单元1601执行时,可以执行上文描述的感知数据检测方法的一个或多个步骤。备选地,在其他实施例中,计算单元1601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行感知数据检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

相关技术
  • 感知数据检测方法及装置
  • 基于车载感知数据的城市道路路面故障实时检测方法
技术分类

06120112518422