驾驶辅助系统及其对象状态参数确定设备和方法

技术领域

本申请涉及一种驾驶辅助系统，还涉及一种用于驾驶辅助系统的对象状态参数确定设备和方法。

背景技术

环境传感器是驾驶辅助系统的重要组成设备，用于辅助驾驶员感知车辆周围的环境。目前，驾驶辅助系统的环境传感器主要包括雷达和摄像头，两者的探测属性各有所长。在现有技术中，通常采用雷达和摄像头两者的探测信息来确定车辆周围的对象的状态，即，在确定车辆周围对象的状态方面，雷达和摄像头两者的探测信息都会做出贡献。

然而，雷达和摄像头两者在不同场景下的探测性能表现出明显的差异，例如，在有些情况下，摄像头的表现明显优于雷达，而在有些情况下，雷达的表现明显优于摄像头。这样，如果基于雷达和摄像头两者的探测信息来计算对象状态，计算出的对象状态可能精度较低。对此，现有的解决方案通常针对不同的场景为雷达和摄像头分配不同比例的权重。但是，涉及权重设置和分配的方案存在权值定义难的问题，而且不恰当的权重设置和分配可能适得其反。

发明内容

在此背景下，本发明旨在提供一种新的用于确定车辆周围的对象的状态参数的技术方案。

根据本发明的一个方面，提供了一种用于驾驶辅助系统的对象状态参数确定设备，所述驾驶辅助系统包括设置于本车上的雷达和摄像头，所述对象状态参数确定设备包括：获取模块，配置成获取由雷达和摄像头探测到的本车周围的对象的对象信息；判断模块，配置成基于所述对象信息判断是否满足：对象为大型对象以及对象处于所述雷达的视场角边缘，在判定为满足上述条件时，检测针对本车与对象之间的横向距离的精度要求；以及计算模块，配置成在检测到关于所述横向距离的精度要求为需要满足第一精度的情况下，采用由所述摄像头探测到的对象信息来计算所述横向距离。

根据本发明的另一个方面，提供了一种驾驶辅助系统，其包括：环境传感器，包括雷达和摄像头，用于探测本车周围的对象的对象信息；以及如上所述的对象状态参数确定设备，用于确定是由雷达还是由摄像头探测到的对象信息来计算对象的状态参数，其包含本车与对象之间的横向距离、横向相对速度、纵向距离和纵向相对速度。

根据本发明的又一个方面，提供了一种用于驾驶辅助系统的对象状态参数确定方法，可选地由如上所述的设备和/或如上所述的系统执行，所述方法包括：获取由设置于本车上的雷达和摄像头探测到的本车周围的对象的对象信息；基于所述对象信息判断是否满足：对象为大型对象以及对象处于所述雷达的视场角边缘；在判定为满足上述条件时，检测针对本车与对象之间的横向距离的精度要求；以及在检测到关于所述横向距离的精度要求为需要满足第一精度的情况下，采用由所述摄像头探测到的对象信息来计算所述横向距离。

根据本发明的再一个方面，提供了一种机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得一个或多个处理器执行如上所述的方法。

以上给出了本发明主要方面的概要，以便对这些方面的基本理解。该概要不旨在描述本发明全部方面的关键或重要元素，也不旨在限定本发明任一或全部方面的范围。该概要的目的是以简化的形式给出这些方面的一些实现，作为后文将给出的详细描述的序言。

附图说明

图1是根据本发明实施例的驾驶辅助系统的示意图。

图2是根据本发明实施例的图1中的驾驶辅助系统的环境传感器的示意图。

图3是根据本发明实施例的图1中的驾驶辅助系统的对象状态参数确定设备的示意图。

图4是根据本发明实施例的对象状态参数确定过程的示意图。

图5是根据本发明实施例的用于驾驶辅助系统的对象状态参数确定方法的流程图。

具体实施方式

本发明的实施例涉及用于确定车辆周围的对象的状态参数的技术方案，其适用于包括车载雷达和车载摄像头的驾驶辅助系统。根据本发明实施例的技术方案，在雷达和摄像头两者传感器都能够探测到对象的情况下，根据设计的判断条件的结果来确定是由雷达探测到的对向信息还是由摄像头探测到的对象信息来计算对象的状态参数。该状态参数包括本车与对象之间的横向距离、横向相对速度、纵向距离和纵向相对速度。

根据本发明实施例的技术方案，根据探测到的对象的当前状况以及对象本身的属性来确定由雷达传感器和摄像头传感器中的两者之一探测到的对象信息来计算对象状态参数。这样的解决方案充分利用了雷达和摄像头各自的探测优势，不存在如何为雷达和摄像头分配权重的困扰。

下面，结合附图来介绍本发明的实施例。

图1示意性示出了根据本发明实施例的驾驶辅助系统100，其设置在车辆V(本车)上，包括环境传感器10和对象状态参数确定设备20。环境传感器10用于探测(采集)车辆V周围对象的对象信息。对象状态参数确定设备20用于确定探测到的对象的状态参数。该对象状态参数对于驾驶辅助具有积极意义。例如，在车辆V处于自动驾驶模式的情况下，在获知了准确的对象状态参数之后，可以作出精准的自动驾驶策略。在车辆V由人类驾驶员驾驶的情况下，通过车内显示器将准确的对象状态参数呈现给驾驶员，驾驶员可以及时地作出适合的驾驶行为。

图2示意性示出了根据本发明实施例的环境传感器10。如图2所示，环境传感器10可以包括摄像头11和雷达12。摄像头11可以包括一个或多个，分别设置在车辆V上适合的位置，例如，车辆V的顶部或车身周围。摄像头11可以包括单目标、多目标和环视中的一种或多种，每种摄像头都可以包括一个或多个。雷达12可以包括一个或多个，分别设置在车辆V上适合的位置，例如，车辆V的前部、后部和车身周围。雷达12可以包括激光雷达器、超声波雷达器和毫米波雷达中的一种或多种，每种雷达器都可以包括一个或多个。

图3示意性示出了根据本发明实施例的对象状态参数确定设备20，其获取环境传感器10探测到的信息，分析和处理该信息，并确定出探测到的对象的状态参数。

对象状态参数确定设备20可以采用硬件或者软件或者软件与硬件相结合的方式来实现。对于硬件实现的部分，可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计以执行其功能的电子单元、或它们的组合中实现。对于以软件实现的部分，可以借助于微代码、程序代码或代码段来实现，还可以将它们存储在诸如存储组件之类的机器可读存储介质中。

参见图3，在一实施例中，对象状态确定设备20可以包括获取模块21、判断模块22和计算模块23。这些模块例如是软件模块。各模块的命名应当被理解为逻辑上(功能上)的描述，而不应理解为物理形态或设置方式的限定。例如，获取模块21、判断模块22和计算模块23中的一个或多个可以实现在同一芯片或电路中，它们也可以分别设置于不同的芯片或电路中。这些模块中的一个或多个模块可以根据功能被进一步划分成若干个子模块。

图4示意性示出了根据本发明实施例的对象状态参数确定过程400。该过程400可以借助于上述系统100或设备20来实现，因此以上关于系统100和设备20的描述同样适用于此。在摄像头11和雷达12两者传感器都能够探测到对象的情况下，采用该过程400可以确定出适合采用摄像头探测到的信息还是适合采用雷达探测到的信息来计算对象状态参数。

本发明中的“对象”可以理解为本车周围的目标对象。本发明所涉及的判断适用于雷达和摄像头两者探测到的同一对象。关于如何判断摄像头和雷达两者探测的对象是否为同一对象的方法可以采用多种方式来实现，例如，通过匹配关于对象的诸多属性参数来实现，本发明对具体判断方法此不进行限定。

“对象”可以包括可动对象(例如，人、车辆或动物)和不可动对象(例如，不可动障碍物)。可动动态可能处于静止状态，不可动对象的位置也可能被改变。例如，车辆停在路边，垃圾箱的位置被移动，等等。“对象”可以包括由车载传感器探测到的一个或多个。在探测到多个对象的情况下，可以根据该过程400分别确定出每个对象的状态参数。

参见图4，在框410中，获取模块21获取由摄像头11和雷达12探测到的对象信息。

在框420中，判断模块22对获取的对象信息进行分析和处理，以针对本车与对象之间的横向距离、横向相对速度、纵向距离和纵向相对速度这四个方面的判断条件分别进行判断。

在框430中，计算模块23基于判断模块22的判定结果来计算针对上述各方面的对象状态参数，即，基于针对上述各方面的判定结果来确定各方面的状态参数(本车与对象之间的横向距离、横向相对速度、纵向距离和纵向相对速度)是采用由雷达探测到的对象信息还是由摄像头探测到的对象信息来计算。

在框440中，计算模块23输出计算出的对象状态参数。例如，将该对象状态参数输出给本车的驾驶辅助系统100的诸如前方碰撞预警、后方横向交通预警之类的功能模块，以便这些驾驶辅助的功能模块能够借助于该对象状态参数作出相应的决策。

可以理解的是，上述四个方面的参数计算过程(更新过程)可以选择性地执行其中一者或多者。换言之，根据本发明的实施例，可以仅更新对象状态参数的四个方面中的一个或二个或三个方面，而并非要求四个方面全部更新。下面，继续参见图4介绍关于横向距离、横向相对速度、纵向距离和纵向相对速度四个方面的对象状态参数确定过程。下面描述的实施例均是在摄像头和雷达都能够探测到对象，并且针对两者传感器探测的同一对象来实现的。

关于本车与对象之间的横向距离

在目标对象是大型交通参与者，且与本车的纵向位置不是太远(例如，在20米以内)时，雷达扫描之后会得到密集点云(即，密集的反射点)，基于该密集点云计算出的本车与对象之间的横向距离(或对象的横向位置)会出现跳变的情况。在这样的情况下，采用由雷达传感器探测到的对象信息来计算本车与对象之间的横向距离(或对象的横向位置)会很不准确。因此，在这样的情况下，适合采用由摄像头探测到的对象信息来计算本车与对象之间的横向距离(或对象的横向位置)。

在一实施例中，在框422中，判断模块22执行关于本车对对象之间的横向距离的判断；并且，在框432中，计算模块23基于判定结果来计算本车与对象之间的横向距离。

判断模块22判断以下条件(1)和条件(2)是否被满足。

(1)对象是否为大型对象。例如，按照对象类型预先确定出包括多个大型对象(例如，卡车，大型货车，等等)的集合，并将该集合存储在驾驶辅助系统100的存储器(未示出)中。判断模块22对摄像头捕捉到的图像或视频进行识别，以识别出对象类型。将识别出的对象类型与集合中的各对象的类型逐一匹配，在识别出的对象类型与集合中的一个对象的类型匹配成功的情况下，判定为该对象为大型对象。在识别出的对象类型与集合中的所有对象类型都匹配失败的情况下，判定为该对象不是大型对象。

另外，可以通过判断该对象的长宽高是否大于预定的长宽高阈值来判断该对象是否为大型对象。例如，将识别出的对象的长宽高与预先确定的长宽高阈值分别比较，该长宽高阈值可以基于上述大型对象的长宽高的值确定。在识别出的对象的长度大于预先确定的长度阈值，识别出的对象的宽度大于预先确定的宽度阈值，且识别出的对象的高度大于预先确定的高度阈值，则判定为该对象为大型对象。在该对象的长宽高中的至少之一小于相应的阈值时，确定为该对象不是大型对象。

(2)对象是否处于雷达传感器的视场角的边缘。例如，基于摄像头捕捉的图像或视频确定出对象位置，并判断该对象位置是否处于雷达传感器的视场角(FoV)的边缘。雷达传感器对于处于其视场角边缘的对象的探测精度非常差。因此，如果对象位于雷达传感器的视场角的边缘，并不适合于采信雷达传感器探测到的对象信息。

在判定为上述条件(1)和(2)都满足的情况下，即，判定为该对象为大型对象且处于雷达的视场角边缘，进一步检测针对本车与对象之间的横向距离的精度要求。

精度要求可以是本车的用户通过车内人机交互界面输出的需求。在本发明的实施例中，包含两个档次的精度，即，第一精度和高于第一精度的第二精度。第一精度是能够满足大部分应用场景的精度。第二精度是相对于第一精度更为严格的精度，即，能够满足对于精度要求更高的场景。可以理解的是，本文中采用第一精度和第二精度是为了清楚地描述两个档次的精度要求，并非旨在限定具体地精度值或精度范围。

在检测结果为关于所述横向距离的精度要求为需要满足第一精度的情况下，计算模块23采用由所述摄像头探测到的对象信息来计算所述横向距离(或对象的横向位置)。

在检测结果为关于所述横向距离的精度要求为需要满足高于第一精度的第二精度的情况下，判断模块22进一步判断以下条件(3)和(4)是否被满足。

(3)雷达反射点的数量是否大于预定的数量阈值(例如，数量位置为10)。该数量阈值可以基于经验和/或模型计算得到。

(4)多个雷达反射点的平均反射能量与最大或最小反射能量之差是否小于预定的能量差阈值。该能量差阈值可以是基于经验和/或模型计算的得到的。

关于上述条件(3)和(4)的判断可以理解为，如果雷达反射点的数量较多，而且这些雷达反射点的反射能量基本上相同(例如，都是同一数量级的能量)，则可以认为它们是针对同一大型对象的反射点。这正好能够进一步确定该对象为大型对象。

如果判定为上述条件(3)和(4)被满足，计算模块23执行上述关于横向距离的计算(即，采用由所述摄像头探测到的对象信息来计算所述横向距离或对象的横向位置)，如果判定为上述条件(3)和(4)不被满足，则计算模块不执行上述关于横向距离的计算。

关于本车与对象之间的横向相对速度

在对象为小型对象，例如，小型交通参与者，且其位置处于本车宽度方向上的中心线附近(例如，对象处于本车的前方或后面的正中心位置)，而且该对象的横向移动速度较慢(这样的场景例如是行人在本车正前方的中心位置，并且正在慢速横穿马路)，这时，采用由雷达传感器探测到的对象信息来计算本车与对象之间的横向相对速度会很不准确。因此，在这样的情况下，适合采用由摄像头探测到的对象信息来计算本车与对象之间的横向相对速度。

在一实施例中，在框424中，判断模块22执行关于本车对对象之间的横向相对速度的判断；并且，在框434中，计算模块23基于判定结果来计算本车与对象之间的横向相对速度。

判断模块22判断以下条件(1)和条件(2)是否被满足。

(1)对象是否为小型对象。例如，根据对象的类型预先确定出包括多个小型对象(例如，行人，宠物，自行车等弱势交通参与者)的集合，并将该集合存储在驾驶辅助系统100的存储器(未示出)中。判断模块22对摄像头捕捉的图像或视频进行识别，以识别出该对象的类型。将识别出的对象类型与集合中的各对象的类型逐一匹配，在识别出的对象类型与集合中的一个对象类型匹配成功的情况下，判定为该对象是小型对象。在识别出的对象类型与集合中的所有对象类型都匹配失败的情况下，判定为该对象不是小型对象。

另外，可以通过判断该对象的长宽高是否小于预定的长宽高阈值来判断该对象是否为小型对象。例如，将识别出的对象的长宽高与预先确定的长宽高阈值分别比较，该长宽高阈值可以基于上述小型对象的长宽高的值确定。在识别出的对象的长度小于预先确定的长度阈值，识别出的对象的宽度小于预先确定的宽度阈值，且识别出的对象的高度小于预先确定的高度阈值，则判定为该对象为小型对象。在该对象的长宽高中的至少之一大于相应的阈值时，确定为该对象不是小型对象。

(2)对象与本车之间的方位角是否小于预定的角度阈值。对象与本车之间的方位角可以通过以下两种方式来限定：(a)对象与雷达传感器之间的连线与本车宽度方向上的中心线的角度；(b)通过对象与本车之间的横向相对距离和纵向相对距离得到的角度θ＝arctan(dy/dx)。该角度阈值可以是一个非常小的角度值，例如，接近于0°。

在判定为上述条件(1)和(2)都满足的情况下，即，判定为该对象为小型对象且对象与本车之间的方位角小于预定的角度阈值，进一步检测针对本车与对象之间的横向相对速度的精度要求。

在检测结果为关于所述横向相对速度的精度要求为需要满足第一精度的情况下，计算模块23采用由所述摄像头探测到的对象信息来计算所述横向相对速度。

在检测结果为关于所述横向相对速度的精度要求为需要满足高于第一精度的第二精度的情况下，判断模块22进一步判断以下条件(3)是否被满足。

(3)判断模块22基于摄像头探测到的对象信息判断对象的横向运动速度是否小于预定的横向速度阈值。该横向速度阈值可以是根据经验和/或模型计算得到的。针对小型对象，雷达的反射点较少，如果该小型对象正在缓慢地横向移动，则按照雷达的横向速度探测分辨率，很难准确地探测该对象的横向速度。这时，适合于采用摄像头探测到的信息来计算对象的横向运动速度。

如果判定为上述条件(3)被满足，则计算模块23执行上述关于横向相对速度的计算(即，计算模块23采用由所述摄像头探测到的对象信息来计算所述横向相对速度)。如果判定为上述条件(3)不被满足，则计算模块23不执行上述关于横向相对速度的计算。

关于本车与对象之间的纵向距离

如果雷达的纵向最大探测距离比摄像头的纵向最大探测距离大，则当对象能够被摄像头探测到且位于摄像头的纵向探测范围的极限位置附近时，采用由摄像头探测到的对象信息来计算本车与对象之间的纵向距离会很不准确，这时，适合采用雷达探测到的对象信息来计算该纵向距离。例如，雷达的纵向最大探测距离为200米，摄像头的纵向最大探测距离为80米，则在对象与本车之间的纵向距离为60米左右时，适合采用雷达的探测信息来计算该纵向距离，而不采信摄像头的探测到的对象信息。

在一实施例中，在框426中，判断模块22判断是否满足以下条件(1)和(2)是否被满足；并且，在框436中，计算模块23基于判定结果来计算本车与对象之间的纵向距离。

(1)对象与本车之间的纵向距离是否在摄像头11的纵向最大探测距离的80％～100％之间。

(2)针对摄像头11与雷达12探测到的同一对象，基于二者探测信息分别得出的对象与本车之间的纵向距离之差是否大于距离差阈值。

关于上述条件(1)和(2)的设定，可以理解为：在对象与本车之间的纵向距离为摄像头11的纵向最大探测距离的80％～100％之间的情况下，针对该对象，如果基于雷达探测到的信息计算出的纵向距离与基于摄像头探测到的信息计算出的纵向距离相差较大，则采信基于雷达探测到的信息计算出的结果。

在判断为上述条件(1)和(2)都满足的情况下，计算模块23采用由雷达探测到的对象信息来计算该对象与本车之间的纵向距离。

关于本车与对象之间的纵向相对速度

如果对象为行驶中的车辆，该行驶车辆处于雷达的视场角边缘且位于较为靠近本车的位置时(即，处于雷达的视场角边缘的靠近本车的边缘部分上)，则雷达扫描的位置出现在该行驶车辆的车轮上而不是车身上的概率较大。这时，基于雷达探测到的信息计算出的纵向速度很可能是该行驶车辆的车轮转速而不是对象本身的纵向速度。因此，在这样的情况下，适合采用摄像头探测到的信息来计算对象的纵向速度。

在一实施例中，在框428中，判断模块22判断是否满足以下条件(1)-(3)；并且，在框438中，计算模块23基于判定结果来计算本车与对象之间的纵向相对速度。

(1)对象是否处于雷达传感器的视场角的边缘。

(2)对象与本车之间的直线距离是否小于预定的距离阈值。该距离阈值可以根据经验和/或模型计算得到。

(3)基于多个雷达反射点得出的平均纵向速度与最大纵向速度之差是否大于预定的速度差阈值。该速度差阈值可以根据经验和/或模型计算得到。

关于上述条件(1)-(3)可以理解为：如果对象处于雷达传感器的视场角边缘的、靠近本车的边缘部分上，并且基于多个雷达反射点分别得出的对象纵向运动速度中存在明显高于其他速度的速度，则很可能雷达探测到的并非对象本身的纵向速度，因此，这时不采信雷达的探测信息。

在判断为上述条件(1)-(3)都满足的情况下，计算模块23采用由摄像头探测到的对象信息来计算该对象与本车之间的纵向相对速度。

图5示意性示出了根据本发明实施例的用于驾驶辅助系统的对象状态参数确定方法500。该方法500可以由如上所述的设备20和/或系统100执行，因此以上相关描述同样适用于此。

参见图，在步骤S510，获取由设置于本车上的雷达和摄像头探测到的本车周围的对象的对象信息。

在步骤S520，基于所述对象信息判断是否满足：对象为大型对象以及对象处于所述雷达的视场角边缘。

在步骤S530，在判定为满足上述条件时，检测针对本车与对象之间的横向距离的精度要求。在判定为上述条件不满足时，关于所述横向距离的本次更新结束。

在步骤S540，在检测到关于所述横向距离的精度要求为需要满足第一精度的情况下，采用由所述摄像头探测到的对象信息来计算所述横向距离。

本发明还提供机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得一个或多个处理器执行上述方法500。

可以理解的是，以上描述的所有模块都可以通过各种方式来实施。这些模块可以被实施为硬件、软件、或其组合。此外，这些模块中的任何模块可以在功能上被进一步划分成子模块或组合在一起。

可以理解的是，处理器可以使用电子硬件、计算机软件或其任意组合来实施。这些处理器是实施为硬件还是软件将取决于具体的应用以及施加在系统上的总体设计约束。作为示例，本发明中给出的处理器、处理器的任意部分、或者处理器的任意组合可以实施为微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门逻辑、分立硬件电路、以及配置用于执行在本公开中描述的各种功能的其它适合的处理部件。本发明给出的处理器、处理器的任意部分、或者处理器的任意组合的功能可以实施为由微处理器、微控制器、DSP或其它适合的平台所执行的软件。

可以理解的是，软件应当被广泛地视为表示指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、运行线程、过程、函数等。软件可以驻留在计算机可读介质中。计算机可读介质可以包括例如存储器，存储器可以例如为磁性存储设备(如，硬盘、软盘、磁条)、光盘、智能卡、闪存设备、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、寄存器或者可移动盘。尽管在本发明给出的多个方面中将存储器示出为是与处理器分离的，但是存储器也可以位于处理器内部(如，缓存或寄存器)。

虽然前面描述了一些实施方式，这些实施方式仅以示例的方式给出，而不意于限制本发明的范围。所附的权利要求及其等同替换意在涵盖本发明范围和主旨内做出的所有修改、替代和改变。