基于包围盒的障碍物位置检测方法、装置和电子设备

技术领域

本发明涉及车辆驾驶的技术领域，尤其是涉及一种基于包围盒的障碍物位置检测方法、装置和电子设备。

背景技术

随着车辆技术的发展，准确检测障碍物的位置信息对车辆实现自动驾驶起到关键作用。目前往往通过包围盒bounding box检测方法检测障碍物车辆的着地点，进而检测出障碍物的位置信息。

然而经发明人研究发现，由于车辆驾驶环境的复杂多变，障碍物车辆在行驶过程中受到路况等影响会产生不同的行驶姿态，无法保证该障碍物车辆与采集装置采集方向保持平行，进而会造成包围盒bounding box检测的着地点精度较差，影响障碍物位置的检测准确性，不能保证自动驾驶的安全可靠性。

发明内容

有鉴于此，本发明的目的在于提供一种基于包围盒的障碍物位置检测方法、装置和电子设备，通过障碍物轨迹确定出准确的着地点，进而得到误差较小较为准确的障碍物位置，保证自动驾驶的可靠性。

第一方面，实施例提供一种基于包围盒的障碍物位置检测方法，包括：

实时获取每个时刻针对目标障碍物的图像帧；

通过包围盒检测出每个所述图像帧中目标障碍物的多个备选着地点以及所述目标障碍物的轨迹；

基于所述目标障碍物的轨迹特征从当前时刻的图像帧的多个备选着地点中选择与固定地平线距离最近的目标着地点；

根据所述目标着地点作为地面基准确定当前时刻所述目标障碍物的位置。

在可选的实施方式中，基于所述目标障碍物的轨迹特征从当前时刻的图像帧中多个备选着地点中选择与固定地平线距离最近的目标着地点的步骤，包括：

从所述目标障碍物的轨迹中获取轨迹特征，其中，所述轨迹特征包括斜率；

若所述斜率为正，则将所述当前时刻的图像帧中位于左侧的第一备选着地点作为目标着地点；

若所述斜率为负，则将所述当前时刻的图像帧中位于右侧的第二备选着地点作为目标着地点。

在可选的实施方式中，通过包围盒检测出每个所述图像帧中目标障碍物的多个备选着地点以及所述目标障碍物的轨迹的步骤，包括：

通过包围盒检测出每个所述图像帧中目标障碍物的多个备选着地点；

根据当前时刻的图像帧的所述多个备选着地点中任意一个的第三备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的所述第三备选着地点，确定所述目标障碍物的轨迹。

在可选的实施方式中，通过包围盒检测出每个所述图像帧中目标障碍物的多个备选着地点的步骤，包括：

通过包围盒检测出每个所述图像帧中目标障碍物的盒体框轮廓；

根据所述盒体框轮廓的下框线的端点确定多个备选着地点，其中，所述下框线的左端点为第一备选着地点，所述下框线的右端点为第二备选着地点。

在可选的实施方式中，根据当前时刻的图像帧的所述多个备选着地点中任意一个的第三备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的所述第三备选着地点，确定所述目标障碍物的轨迹的步骤，包括：

根据当前时刻的图像帧中的第一备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的第一备选着地点，确定所述目标障碍物的轨迹；

或者，

根据当前时刻的图像帧中的第二备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的第二备选着地点，确定所述目标障碍物的轨迹。

在可选的实施方式中，根据所述目标着地点作为地面基准确定当前时刻所述目标障碍物的位置的步骤，包括：

通过单目相机检测方法确定所述目标着地点的深度信息，所述深度信息为二维图像坐标；

以所述目标着地点作为地面基准，基于相机成像原理以及几何关系，将所述深度信息转换成世界坐标系下的目标障碍物位置坐标。

在可选的实施方式中，实时获取每个时刻针对目标障碍物的图像帧的步骤之前，还包括：

对每个时刻采集的图像帧进行识别，判断所述图像帧中是否存在目标障碍物；

若存在，执行实时获取每个时刻针对目标障碍物的图像帧的步骤。

第二方面，实施例提供一种基于包围盒的障碍物位置检测装置，所述装置包括：

获取模块，实时获取每个时刻针对目标障碍物的图像帧；

检测模块，通过包围盒检测出每个所述图像帧中目标障碍物的多个备选着地点以及所述目标障碍物的轨迹；

选择模块，基于所述目标障碍物的轨迹特征从当前时刻的图像帧的多个备选着地点中选择与固定地平线距离最近的目标着地点；

确定模块，根据所述目标着地点作为地面基准确定当前时刻所述目标障碍物的位置。

第三方面，实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述前述实施方式任一项所述的方法的步骤。

第四方面，实施例提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项所述的方法的步骤。

本发明实施例提供的一种基于包围盒的障碍物位置检测方法、装置和电子设备，基于包围盒检测出图像帧中的目标障碍物的多个备选的着地点，并根据多个时刻的目标障碍物着地点情况确认出目标障碍物的轨迹，再根据轨迹特征从备选着地点中挑选出与固定地平线距离最近的目标着地点，基于该目标着地点确定出当前时刻目标障碍物的位置，本发明实施例通过障碍物轨迹确定出准确的着地点，进而得到误差较小较为准确的障碍物位置，保证自动驾驶的可靠性。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种包围盒检测着地点的示意图；

图2为本发明实施例提供的另一种包围盒检测着地点的示意图；

图3为本发明实施例提供的一种基于包围盒的障碍物位置检测方法流程图；

图4为本发明实施例提供的一种基于包围盒的障碍物位置检测装置的功能模块图；

图5为本发明实施例提供的一种电子设备的硬件架构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

当前的基于2D的包围盒boundingbox对障碍物的检测算法中，虽然能将障碍物轮廓精确框出来，但不能确定障碍物的每个部位的具体位置，如不能识别出障碍物车辆中车窗结构的位置、车轮结构的位置、车门结构的位置等等。一般为了确定障碍物的精确位置，均通过着地点进行计算，而着地点为车轮与地面的交点位置，也不能采用上述检测算法获得。为了解决上述问题进而能够准确检测到着地点，一般通过以固定地平线为参考的包围盒下框线进行确定，其中包围盒的每条框线平行于坐标平面，如图1所示。

但经发明人研究发现，由于当前需要检测的障碍物车辆姿态各异，其可能产生倾斜，不平行于固定地平线，此时再通过包围盒bounding box检测的车辆着地点可能会产生较大误差，即其中一个轮胎A着地点位置与下框线相距较远，如图2所示，此时若再根据下框线确定该轮胎A着地点，则误差较大，进一步会影响障碍物位置确定以及自动驾驶的安全可靠性。

基于此，本发明实施例提供的一种基于包围盒的障碍物位置检测方法，通过障碍物轨迹确定出准确的着地点，进而得到误差较小较为准确的障碍物位置，保证自动驾驶的可靠性。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于包围盒的障碍物位置检测方法进行详细介绍，该方法可应用于如PC个人计算机、控制器、服务器、智能设备等控制设备中，此类控制设备可独立设置或集成于车载控制端、道路设施等终端。作为一种可选的实施例，道路设施与当前车辆进行信息交互，接收当前车辆或道路设施采集的图像帧，通过本发明实施例提供的方法检测出当前车辆行进过程中障碍物的位置，发送到当前车辆控制设备中，以使当前车辆进行相应操作规避障碍，保证车辆自动驾驶安全可靠性。

图3为本发明实施例提供的一种基于包围盒的障碍物位置检测方法的流程图。

如图3所示，该方法包括以下步骤：

步骤S102，实时获取每个时刻针对目标障碍物的图像帧；

其中，当前车辆在行驶过程中，每个时刻行进方向均对应一张图像帧，并实时获取图像帧中包括目标障碍物的每个时刻图像帧。作为一种优选的实施例，图像帧的采集设备的采集方向与车辆行进方向保持水平，该采集设备可被安装在车辆上或车辆行驶的道路设施上。该图像帧中可能包括一个目标障碍物、多个目标障碍物或没有目标障碍物。这里，目标障碍物为影响当前车辆安全行驶的目标对象，包括行驶道路上的障碍车辆、较大石块或行人等等。本发明实施例对存在目标障碍物的图像帧对目标障碍物位置进行确定，以便于当前车辆能够进行相应操作，对该障碍物进行规避。

在一些实施例中，在步骤S102之前，还包括以下步骤：

步骤1.1)，对每个时刻采集的图像帧进行识别，判断所述图像帧中是否存在目标障碍物。

步骤1.2)，若存在，执行实时获取每个时刻针对目标障碍物的图像帧的步骤，即步骤S102。

步骤1.3)，若不存在，则可并不对此图像帧执行获取操作，简化操作步骤，节省资源。

步骤S104，通过包围盒检测出每个所述图像帧中目标障碍物的多个备选着地点以及所述目标障碍物的轨迹；

这里，通过二维包围盒检测出的备选着地点直接确定目标障碍物位置可能存在较大误差，为了保证障碍物位置的准确性，本发明实施例从备选着地点中再进一步确定误差较小的目标着地点。

步骤S106，基于所述目标障碍物的轨迹特征从当前时刻的图像帧的多个备选着地点中选择与固定地平线距离最近的目标着地点；

经发明人研究发现，基于包围盒检测得到的距离固定地平线距离最近的着地点确定目标障碍物位置的误差最小，将距离固定地平线距离最近的备选着地点确定为目标着地点。

步骤S108，根据所述目标着地点作为地面基准确定当前时刻所述目标障碍物的位置。

在实际应用的优选实施例中，基于包围盒检测出图像帧中的目标障碍物的多个备选的着地点，并根据多个时刻的目标障碍物着地点情况确认出目标障碍物的轨迹，再根据轨迹特征从备选着地点中挑选出与固定地平线距离最近的目标着地点，基于该目标着地点确定出当前时刻目标障碍物的位置，本发明实施例通过障碍物轨迹确定出准确的着地点，进而得到误差较小较为准确的障碍物位置，保证自动驾驶的可靠性。

在可选的实施例中，步骤S106还包括以下步骤：

步骤2.1)，从所述目标障碍物的轨迹中获取轨迹特征，其中，所述轨迹特征包括斜率；

其中，该轨迹可基于每个时刻所述图像帧中目标障碍物的多个备选着地点进行确定，对该轨迹的特征进行提取，作为一种可选的实施例，计算该轨迹的斜率，将其作为当前的轨迹特征。需要说明的是，轨迹特征可根据实际应用情况进行调整，并不局限于斜率。

步骤2.2)，若所述斜率为正，则将所述当前时刻的图像帧中位于左侧的第一备选着地点作为目标着地点；此时图像帧中左侧的第一备选着地点距离固定地平线最近，用于障碍物位置计算的误差会最小。

步骤2.3)，若所述斜率为负，则将所述当前时刻的图像帧中位于右侧的第二备选着地点作为目标着地点。与前述同理，在此不再赘述。

作为一种可选的实施例，包围盒检测算法通过包围盒下框线确定多个备选着地点，若该包围盒下框线的左端点、右端点、中点等等特征点。

在一些实施例中，本申请选取左右端点的特征点作为备选着地点，步骤S104还可通过以下步骤进行实现，包括：

步骤3.1)，通过包围盒检测出每个所述图像帧中目标障碍物的多个备选着地点；

示例性地，可通过包围盒检测出每个所述图像帧中目标障碍物的盒体框轮廓；根据所述盒体框轮廓的下框线的端点确定多个备选着地点，其中，所述下框线的左端点为第一备选着地点(如图1中的包围盒的左下角点)，所述下框线的右端点为第二备选着地点(如图1中的包围盒的右下角点)。

而若车辆如图2中所示姿态，可以看出该车胎A着地点距离包围盒下框线具有较远距离，若将第二备选着地点作为后续计算障碍物位置的目标着地点，误差较大，故而选择与轮胎更加接近的第一备选着地点作为目标着地点，并进行目标障碍物位置的计算。因此本发明实施例对多个备选着地点再进行确认筛选，能够进一步保证车辆驾驶可靠性。

步骤3.2)，根据当前时刻的图像帧的所述多个备选着地点中任意一个的第三备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的所述第三备选着地点，确定所述目标障碍物的轨迹。

其中，第三备选着地点用于表征多个备选着地点中任意一个的含义，可为第一备选着地点也可为第二备选着地点或其他备选着地点。

在一些实施例中，可根据当前时刻的图像帧中的第一备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的第一备选着地点，确定所述目标障碍物的轨迹；

或者，

根据当前时刻的图像帧中的第二备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的第二备选着地点，确定所述目标障碍物的轨迹。

由上述步骤可以看出，在确定目标障碍物运动轨迹的步骤中，可任意选取当前时刻与历史时刻图像帧中的备选着地点，但需要保证各个时刻图像帧中选择的备选着地点相同，即当前时刻与历史时刻均选择第一备选着地点或第二备选着地点等等。

这里，作为一种可选的实施例，一般选用连续三帧图像来确定障碍物轨迹，例如，选取当前时刻、当前时刻的前一时刻与当前时刻的前两时刻的图像帧来确定目标障碍物的轨迹。

在一些实施例中，步骤S108可通过以下步骤实现，包括：

步骤4.1)，通过单目相机检测方法确定所述目标着地点的深度信息，所述深度信息为二维图像坐标；

其中，单目检测能够检测出相对于固定地面的空间中某个平面的像素点的深度信息，例如，能够检测出距离地面高度为一米的平面上所有像素点的深度信息。

步骤4.2)，以所述目标着地点作为地面基准，基于相机成像原理以及几何关系，将所述深度信息转换成世界坐标系下的目标障碍物位置坐标，其中，该目标障碍物位置坐标为空间三维坐标。

现有的包围盒检测方法中任意选取下框线的着地点参与障碍物位置的计算，若目标障碍车辆行驶的路况较为复杂，如崎岖、坑洼等情况，当前车辆无法保证采集到与采集设备相平行的障碍物图像帧，即有可能出现图2中情况，目标障碍物相对于固定地面线出现倾斜，而通过本发明实施例基于包围盒检测方法能够实现即使在上述场景中，也能够确定更加准确的着地点和目标障碍物位置。

如图4所示，本发明实施例还提供一种基于包围盒检测障碍物位置检测装置200，所述装置包括：

获取模块201，实时获取每个时刻针对目标障碍物的图像帧；

检测模块202，通过包围盒检测出每个所述图像帧中目标障碍物的多个备选着地点以及所述目标障碍物的轨迹；

选择模块203，基于所述目标障碍物的轨迹特征从当前时刻的图像帧的多个备选着地点中选择与固定地平线距离最近的目标着地点；

确定模块204，根据所述目标着地点作为地面基准确定当前时刻所述目标障碍物的位置。

通过本发明实施例基于包围盒检测方法实现对着地点以及目标障碍物位置的确定，通过目标障碍物的轨迹特征确定出更为准确的着地点，即使当前车辆环境复杂多变，也能够在无需识别出车辆中各个部位的情况下，准确识别出更加准确的目标着地点，并基于该目标着地点计算出目标障碍物位置，以便车辆进行加速、减速、转向等操作，以实现准确规避行进方向的障碍，保证用户驾驶安全。

在可选的实施方式中，选择模块还用于从所述目标障碍物的轨迹中获取轨迹特征，其中，所述轨迹特征包括斜率；若所述斜率为正，则将所述当前时刻的图像帧中位于左侧的第一备选着地点作为目标着地点；若所述斜率为负，则将所述当前时刻的图像帧中位于右侧的第二备选着地点作为目标着地点。

在可选的实施方式中，检测模块还用于通过包围盒检测出每个所述图像帧中目标障碍物的多个备选着地点；根据当前时刻的图像帧的所述多个备选着地点中任意一个的第三备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的所述第三备选着地点，确定所述目标障碍物的轨迹。

在可选的实施方式中，检测模块还用于通过包围盒检测出每个所述图像帧中目标障碍物的盒体框轮廓；根据所述盒体框轮廓的下框线的端点确定多个备选着地点，其中，所述下框线的左端点为第一备选着地点，所述下框线的右端点为第二备选着地点。

在可选的实施方式中，检测模块还用于根据当前时刻的图像帧中的第一备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的第一备选着地点，确定所述目标障碍物的轨迹；或者，根据当前时刻的图像帧中的第二备选着地点以及与所述当前时刻连续的多个历史时刻的图像帧中的第二备选着地点，确定所述目标障碍物的轨迹。

在可选的实施方式中，确定模块还用于通过单目相机检测方法确定所述目标着地点的深度信息，所述深度信息为二维图像坐标；以所述目标着地点作为地面基准，基于相机成像原理以及几何关系，将所述深度信息转换成世界坐标系下的目标障碍物位置坐标。

在可选的实施方式中，获取模块在实时获取每个时刻针对目标障碍物的图像帧的步骤之前，还用于对每个时刻采集的图像帧进行识别，判断所述图像帧中是否存在目标障碍物；若存在，执行实时获取每个时刻针对目标障碍物的图像帧的步骤。

图5为本发明实施例提供的电子设备300的硬件架构示意图。参见图5所示，该电子设备300包括：机器可读存储介质301和处理器302，还可以包括非易失性存储介质303、通信接口304和总线305；其中，机器可读存储介质301、处理器302、非易失性存储介质303和通信接口304通过总线305完成相互间的通信。处理器302通过读取并执行机器可读存储介质301中基于包围盒的障碍物位置检测机器可执行指令，可执行上文实施例描述基于包围盒的障碍物位置检测方法。

本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的非易失性存储介质，或者它们的组合。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

本发明实施例所提供计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序代码被执行时可实现上述任一实施例所述的基于包围盒的障碍物位置检测方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。