车辆车门检测方法、装置、存储介质及自动驾驶方法

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种车辆车门检测方法、装置、存储介质及自动驾驶方法。

背景技术

自动驾驶(也称：自动化的驾驶，或者驾驶自动化)是指车辆以自动的方式持续地执行部分或全部动态驾驶任务。在《汽车自动化驾驶分级》(GB/T 40429-2021)将自动驾驶的等级分为0～5级，其中0级为应急辅助驾驶，5级为完全自动驾驶。

在自动驾驶车辆行驶过程中，自动驾驶系统不仅需要精确地定位到周围的车辆的位置与速度信息，还需要获取周围车辆当前的车灯信号，车门状态等更为精细的信息来辅助判断其未来的行为，以便自动控制车辆更好的进行路线规划。举例而言，当周边车辆开门时，表明车辆处于静止状态，可能会有乘客下车，车辆需要绕行。尤其是对于前方车辆突然开门的行为，如果没有及时地检测出前方车辆开门状态，将会发生碰撞甚至更加严重的交通事故，存在极大的安全隐患。

但是，在当前的自动驾驶系统中，一般通过车辆的雷达点云轮廓来检测车门的状态，如是否打开。但是，基于激光雷达的方案，成本较高，容易受天气影响。同时基于点云数据，对于车门突然开启的情形，没办法及时地检出车门状态，因此也存在安全隐患。

在其他的一些现有技术中，提出了基于视频图像来检测车门状态的方案。但是这些方案不是针对自动驾驶而提出的，例如一些方案是用于违章监测中，例如，监测是否在规定区域内上下客。在这些方案中，对于车门状态识别的时效性和准确性均没有特殊的要求，因此并不直接适用于自动驾驶中。

发明内容

本发明的主要目的在于提供一种车辆车门检测方法、装置、存储介质及自动驾驶方法，能够准确地检测车门的状态。

为了实现上述发明目的，本发明实施例一种车辆车门检测方法，包括：获取主车行驶方向上的目标车辆的图像，所述目标车辆的图像包括：所述目标车辆的当前图像和前一帧的图像；根据所述目标车辆的图像，得到所述目标车辆的图像的特征图；将所述特征图分别输入分类网络模型和检测网络模型中，分别得到分类结果和检测结果；根据所述分类结果和所述检测结果，得到所述目标车辆的车门状态检测结果。

其中，所述获取主车行驶方向上的目标车辆的图像，包括：根据雷达检测到的主车周围的车辆的位置信息，从车载摄像头拍摄的主车周围的环境视频中，截取出所述目标车辆的图像。

其中，所述根据所述目标车辆的图像，得到所述图像的特征图，包括：将所述目标车辆的图像输入用于图像识别的残差网络模型中，并从所述残差网络模型的输出得到所述特征图。

其中，所述分类结果包含四个参数，分别表示当前图像是否开门、左边是否开门、右边是否开门和后备箱是否开门。

其中，所述检测结果为多属性的检测框，所述多属性的检测框包括：车门框、车门的类别、置信度和左右位置信息。

本发明实施例还提供了一种自动驾驶方法，其特征在于，包括：采用上述的车辆车门检测方法来得到目标车辆的车门状态检测结果；根据所述车门状态检测结果，执行自动驾驶。

本发明实施例还提供了一种车辆车门检测装置，包括：图像获取模块，用于获取主车行驶方向上的目标车辆的图像，所述目标车辆的图像包括：所述目标车辆的当前图像和前一帧的图像；特征图提取模块，用于根据所述目标车辆的图像，得到所述目标车辆的图像的特征图；分类模块，用于利用分类网络模型对所述特征图进行分类，得到分类结果；检测模块，用于利用检测网络模型来检测所述特征图中的车门状态，得到检测结果；融合模块，用于根据所述分类结果和所述检测结果，得到所述目标车辆的车门状态检测结果。

本发明实施例还提供了一种车辆车门检测装置，包括：存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以实现上述的车辆车门检测方法。

本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被处理器执行上述的方法。

本发明实施例的有益效果：

本发明实施例，先分别利用分类网络模型和检测网络模型从整张图像的角度和车门部分的角度来检测目标车辆的车门状态，然后融合两种模型的检测结果以最终确定车门的状态(如，是否打开，以及左右位置等)，从而能够得到更稳定和准确的检测结果。

附图说明

图1是本发明的车辆车门检测方法的实施例的流程示意图；

图2是图1中步骤S10的实施例的流程示意图；

图3是图1中步骤S12～S16的一种实施例的流程示意图；

图4是本发明的自动驾驶方法的实施例的流程示意图；

图5是本发明的车辆车门检测装置的实施例的结构示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

以下结合附图，通过实施例来对本发明进行说明。

如图1所示，是本发明的车辆车门检测方法的实施例的流程示意图。在本实施例中，可以准确地检测主车附近其他车辆的车门状态(是否打开等)，从而可以基于该检测结果来进行自动驾驶等控制，例如当检测到前方右侧的车辆的车门打开时，可以规划行驶路径以进行规避。

如图1所示，该车辆车门检测方法包括如下步骤：

步骤S10、获取主车行驶方向上的目标车辆的图像。

其中，主车例如是配置自动驾驶功能的车辆，其上装载有支持自动驾驶功能的软件和硬件系统，例如自动驾驶操作系统、激光雷达、摄像头，等等。此处的自动驾驶包括完全的自动驾驶，也包括辅助驾驶，例如本实施例的自动驾驶可以是L0～L5级的自动驾驶。

其中，目标车辆主要是指位于主车行驶方向上的车辆，例如前方的车辆，侧方的车辆，当本方法应用于自动驾驶中时，主要关注前方相邻车道的车辆。例如，自动驾驶中，主车需要注意前方相邻车道内的车辆的车门是否开启，是否下客等情况，以进行规避操作，避免发生交通意外。

其中，目标车辆的图像至少包括：目标车辆的当前图像(如当前时刻的图像)和前一帧的图像。本发明实施例，至少选取前后两帧图像作为目标车辆的图像，通过利用两帧图像的差别能够及时地检测目标车辆的车门开启，克服基于点云数据的方案，无法检测车门突然开启的缺陷。

另外，除了选择相邻两帧的图像作为目标车辆的图像，本发明实施例还可以选择连续多帧(3帧及以上)的图像来作为目标车辆的图像。另外，由于目标车辆的图像为连续图，因此可以结合时序模型来提取上述各帧图像，以节约数据处理量和存储量。

其中，如图2所示，可以基于如下方法实现步骤S10，具体地，如图2所示，在步骤S20中，利用车载摄像头拍摄主车周围的环境视频。在步骤S22中，根据雷达检测主车周围的车辆的位置信息，例如利用雷达可以检测出检测范围内其他车辆位于主车的方位(前方、后方、侧方、旁边等)以及对应的距离，结合这些信息可以确定出哪些车辆是需要特别关注的，例如，位于前方右边车道的车辆，这些车辆将被锁定为目标车辆。因此，在步骤S24中，根据步骤S20和S22检测到信息，从拍摄的环境视频中，截取出目标车辆的图像。

步骤S12、根据目标车辆的图像，得到目标车辆的图像的特征图。

其中，在此步骤中，可以利用残差网络(resnet)模型来得到特征图，具体地，将目标车辆的图像输入用于图像识别的残差网络模型中，并从残差网络模型的输出得到上述特征图。举例而言，残差网络模型可以是resnet50网络或resnet101等网络。其中，resnet是由来自Microsoft Research的4位学者提出的卷积神经网络，在2015年的ImageNet大规模视觉识别竞赛(ImageNet Large Scale Visual Recognition Challenge,ILSVRC)中获得了图像分类和物体识别的优胜。resnet网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。

步骤S14、将特征图输入分类网络模型和检测网络模型中，分别得到分类结果和检测结果。

其中，在本实施例中，分别设置了两个网络模型，即分类网络(ClassificationHead)模型和检测网络(Detection Head)模型，其中分类网络模型用于检测车门是否开启，为全局特征，检测网络模型用于检测车门框的具体信息，侧重于局部信息。

具体地，分类网络模型从整张图像的角度检测车门状态，其中，分类结果包含四个参数，例如分类结果是一个含有四个参数的四维向量V，这四个参数分别表示当前图像是否开门、左边是否开门、右边是否开门和后备箱是否开门。

检测网络模型从整张图像中车门部分的角度检测车门状态，例如检测网络模型以车门作为目标特征进行检测。其中，检测网络模型的检测结果为多属性的检测框，所述多属性的检测框包括：车门框、车门的类别(车门、后备箱)、置信度(介于0至1的值，表示当前检测出的车门框存在的可能，数值越大可能性越大)和左右位置信息。

步骤S16、根据分类结果和检测结果，得到目标车辆的车门状态检测结果。

在步骤S16中，通过融合步骤S14的分类检测结果和网络检测结果，可以得到最终的车门状态检测结果，例如，车门是否开启，以及开启的门类别(左、右、后备箱等)。

其中，根据分类结果和检测结果，得到最终的车门状态检测结果，例如可以是：假设基于分类和检测的分数分别是score_c，score_d。则当score_d>0.7，车门打开。当0.50.5，则车门打开，其他关闭。

其中，步骤S12～16的一种示例如图3所示。如图3所示，将当前和先前帧的图像输入主干网络(backbone)中进行特征提取，其中主干网络可以是resnet50。然后将提取的特征分别输入检测头和分类头中，分别进行车门状态识别，然后在对识别结果进行融合，以得到最终的车门状态。

本实施例，先利用分类网络模型和检测网络模型分别从全局和局部的角度来检测目标车辆的车门状态，然后融合两种模型的检测结果以最终确定车门的状态(如，是否打开，以及左右位置等)，从而能够得到更稳定和准确的检测结果。

如图4所示，是本发明的自动驾驶方法的流程示意图。其包括如下步骤：

步骤S40、检测目标车辆的车门状态，得到车门状态检测结果。例如采用如1的方法来检测。

步骤S42、根据车门状态检测结果，进行自动驾驶的控制。

在此步骤中，根据最终确定的车门状态，进行自动驾驶控制。例如，当检测到前门右侧车道的车门打开时，进行规避操作，例如绕行。

由于本方法能够准确地检测到目标车辆的车门状态，因此能够保证自动驾驶的安全性。

如图5所示，是本发明的车辆车门检测装置5的实施例的结构示意图，其包括：

图像获取模块50，用于获取主车行驶方向上的目标车辆的图像。其中，目标车辆的图像包括：所述目标车辆的当前图像和前一帧的图像。特征图提取模块51，用于根据目标车辆的图像，得到目标车辆的图像的特征图。分类模块52，用于利用分类网络模型对所述特征图进行分类，得到分类结果。检测模块53，用于利用检测网络模型来检测所述特征图中的车门状态，得到检测结果。融合模块54，用于根据所述分类结果和所述检测结果，得到所述目标车辆的车门状态检测结果。

另外，本发明实施还提供了一种车辆车门检测装置，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以实现上述的车辆车门检测方法。

另外，本发明实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序能够被处理器执行以实现上述的方法，例如车辆车门检测方法或自动驾驶方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，控制器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。