一种导航控制设备以及无人驾驶汽车

技术领域

本发明属于无人驾驶领域，具体涉及一种导航控制设备以及无人驾驶汽车。

背景技术

无人驾驶汽车是通过车载传感系统感知道路环境，自动规划行车路线并控制车辆到达预定目标地点的智能汽车。无人驾驶技术要依据道路上其他车辆的状态来控制当前无人驾驶汽车的行驶方向、行驶速度等，以实现良好的避让，达到安全驾驶的目的。因此，对道路车辆状态的识别就显得尤为重要。

现如今，针对各种目标的图像检测算法得到了较为快速的发展，其中YOLO(YouOnly Look Once)系列网络模型得到了广泛应用。

如何基于YOLO系列网络模型实现道路车辆图像的检测，进而控制无人驾驶汽车的行驶状态，是一个具有实际意义的研究方向。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种导航控制设备以及无人驾驶汽车。本发明要解决的技术问题通过以下技术方案实现：

第一方面，本发明实施例提供了一种导航控制设备，应用于无人驾驶汽车，包括：

图像获取模块，用于获取车辆图像；

道路车辆状态识别模块，用于利用图像识别网络的主干网络对所述车辆图像进行特征提取，得到x个特征图；所述x个特征图的尺度依次增大；x为大于等于3的自然数；利用所述图像识别网络的FPN网络将所述x个特征图进行自顶向下，密集连接形式的特征融合，得到所述车辆状态，所述车辆状态包括各个车辆的位置和类别；

车辆控制模块，用于基于所述车辆状态生成驾驶控制指令；

其中，所述主干网络包括多个间隔串联的密集连接模块以及过渡模块；所述图像识别网络是根据车辆图像样本和对应的车辆状态进行迭代训练得到的。

可选的，所述密集连接模块包括串联的卷积网络模块以及密集连接单元组，且所述密集连接模块的数量至少为三个，所述密集连接单元组包括多个密集连接单元。

可选的，所述卷积网络模块包括依次连接的卷积层、BN层以及Leaky relu层；所述密集连接单元包括多个密集连接的所述卷积网络模块，并采用级联方式融合多个所述卷积网络模块输出的所述x个特征图。

可选的，所述过渡模块为所述卷积网络模块。

可选的，所述过渡模块包括依次连接的多个所述卷积网络模块以及最大池化层，且所述卷积网络模块的输出与所述最大池化层的输出通过级联连接。

可选的，所述FPN网络包括与所述x个特征图的尺度对应的x个预测支路Y

可选的，所述利用所述图像识别网络的FPN网络将所述x个特征图进行自顶向下，密集连接形式的特征融合，包括

针对预测支路Y

可选的，所述驾驶控制指令包括车辆行驶的路线信息以及车辆行驶的速度值。

可选的，所述图像获取模块包括摄像机、照相机或者摄像头。

第二方面，本发明实施例还提供一种无人驾驶汽车，包括上述的导航控制设备，以及驱动设备、车身结构设备；

导航控制设备，用于控制无人驾驶汽车；

驱动设备，基于导航控制设备驱动无人驾驶汽车运动；

车身结构设备，用于在无人驾驶汽车中支撑导航控制设备以及驱动设备。

本发明实施例提供的导航控制设备以及无人驾驶汽车，集成有图像获取模块、道路车辆状态识别模块以及车辆控制模块，其中道路车辆状态识别模块将现有技术YOLOv3网络的主干网络中的残差模块更换为密集连接模块。在特征提取时，利用密集连接模块将原有的并行特征融合方式改为串行，将早期得到的特征图作为后面每一层特征图的输入，能够获得更多信息量的特征图，强化了特征传递，提高检测精度；对提取的特征图采用进行自顶向下，密集连接形式的特征融合，即对深层特征进行不同倍数的上采样，并与浅层特征串联融合，能够得到更多的原始信息，同时在浅层网络中也有高维语义信息的参与，同样有助于提高检测精度，通过直接接收更浅层网络的特征，可以得到更加具体的特征，有效减少特征损失，可以通过减少运算的参数量，加速预测。在此基础上，通过对车辆图像进行检测，能够获取车辆状态，生成驾驶控制指令，进而控制无人驾驶汽车的行驶状态。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的一种导航控制设备的结构示意图；

图2是现有技术中的YOLOv3网络的结构示意图；

图3是本发明实施例提供的图像识别网络的结构示意图；

图4是本发明实施例提供的过渡模块的结构示意图；

图5是本发明实施例提供的一种无人驾驶汽车的结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

为了基于YOLO系列网络模型实现道路车辆图像的检测，从而实现道路车辆状态识别，进而控制无人驾驶汽车的行驶状态，本发明实施例提供了一种导航控制设备以及无人驾驶汽车。

第一方面，本发明实施例提供的一种导航控制设备。下面，对导航控制设备进行介绍。

参见图1，本发明实施例提供的一种导航控制设备100，应用于无人驾驶汽车，可以包括以下模块：

图像获取模块101，用于获取车辆图像；

道路车辆状态识别模块102，用于利用图像识别网络的主干网络对车辆图像进行特征提取，得到x个特征图；x个特征图的尺度依次增大；x为大于等于3的自然数；利用图像识别网络的FPN网络将x个特征图进行自顶向下，密集连接形式的特征融合，得到车辆状态，车辆状态包括各个车辆的位置和类别；

车辆控制模块103，用于基于车辆状态生成驾驶控制指令；

其中，主干网络包括多个间隔串联的密集连接模块以及过渡模块；图像识别网络是根据车辆图像样本和对应的车辆状态进行迭代训练得到的。

以下分别介绍各个模块：

(1)图像获取模块101:

一种可选的实施方式中，图像获取模块101可以包括照相机、摄像机、手机等图像拍摄采集设备，图像获取模块101可以直接拍摄含有目标车辆的图像。

另一种可选的实施方式中，图像获取模块101可以获取其余图像采集设备拍摄并发送的含有目标车辆的图像。这些图像采集设备可以设置于道路边沿上的路灯杆、桥梁等设施上。

获取到的车辆图像中至少含有一个目标车辆。目标车辆可以是与无人驾驶汽车在同一道路上行驶的其他车辆，也可以是与无人驾驶汽车不在同一道路上行驶的其他车辆。

本发明实施例中，要求的车辆图像尺寸为416×416×3。

因此，在该步骤，一个例子中，可以直接获得416×416×3尺寸的车辆图像；另一个例子中，可以获得任意尺寸的图像，将获得的图像经过一定的尺寸缩放处理，得到416×416×3尺寸的车辆图像。

可以理解的是，在上述两种例子中，还可以对获取到的图像进行剪裁、拼接、平滑、滤波、边缘填充等图像增强操作，以增强图像中感兴趣的特征，扩展数据集的泛化能力。

(2)道路车辆状态识别模块102：

本实施例中，主干网络包括多个间隔串联的密集连接模块以及过渡模块。

本实施例中的主干网络是基于YOLOv3网络的主干网络进行改进的。本发明实施例的图像识别网路是根据车辆图像样本和对应的车辆状态进行迭代训练得到的。

为了便于理解本发明实施例提供的主干网络的网络结构，对现有技术的YOLOv3网络的结构进行介绍。图2是现有技术中的YOLOv3网络的结构示意图。

参考图2，虚线框内的部分为YOLOv3网络。其中点划线框内的部分为YOLOv3网络的主干(backbone)网络，即darknet-53网络；其余部分为FPN(Feature Pyramid Networks，特征金字塔网络)网络，FPN网络又分为三个预测支路Y

YOLOv3网络的主干网络由CBL模块和多个resn模块串接构成。CBL模块为卷积网络模块，包括串行连接的conv层(Convolutional layer，卷积层，简称conv层)、BN(BatchNormalization，批量归一化)层和激活函数Leaky relu对应的Leaky relu层，CBL即表示conv+BN+Leakyrelu。resn模块为残差模块，n代表自然数，有res1、res2，…，res8等等，resn模块包括串行连接的zero padding(零填充)层、CBL模块和残差单元组，残差单元组用Resunit*n表示，含义是包括n个残差单元Res unit，每个残差单元包括采用残差网络(Residual Network，简称为ResNets)连接形式连接的多个CBL模块，特征融合方式采用并行方式，即add方式。

FPN网络的各个预测支路中均包括卷积网络模块组，具体包括5个卷积网络模块，即图2中的CBL*5。另外，US(up sampling，上采样)模块为上采样模块；concat表示特征融合采用级联方式，concat为concatenate的简称。

YOLOv3网络中各个主要模块的具体构成请参见图2中虚线框下的示意图。

本发明实施例提供的图像识别网络的主干网络与现有技术中的YOLOv3网络的主干网络区别在于：包括多个间隔串联的密集连接模块以及过渡模块。借鉴密集卷积网络DenseNet的连接方式，提出一种具体的密集连接模块，用来替换YOLOv3网络的主干网络中的残差模块(resn模块)。已知的是，ResNets在将特征传递到图层之前通过求和来组合特征，即采用并行方式进行特征融合。而密集连接方式为了确保信息以最大程度在网络中各层之间流动，将所有层(具有匹配的特征图大小)彼此直接连接。具体的，针对每个层，它之前层的所有特征图被用作它的输入，它本身的特征图被用作它所有后续层的输入，也就是特征融合采用级联方式(也称为串联方式)。因此，相比于YOLOv3网络使用残差模块，本发明实施例中的图像识别网络通过改用密集连接模块，获得的特征图的信息量更多，在进行车辆状态检测时，能够增强特征传播，提高检测精度。同时，因为它不需要重新学习冗余的特征图，可以大大减小参数数量，减少计算量，还可以减轻梯度消失问题。

参考图3，图3是本发明实施例提供的图像识别网络的结构示意图。以下结合图3说明本实施例的主干网络。

本实施例中，密集连接模块表示为denm，密集连接模块包括串联的卷积网络模块以及密集连接单元组。

由于至少存在三条预测支路，因此密集连接模块的数量至少为三个，以便将自身输出的特征图对应融合进各个预测支路。在图3中，作为示例，密集连接模块的数量为5个，相比于3个密集连接模块，5个密集连接模块所构成的图像识别网络的精度更高。在本实施例的主干网络中，沿输入逆向的3个密集连接模块各自输出一个特征图，这3个特征图的尺度依次增大，且分别和预测支路Y

本实施例中，密集连接模块包括串联的卷积网络模块(如上述表示为CBL模块)以及密集连接单元组，密集连接单元组包括多个密集连接单元。

其中，密集连接单元组表示为den unit*m，其含义是密集连接单元组包括m个密集连接单元，且m为大于等于4的自然数。

每个密集连接单元表示为den unit；其包括多个采用密集连接形式连接的卷积网络模块，并采用级联方式融合多个卷积网络模块输出的特征图。

本实施例中，卷积网络模块包括依次连接的卷积层、BN层以及Leaky relu层；密集连接单元包括多个密集连接的卷积网络模块，并采用级联方式融合多个卷积网络模块输出的x个特征图。

其中，级联方式即concat，含义为张量拼接，该操作和残差模块中的add的操作是不一样的，concat会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。因此，本实施例中的主干网络在进行特征提取时，利用密集连接模块，将特征融合方式从并行改为了串行，能够直接将早期的特征图作为后面每一层的输入，强化特征的传递，并通过复用浅层网络的特征图参数来减少参数的数量以及运算量。

对于一般的密集卷积网络DenseNet结构，会包含密集连接之间的过渡层，用来对密集连接的特征图进行调整。因此，在本发明实施例中，对于加入的密集连接模块之间也可以设置过渡模块。

在一个例子中，过渡模块为卷积网络模块。也就是使用CBL模块作为过渡模块。那么，在搭建图像识别网络的主干网络时，仅需要将残差模块更换为密集连接模块，再将密集连接模块和原有的CBL模块进行串联即可得到。这样，网络搭建过程会较为快速，所得到的网络结构较为简单。但这样的过渡模块仅使用卷积层进行过渡，即直接通过增加步长来对特征图进行降维，这样做只能照顾到局部区域特征，而不能结合整张图的信息，因此会使得特征图中的信息丢失较多。

优选的，在本实施例中，过渡模块包括依次连接的多个卷积网络模块以及最大池化层，且卷积网络模块的输出与最大池化层的输出通过级联连接。

图4为本发明实施例所提供的过渡模块的结构示意图。该种实施方式中，用tran模块表示该种过渡模块，MP层为最大池化层(Maxpool，缩写MP，含义为最大池化)。进一步的，MP层的步长可以选择为2。在该种实施方式中，引入的MP层可以以较大的感受野对特征图进行降维；使用的参数比较少，因此不会过多地增加计算量，可以减弱过拟合的可能，提高网络模型的泛化能力；并且结合原有的CBL模块，可以看做从不同的感受野对特征图进行降维，因此可以保留更多信息。

本实施例中，过渡模块包括的卷积网络模块的数量为两个或三个，且各个卷积网络模块之间采用串接方式。相比于使用一个卷积网络模块，采用串接的两个或三个卷积网络模块，能够增加模型的复杂度，充分提取特征。

现有技术中的YOLOv3网络中含有较多的卷积层，原因在于其针对的目标的类别较多，有80种。而在本发明实施例中，车辆的类别数较少，那么，大量的卷积层是没有必要的，这样会浪费网络资源，降低处理速度。

本实施例的图像识别网络中针对密集连接模块的m取值可以为4，可以理解的是，这样，相比现有技术的YOLOv3网络中主干网络的多个残差模块含有的卷积层数量，本实施例的图像识别网络中，通过将密集连接模块中含有的密集连接单元数量设置为4，可以在不影响网络精度的情况下，针对本发明实施例的车辆图像，减少主干网络中卷积层的数量。

利用图像识别网络的FPN网络将x个特征图进行自顶向下，密集连接形式的特征融合，得到车辆状态，车辆状态包括各个车辆的位置和类别。

本发明实施例中，对原有的FPN网络进行了改进，改变其网络连接形式以改变特征融合方式得到改进型FPN网络，主旨是特征融合结合横向方式与自顶向下密集连接方式，在这种方式中，自顶向下的方式变成了尺度较小的预测支路的特征图直接向每一个尺度较大的预测支路传递自身的特征。

以下对本发明实施例中的FPN网络及其特征融合方式进行介绍。

本发明实施例中的FPN网络包括与x个特征图的尺度对应的x个预测支路Y

在本实施例中，将x个特征图利用图像识别网络的FPN网络进行自顶向下，密集连接形式的特征融合，具体的：

针对预测支路Y

以i＝3也就是预测支路Y

关于预测支路Y

现有技术中的YOLOv3网路的特征融合方式中，使用的是先将深层和较浅层网络特征相加，再一起进行上采样的方法，这种方法在将特征相加后，要通过卷积层提取特征图，这样的操作会破坏一些原始的特征信息。而在本实施方式中，将特征融合方式变为了密集的融合方法，即深层特征直接进行不同倍数的上采样，以此来使得传递的所有特征图具有相同的尺寸。将这些特征图和浅层的特征图通过串联的方式融合起来，对融合的结果再次提取特征来消除里面的噪声，保留主要信息，然后进行预测，这样可以利用到更多的原始信息，在浅层网络中也有高维语义信息的参与。因此，这样可以发挥密集连接网络保留更多特征图原始语义特征的优势，只不过对于自顶向下的方法来讲，保留的原始语义是更加高维的语义信息，这样可以对于物体的分类有帮助。通过直接接收更浅层网络的特征，可以得到更加具体的特征，这样将有效地减少特征的损失，并且可以减少需要运算的参数量，加速预测过程。

以上，主要针对特征融合方式进行介绍，各预测支路在特征融合之后主要是利用一些卷积操作进行预测，得到各自的预测结果。关于如何获取各自的预测结果请参见相关的现有技术，在此不进行说明。

之后，对所有预测结果经由分类网络进行分类处理，再经由非极大值抑制模块进行预测框去重处理，得到车辆图像的车辆状态。

其中，分类网络包括SoftMax分类器。目的是实现多个车辆状态互斥的分类。可选的，分类网络也可以沿用YOLOv3网络的logistic回归进行分类，以实现多个独立的二分类。

非极大值抑制模块用于进行NMS(non_max_suppression，非极大值抑制)处理。用于在重复框选同一目标的多个预测框中，排除置信度相对较小的预测框。

关于分类网络和非极大值抑制模块的内容，可以参见现有技术相关说明，在此不再赘述。

车辆状态包括各个车辆的位置和类别。具体的，车辆状态的形式为一向量，包含预测框的位置、预测框内车辆的置信度、预测框内车辆的类别。预测框的位置用来表征目标车辆在车辆图像中的位置；具体的，每个预测框的位置用bx、by、bw以及bh等四个值表示，其中bx以及by用于表示预测框的中心点位置，bw以及bh用于表示预测框的宽和高。

其中，车辆的类别包括小汽车、单层公交车、双层公交车、大卡车、面包车、自行车和摩托车等。

此外，车辆状态还可以包括目标车辆的行驶状态，比如当前速度、正常行驶、超速行驶或者车辆临时停车等情况。

以及，车辆状态还可以携带有车辆图像的拍摄时间和拍摄位置。

(3)车辆控制模块103：

本实施例中，驾驶控制指令包括车辆行驶的路线信息以及车辆行驶的速度值。

可以理解的是，可以基于确定的车辆状态生成无人驾驶汽车的驾驶控制指令，一种可选的实施方式可以包括：

步骤(1)：获取当前时间和无人驾驶汽车的当前位置以及无人驾驶汽车的当前行驶速度；

步骤(2)：获取车辆状态中车辆图像的拍摄时间、拍摄位置以及目标车辆的当前行驶速度；

步骤(3)：利用步骤(1)和步骤(2)获取的信息，确定目标车辆与无人驾驶汽车的目标距离；通过检测到的车辆的位置和类别确定目标车辆所在的车道位置和车型。

步骤(4)：利用目标距离、目标车辆所在的车道位置和车型，确定无人驾驶汽车与目标车辆的安全行驶距离范围、无人驾驶汽车的期望行驶速度值，得到无人驾驶汽车的行驶路线以及行驶速度，并生成提醒信息。

通过对无人驾驶汽车的行驶路线做出规划，可以实现避开拥堵区域以及障碍车辆的目的。

以下，对图像识别网络的训练过程予以简单介绍。本领域技术人员可以理解的是，在进行网络训练之前，需要搭建如图3所示的网络结构，图像识别网络是根据车辆图像样本和对应的车辆状态进行迭代训练得到的。网络训练过程可以分为以下步骤：

步骤1，获得若干车辆图像样本，以及车辆图像样本对应的车辆状态。车辆状态可以包括各个车辆的位置和类别。

在该过程中，各车辆图像样本的车辆状态是已知的，确定各车辆图像样本的车辆状态的方式可以是：通过人工识别，或者通过其他图像识别工具识别等等。之后，需要对车辆图像样本进行标记，可以采用人工标记方式，当然也可以利用其余人工智能方法进行非人工标记。

另外，由于网络训练需要使用VOC格式或者COCO格式的数据，并将标记数据存储在文本文档当中。所以需要用Python脚本进行数据集标注格式的转换。

步骤2，利用各车辆图像样本，以及各车辆图像样本对应的车辆状态，训练搭建好的网络，得到训练完成的图像识别网络。具体的：

(a)将每一车辆图像样本对应的车辆状态作为该车辆图像样本对应的真值，将各车辆图像样本和对应的真值，通过搭建好的网络进行训练，获得各车辆图像样本的训练结果；

(b)将每一车辆图像样本的训练结果与该车辆图像样本对应的真值进行比较，得到该车辆图像样本对应的输出结果；

(c)根据各个车辆图像样本对应的输出结果，计算网络的损失值；

(d)根据损失值，调整网络的参数，并重新进行(a)-(c)步骤，直至网络的损失值达到了一定的收敛条件，也就是损失值达到最小，这时，意味着每一车辆图像样本的训练结果与该车辆图像样本对应的真值一致，从而完成网络的训练，获得迭代训练完成的图像识别网络。

本实施例提供的导航控制设备，集成有图像获取模块、道路车辆状态识别模块以及车辆控制模块，其中道路车辆状态识别模块将现有技术YOLOv3网络的主干网络中的残差模块更换为密集连接模块。在特征提取时，利用密集连接模块将原有的并行特征融合方式改为串行，将早期得到的特征图作为后面每一层特征图的输入，能够获得更多信息量的特征图，强化了特征传递，提高检测精度；对提取的特征图采用进行自顶向下，密集连接形式的特征融合，即对深层特征进行不同倍数的上采样，并与浅层特征串联融合，能够得到更多的原始信息，同时在浅层网络中也有高维语义信息的参与，同样有助于提高检测精度，通过直接接收更浅层网络的特征，可以得到更加具体的特征，有效减少特征损失，可以通过减少运算的参数量，加速预测。在此基础上，通过对车辆图像进行检测，能够获取车辆状态，生成驾驶控制指令，进而控制无人驾驶汽车的行驶状态，满足无人驾驶技术的安全驾驶需求。

第二方面，本发明实施例还提供了一种无人驾驶汽车。下面对无人驾驶汽车进行介绍。

参考图5，本发明实施例提供的一种无人驾驶汽车，包括上述的导航控制设备500，以及驱动设备510、车身结构设备520；需要说明的是，图5中的导航控制设备500与图1中的导航控制设备100相同。

导航控制设备500，用于控制无人驾驶汽车；

驱动设备510，基于导航控制设备500驱动无人驾驶汽车运动；

车身结构设备520，用于在无人驾驶汽车中支撑导航控制设备500以及驱动设备510。

本实施例中，导航控制设备500是无人驾驶汽车的控制核心，控制设备可以控制无人驾驶汽车的启动、停止以及转向等，还可以根据道路车辆状态规划无人驾驶汽车的行驶路径。

驱动设备510是无人驾驶汽车的动力，为无人驾驶汽车提供驱动力，实现无人驾驶汽车的前进、后退以及停止等驱动功能。驱动设备510可以包括发动机、传送装置以及车轮等。

车身结构设备520是无人驾驶汽车的硬件组成，为无人驾驶汽车提供支撑结构。车身结构设备520可以包括车架、车门以及座椅等。

本实施例提供的无人驾驶汽车，包括导航控制设备、驱动设备以及车车身结构设备。导航控制设备集成有图像获取模块、道路车辆状态识别模块以及车辆控制模块，其中道路车辆状态识别模块将现有技术YOLOv3网络的主干网络中的残差模块更换为密集连接模块。在特征提取时，利用密集连接模块将原有的并行特征融合方式改为串行，将早期得到的特征图作为后面每一层特征图的输入，能够获得更多信息量的特征图，强化了特征传递，提高检测精度；对提取的特征图采用进行自顶向下，密集连接形式的特征融合，即对深层特征进行不同倍数的上采样，并与浅层特征串联融合，能够得到更多的原始信息，同时在浅层网络中也有高维语义信息的参与，同样有助于提高检测精度，通过直接接收更浅层网络的特征，可以得到更加具体的特征，有效减少特征损失，可以通过减少运算的参数量，加速预测。在此基础上，通过对车辆图像进行检测，能够获取车辆状态，生成驾驶控制指令，进而控制无人驾驶汽车的行驶状态，满足无人驾驶技术的安全驾驶需求。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。