快速估计自动驾驶深度视觉感知神经网络不确定性的方法

技术领域

本发明属于自动驾驶预期功能安全技术领域，更为具体地讲，涉及一种快速估计自动驾驶深度视觉感知神经网络不确定性的方法。

背景技术

深度学习的不确定性一直是掣肘深度学习发展的大问题，现有的深度神经网络具有两个特点，具有固定的神经网络结构和参数，使用分布有限的数据集进行训练，前者限制深度神经网络的认知度，使其注定不会完整地学习到真实世界的分布，后者即数据集也完全无法概括某一项事物真实世界的分布。

学术界将深度学习的不确定性分为了两类：偶然不确定性和认知不确定性。深度学习的偶然不确定性主要由数据自身存在的自然噪声扰动造成，对以图像为主的深度视觉感知神经网络来讲，偶然不确定性便是由于自然环境造成的图像不清晰或者待检测目标物体被遮挡等，这对深度神经网络的检测增添了很大的难度。深度学习的认知不确定性是由于缺乏充分的训练和模型自身有限的结构造成的，也就是说深度神经网络无法充分模拟待检测事物在真实世界中的分布，因此，认知不确定性就是深度神经网络自身对真实世界认知不足而产生的不确定性。

自动驾驶感知主要以深度视觉感知神经网络为主。在安全性要求极高的自动驾驶领域，估计出深度视觉感知神经网络的不确定性可以在一定程度上提升自动驾驶系统的安全性。估计深度视觉感知神经网络的指标目前有两个，一个是用于衡量深度视觉感知神经网络认知度的认知不确定性，一个是衡量输入深度视觉感知神经网络中数据质量的偶然不确定性。

自动驾驶感知任务主要有三个，其一是借助车载摄像头和其他雷达类传感器识别车辆周围可能阻挡车辆前行的物体，防止车辆与其他物体发生碰撞；第二个任务是借助车载摄像头拍摄图像识别车道线，保证车辆不会偏离道路；其三是识别交通标注信号，保证车辆运行在交通规则之内。这三个感知任务目前都以深度神经网络为主要驱动，目前使用最广泛的是深度视觉感知神经网络。从深度学习和计算机视觉的角度看，自动驾驶感知主要是目标检测，深度视觉感知神经网络的类别为目标检测神经网络。自动驾驶目标检测任务如图1所示，车载摄像头获取的输入图像，在自动驾驶感知模块中获得目标物体预测结果，包括类别置信度以及边界框，而自动驾驶感知模块主要就是深度视觉感知神经网络。在图1中，两个目标物体的预测结果为：类别置信度Car:0.9，边界框的四个坐标点。

图2是现有技术中基于MC-Dropout估计深度神经网络认知不确定性的示意图。

如图2所示，Monte Carlo Dropout(MC-Dropout)是一种估计深度神经网络认知不确定性的方法，预测模型为含有Dropout网络层的深度神经网络，在预测模型前向推理时打开Dropout层，利用Dropout层随机丢弃的功能，使得深度神经网络在同一输入的情况下多次(N组)推理结果有差异，之后求解这些有差异结果的方差来表示深度神经网络输出的预测结果的认知不确定性，求解这些有差异预测结果的平均值来表示最终的预测结果。但是MC-Dropout本质上是使模型进行整体多次推理求解预测模型认知不确定性的，这将使预测模型进行不确定性推理的时间延长，在有时效性要求的系统中，这种方法是不具有优势的。

发明内容

本发明的目的在于克服现有技术不足，提供一种快速估计自动驾驶深度视觉感知神经网络不确定性的方法，以适用于预测模块中不含有Dropout层的感知算法的同时，节省不确定性估计所使用的时间，提高不确定性估计的准确度。

为实现上述发明目的，本发明快速估计自动驾驶深度视觉感知神经网络不确定性的方法，其特征在于，包括以下步骤：

(1)、对于自动驾驶深度视觉感知神经网络，在预测模块中，在已有的一个不含Dropout的预测层基础上，增加含有N个相同结构和参数的随机Dropout预测层，其中，每一个随机Dropout预测层均为预测层前面加入一层Dropout而组成；

此时，已有的一个不含Dropout的预测层与增加的N个相同结构的随机Dropout预测层构成N+1通道随机Dropout推理预测模块；

(2)、载入感知模型预训练权重值，所述的预训练权重值是指训练改造前感知模型所得到的权重文件；

(3)、读取一张待检测图像输入感知模型中，并且打开N+1通道随机Dropout推理预测模块中所有的随机Dropout预测层；

(4)、感知模型对输入的待检测图像进行特征提取和融合，得到特征集合，并输入到N+1通道随机Dropout推理预测模块；

(5)、在N+1通道随机Dropout推理预测模块中，每个随机Dropout预测层首先对输入的特征集合中的特征以一定的概率进行随机丢弃，使得输入的特征集合在在N个随机Dropout预测层中形成N个不同的特征集合，然后在预测层中对随机丢弃后的特征集合进行预测，使N个随机Dropout预测层输出N组有差异的预测结果Prediction_

Prediction

class_conf

class_conf

bbox

bbox

其中，bbox

(6)、计算最终预测结果

首先，计算N组有差异的预测结果Prediction_

然后，将预测结果Prediction作为待校准值p1，计算权重均值Weighted Mean：

Weighted Mean＝α×p1+β×p2其中α+β＝1

权重均值Weighted Mean进行非极大值抑制，得到最终预测结果；

(7)、计算目标分数熵

对于第i个预测位置目标属于第c类的目标分数熵

将目标分数熵

本发明的发明目的是这样实现的：

本发明快速估计自动驾驶深度视觉感知神经网络不确定性的方法，首先在MC-Dropout估计不确定性的基础上，修改了MC-Dropout前向推理获取差异化预测结果的方式，即在已有的一个不含Dropout的预测层基础上，增加含有N个相同结构的随机Dropout预测层，构成N+1通道随机Dropout推理预测模块，这样，进行一次不确定性推理便得到预测结果的不确定性和准确的预测结果。相比于传统的MC-Dropout方法，本发明节省了对深度视觉感知神经网络进行不确定性估计所使用的时间。此外，本发明中，最终的预测结果为不含Dropout的预测层输出的预测结果与N个随机Dropout预测层输出N组有差异的预测结果的均值进行权值和得到权重均值，使得预测结果更为准确，同时，采用N个随机Dropout预测层输出N组有差异的预测结果的置信度分数熵进行sigmoid函数运算，得到的目标分数熵

附图说明

图1是自动驾驶目标检测任务的示意图；

图2是现有技术中基于MC-Dropout估计深度神经网络认知不确定性的示意图；

图3是本发明快速估计自动驾驶深度视觉感知神经网络不确定性的方法一种具体实施方式的流程图。

图4是本发明中感知与预测的结构示意图；

图5是本发明中计算最终预测结果以及不确定性估计值的过程示意图；

图6是本发明快速估计自动驾驶深度视觉感知神经网络不确定性的方法的示意图；

图7是本发明与传统的MC-Dropout方法不确定性估计对比图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

在自动驾驶的视觉感知任务中，准确且快速的提取出认知不确定性和偶然不确定性对有效解决自动驾驶的预期功能安全问题至关重要。传统方法中，Monte-Carlo Dropout方法通过采样同一模型在不同丢弃率下的预测结果来估计不确定性，这使得在模型推理阶段时不确定性估计速度很慢且容易占用处理器大量内存。并且Monte-Carlo Dropout方法只适合于模型中含有Dropout层的感知算法，无法对神经网络中不含Dropout层的感知算法进行不确定性估计。此外，传统的方式采用均值作为最终的预测结果，采用方差作为不确定性评估值，其准确度不是很高，

针对Monte-Carlo Dropout不确定性估计速度较慢，且不准确的问题，本发明提出了一种快速估计自动驾驶深度视觉感知神经网络不确定性的方法。如图3所示，包括：

步骤S1：构建N+1通道随机Dropout推理预测模块

在本实施例中，如图4所示，对于自动驾驶深度视觉感知神经网络，在预测模块中，在已有的一个不含Dropout的预测层基础上，增加含有N个相同结构和参数的随机Dropout预测层，其中，每一个随机Dropout预测层均为预测层前面加入一层Dropout而组成。

此时，已有的一个不含Dropout的预测层与增加的N个相同结构的随机Dropout预测层构成N+1通道随机Dropout推理预测模块。

在本实施例中，自动驾驶深度视觉感知神经网络为YOLOv5s，N＝10。在本实施例中，如图4所示，

将10个相同结构的随机Dropout预测层接入到感知模型输出部分中去，此时预测模块含有10个相同结构的随机Dropout预测层和1个不含Dropout的预测层，将此模块称为11通道随机Dropout推理预测模块。

步骤S2：载入感知模型预训练权重值

所述的预训练权重值是指训练改造前感知模型所得到的权重文件。在本实施例中，如图4所示，感知模型包括特征提取模块和特征融合模块。

步骤S3：打开所有的随机Dropout预测层

读取一张待检测图像输入感知模型中，并且打开N+1通道随机Dropout推理预测模块中所有的随机Dropout预测层。

步骤S4：感知模型提取融合得到的特征集合并输入到N+1通道随机Dropout推理预测模块

感知模型对输入的待检测图像进行特征提取和融合，得到特征集合，并输入到N+1通道随机Dropout推理预测模块。

步骤S5：获取N+1组有差异的预测结果

在N+1通道随机Dropout推理预测模块中，每个随机Dropout预测层首先对输入的特征集合中的特征以一定的概率进行随机丢弃，使得输入的特征集合在在N个随机Dropout预测层中形成N个不同的特征集合。在本实施例中，随机丢弃的概率为0.5。然后在预测层中对随机丢弃后的特征集合进行预测，使N个随机Dropout预测层输出N组有差异的预测结果Prediction_

Prediction

class_conf

class_conf

bbox

bbox

其中，bbox

步骤S6：计算最终预测结果

在本实施例中，如图5所示，首先，计算N组有差异的预测结果Prediction_

然后，将预测结果Prediction作为待校准值p1，计算权重均值Weighted Mean：

Weighted Mean＝α×p1+β×p2其中α+β＝1

权重均值Weighted Mean进行非极大值抑制，得到最终预测结果；

步骤S7：计算目标分数熵

在本实施例中，如图5所示，对于第i个预测位置目标属于第c类的目标分数熵

将目标分数熵

在本实施中，不确定性估计值>0.5为：高度不确定，0.2-0.5为中度不确定性，<0.2为低不确定性。

图6是本发明快速估计自动驾驶深度视觉感知神经网络不确定性的方法的示意图。

比较图6与图2，我们可以看出使用本发明对深度视觉感知神经网络进行不确定性估计，可以通过一次前向推理同时得到N+1组差异化的结果，而不需要向MC-Dropout一样进行N次前向推理才能得到N组差异化的结果。

本发明快速估计自动驾驶深度视觉感知神经网络不确定性的方法，在现有MC-Dropout估计不确定性的基础上，修改了MC-Dropout前向推理获取差异化预测结果的方式，使用多头机制替换了Monte-Carlo Dropout传统的多次采样机制，节省了采样时间，进而节省了整个不确定性估计阶段推理时间。此外，本发明还适用于深度视觉感知神经网络中不含有Dropout层的模型。

同时，本发明在后续对预测结果校正和不确定性求取上进行了创新。最终的预测结果为不含Dropout的预测层输出的预测结果与N个随机Dropout预测层输出N组有差异的预测结果的均值进行权值和得到权重均值，使得预测结果更为准确，同时，采用N个随机Dropout预测层输出N组有差异的预测结果的置信度分数熵进行sigmoid函数运算，得到的目标分数熵

图7是本发明与传统的MC-Dropout方法不确定性估计对比图。

图7中，折线图横坐标(times of sampling)是不确定性估计的预测结果组数，纵坐标是对图像即一帧图片进行不确定性估计时所用的时间(seconds per frame)。带五星的线条表示传统MC-Dropout在不同组数下，对图像进行不确定性估计时所使用的时间；带圆点的线条表示本发明在不同组数下，对图像进行不确定性估计时所使用的时间。

如图7所示，相比于传统的MC-Dropout方法，本发明所提方法节省了对深度视觉神经网络进行不确定性推理时所使用的时间，本发明所提方法的不确定性估计速度是传统MC-Dropout估计速度的3-5倍。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。