基于多模态感知自主决策无人驾驶方法、设备以及系统

技术领域

本发明涉及无人驾驶技术领域，具体涉及基于多模态感知自主决策无人驾驶方法、设备以及系统。

背景技术

随着当今世界科学的进步,人工智能也在迅速发展。目前,传统的产业以人工智能的发展为依托,正在大力研发无人驾驶技术，应用于智能小车、送餐车、汽车等车型。无人驾驶技术在减少驾驶员驾驶强度、提高驾驶安全性、提高工作效率等方面的突出作用,让这项技术拥有着良好的发展前景。

现阶段无人驾驶汽车的人工智能技术主要细分包括，计算机视觉与深度学习。同时以传感器以及高速芯片、GPU等为主的硬件发展也是无人驾驶领域研发的重要板块。无人驾驶是智能化的终极体现，集中运用了计算机、现代传感，信息融合、通信、人工智能及自动控制等及技术，是典型的高新技术综合体。随着无人驾驶技术的不断提高，无人驾驶汽车行业市场规模将会快速增长。

其中感知对于无人驾驶来说十分重要。目前，感知所用的传感器各有优缺点，很难找到一种能够适应各种环境的传感器器件。例如，激光雷达对雨雾的穿透能力受到限制，对黑颜色的汽车反射率有限；毫米波雷达对动物体的反射不敏感；超声波雷达的感知距离与频率受限；摄像头本身靠可见光成像，在雨雾天、黑夜的情况下其灵敏度会有所下降。

其次是决策方案不够智能化，无人驾驶车辆不能实现快速的应变及智能的自主决策，在调速、变道、避让等操作上还不够智能化。如某品牌外卖小车在面对突然出现的矮路障时往往会来不及应变而发生碰撞。

目前国内外在无人驾驶的感知技术方面，有视觉目标感知技术和定位感知技术。在无人驾驶的场景下视觉目标感知技术较多，大多采用深度学习下的目标跟踪方法，通过场景认知实现拟人认知过程中的场景理解，以此解决目标危险行为的预判和轨迹生成预测问题。在自主决策方面，动态场景中拟人行为的决策方法和路径规划及避障方法，要求决策的有效性和及时性。目前在无人驾驶场景下依然有许多的问题没有解决，如无人驾驶视觉下的误识别、定位感知中的复杂道路状况下的决策方案依然没有很完美的解决。

发明内容

为此，本发明提供基于多模态感知自主决策无人驾驶方法、设备以及系统，以解决背景技术中提出的问题。

为了实现上述目的，本发明提供如下技术方案：一种自主决策无人驾驶方法，基于常规的迪杰斯特路径规划算法,包括：

将所有的路径抽象成一个个的像素小格，并且通过无人驾驶设备的行驶通过雷达对周边的避障，在区域像素格中附上权值,进而区分障碍物和可正常的执行路径；

设定起始地点和目的地，以起始地点为中心，取上下左右四个格子作为更新迭代的方向，越靠近障碍物的地方权值越高，来区分障碍物和可正常的执行路径，四个格子都以它们为中心向它们的四周进行更新权值，只需将原本中心的权值加上他们四周的权值，并通过不定时进行划分权值阈值避免无限进行权值更新；

权值以此原理进行类推并不断更新迭代，到达某一阈值时,表明无人驾驶设备成功找到目的地并且避开在该路线上的障碍物，此路径规划迭代出路线。

进一步的，通过权值阈值自定义的方式，以M为权值阈值，当阈值更新后，超过M的地方停止进行权值更新,不断更新迭代，当阈值为N时，表明无人驾驶设备成功找到目的地并且避开在该路线上的障碍物。

本发明公开了一种基于多模态感知自主决策无人驾驶方法，包括：

无人驾驶设备采取激光雷达与视觉融合的目标检测方法，得到不同障碍物的距离，位置以及宽度；

同时无人驾驶设备通过视觉进行机器学习的方法对不同的障碍物进行分类并且检测，该方法分为两种情况：

当无人驾驶设备应对在熟悉的地图环境下，则采用离线学习的环境感知方法，将原始图像进行网格划分，进而通过机器学习识别出可行区域；

当无人驾驶设备应对在及其不熟悉的环境下，则采用在线学习的环境感知方法，方法有两种：

Way1:通过将前视图与俯视图进行信息融合来提高整体识别精度，以及通过时域滤波增强无人驾驶设备的鲁棒性，最后通过通行函数进行导航方向的判断；

way2：引入SVM分类器和直方图反向投影器，通过两种学习器相互学习，相互互补，获得满意的在线分类效果；

利用权利要求1-2任一项所述的自主决策无人驾驶方法进行全局路径规划和小区域路径规划，实现无人驾驶设备应对于突发情况下的障碍物进行绕行。

进一步的，离线学习的环境感知的具体步骤包括：

首先，读入原始图像或者实时视频帧,然后将图片像素点分成X*X的网格划分；

接着，基于Keras训练卷积神经网络设置数据生成器并创建模型，预先进行数据预处理、特征提取以及特征缩放，随后使用卷积神经网络进行训练模型，在本模型的训练中，精确率和召回率达到95％(95％为训练前预设，当训练后得到这个结果后，再进行后面的操作，假设如果精确率不达到这个标准，后面车道检测将会产生偏差)，再采用前视图与俯视图相结合的方式进行车道检测，其中俯视图是前视图经过逆投影变换后生成的，而逆投影算法公式为：

z(μ,v)＝0

该公式为逆投影变换中的一种表示方式，其中包含了三个变量函数x(μ,v)、y(μ,v)和z(μ,v)，这些函数描述了在逆投影变换后的俯视图中，输出图像上每个像素点(u,v)对应的三维空间坐标(x,y,z)，参数的含义如下：

其中μ和v：输入图像中的像素坐标，表示图像上的点的位置；

而θ、α、n、γ、β和m：这些参数是逆投影变换的参数，用于根据摄像头的内参矩阵和外参矩阵计算投影矩阵P(这里的P不参与公式计算作为参数保留，方便公式推导)，具体含义：

θ：摄像头的视角(视场角)，用于描述摄像头的广角或鱼眼效果；

α、n：用于描述图像的畸变，校正图像中的畸变效果；

γ、β和m：用于描述图像的旋转和平移，将图像投影到对应的平面上；

h、l和d：这些参数用于描述输出图像的尺寸和位置：

h：输出图像的高度；

l：输出图像的水平偏移量，表示图像在水平方向上的平移；

d：输出图像的垂直偏移量，表示图像在垂直方向上的平移；

根据这些参数和函数，公式描述了在逆投影变换中，从输入图像的像素坐标(μ,v)转换到输出图像的三维空间坐标(x,y,z)的计算过程；

其中x(μ,v)和y(μ,v)表示输出图像上每个像素点的水平和垂直位置，z(μ,v)始终为零，表示输出图像上每个像素点的高度(垂直方向上的坐标)为零；

利用前视图和俯视图中显现出截然相反的特点，通过将前视图与俯视图进行信息融合来提高整体识别精度；

利用时域滤波生成一个带噪声的时间序列数据，并定义滤波器进行滤波，在同一坐标轴下统一不同时间点的检测结果，即可将连续帧的物体信息进行融合，得到更准确的物体轨迹和位置信息，则地图的建模只需每一帧检测结果的融合即可进行生成；

最后，借助激光雷达对能够同行区域的障碍物进行识别，当有障碍物的方向上无人驾驶设备就会产生一个斥力，当牵引力大，斥力小时，那么比值就大，那么所处这个方向就是导航方向，通过激光雷达就能得出该方向的角度，其中通行函数和通行函数的最大值为：

F

其中，

进一步的，在线学习的环境感知包括运用在纹理特征处理上的SVM分类器；

首先，采用多方向Gabor直方图对图像帧进行处理；

接着，通过不同的卷积核对图像帧进行高斯窗傅里叶变换，通过Gabor函数计算出奇偶两个k×k的卷积核：

公式的含义和意义：

x,y：二维空间中的坐标，表示函数的自变量；

θ：旋转角度，用于控制高斯函数在空间中的旋转方向；

λ：波长，用于调节高斯函数的周期性；

a,b：控制高斯函数的椭圆形状的参数；

σ：标准差，用于控制高斯函数的衰减速度；

表示高斯函数的衰减因子，它控制了函数在空间中的衰减速度，指数中的因子/>

奇部和偶部分别由sin和cos函数组成，它们在空间中的周期性变化；其中，sin(2πa

在频域中表达了高斯函数的周期性变化，用于滤波、边缘检测和特征提取；通过调节参数，可以控制函数的形状、旋转、周期性和衰减特性；

最终滤波函数的结果由角度来进行决定，选取较多的角度，随后我们将滤波结果，划分为a个区间，组成一个八维的向量，通过八维的向量链接b个方向，组成a×b维的向量，最后将向量归一化后作为SVM的特征输入。

进一步的，在线学习的环境感知还包括运用在处理颜色特征上的直方图反向投影器；

首先采用对环境因素敏感弱的c1c2c3颜色模型，c1c2c3颜色模型的c1、c2、c3分量为：

c1(R,G,B)、c2(R,G,B)和c3(R,G,B)分别表示颜色(R,G,B)在该颜色模型下的三个分量；

具体含义：

c1(R,G,B)：该分量的计算方式是通过计算红色通道R与绿色通道G以及蓝色通道B中的亮度值的比值的反正切函数,这个分量用于描述颜色中红色的成分；

c2(R,G,B)：该分量的计算方式是通过计算绿色通道G与红色通道R以及蓝色通道B中的亮度值的比值的反正切函数；这个分量用于描述颜色中绿色的成分；

c3(R,G,B)：该分量的计算方式是通过计算蓝色通道B与红色通道R以及绿色通道G中的亮度值的比值的反正切函数；这个分量用于描述颜色中蓝色的成分；

将RGB颜色空间中的三个通道的亮度值归一化，并通过反正切函数进行计算，以得到一种基于亮度比值的颜色模型；在一定程度上减少颜色分量之间的相关性，提取出颜色中各个成分的特征；

接着通过直方图反向投影器进行更新keras卷积神经网络模型操作，统计检测路面上所有的区域像素点记为Hnew，则直方图为Hold,记为H

H＝(1-γ)H

统计检测结果路面区域所有像素点的c1c2c3直方图，记为Hnew,设当前直方图为Hold，则更新后的直方图为上述公式，一般取γ＝0.5；

最后再次更新直方图反向投影器。

本发明通过基于多模态感知自主决策无人驾驶方法运行得到基于多模态感知自主决策无人驾驶系统。

本发明还公开了一种基于多模态感知自主决策无人驾驶的设备，该设备安装有上述的基于多模态感知自主决策无人驾驶系统，该设备为用于基于单片机或物联网芯片的智能小车、用于在户外或工厂、商场场所运送货物的无人驾驶小车以及用于无人驾驶的轿车、货车中任意一种。

有益效果

1.采取激光雷达与视觉融合的目标检测方法，既保留了机器视觉感知信息丰富、延时小的优点，又能解决机器视觉受环境光线影响大，深度信息获取困难，对目标形状估计不准确的问题。同时激光雷达的加入也使得系统测量精度高，受光线和天气的影响小，但在激光雷达下很难区分是哪一类的障碍物，这时通过视觉进行机器学习的方法对不同的障碍物进行分类并且检测，这恰恰能弥补雷达对障碍物识别的不足。

2.为了避免无人车在应对突然的路况变化或突然出现的障碍物时不能及时做出应变，本发明在多模态目标感知技术中采用了基于离线学习和在线学习环境感知相融合的技术，大大提高了行驶的安全度和准确度。

3.在在线学习的感知方面，通过将前视图与俯视图进行信息融合来提高整体识别精度。

4.为提高多模态感知的性能，使用离线学习与在线学习的方法，使无人车不仅能够在熟悉的道路环境下进行环境感知，也能在陌生的环境下进行环境感知。

5.在在线学习感知方面，采取SVM分类器主要运用在处理纹理特征，直方图反向投影器运用在处理颜色特征。

6.在全局规划上采用将区域抽象成代价地图的方式，通过团队改进后迪杰斯特拉算法，能够比常规算法效率更高，使车辆更快迭代出路线。

7.利用前视图和俯视图中显现出截然相反的特点，通过将前视图与俯视图进行信息融合来提高整体识别精度。再通过时域滤波进行时间域的融合然后挖掘出更多有用的信息，随之增强无人驾驶设备的鲁棒性(稳定性)。

8.通过通行函数进行导航方向的判断，效率更高、更精确。

9.对纹理特征的处理，采用Gabor直方图，Gabor函数与人眼的生物作用相仿，效果更好。

附图说明

图1为本发明提供的基于多模态感知自主决策无人驾驶方法技术框架图；

图2为本发明提供的基于离线学习的环境感知的主要步骤；

图3(左)和图3(右)分别为本发明提供的原始图片和处理后的图片；

图4(左)和图4(右)分别为本发明提供的滤波前和滤波后的图像；

图5为本发明提供的道路区域检测协同学习框架图；

图6为本发明提供的监测效果图；

图7为本发明提供的坑洼道路检测图；

图8为本发明提供的初始化区域图；

图9为本发明提供的阈值为50时的路线规划图；

图10为本发明提供的阈值为650时的路线规划图；

图11为本发明提供的避障绕行示意图；

图12为本发明提供的快速应变示意图；

图13为本发明提供的识别出恶意阻拦进行应变示意图；

图14为本发明提供的远距离识别出车辆示意图；

图15为本发明提供的降速转弯示意图；

图16为本发明提供的路径规划部分代码；

图17为本发明提供的基于Keras训练卷积神经网络关键代码；

图18为本发明提供的车道检测图；

图19为本发明提供的时域滤波部分代码；

图20为本发明提供的SVM分类部分代码；

图21为本发明提供的C1C2C3部分代码。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明提供了一种自主决策无人驾驶方法，基于常规的迪杰斯特路径规划算法,包括：

将所有的路径抽象成一个个的像素小格，并且通过无人驾驶设备的行驶通过雷达对周边的避障，在区域像素格中附上权值,默认情况下也就是在无人驾驶设备还没经过的区域，像素格的权值都为999，进而区分障碍物和可正常的执行路径；

设定起始地点和目的地，如图8所示，绿色点为我们的起始地点，红色点为我们的目的地，以绿色点为中心，取上下左右四个格子作为更新迭代的方向，越靠近障碍物的地方权值越高，来区分障碍物和可正常的执行路径，此时绿色点的上下左边的权值都相同，右边格子权值偏大，四个格子都以它们为中心向它们的四周进行更新权值，只需将原本中心的权值加上他们四周的权值，并通过不定时进行划分权值阈值避免无限进行权值更新；

权值以此原理进行类推并不断更新迭代，到达某一阈值(该阈值由当前的行驶环境等因素所确定)时,表明无人驾驶设备成功找到目的地并且避开在该路线上的障碍物，到此，在全局区域内的路径规划已经完成，此路径规划迭代出路线，路径规划部分代码如图16所示。

进一步的，通过权值阈值自定义的方式，如图9所示，以50为权值阈值，当阈值更新后，超过50的地方停止进行权值更新,不断更新迭代，当阈值为650时，如图10所示，表明无人驾驶设备成功找到目的地并且避开在该路线上的障碍物。

实施例2

本发明公开了一种基于多模态感知自主决策无人驾驶方法，包括：

无人驾驶设备采取激光雷达与视觉融合的目标检测方法，摄像头感知信息丰富，实时较好，但是在受环境光线影响大，深度信息获取困难，对目标形状估计不准确，激光雷达测量精度高，受光线和天气的影响小，得到不同障碍物的距离，位置以及宽度；

不过在激光雷达下很难区分是哪一类的障碍物，此时无人驾驶设备通过视觉进行机器学习的方法对不同的障碍物进行分类并且检测，恰恰能弥补雷达对障碍物识别的不足，该方法分为两种情况：

当无人驾驶设备应对在熟悉的地图环境下，则采用离线学习的环境感知方法，比如在学校的无人物流车与无人外卖小车，可以将固定学校地形的数据集交给小车自己学习，即将原始图像进行网格划分，进而通过机器学习识别出可行区域；

当无人驾驶设备应对在及其不熟悉的环境下，则采用在线学习的环境感知方法，方法有两种：

Way1、通过将前视图与俯视图进行信息融合来提高整体识别精度，以及通过时域滤波增强无人驾驶设备的鲁棒性，最后通过通行函数进行导航方向的判断；

Way2、引入SVM分类器和直方图反向投影器，通过两种学习器相互学习，相互互补，获得满意的在线分类效果；

利用上述的自主决策无人驾驶方法进行全局路径规划和小区域路径规划，实现无人驾驶设备应对于突发情况下的障碍物进行绕行。

进一步的，离线学习的环境感知的具体步骤包括：

首先，读入原始图像或者实时视频帧,然后将图片像素点分成20*20的网格划分；

接着，基于Keras训练卷积神经网络设置数据生成器并创建模型，其关键代码如图17所示，预先进行数据预处理、特征提取以及特征缩放，如图3(左)和图3(右)所示，随后使用卷积神经网络进行训练模型，在本模型的训练中，精确率和召回率达到95％，95％为训练前预设，当训练后得到这个结果后，再进行后面的操作，假设如果精确率不达到这个标准，后面车道检测将会产生偏差。

采用离线学习应对在无人驾驶设备能够快速学习的场景下，当无人驾驶设备遇到突发情况时，反应及时性较高。

如图18所示，采用前视图与俯视图相结合的方式进行车道检测，原因是在前视图中，与光轴近似平行的道路具有明显的变形，而与光轴近似垂直的障碍物只有尺寸的变化，变形效果相对不明显，所以对于前视图来说，障碍物(非道路区域)检测结果的置信度要高于对于道路的置信度，其中俯视图是前视图经过逆投影变换后生成的，障碍物在俯视图上具有明显的扭曲，基于逆投影变换俯视图的道路分割中，分类器检测结果对于道路的置信度将高于障碍物的置信度，而逆投影算法公式为：

z(μ,v)＝0

该公式为逆投影变换中的一种表示方式，其中包含了三个变量函数x(μ,v)、y(μ,v)和z(μ,v)，这些函数描述了在逆投影变换后的俯视图中，输出图像上每个像素点(u,v)对应的三维空间坐标(x,y,z)，参数的含义如下：

其中μ和v：输入图像中的像素坐标，表示图像上的点的位置；

而θ、α、n、γ、β和m：逆投影变换的参数，用于根据摄像头的内参矩阵和外参矩阵计算投影矩阵P(这里的P不参与公式计算作为参数保留，方便公式推导)，具体含义：

θ：摄像头的视角(视场角)，用于描述摄像头的广角或鱼眼效果；

α、n：用于描述图像的畸变，校正图像中的畸变效果；

γ、β和m：用于描述图像的旋转和平移，将图像投影到对应的平面上；

h、l和d：用于描述输出图像的尺寸和位置：

h：输出图像的高度；

l：输出图像的水平偏移量，表示图像在水平方向上的平移；

d：输出图像的垂直偏移量，表示图像在垂直方向上的平移；

根据这些参数和函数，公式描述了在逆投影变换中，从输入图像的像素坐标(μ,v)转换到输出图像的三维空间坐标(x,y,z)的计算过程；

其中x(μ,v)和y(μ,v)表示输出图像上每个像素点的水平和垂直位置，z(μ,v)始终为零，表示输出图像上每个像素点的高度(垂直方向上的坐标)为零；

利用前视图和俯视图中显现出截然相反的特点，通过将前视图与俯视图进行信息融合来提高整体识别精度；

利用时域滤波生成一个带噪声的时间序列数据，并定义滤波器进行滤波，在同一坐标轴下统一不同时间点的检测结果，即可将连续帧的物体信息进行融合，得到更准确的物体轨迹和位置信息，则地图的建模只需每一帧检测结果的融合即可进行生成，随之增强无人驾驶设备的鲁棒性(稳定性)，时域滤波部分代码如图19所示(绿线区域为滤波前，红线区域为滤波后)这对于地图的建模非常有帮助，因为可以通过融合连续帧的检测结果来生成更完整、更准确的地图；

最后，需要判断可同行区域内哪一个方向为导航方向，在导航方向方面使用通行函数进行导航方向的判断：借助激光雷达对能够同行区域的障碍物进行识别，当有障碍物的方向上无人驾驶设备就会产生一个斥力，当牵引力大，斥力小时，那么比值就大，那么所处这个方向就是导航方向，通过激光雷达就能得出该方向的角度，其中通行函数和通行函数的最大值为：

F

其中，

基于在线学习的环境感知与前一种感知正好相反，在线学习环境感知应用的场景就是为在及其不熟悉的环境下，比如无人驾驶设备进入一片从为学习的陌生区域，又比如类似战争中，所行驶的道路和建筑由于炮弹的攻击，此时的场景与之前学习的场景产生较大的变化，这时无人驾驶设备的感知就尤为重要，所以考虑到这种场景下，我们采用在线学习的多模态感知。

由于在这种动态环境下，难利用固定的数据集来获得满意的在线分类效果，因此，引入分类器在线训练成为视觉导航的关键。

进一步的，在线学习的环境感知包括运用在纹理特征处理上的SVM分类器；

首先，采用多方向Gabor直方图对图像帧进行处理，Gabor函数也是一种傅里叶变换，Gabor可以在频域不同尺度、不同方向上提取相关的特征，另外Gabor函数与人眼的生物作用相仿，所以经常用作纹理识别上，并取得了较好的效果；

接着，通过不同的卷积核对图像帧进行高斯窗傅里叶变换，通过Gabor函数计算出奇偶两个k×k的卷积核：

公式的含义和意义：

x,y：二维空间中的坐标，表示函数的自变量；

θ：旋转角度，用于控制高斯函数在空间中的旋转方向；

λ：波长，用于调节高斯函数的周期性；

a,b：控制高斯函数的椭圆形状的参数；

σ：标准差，用于控制高斯函数的衰减速度；

表示高斯函数的衰减因子，它控制了函数在空间中的衰减速度，指数中的因子/>

奇部和偶部分别由sin和cos函数组成，它们在空间中的周期性变化；其中，sin(2πa

在频域中表达了高斯函数的周期性变化，用于滤波、边缘检测和特征提取；通过调节参数，可以控制函数的形状、旋转、周期性和衰减特性；

最终滤波函数的结果由角度来进行决定，选取较多的角度，为了能够在不同方向上的反向更为精确，得到的特征描述也更为精准，选用了以下这几个角度作为研究对象：{0,π/9,2π/9,3π/9,4π/9,5π/9,6π/9,7π/9,8π/9}，这几个角度能得到较为好的特征效果，随后我们将滤波结果，划分为8个区间，组成一个八维的向量，通过八维的向量链接9个方向，组成72维的向量，最后将向量归一化后作为SVM的特征输入。

进一步的，在线学习的环境感知还包括运用在处理颜色特征上的直方图反向投影器；

在颜色模型的选取中，基于路面上阴影较多、光照强度变化大等环境因素的考虑，采用对环境因素敏感弱的c1c2c3颜色模型，通过采用这种颜色模型，能够更为精确的反馈颜色的情况提高道路识别的精确性，c1c2c3颜色模型的c1、c2、c3分量为：

c1(R,G,B)、c2(R,G,B)和c3(R,G,B)分别表示颜色(R,G,B)在该颜色模型下的三个分量；

具体含义：

c1(R,G,B)：该分量的计算方式是通过计算红色通道R与绿色通道G以及蓝色通道B中的亮度值的比值的反正切函数,这个分量用于描述颜色中红色的成分；

c2(R,G,B)：该分量的计算方式是通过计算绿色通道G与红色通道R以及蓝色通道B中的亮度值的比值的反正切函数；这个分量用于描述颜色中绿色的成分；

c3(R,G,B)：该分量的计算方式是通过计算蓝色通道B与红色通道R以及绿色通道G中的亮度值的比值的反正切函数；这个分量用于描述颜色中蓝色的成分；

将RGB颜色空间中的三个通道的亮度值归一化，并通过反正切函数进行计算，以得到一种基于亮度比值的颜色模型；在一定程度上减少颜色分量之间的相关性，提取出颜色中各个成分的特征；

接着通过直方图反向投影器进行更新模型操作，统计检测路面上所有的区域像素点记为Hnew，假设当前的直方图为Hold,在这里我们选取γ的值为0.5，效果最好，则直方图为Hold,记为H

H＝(1-γ)H

最后再次更新直方图反向投影器，原因为当出现沼泽，坑洼，光照过强时，对于检测的效果会出一定的偏差，进行实时更新，会提高检测效果。

综上，在当前的场景下，本发明采用离线学习和在线学习的方式融合进行，不仅可以应对熟悉简单场景下的检测识别，也同时能够在陌生环境场景下对道路和障碍物进行检测，即使遇到复杂的地形也能够进行检测。

通过多模态的环境感知技术，无人驾驶设备能够道路上更加精准的检测和识别过往的障碍物和车辆，但是当无人驾驶设备规定目的地后，在通往目的地的路上可能与现实的情况不同可能会遇到障碍物，这时无人驾驶设备需要通过自己的决策判断自主重新规划路线到达相应的目的地，特别是在无人送餐车这样的应用场景下，如果因为障碍物的问题导致无法正常送餐到目的地就会影响一定的用户效果，从而损失一部分的用户。

自主决策方案的核心为无人驾驶设备的方向导航，在多模态感知中，已经有过关于导航的描述，不过多模态感知中的导航更多时候是方向的确定，但是在此处的导航是应对于突发情况下的障碍物进行绕行，对于全局路径规划和小区域路径规划来说，需要自定义更为有效的自主决策算法。

本发明公开了上述的基于多模态感知自主决策无人驾驶方法运行得到基于多模态感知自主决策无人驾驶系统。

实施例3

本发明还公开了一种基于多模态感知自主决策无人驾驶的设备，该设备安装有上述基于多模态感知自主决策无人驾驶系统；

该设备可以为用于基于单片机或物联网芯片的智能小车(环境监测小车、巡查小车等)或其他与竞赛项目、行业相关的无人小车的自动驾驶；

也可以是用于在户外或工厂、商场场所运送货物的无人驾驶小车，如外卖车、送餐车、快递运输车等。

又或者用于无人驾驶的轿车、货车，车辆可以实现自动驾驶、避障、让行、环境感知与监测、预警、自主路径规划、智能调控(超车、跟随、转弯降速等)等功能。

实施例4

基于上述实施例，图11为在实验平台下测试在自定义模拟复杂场景和天气环境下，面对障碍物、行人、车辆时，无人驾驶进行识别绕行，蓝色的路线为规划路线，红色路线为自主决策路线。

图12为在行驶中途中，中途突然出现穿行的行人，无人车进行快速识别并且提前发出通行警告，采取规避和制动措施。在此情况下，无人车将以乘车人和行人安全为主，即使操作会违反相应规则。

图13为识别出路人后规划路线进行绕行，此场景就是模拟在行驶的过程中，防止出现行人进行恶意阻拦的情况。

图14为无人车在距离前方行驶车辆100米时识别出汽车的场景，多模态感知环境的情况下识别出的汽车为立体的。

图15为无人车识别出弯道，减速并进行转弯。

本发明技术先进，融合多种技术与算法，实现自动驾驶、避障、环境感知与监测、预警、自主路径规划、智能调控(超车、跟随、转弯降速等)等多种功能。行驶更加智能，识别更加准确，决策更加合理；

车辆在该多模态目标感知与决策方案下，将会做出更贴近于人类选择的人性化做法，如舒适的驾驶方式、最优的路径选择以及法律限度下的其他驾驶行为。

在原则上车辆的行驶应当遵循基本的规定及交通法，但在关键时刻时，决策将以保障乘车人或周边行人安全利益为主，规定与法则将不会限制决策。

车辆在该感知与决策方案下可以通过离线学习的环境感知，提前熟悉地图地形，便于车辆快速投入使用。

车辆在该方案下将能够实现自主路径规划，在行驶过程中改变路线或绕行。

车辆在该方案下将能够灵活躲避静态/动态障碍物，包括石墩、路障、行驶车辆、行人等，并会提前发出预警，并部署应变方案。

车辆在该方案下的自动驾驶，精确度高且可靠，能够适应大部分环境，不会被天气影响。

在应对突发的地形变化时，该方案可使无人车进行迅速的判断与决策。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。