适应全天候环境的自动驾驶4D感知方法、系统及介质

技术领域

本发明涉及无人驾驶、智能网联技术领域，具体地，涉及一种适应全天候环境的自动驾驶4D感知方法、系统及介质。

背景技术

无人驾驶汽车发展到现在，逐渐演化成两种技术路线：单车智能和车路协同。但是，不论哪种路线，对环境的准确感知都是汽车安全行驶的基础和前提。现有感知传感器主要分为数码相机、毫米波雷达、激光雷达三大类，其优缺点如下：

1、数码相机采集周围环境图像，通过获取的图像进行目标检测、建图和定位，其优点是成本低、图像纹理信息丰富，但是图像易受光照条件、恶劣天气的影响，稳定性较差；

2、毫米波雷达是通过分析发射的回馈数据直接对目标物体进行定位，实时性很强，但是，多数由于受到接收信息量的影响，无法感知同一垂直平面内的目标情况；

3、激光雷达具有测量精度高、测距范围远、不易受光照条件影响等优点，在目标检测和建图定位方面有较大优势，但其容易受雨、雪、雾等恶劣天气和扬尘等恶劣路况的干扰，严重影响感知检测。

目前业内无人驾驶和车路协同的感知基本都采用多种传感器信息融合的方式，而且多数以基于激光雷达的3D检测算法为主，但是由于激光雷达成本高昂且在雨雪雾天气、路面扬尘等情况下原始数据会被强烈干扰，严重影响检测算法和定位目标物体的准确性，并不是好的解决方案。

专利文献CN112241007A(申请号：CN202010618016.4)公开了一种自动驾驶环境感知传感器的标定方法、布置结构及车辆；所述标定方法针对不同的传感器采用不同的标定方法，基于对激光点云等数据的利用及处理，将不同传感器的坐标系通过不同的方法进行相对于车辆坐标系的位姿变换。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种适应全天候环境的自动驾驶4D感知方法、系统及介质。

根据本发明提供的适应全天候环境的自动驾驶4D感知方法，包括如下步骤：

S1：对数码相机与4D毫米波雷达进行外参标定；

S2：通过数码相机获取目标图像信息，通过4D毫米波雷达获取目标点云信息；

S3：将4D毫米波雷达的目标点云信息投影到数码图像上，并为图像中预设部分像素附上距离信息；

S4：将附上距离信息的图像送入卷积神经网络进行计算以获取稠密深度图像；

S5：通过相机内参标定将稠密深度图像转换为无序点云图；

S6：将无序点云图进行有序编码以获取有序点云图；

S7：将有序点云图送入卷积神经网络，进行目标识别计算并附上目标框；

S8：将目标框映射成为相机坐标系下的3D目标框；

S9：通过获取的目标点云信息为3D目标框附上速度信息，从而获得带有速度信息的4D目标感知结果。

优选的，采用深度补全网络算法进行点云投影，输入为RGB图片和毫米波稀疏点云。

优选的，所述稀疏点云是通过将3D点云投影到2D平面上得到。

优选的，卷积神经网络的算法通过融合全局网络生成的全局信息和局部网络生成的局部信息获得深度图像；网络结构分为两个部分，为基于编码-解码的全局网络分支和采用堆叠沙漏网络的局部网络分支。

根据本发明提供的适应全天候环境的自动驾驶4D感知系统，包括如下模块：

模块M1：对数码相机与4D毫米波雷达进行外参标定；

模块M2：通过数码相机获取目标图像信息，通过4D毫米波雷达获取目标点云信息；

模块M3：将4D毫米波雷达的目标点云信息投影到数码图像上，并为图像中预设部分像素附上距离信息；

模块M4：将附上距离信息的图像送入卷积神经网络进行计算以获取稠密深度图像；

模块M5：通过相机内参标定将稠密深度图像转换为无序点云图；

模块M6：将无序点云图进行有序编码以获取有序点云图；

模块M7：将有序点云图送入卷积神经网络，进行目标识别计算并附上目标框；

模块M8：将目标框映射成为相机坐标系下的3D目标框；

模块M9：通过获取的目标点云信息为3D目标框附上速度信息，从而获得带有速度信息的4D目标感知结果。

优选的，采用深度补全网络算法进行点云投影，输入为RGB图片和毫米波稀疏点云。

优选的，所述稀疏点云是通过将3D点云投影到2D平面上得到。

优选的，卷积神经网络的算法通过融合全局网络生成的全局信息和局部网络生成的局部信息获得深度图像；网络结构分为两个部分，为基于编码-解码的全局网络分支和采用堆叠沙漏网络的局部网络分支。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明算法通过对数码相机和4D毫米波雷达进行有效融合而获得的全新的4D目标感知能力，有效利用了数码相机和4D毫米波雷达各自的目标处理优势，利用了4D毫米波雷达的全天候环境的感知能力，能够在雨、雪、雾、风沙、扬尘等恶劣场景下准确工作；

(2)本发明算法有效利用了数码相机纹理丰富、信息量大、作用范围广、成本低廉等优势，获取的3D目标框包含有速度信息、厘米级的距离信息、250米以上的有效感知距离，提供了更加稠密的数据信息，能够充分满足工程的需要；

(3)本发明采用数码相机与4D毫米波雷达的融合方式能够有效降低应用的成本。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例所述的一种相机和毫米波雷达感知融合流程图；

图2为本发明实施例所述的一种数码相机与4D毫米波雷达数据融合的流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例：

如图1、图2，根据本发明提供的适应全天候环境的自动驾驶4D感知方法，包括如下步骤：

步骤1、标定相机内部参数(包括相机主光点坐标及焦距)以及4D毫米波雷达的外部参数(包括相对于相机和无人驾驶平台的旋转矩阵和平移矩阵)，相机采用原始图像数据，4D毫米波雷达采用原始点云数据，转入步骤2；

步骤2、相对相机采集的原始图像数据、4D毫米波雷达采集的原始点云数据进行时空同步的像素级融合，得到一个RGB加上深度的4维图像数据，转入步骤3；

步骤3、将步骤2所述的带有深度的4维图像数据送入卷积神经网络，通过卷积神经网络的Encoder与Decoder输出一张带有深度且与原图等大的稠密图像，转入步骤4；

步骤4、使用步骤1获取到的相机内部标定参数，将步骤3输出的稠密深度图像转换为带有xyz的点云，转入步骤5-1；

步骤5-1、对步骤4输出的点云进行ROI区域划分，剔除一部分异常值与超出检测边界的点，转入步骤5-2；

步骤5-2、使用步骤5-1输出的点云数据分为多个簇进行对点数量的统计，并且使用log变换计算簇中高度数据的累加和，最后输出一张BEV编码图，转入步骤6；

其中，BEV鸟瞰编码图的输出，可以执行如下步骤：

S1：点云读取；

S2：设置鸟瞰图范围；

S3：获得区域内的点；

S4：调整坐标原点；

S5：填充像素值；

S6：创建图像数组；

步骤6、将步骤5-2输出的BEV编码图送入卷积神经网络对目标物体进行种类判断以定位回归，输出目标物体的种类、长度、宽度、高度、中心点相对于无人驾驶平台空间坐标的距离、偏航角度、横滚角度、俯仰角度；即获取目标物体的3D检测信息；转入步骤7；

步骤7、使用步骤6输出的目标物体的3D检测信息，并结合步骤1的相机与4D毫米波雷达的内部与外部标定参数，将4D毫米波在目标物体上感知到的点的速度信息与目标物体的3D框信息进行结合，为目标物体赋上速度信息；即获得目标物体的全新3D感知结果。

根据本发明提供的适应全天候环境的自动驾驶4D感知系统，包括如下模块：模块M1：对数码相机与4D毫米波雷达进行外参标定；模块M2：通过数码相机获取目标图像信息，通过4D毫米波雷达获取目标点云信息；模块M3：将4D毫米波雷达的目标点云信息投影到数码图像上，并为图像中预设部分像素附上距离信息；模块M4：将附上距离信息的图像送入卷积神经网络进行计算以获取稠密深度图像；模块M5：通过相机内参标定将稠密深度图像转换为无序点云图；模块M6：将无序点云图进行有序编码以获取有序点云图；模块M7：将有序点云图送入卷积神经网络，进行目标识别计算并附上目标框；模块M8：将目标框映射成为相机坐标系下的3D目标框；模块M9：通过获取的目标点云信息为3D目标框附上速度信息，从而获得带有速度信息的4D目标感知结果。采用深度补全网络算法进行点云投影，输入为RGB图片和毫米波稀疏点云。所述稀疏点云是通过将3D点云投影到2D平面上得到。卷积神经网络的算法通过融合全局网络生成的全局信息和局部网络生成的局部信息获得深度图像；网络结构分为两个部分，为基于编码-解码的全局网络分支和采用堆叠沙漏网络的局部网络分支。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的方法的步骤。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。