基于自注意力机制学习的无人车多传感器融合建图方法

技术领域

本发明涉及无人驾驶系统技术领域，具体是指一种基于自注意力机制学习的无人车多传感器融合建图方法。

背景技术

汽车自动驾驶系统能够显著提高驾驶安全性，减少交通事故，缓解交通压力，提高生产力，加快我国产业智能化和信息化转型。自动驾驶系统融合了传感器、计算机、人工智能、通信等多方面技术，其中，多传感器融合技术是自动驾驶系统中的一项关键技术，将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计。多传感器融合算法大致可分为两类：随机类方法和人工智能方法。随机类方法目前主要包括：Kalman滤波法、加权平均法和Bayesian估计法，人工智能方法目前主要包括：模糊逻辑理论法和人工神经网络法。

现有多传感器融合建图算法，由于外部坏境干扰、人为因素等原因，融合建图过程中受到的干扰影响较大。由于外部环境、车辆运动较为复杂，不同条件下往往会对不同传感器产生干扰，导致融合建图效果不佳；此外，现有多传感器融合算法的融合建图处理过程较为复杂，对于数据质量的要求较高，不利于多传感器数据的融合建图。发明人在进行多传感器融合方法的研究时，发现汽车驾驶外部环境错综复杂，对传感器采集的数据干扰较大，且传感器数据关联性不足，在进行多传感器数据融合建图的过程中，提升数据关联性、减弱外部坏境的干扰是需要考虑的重要因素，为提升相关数据融合的效果，需要解决以下问题：(1)多传感器数据融合的建图过程中如何处理外部环境对传感器的干扰，从而提高融合建图的精度；(2)如何发掘不同传感器之间的关联性从而提升不同传感器数据融合建图的效果。

发明内容

本发明要解决的技术问题是就是克服以上的技术缺陷，提出了一种能够关注外部环境影响的、关注不同传感器数据之间关联性的无人车多传感器融合建图方法。

为解决上述技术问题，本发明提供的技术方案为：一种基于自注意力机制学习的无人车多传感器融合建图方法，包括基于自注意力机制的神经网络设计以及对此神经网络训练，所述神经网络设计包括以下步骤：

(1)、传感器坐标系转换：将RGB-D深度相机、激光雷达、IMU、光照传感器、湿度传感器、温度传感器等以合理的位姿结构部署在无人车，通过坐标转换，将不同传感器的位姿观测信息从各自的坐标系统一到世界坐标系下，统一不同传感器对同一物体在世界坐标系中的位姿信息感知；

(2)、深度信息获取：分别获取视觉系统和激光雷达系统对无人车周围环境同一位置测量的深度信息；

(3)、构建数据集：去除采集数据中的由于角度、焦距等因素造成测量错误的不良数据，分别使用基于RGB-D深度相机和激光雷达等传感器信息的三维数据构建数据集以便后续构建的神经网络使用；

(4)、构建网络模型提取传感器数据特征：构建基于自注意力机制的卷积神经网络模型，包括：输入层，卷积层，池化层，自注意力模块，输出层；

(5)、构建基于自注意力机制的环境信息关注模块：注意力机制对于对于模型的每一个输入项分配一个权重，权重的大小就代表了模型对该部分一个关注程度，通过权重大小来模拟人在处理信息的注意力的侧重，有效的提高了模型的性能，并且一定程度上降低了计算量，自注意力机制是注意力机制的变体，对每个输入项分配的权重取决于输入项之间的相互作用，即通过输入项内部关联来决定应该关注哪些输入项，减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。

所述神经网络训练包括以下步骤：

(1)、网络训练过程：包含初始化、前向传播过程和后向传播过程；

(2)、融合建图：首先获取数据融合结果，将需要融合的传感器数据组合为三维向量放入完成训练的模型中，通过计算获得多传感器的数据融合结果，然后将数据融合结果通过PCL点云库处理构建较为稠密有规则的深度信息图，获得不同视角的深度信息图。

作为改进，步骤(3)中的数据集构建过程，首先将视觉系统、激光雷达系统各自测量的信息和真实测量值分别转换为三个三维数据Y

Y

其中，Y

然后使用光照传感器、湿度传感器、温度传感器测量记录当前环境的光照强度、湿度、温度，由于不同传感器采集数据标准不同，需将光照传感器、湿度传感器、温度传感器测量的相关数据进行标准化处理，作为扩充数据串联至三维数据Y

Y

其中，Y

作为改进，步骤(4)中的所述卷积层通过三维卷积提取上述构建的三维数据中的特征信息，通过卷积核滑动提取局部特征，通过激活函数对提取的特征进行处理，激活函数采用较为平滑的非线性的Softplus函数，提高非线性表达能力：

Softplus(y[n])＝log(1+

其中，y为提取的特征信息，[x]为输入序列，g为卷积核，Softplus为激活函数提高非线性表达能力。

所述池化层改变特征向量维度和增大感受野范围，将提取到的特征信息维度转换为自注意力模块对应维度；池化层表示为：对输入进行压缩，设置池化区尺寸n×n，池化标准为平均池化，输入为m×m，则输出表示为；

作为改进，步骤(5)中将提取到的特征信息放入自注意力模块，通过一个全连接层W连接输入的特征信息，创建自注意力机制中数据查询矩阵Q(query)、数据关键字矩阵K(key)、数据真实值V(value)矩阵，定义Q，K，V为：

定义注意力的分布：

将Q·K

采用以上方法后，本发明具有如下优点：(1)基于自注意力机制的传感器数据特征提取网络，在不同传感器采集数据后，将数据转换为对应向量，利用神经网络来提取各传感器数据的对应特征，能够提取深层特征，发掘各传感器数据之间的关联性，减少人工参与所带来的盲目性和不确定性；(2)基于自注意力的坏境信息关注机制，在外部坏境对传感器数据产生影响时，通过自注意力机制根据不同传感器受到环境等干扰来调整数据融合权重，提升融合建图的效果。综上所述本发明解决了现有多传感器融合建图方法在无人车行驶过程中存在的一些适应性和数据关联性上的局限性问题，通过合理部署相机、激光雷达、惯性测量单元等传感器，完成多传感器数据融合建图，融合建图过程中能够关注不同环境对传感器的影响从而调整融合建图策略，加深不同传感器数据之间的关联性，适应不同行驶环境，提高融合建图的准确度。

附图说明

图1是本发明的融合建图流程图。

图2是本发明的数流向示意图。

图3是本发明的网络结构示意图

具体实施方式

下面结合附图对本发明做进一步的详细说明。

请结合附图1-3所示，将相机、激光雷达、IMU、GPS等传感器等数据进行预处理后，输入一个自注意力机制神经网络，进行数据融合。该自注意力机制神经网络能够在不同环境下对不同传感器观测数据赋予动态权重，在光照影响较大的情况下，减少视觉数据对于自动驾驶控制的影响权重；在外部环境湿度较大，温度较高的情况下，激光雷达性能表现不稳定，因此减少激光雷达测量数据对于融合建图的影响权重；在转弯、调头等车辆位姿变化较为剧烈的情况下，减小惯性单元的影响权重；最终保证不同环境下多传感器数据融合建图的精度。

1.基于自注意力机制的神经网络设计

1.1传感器坐标系转换

将RGB-D深度相机、激光雷达、IMU、光照传感器、湿度传感器、温度传感器等以合理的位姿结构部署在无人车，通过坐标转换，将不同传感器的位姿观测信息从各自的坐标系统一到世界坐标系下，统一不同传感器对同一物体在世界坐标系中的位姿信息感知；

1.2深度信息获取

分别获取视觉系统和激光雷达系统对无人车周围环境同一位置测量的深度信息；使用距离测量工具，从传感器位置沿水平方向出发，测量该位置所在平面到各传感器的真实水平距离，获取该位置与各传感器的真实深度信息。

1.3构建数据集

去除采集数据中的由于角度、焦距等因素造成测量错误的不良数据。将视觉系统、激光雷达系统各自测量的信息和真实测量值分别转换为三个三维数据Y

Y

其中，Y

使用光照传感器、湿度传感器、温度传感器测量记录当前环境的光照强度、湿度、温度。由于不同传感器采集数据标准不同，需将光照传感器、湿度传感器、温度传感器测量的相关数据进行标准化处理，作为扩充数据串联至三维数据Y

Y

其中，Y

分别使用基于RGB-D深度相机和激光雷达等传感器信息的三维数据构建数据集以便后续构建的神经网络使用。

1.4构建网络模型提取传感器数据特征

构建基于自注意力机制的卷积神经网络模型，包括：输入层，卷积层，池化层，自注意力模块，输出层；

卷积层通过三维卷积提取上述构建的三维数据中的特征信息，通过卷积核滑动提取局部特征，通过激活函数对提取的特征进行处理，激活函数采用较为平滑的非线性的Softplus函数，提高非线性表达能力：

Softplus(y[n])＝log(1+e

其中，y为提取的特征信息，[x]为输入序列，g为卷积核，Softplus为激活函数提高非线性表达能力。

池化层改变特征向量维度和增大感受野范围，将提取到的特征信息维度转换为自注意力模块对应维度；池化层表示为：对输入进行压缩，设置池化区尺寸n×n，池化标准为平均池化。输入为m×m，则输出表示为；

1.5构建基于自注意力机制的环境信息关注模块

注意力机制对于对于模型的每一个输入项分配一个权重，权重的大小就代表了模型对该部分一个关注程度，通过权重大小来模拟人在处理信息的注意力的侧重，有效的提高了模型的性能，并且一定程度上降低了计算量。自注意力机制是注意力机制的变体，对每个输入项分配的权重取决于输入项之间的相互作用，即通过输入项内部关联来决定应该关注哪些输入项，减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。将提取到的特征信息放入自注意力模块，通过一个全连接层W连接输入的特征信息，创建自注意力机制中数据查询矩阵Q(query)、数据关键字矩阵K(key)、数据真实值V(value)矩阵，定义Q，K，V为：

定义注意力的分布：

将Q·K

2.基于自注意力机制的神经网络训练

2.1网络训练过程

训练构建好的神经网络，包含初始化、前向传播过程和后向传播过程；

前向传播过程：在前向传播过程中，本层数据与本层参数、偏执进行卷积、池化、点积等操作，计算线性组合值，将激活函数应用于组合值，最终获得整个网络的处理结果；后向传播过程：输入数据经过前向传播后通过损失函数计算出与真实值之间的差异，通过梯度下降进行反向传播，逐层更新卷积神经网络各层可训练的参数；根据损失函数不断迭代更新网络参数，最终得到训练好的网络模型；其中，损失函数使用交叉熵函数：

其中y

直到损失函数收敛或者训练次数达到最大迭代次数，训练结束，得到对应的神经网络模型。

2.2融合建图

2.2.1获取数据融合结果

将需要融合的传感器数据组合为三维向量放入完成训练的模型中，通过计算获得多传感器的数据融合结果，即对应点的坐标与深度信息[x,y,d]；x，y为对应点的二维坐标信息，d为深度信息。通过无人车上不同视角下的传感器采集对应的数据，将不同视角下获取的传感器数据组合为三维向量放入完成训练的模型中，获取不同视角的数据融合结果。

2.2.2建图过程

将数据融合结果通过PCL(Point Cloud Library)点云库处理构建较为稠密有规则的深度信息图，获得不同视角的深度信息图；由于不同视角的深度信息图存在位姿差异，需要进行配准；以场景的公共部分为基准，把不同视角的多个深度信息图叠加匹配到统一的坐标系中；通过相机外参数，计算出相应的旋转矩阵与位移矢量，将不同视角下的深度信息图转换到统一的世界坐标系下；多个深度信息图统一于同一世界坐标后，如在重叠区域点密度较高，随机消除部分点信息，同时，消除对于各深度信息图区域边缘存在的离群点等冗余信息。

由于不同视角下的传感器数据之间包含一定的重叠部分，需要对深度信息图进行分析，如果同一点位置出现多个深度信息，对重叠点的多个深度信息进行平均融合，使用多个深度信息的平均值作为该点新的深度信息；将局部的深度信息图进行拼接，得到局部三维信息，进而得到整个区域内的三维信息；

在确定三维信息后，将视觉传感器采集的二维图像与三维信息进行通过SFM(Structure from Motion)技术进行配准，标定二维图像和三维信息的坐标系，计算坐标系之间对应的旋转变换和平移变换，通过变换将二维图像和三维信息统一到同一坐标系下，使二维图像和三维地图的同名点一一对应，将对应点的RGB信息投影到三维地图上，完成建图。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，实际的结构并不局限于此。总而言如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。