一种基于环境注意力神经网络模型的车辆轨迹预测方法

技术领域

本发明属于车辆智能驾驶领域，特别是涉及一种基于环境注意力神经网络模型的车辆轨迹预测方法。

背景技术

近年来，智能汽车作为一个不断发展的新兴领域，正在为社会提供更加便捷、有效的服务。随着智能汽车技术的进步，车辆避撞系统、驾驶员辅助系统等智能系统为驾驶员提供了良好的帮助。先进的智能系统使得驾驶员以及乘客能够在一个更加安全、舒适的交通环境下行驶车辆。

智能车包含的各种系统在运行时需要大量周边环境信息的支持。由于智能汽车并不能完全达到人类驾驶员的驾驶水平，并且车辆在道路上的行驶过程中，将一直处于一种与周边车辆高度交互的交通场景中。所以车辆需要根据自身以及周边车辆的未来轨迹来进行合理的路径规划。当驾驶员在不同交通场景下进行超车、换道以及任何其他行为时都需要考虑到车辆所处环境内其他车辆的位置、速度等信息后再进行，所以智能车进行路径规划能够体现了更高层面的智能。因此，为系统提供更加精准的复杂状况下动态交通场景内的车辆未来轨迹是需要优先考虑的问题。目前研究中用于车辆轨迹预测的模型只考虑了某一结构内的环境交互特征，但是提取环境特征总是只考虑单一的交互结构，使得提取的环境交互特征并不是完全充足的。针对目前已有的车辆轨迹预测神经网络模型的不足，本发明提出了一种基于环境注意力神经网络模型的车辆轨迹预测方法。

发明内容

本发明提出一种适用于动态交通场景的车辆轨迹预测方法，构建了一种对于环境中各要素增加注意力的模型，环境注意网络(EA-Net)模型。本发明提出的模型在LSTMencoder-decoder与卷积社交池串联的结构的基础上进行了横向拓展，本发明加入了图注意神经网络与包含SE模块的卷积社交池组成并行结构。本发明通过这种新型的并行结构来捕获车辆在行驶过程中与周围环境构成的图结构中各节点通过连边更新的特征信息，以及周边环境内空间位置结构内特征信息。本发明提出的新模型结构相对于卷积社交池模型在提取环境交互信息的效果上有了很大的提升，同时达到了比其他现有模型更好的轨迹预测效果。

本发明的有益效果：

(1)本发明提出一种新的模型结构:EA-Net，将被观测车辆与周围环境之间的交互关系分别建模为图结构和空间位置结构。并且提出了一种以图神经网络和卷积社交池构成的并行网络结构作为环境特征提取模块。通过该模块能够最大限度地提取车辆周围环境内不同维度结构内所包含的交互特征信息，提高轨迹预测的准确性以及适应不同交通场景的泛化能力。

(2)本发明将注意力机制引入了模型中的环境特征提取模块，环境特征提取模块中由图注意神经网络和包含SE模块的卷积社交池组成。图注意神经网络(GAT)增强了模型对由车辆组成的动态环境内图结构中各车交互行为的学习。模型在提取空间内的时序特征时，对于不同的空间位置的时序通道信息会赋予不同的注意力权重。使用注意力机制能够使得模型参数更新时能够及时抑制无用信息的参与，并且使得关键信息被更有效的利用，极大提高了模型在运行时的高效性。

(3)本发明给出了神经网络模型的训练方法，给出了建议的神经网络训练所必须的超参数，以及各神经网络层合适的输入输出维度以及层数。在保证模型训练速度的情况下，使得模型训练得到更加精准的结果，并且有效避免了发生过拟合的情况。

附图说明

图1表示不同车辆为中心构建的占据栅格图扩张到整条道路时各节点之间的连接关系

图2表示EA-Net模型总体结构

图3表示图注意神经网络(GAT)中各节点间的特征传递过程

图4表示Squeeze-and-Excitation模块示意图

图5表示EA-Net在NGSIM、highD数据集下不同车辆行为的轨迹预测效果图

具体实施方式

下面结合附图对本发明作进一步说明。

Step1：交通场景建模

本发明将处于同一交通场景下的车辆与其周围车辆之间的交互关系进行建模。对于每一时刻t交通场景内的任一车辆，该车辆都会在空间位置层面与周围车辆产生交互作用，本发明使用占据栅格图来构建这种空间位置结构。另外，车辆与车辆之间的特征信息同样也会以一种非欧氏距离结构—图结构进行传递和更新，因此本发明通过节点和连边来构建这种车辆间传递信息的图结构。

一、初始化输入特征

在某一时刻的静态交通场景下，被观测车辆即将作出任何行为的依据都来自于两个层次：

第一是以当前时刻为基点，车辆历史轨迹中各种状态下的特征值(车辆位置，车速、加速度、航向角、相对距离)都将对车辆未来行为以及未来轨迹的生成产生影响。第二是被观测车辆周围车辆在其历史轨迹中产生的各种状态与被观测车辆状态的交互作用，包括了周围车辆历史空间位置对被观测车辆的影响以及周围车辆历史轨迹特征与被观测车辆交互作用的影响。

以某一时刻驾驶员操纵车辆的视角进行分析：驾驶员驾驶车辆时，通过周围车辆与自身驾驶车辆的位置、角度以及相对车速对当前驾驶环境进行评估。对于不同的驾驶环境，驾驶员会根据驾驶经验决定当前时刻车辆应该做出哪一种的动作来改变车辆下一时刻的状态。使得车辆能够及时适应当前驾驶环境下周围车辆对车辆后续时间安全行驶带来的各种影响。

本发明以被观测车辆t时刻的状态特征

则该车辆历史轨迹特征序列为：

x

其中t

这种建模方法使得模型指向的交通场景不受区域位置以及车辆具体特性影响。使用以被观测车辆为中心形成的相对特征空间构建实动态车辆交互场景的方法让构建的模型能够很好的完成在各种情境下预测车辆轨迹的任务，提高模型的泛化能力。

二、占据栅格图构建

本发明以预测车所在车道以及周围两车道内的行驶的车辆构建以被观测车辆为中心的占据栅格图占据栅格图内每个栅格宽W

三、图结构构建

本发明提出的图结构是基于上述占据栅格图进行构建的。当车辆行驶在道路上时，会与车辆所处交通场景内各位置节点中存在的信息构成一张沿着道路扩张的拓扑图结构。如图1所示，道路上的每一辆车都与周围的环境节点构成图结构，第一层为车辆周围的一阶邻居节点，他们之间有直接的连边。第k层为车辆的k阶邻居节点，这些节点与车辆没有之间的连边，但会通过k-1阶邻居的连边传递信息。在现有研究中提出的图结构都将同一场景下的内智能体建立为各节点均存在联系的全连接图结构，即默认初始邻接矩阵各节点之间连边值均为1。但是，在车辆行驶过程中图中车辆与车辆之间的交互关系(连边)可能会发生改变。所以，本发明采用另一种图构建的方法。本发明把被观测车辆与周围车辆的交互关系转换为被观测车辆与其所处的周边环境中各组成部分之间发生的交互关系。这种定义方式类似于城市内定点的测速传感器数据构建的图结构预测交通速度的建模方式，本发明将这种静态关系应用在了车辆周围动态的环境中，即把每一时刻车辆周围环境与车辆构成的图结构看作一种静态的结构，而其本质又是一种动态的结构。本发明把占据栅格图内所有栅格包含的信息视作围绕车辆的周围环境特征，把每一个栅格作为周边环境内的节点V，当栅格内存在车辆时，节点特征H为该栅格内的车辆时序信息h

Step2：模型结构搭建

本发明将详细描述EA-Net的具体体系架构。图2为网络的全部结构，网络通过特征提取模块和轨迹预测模块构成。特征提取模块包含了时间特征编码器和环境特征提取模块，其中时间特征编码器由LSTM编码器构成，其作用是编码被观测车辆及其周围占据栅格图内的所有车辆的历史轨迹特征。环境特征提取模块由图注意神经网络(GAT)和包含SE模块的卷积社交池构成，该模块用于提取车辆周围环境构成的图结构和空间位置结构中的交互特征信息。该模块输出被观测车辆及其所处环境内的时序特征、空间特征以及图特征构成的上下文向量。轨迹预测模块由LSTM解码器组成，该模块接收上下文向量并解码，最后输出预测的未来轨迹。

一、LSTM编码器

本发明使用长短时记忆神经网络(LSTM)提取时序特征信息，每个LSTM神经元共享参数。编码器的输入为同一交通场景下被观测车辆以及周围车辆的历史轨迹特征X

其中g

最终本发明输出最后一个经过LSTM时步的隐藏状态

二、环境特征提取模块

(1)图特征提取网络

本发明将以被观测车辆为中心构建的占据栅格图中每一个栅格(不管内部是否存在车辆)视作一个环境节点，则不断运动的车辆与周围的环境节点构成一个动态的定节点图结构Graph。图内各节点和连边和表示为G＝(V,E),其中V表示图中节点的集合，E表示各节点之间存在的连边的集合，F为节点V

环境节点数等于占据栅格图总栅格数N，i∈N。h

环境图结构内节点的交互作用是一种无向图的结构，每个节点的特征发生变化都会使得其邻居节点发生特征更新，最终将带动整个图结构内所有节点的特征变化。本发明把这种变化理解为一种图信号的传递和扩散，每个节点都会接受周围节点通过连边向其传递的特征信息，同时也会把自身特征信息传递给周围节点。本发明使用改进的多层图注意神经网络层(GAT)提取图中每个节点之间的图交互特征。

图注意力层通过学习节点间的注意力权重值，构建包含节点间注意力的图注意力权重矩阵。该权重矩阵将相比于图卷积层中的拉普拉斯矩阵L强化了节点间连边的权重系数。以节点V

e

其中，W为当前图注意层的各节点的特征更新权重，a为两个节点之间的注意力函数，本发明中使用卷积核尺寸为1的卷积层作为全连接层FC来聚合两个节点之间的特征信息，计算出表示节点间相关度的标量，通过激活函数后形成注意力系数e

e

||为串联运算符，W

图3展示了图注意层内每一个环境节点在图注意层中根据注意力权重矩阵进行特征更新的过程。蓝色向量为存在车辆的环境节点包含的历史轨迹特征。橙色车所处节点根据注意力系数α和存在车辆的各邻居节点特征H

其中M

本发明使用得到的注意力权重矩阵更新每一层图中各节点的特征，并将L层图注意层输出的特征参数通过卷积运算压缩通道特征数，W

H

(2)空间位置特征提取网络

以上所述的图注意网络对车辆与周围各环境节点之间构成的图结构中存在的交互特征进行提取，而车辆在实际运行时，周围车辆相对于自身的空间位置信息也是至关重要的。本发明对卷积社交池增加了注意力机制，通过该结构对交通场景下被观测车辆与周围车辆的历史轨迹序列在空间位置中存在的交互关系特征进行了提取。

首先，本发明构建一个通道尺寸与LSTM编码器输出的隐藏状态维度相同，且空间维度尺寸等于占据栅格图尺寸大小的三维社交张量。本发明将交通场景内的车辆的时序信息作为通道信息，并将通道信息按照其相应的空间位置嵌入到社交张量Sc中。

本发明使用Squeeze-and-Excitation模块(SE-Block)作为本发明构建的时空张量中的时间通道内的空间注意力机制。SE-Block的作用是为了更好地建模空间依赖性，在本发明提出的空间特征提取网络中，本发明将使用两次SE-Block进行特征加强。如图4所示，本发明首先将社交张量S

本发明对Z

s＝F

其中

其中F为社交张量S

本发明同时使用了类似ResNet模块中的结构，将

在进行两层卷积运算后，再次利用SE-Block增强通道空间相关性特征，最后通过最大池化层输出被观测车辆与周围车辆时间序列之间的空间特征HS。

三、轨迹预测模块

轨迹预测模块由LSTM解码器和全连接网络构成，其作用为解码上述模块中提取的上下文向量完成预测车辆未来轨迹坐标的任务。本发明将压缩后的图特征H

其中g为三个特征上下文向量的融合函数，本发明采用串联的方法将这模型中提取的三个维度的特征和车辆机动状态融合，所得的上下文向量H

LSTM解码器接受H

(x

Step3：模型预训练

一、训练数据集

考虑到不同交通场景下车辆的密度、车速等情况大不相同，本发明使用两个公开的数据集对本发明的模型进行预训练，使得经过训练的模型能最大程度满足在不同交通场景下进行车辆轨迹预测。第一个数据集是美国联邦高速公路管理局发起的NextGeneration Simulation(NGSIM)研究计划中公开的数据集。NGSIM数据集包含了美国US-101公路以及I-80公路在总计45分钟内通过的所有车辆的数据。每条公路对应的数据集分为不同交通状况下3个15分钟片段。数据集来自于高速公路上架设的摄像机提取的图像信息，摄像机以10Hz的频率进行采样。数据集提供了两条公路上的相对车辆坐标，其中US-101公路长度约为640m，I-80公路长度约为503m。除此之外，每一条数据内还包含了车辆的车速、加速度、车辆种类、车道、前后车辆ID等信息。

第二个数据集是highD数据集。highD数据集是使用无人机采集的德国高速公路的大规模自然车辆轨迹数据集。该数据集的采样频率为25Hz，数据集内包括6个地点16.5小时的测量的11万辆车的行驶数据。车辆的总行驶距离为45000公里，一共记录了5600个完整的车道变化过程。

本发明将选取了NGSIM数据集所有时间段的70％的数据作为训练集，10％数据集作为训练时的验证集，20％数据作为测试集。由于highD数据集中数据量较大，以及包含了双向四车道和双向六车道两种不同的道路场景，本发明选取了其中双向六车道的车辆轨迹作为实验数据，训练集的划分与NGSIM数据集相同。本发明利用车辆3s的历史轨迹来预测车辆未来5s的轨迹坐标，实验选取的NGSIM数据集包含了7940071条8s轨迹数据，highD数据集包含了12710320条8s轨迹数据。本发明对每一条输入轨迹进行处理，以5Hz作为采样频率在轨迹中选取新轨迹采样点，使得输入轨迹坐标曲线更加平滑。其中，历史轨迹中每一个轨迹点包含车辆的横纵坐标，车速，加速度及航向角等信息。

二、模型训练参数设置

本发明使用Adam优化器训练本发明提出的模型，batchsize大小为128，dropout比例为0.2，激活函数Leaky ReLU的负值斜率α＝0.1。优化器采用指数下降学习率进行训练，初始学习率为0.0005，在训练过程中如果出现验证集损失函值三次超过先前最小值的情况时，将学习率乘以0.7。LSTM编码器隐藏状态维度为64，LSTM解码器输出维度为128，GAT层输入输出各节点通道维度为64。另外，由于NGSIM数据集中大部分车辆平均行车速落于20km/h-60km/h之间，highD数据集中大部分车辆平均车速却在80km/h/-140km/h区间内。所以本发明定义使用NGSIM数据集训练的模型包含的占据栅格图尺寸为(13×3)，即环境节点个数为39，使用highD数据集训练的模型包含的占据栅格图尺寸定为(41×3)，环境节点数为123个。模型的构建使用pytorch框架实现。

Step4：车辆轨迹预测

输入模型的数据为被预测车辆当前时刻之前3s的历史轨迹信息，其中包括了被预测车辆及周围车辆的横纵坐标(x，y)、车速v、加速度a。通过以上轨迹信息，可以计算出被预测车与周围车辆之间的相对航向角θ

其中j∈N，N为被预测车周围车辆数量，

将以上信息初始化后输入模型，模型即可通过计算输出被预测车当前时刻后5s的未来轨迹坐标。如图5所示，本发明可视化了预训练模型在两个数据集下车辆不同车辆行为下(直行、左换道、右换道)车辆轨迹预测的效果图。被预测车为图中心车辆，每辆车后方的蓝色虚线表示被观测车辆及其周围车辆的3s历史轨迹，车辆行驶方向上的红色虚线表示被观测车辆真实5s未来轨迹，绿色实线表示被观测车辆的预测轨迹坐标。

在两个左换道的例子中可以看到，模型highD数据集上对于换道轨迹的预测精度要高于NGSIM数据集。在NGSIM数据集上的左换道轨迹虽然与观测到的真实轨迹有一定差距，但是预测的轨迹相对于原始轨迹更加平滑，更加趋于理想化的状态。highD和NGSIM右换道的例子中处于的交通状况比较复杂，目标车道上都有与被观测车辆距离较近的前车或者后车。在这种情况下模型预测的未来轨迹更贴近车道线，且行驶距离降低，即表示车辆降低了行驶速度来适应当前的换道行为。车道保持行为下，两个数据集都有着较高的精度，且预测横纵向位移与其中隐含的车速都与真实值非常接近。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。