一种不依赖地图信息的车辆轨迹预测方法

技术领域

本发明涉及自动驾驶技术领域，特别涉及一种不依赖地图信息的车辆轨迹预测方法。

背景技术

车辆轨迹预测是自动驾驶中非常重要的部分，它可以帮助自动驾驶车辆在复杂交通路段行驶中提前发现可能会产生的事故，从而进行避让来正常行驶。自动驾驶汽车需要了解周围的环境，并预测道路上的未来情况。然而，准确预测附近交通参与者的未来运动具有挑战性，如车辆、自行车和行人，其目标或意图可能是未知的。基于机器学习的预测模型在过去已经表现了强大的性能，同时随着深度学习的快速发展，车辆轨迹预测也取得了更为显著的突破。但是这些车辆预测模型大多有一个先决条件：它们的架构设计和相应的训练过程大多是为整合地图信息而设计的，最依赖的信息往往来自于底层的高精度地图。然而，在现实中的很多情况下由于定位失败，地图信息并不一定总是可靠的。这说明了需要建立无地图的高性能预测模型，以实现在不依赖地图信息下，对车辆的轨迹进行高准确性的预测。

发明内容

本发明提供了一种不依赖地图信息的车辆轨迹预测方法，以解决现有车辆轨迹预测需要依赖高精度地图，在定位失败等不可靠的情况下，会造成无法正常进行轨迹预测的技术问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种不依赖地图信息的车辆轨迹预测方法，包括如下步骤：

S1、构建有车辆轨迹数据的用于深度学习的车辆轨迹数据库，并将车辆轨迹数据库拆分成训练集、验证集；

S2、构建不依赖地图信息的车辆轨迹预测模型，其中车辆轨迹预测模型包括依次连接的编码器、交互模块和解码器；

S3、从训练集中选取一张场景图像并输入到编码器中，并将编码器的输出输入到图卷积神经网络中，得到节点特征嵌入矩阵；利用自注意力机制中的多个注意力头对节点特征嵌入矩阵

S4、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型；

S5、利用最终的车辆轨迹预测模型对车辆的轨迹进行预测，以完成模型性能评估。

进一步地，所述S1具体包括如下：

S11、获取目标车辆所在场景中的场景车辆的历史轨迹序列，每一辆场景车辆的历史轨迹序列包括场景车辆在历史最近预定时长内的各个采样时间点的位置信息，场景车辆包括目标车辆及其周围的相邻车辆；

S12、将场景中的历史轨迹序列信息用2D坐标进行处理，得到用于深度学习的车辆轨迹数据库；

S13、将车辆轨迹数据库拆分成训练集、验证集。

进一步地，所述S2中的编码器包括多个独立设置的用于对每个场景车辆的信息进行编码的Transformer时间编码器；

交互模块包括相互连接的图卷积神经网络和自注意力机制；图卷积神经网络用于对特征进行提取和处理；

解码器由多个独立设置的残差网络解码器。

进一步地，所述编码器中的Transformer时间编码器的权重共享。

进一步地，所述S3具体包括如下步骤：

S31、从训练集中选取一张场景图像并输入到编码器中，编码器将场景图像中的场景车辆i过去的二维坐标数据表示为一系列离散位移，

将每个场景车辆i的输入向量

；

；

；

其中，

对每个场景车辆嵌入数据的查询矩阵

S32、将编码器中多头注意力的输出输入到图卷积神经网络中，得到节点特征嵌入矩阵

S33、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵

S34、将节点更新权重矩阵A输入到解码器中，最终得到车辆轨迹预测模型的输出结果

输出解码器不是直接预测全局坐标系中的二维坐标，而是预测车辆i在其t = 0处的二维坐标的相对位置差异，采用公式表示，具体如下：

；

表示第i辆车在t时间步时的预测输出，/>

在形式上，输出解码器被定义为：

；

其中，

进一步地，所述S31采用公式表示，具体如下：

；

；

；

其中，i为多头注意力机制中的注意力头编号，

进一步地，所述S32采用公式表示，具体如下：

；

其中，

其中，

、/>

进一步地，所述S33具体包括如下步骤：

S331、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵

具体的，自注意力机制中的每个注意力定义为：

；

其中，

S332、将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到多头注意力的输出权重，即节点更新权重矩阵A，采用公式表示，具体为：

；

；

其中，

进一步地，所述S4具体包括如下步骤：

S41、设置车辆轨迹预测模型的训练参数；其中包括车辆轨迹预测模型的迭代次数、训练的学习率；

S42、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，或者损失值小于设定阈值；

S43、利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型。

进一步地，所述S41具体为：

使用Adam优化器对车辆轨迹预测模型进行72轮次训练，批次大小为32，重量衰减为

本发明的有益效果：

本发明通过针对于在轨迹预测中地图信息不可靠的情况，提出基于Transformer的不依赖地图信息的车辆轨迹预测方法。该方法将处理后的数据输入到不同的Transformer时间编码器中对每个场景中车辆的时间信息进行编码，使用图卷积神经网络与注意力机制相结合的方式来有效的获取车辆间的交互关系（即节点更新权重矩阵A），最后使用多个平行的线性残差层（即残差网络解码器）来完成轨迹预测。该方法不依赖于地图信息，能够有效的利用边缘特征，并且与多头自注意相结合，从而有效的获取车辆之间的交互关系，能够在地图信息不可靠的情况下极大程度的正确预测未来轨迹。

附图说明

图1为本发明的流程图；

图2为本发明中S1的流程图；

图3为本发明中S4的流程图；

图4为本明中车辆轨迹预测模型的结构图；

图5为车辆轨迹预测模型在不同路况六次预测的结果图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以通过许多其他不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

还需说明的是，本申请实施例中以同一附图标记表示同一组成部分或同一零部件，对于本申请实施例中相同的零部件，图中可能仅以其中一个零件或部件为例标注了附图标记，应理解的是，对于其他相同的零件或部件，附图标记同样适用。

参照图1，本申请实施例提供了一种不依赖地图信息的车辆轨迹预测方法，包括如下步骤：

S1、构建有车辆轨迹数据的用于深度学习的车辆轨迹数据库，并将车辆轨迹数据库拆分成训练集、验证集；

S2、构建不依赖地图信息的车辆轨迹预测模型，其中车辆轨迹预测模型包括依次连接的编码器、交互模块和解码器；

S3、从训练集中选取一张场景图像并输入到编码器中，并将编码器的输出输入到图卷积神经网络中，得到节点特征嵌入矩阵；利用自注意力机制中的多个注意力头对节点特征嵌入矩阵

S4、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型；

S5、利用最终的车辆轨迹预测模型对车辆的轨迹进行预测，以完成模型性能评估。

本发明从最小平均距离误差（minADE）、最小最终距离误差（minFDE）和错过率（MR）等评价指标对车辆轨迹预测模型进行评估。

本发明通过针对于在轨迹预测中地图信息不可靠的情况，提出基于Transformer的不依赖地图信息的车辆轨迹预测方法。该方法将处理后的数据输入到不同的Transformer时间编码器中对每个场景中车辆的时间信息进行编码，使用图卷积神经网络与注意力机制相结合的方式来有效的获取车辆间的交互关系（即节点更新权重矩阵A），最后使用多个平行的线性残差层（即残差网络解码器）来完成轨迹预测。该方法不依赖于地图信息，能够有效的利用边缘特征，并且与多头自注意相结合，从而有效的获取车辆之间的交互关系，能够在地图信息不可靠的情况下极大程度的正确预测未来轨迹。

在一些实施例中，所述S1具体包括如下：

S11、获取目标车辆所在场景中的场景车辆的历史轨迹序列，每一辆场景车辆的历史轨迹序列包括场景车辆在历史最近预定时长内的各个采样时间点的位置信息，场景车辆包括目标车辆及其周围的相邻车辆；

S12、将场景中的历史轨迹序列信息用2D坐标进行处理，得到用于深度学习的车辆轨迹数据库；

具体的，轨迹预测的目标是根据目标场景车辆及其周围场景车辆的状态特征，预测目标场景车辆未来的多个可能的轨迹。在有N个场景车辆的场景中，状态特征定义为：

S13、将车辆轨迹数据库拆分成训练集、验证集。

在一些实施例中，所述S2中的编码器包括多个独立设置的用于对每个场景车辆的信息进行编码的Transformer时间编码器；

交互模块包括相互连接的图卷积神经网络和自注意力机制；图卷积神经网络用于对特征进行提取和处理；

解码器由多个独立设置的残差网络解码器。

在一些实施例中，所述编码器中的Transformer时间编码器的权重共享。

在一些实施例中，所述S3具体包括如下步骤：

S31、从训练集中选取一张场景图像并输入到编码器中，编码器将场景图像中的场景车辆i过去的二维坐标数据表示为一系列离散位移，

具体的，将每个场景车辆i的离散位移进行集合，得到输入序列集合，对于输入序列集合有：

；

为了让Transformer时间编码器能够更好的处理序列数据，使用不同频率的正弦和余弦函数计算位置编码：

；

；

其中，

在经过位置编码后，将其与位置嵌入相加得到多辆车的输入向量，即Transformer时间编码器的输入向量

将每辆车的输入向量分别与不同Transformer时间编码器的查询权重矩阵

；

；

；

其中，

那么对于每个Transformer时间编码器，我们有其输出为：

；

对每个场景车辆嵌入数据的查询矩阵

所述S31采用公式表示，具体如下：

；

；

；

其中，i为多头注意力机制中的注意力头编号，

S32、将编码器中多头注意力的输出输入到图卷积神经网络（即双向全连通交互图）中，得到节点特征嵌入矩阵

具体的，对每个车辆的过去状态进行编码之后，构建一个双向全连通交互图，以

；

其中，

其中，

、/>

本卷积操作专门设计用于合并边特征，在车辆轨迹预测任务中允许图卷积神经网络根据车辆之间的距离额外更新节点特征。图中每一个节点特征嵌入

S33、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵

具体的，所述S33具体包括如下步骤：

S331、利用自注意力机制中的多个注意力头对节点特征嵌入矩阵

具体的，自注意力机制中的每个注意力定义为：

；

其中，

S332、将所有注意力头输出的特征嵌入权重矩阵拼接起来，与线性连接映射权重层相乘，得到多头注意力的输出权重，即节点更新权重矩阵A，采用公式表示，具体为：

；

；

其中，

S34、将节点更新权重矩阵A输入到解码器中，最终得到车辆轨迹预测模型的输出结果

输出解码器不是直接预测全局坐标系中的二维坐标，而是预测车辆i在其t = 0处的二维坐标的相对位置差异，采用公式表示，具体如下：

；

表示第i辆车在t时间步时的预测输出，/>

多模态是并行使用这些解码器中的k个来获得的。在形式上，输出解码器被定义为：

；

其中，

在一些实施例中，所述S4具体包括如下步骤：

S41、设置车辆轨迹预测模型的训练参数；其中包括车辆轨迹预测模型的迭代次数、训练的学习率；

S42、构建损失函数，计算损失函数的损失值，循环S3至S4，调整车辆轨迹预测模型训练的学习率以及迭代次数，直到损失函数变化趋于稳定，或者损失值小于设定阈值；

S43、利用验证集进行验证，选取验证集准确率最好的一组权重作为车辆轨迹预测模型的权重，得到最终的车辆轨迹预测模型。

在一些实施例中，所述S41具体为：

使用Adam优化器对车辆轨迹预测模型进行72轮次训练，批次大小为32，重量衰减为

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。并且，本发明各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。