障碍物轨迹预测方法、系统及计算机存储介质

技术领域

本发明涉及无人驾驶技术领域，尤其涉及一种障碍物轨迹预测方法、系统及计算机存储介质。

背景技术

障碍物的轨迹预测指根据障碍物历史的运动路径，预测其未来的轨迹。在自动驾驶场景中，需要对无人驾驶车辆周围，可能对其造成影响的障碍物的运动轨迹进行预测，而障碍物包括：机动车辆、非机动车辆和行人等。面临的具体难点主要包括以下几个方面：1)运动轨迹需同时满足交通规则和物理约束；2)障碍物运动状态，以及周围交通环境等的特征描述；3)需能够提供出多种可能的合理轨迹，以便进行后续筛选；4)交通路况复杂，包含多种可能性，且存在没有明确车道划分范围的区域，增加了障碍物轨迹预测的难度。

发明内容

有鉴于此，本发明提供了一种障碍物轨迹预测方法、系统及计算机存储介质，本申请通过较少的参数和较低的计算消耗，实现对环境特征的有效提取和对障碍物行为轨迹的联合训练，从而达到理想的障碍物轨迹预测效果。

第一方面，本发明提供了一种障碍物轨迹预测方法，包括：

获取起始时刻至观测时刻的历史状态信息，所述历史状态信息包括车辆周围的静态环境信息和障碍物状态信息；

将所述历史状态信息矢量化后输入等级图神经网络，以输出障碍物在所述观测时刻至所述预测时刻的预测轨迹，并根据障碍物在所述观测时刻至所述预测时刻的预测轨迹与障碍物在所述观测时刻至所述预测时刻的真实轨迹训练所述等级图神经网络；

通过训练后的等级图神经网络输出障碍物在所述预测时刻之后的预测轨迹。

其中，所述获取起始时刻至观测时刻的历史状态信息，包括：

获取车辆周围预设范围内的障碍物状态信息；

获得起始时刻至观测时刻的车辆位置信息；

根据高精度地图及所述车辆位置信息确定车辆周围预设范围内的静态环境信息。

其中，所述将所述历史状态信息矢量化后输入等级图神经网络，包括：

对所述历史状态信息进行矢量化编码；

根据矢量化后的历史状态信息提取低阶子图特征和高阶交互特征；

根据所述低阶子图特征建立局部特征图；

根据所述局部特征图和所述高阶交互特征建立全局特征图；

将所述全局特征图输入所述等级图神经网络，以输出障碍物在所述观测时刻至所述预测时刻的预测轨迹。

其中，对所述历史状态信息进行矢量化编码，包括：

提取所述静态环境信息和所述障碍物状态信息中的目标信息，包括出发点坐标、终止点坐标、目标类型、时间戳、道路属性、车道限速中的至少一项；

标记所述目标信息作为所述静态环境信息中各地图元素及所述障碍物状态信息中各障碍物的矢量特征。

其中，所述将所述全局特征图输入所述等级图神经网络，以输出障碍物在所述观测时刻至所述预测时刻的预测轨迹，包括：

通过全连接层处理所述全局特征图，得到障碍物的行为分类和运动轨迹的输出向量；

将所述行为分类和所述运动轨迹的输出向量输入等级图神经网络，以输出障碍物在所述观测时刻至所述预测时刻的预测轨迹。

其中，所述根据障碍物在所述观测时刻至所述预测时刻的预测轨迹与障碍物在所述观测时刻至所述预测时刻的真实轨迹训练所述等级图神经网络，还包括：

根据损失函数计算障碍物在所述观测时刻至所述预测时刻的预测轨迹与所述真实轨迹之间的差异值；

根据所述差异值对所述等级图神经网络进行多任务联合训练，以调整所述等级图神经网络，所述多任务联合训练包括对所述障碍物的运动轨迹的回归训练以及对所述障碍物的行为分类训练。

其中，所述所述损失函数公式如下：

L＝L

其中，L

其中，所述根据所述差异值对所述等级图神经网络进行多任务联合训练以调整所述等级图神经网络，包括：

根据所述差异值对所述等级图神经网络进行多任务联合训练以调整所述障碍物在所述观测时刻至所述预测时刻的预测轨迹，直至障碍物在所述观测时刻至所述预测时刻的预测轨迹与所述真实轨迹之间的差异值趋于稳定或收敛。

第二方面，本发明还提供了一种障碍物轨迹预测系统，包括存储器与处理器，所述存储器用于存储至少一条程序指令，所述处理器用于通过加载并执行所述至少一条程序指令以实现如上所述的障碍物轨迹预测方法。

第三方面，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上所述的障碍物轨迹预测方法。

综上所述，本发明的障碍物轨迹预测方法、系统及计算机存储介质，障碍物轨迹预测方法包括：获取起始时刻至观测时刻的历史状态信息，历史状态信息包括车辆周围的静态环境信息和障碍物状态信息；将历史状态信息矢量化后输入等级图神经网络，以输出障碍物在观测时刻至预测时刻的预测轨迹，并根据障碍物在观测时刻至预测时刻的预测轨迹与障碍物在观测时刻至预测时刻的真实轨迹训练等级图神经网络；通过训练后的等级图神经网络输出障碍物在预测时刻之后的预测轨迹。本申请通过较少的参数和较低的计算消耗，实现对环境特征的有效提取和对障碍物行为轨迹的联合训练，从而达到理想的障碍物轨迹预测效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

图1为本发明实施例示出的障碍物轨迹预测方法的流程示意图；

图2为本发明实施例示出的障碍物轨迹预测方法的控制流程图；

图3为本发明实施例示出的障碍物轨迹预测方法的具体流程图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明详细说明如下。

第一实施例

图1为根据第一实施例示出的障碍物轨迹预测方法的流程示意图。

如图1所示，本发明实施例提供了一种障碍物轨迹预测方法，包括：

步骤201：获取起始时刻至观测时刻的历史状态信息，历史状态信息包括车辆周围的静态环境信息和障碍物状态信息；

步骤202：将历史状态信息矢量化后输入等级图神经网络，以输出障碍物在观测时刻至预测时刻的预测轨迹，并根据障碍物在观测时刻至预测时刻的预测轨迹与障碍物在观测时刻至预测时刻的真实轨迹训练等级图神经网络；

步骤203：通过训练后的等级图神经网络输出障碍物在预测时刻之后的预测轨迹。

本申请利用矢量特征表达，以等级图神经网络(HGNN,Hierachical Graph NeuralNetwork)的方式，解决特征表达和提取的问题，再通过对障碍物行为的分类和运动轨迹的回归的联合训练，最终得出障碍物的运动轨迹，从而提升自动驾驶车辆对周围环境的理解能力。需要说明的是，本实施例中通过获取一段时间内的障碍物真实运行轨迹，在该时间段内顺次确定起始时刻、观测时刻和预测时刻，将起始时刻至观测时刻的历史状态信息输入等级图神经网络，以输出观测时刻至预测时刻的障碍物预测轨迹。然后将障碍物预测轨迹与观测时刻至预测时刻的障碍物真实轨迹进行比较。根据比较结果调整等级图神经网络，使用调整后的等级图神经网络重新输出障碍物预测轨迹，继续与真实轨迹比较，如此往复的训练等级图神经网络，直至得到理想的障碍物预测轨迹。假设n个障碍物的观测的历史状态输入为X＝X

无人驾驶车辆对环境的理解，依赖于对无人驾驶算法对环境特征的提取和表达，这些环境特征可以包括高精度地图特征以及周围障碍物特征。如图2所示，步骤201中，通过传感器感知获取车辆周围预设范围内的障碍物状态信息，然后根据定位模块获得起始时刻至观测时刻的车辆位置信息，并根据高精度地图及车辆位置信息确定车辆周围预设范围内的静态环境信息。

步骤202中，通过对历史状态信息进行矢量化编码；根据矢量化后的历史状态信息提取低阶子图特征和高阶交互特征；根据低阶子图特征建立局部特征图；根据局部特征图和高阶交互特征建立全局特征图；将全局特征图输入等级图神经网络，以输出障碍物在观测时刻至预测时刻的预测轨迹。具体地，首先将原始的高精度地图道路元素、障碍物历史轨迹等原始特征，全部以矢量的形式表达出来。然后建立子图神经网络以表征每个矢量的局部特征信息，最后再建立子图神经网络之间的高阶特征交互。本申请使用矢量来表征环境特征，包括高精度地图道路元素、障碍物特征等，并以等级图网络(Hierarchical GraphNeural Network)的方式，解决特征表达和提取的问题。从原始矢量特征出发，表征局部空间特征的低层级特征之后，再建立低层级特征间的高层级特征交互，从而建立起等级图神经网络。

在一实施方式中，对历史状态信息进行矢量化编码，包括：

提取静态环境信息和障碍物状态信息中的目标信息，包括出发点坐标、终止点坐标、目标类型、时间戳、道路属性、车道限速中的至少一项；

标记目标信息作为静态环境信息中各地图元素及障碍物状态信息中各障碍物的矢量特征。

在一实施方式中，将全局特征图输入等级图神经网络，以输出障碍物在观测时刻至预测时刻的预测轨迹，包括：

通过全连接层处理全局特征图，得到障碍物的行为分类和运动轨迹的输出向量；

将行为分类和运动轨迹的输出向量输入等级图神经网络，以输出障碍物在观测时刻至预测时刻的预测轨迹。

步骤202中，根据障碍物在观测时刻至预测时刻的预测轨迹与障碍物在观测时刻至预测时刻的真实轨迹训练等级图神经网络，包括：

根据损失函数计算障碍物在观测时刻至预测时刻的预测轨迹与真实轨迹之间的差异值；

根据差异值对等级图神经网络进行多任务联合训练以调整等级图神经网络，多任务联合训练包括对运动轨迹的回归训练以及对障碍物的行为分类训练。

损失函数公式如下：

L＝L

其中，L

在一实施方式中，根据差异值对等级图神经网络进行多任务联合训练以调整等级图神经网络，包括：

根据差异值对等级图神经网络进行多任务联合训练以调整障碍物在观测时刻至预测时刻的预测轨迹，直至障碍物在观测时刻至预测时刻的预测轨迹与真实轨迹之间的差异值趋于稳定或收敛。

如图3所示，本实施例的障碍物轨迹预测流程具体说明如下：

1)通过无人驾驶车辆上装载的摄像头、激光雷达、毫米波雷达等传感器，获取周围一定范围内n个障碍物的信息X＝X

2)定位模块给出当前无人驾驶车辆的位置信息，将无人车的历史状态信息也保存在“特征历史状态变量”中。根据定位结果，从高精度地图中，获得无人车周围一定范围内的静态环境信息，比如路口的车道、人行横道等。

3)将高精度地图特征和障碍物特征矢量化，以应用于后续的HGNN。首先，获取障碍物周围预设范围内的地图元素，比如，车道、车道中心线、人行横道等。将元素i表示成矢量

4)将矢量化的特征输入HGNN提取低阶子图特征和高阶交互特征。HGNN首先将所有的矢量特征v

5)全连接层(Fully-Connected Layer)的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来，把有用的信息提取整合。将HGNN的特征表达结果，经过全连接层后，得到障碍物行为分类和运动轨迹回归的输出向量。

本实施例中，障碍物的行为分类为左转、直行、右转、掉头等行驶行为，运动轨迹为未来一段时间内(时间范围可依实际情况设定)障碍物的运动轨迹。用观测时刻至预测时刻的真实轨迹

本申请通过联合训练障碍物的行为和运动轨迹。单独的运动轨迹回归预测，对于输入信息的干扰非常敏感，而对障碍物未来的运动行为的分类信息的引入，解决了这一问题。障碍物未来的运动行为，比如，左转、直行、右转，对于障碍物的轨迹预测是起至关重要作用的，可以提升轨迹预测的精度，同时能够有效降低输入噪声的干扰，提升了系统鲁棒性。同时本申请资源消耗大幅降低，直接从结构化地图中提取需要的信息，用最基本的矢量表达，非常少的图神经网络模型参数，更低的资源消耗，来达到更优的效果。

本发明实施例提供的障碍物轨迹预测方法，包括：获取起始时刻至观测时刻的历史状态信息，历史状态信息包括车辆周围的静态环境信息和障碍物状态信息；将历史状态信息矢量化后输入等级图神经网络，以输出障碍物在观测时刻至预测时刻的预测轨迹，并根据障碍物在观测时刻至预测时刻的预测轨迹与障碍物在观测时刻至预测时刻的真实轨迹训练等级图神经网络；通过训练后的等级图神经网络输出障碍物在预测时刻之后的预测轨迹。本申请通过较少的参数和较低的计算消耗，实现对环境特征的有效提取和对障碍物行为轨迹的联合训练，从而达到理想的障碍物轨迹预测效果。

本发明实施例还提供了一种障碍物轨迹预测系统，包括存储器与处理器，所述存储器用于存储至少一条程序指令，所述处理器用于通过加载并执行所述至少一条程序指令以实现如上所述的障碍物轨迹预测方法。

本实施例执行上述方法步骤的具体过程，详见上述实施例的相关描述，在此不再赘述。

本发明实施例还提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令；计算机程序指令被处理器执行时实现如上所述的障碍物轨迹预测方法。

本实施例执行上述方法步骤的具体过程，详见上述实施例的相关描述，在此不再赘述。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。