一种运动轨迹的预测方法及装置

技术领域

本发明涉及轨迹预测技术领域，具体而言，涉及一种运动轨迹的预测方法及装置。

背景技术

在自动驾驶领域中，自动驾驶车辆在行驶过程中，需要参考其周围的交通参与对象的未来运动轨迹，来进行自车的行驶轨迹规划，以保证自车以及交通参与对象的安全。相应的，自动驾驶车辆能够准确及时地预测出交通参与对象未来运动轨迹至关重要。

考虑到交通参与对象未来行为具有明显的不确定性，即交通参与对象的未来运动轨迹具有明显的不确定性，相关技术中，一般以混合高斯分布来建模交通参与对象的未来运动轨迹的概率分布；并人工设计未来运动轨迹的模态类别以及分类规则，采用分类加回归的方式训练得到神经网络模型，以通过神经网络模型和各交通参与对象的历史运动轨迹及所对应的其他动态信息和静态信息，来预测得到各交通参与对象的各模态类别对应的未来运行轨迹以及未来运行轨迹对应的概率。其中，交通参与对象对应的其他动态信息可以包括除该交通参与对象外的其他交通参与对象和自动驾驶车辆的历史轨迹，静态信息可以包括自动驾驶车辆对应的当前地图信息。

上述过程中，需要人工设计神经网络模型所预测的未来运动轨迹的模态的类别数以及分类规则，这在一定程度上使得所预测的未来运动轨迹存在局限性，难以适应比较复杂的自动驾驶场景。

发明内容

本发明提供了一种运动轨迹的预测方法及装置，以实现降低运动轨迹预测的局限性，以更好的适应比较复杂的自动驾驶场景。具体的技术方案如下：

第一方面，本发明实施例提供了一种运动轨迹的预测方法，所述方法包括：

获得目标对象对应的各交通参与对象的历史轨迹和运动属性信息以及对应的当前地图信息；

利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的初始特征，确定各交通参与对象对应的轨迹预测特征，其中，交通参与对象对应的初始特征包括：交通参与对象的历史轨迹和运动属性信息，及其对应的其他交通参与对象和目标对象的历史轨迹和运动属性信息以及所述当前地图信息；

利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的轨迹预测特征，确定各交通参与对象对应的隐随机变量多模态概率分布，其中，隐随机变量表征各交通参与对象的行为随机性；

利用所述目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的隐随机变量多模态概率分布，确定各交通参与对象对应的多模态预测轨迹。

可选的，交通参与对象对应的初始特征为基于时间顺序排列的特征，其包括交通参与对象对应的多个历史时刻的特征；

所述利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的初始特征，确定各交通参与对象对应的轨迹预测特征的步骤，包括：

针对每一交通参与对象，利用目标轨迹预测模型的特征提取层，对该交通参与对象对应的初始特征循环多次执行如下步骤A-C，确定出该交通参与对象对应的中间预测特征；

针对每一交通参与对象，基于图神经网络将该交通参与对象对应的中间预测特征中各静态对象对应的中间预测特征进行融合，确定出该交通参与对象对应的轨迹预测特征，其中，所述静态对象包括所述当前地图信息中的各静态对象；

步骤A：从特征维度对该交通参与对象对应的待处理特征进行非线性映射，得到该交通参与对象对应的映射特征，其中，所述待处理特征为该交通参与对象对应的初始特征或前一次迭代生成的该交通参与对象对应的中间预测特征；

步骤B：从时间维度对所述映射特征进行特征聚合操作，得到该交通参与对象对应的聚合特征；

步骤C：将所述聚合特征与所述待处理特征中各历史时刻的特征进行融合。

可选的，所述利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的轨迹预测特征，确定各交通参与对象对应的隐随机变量多模态概率分布的步骤，包括：

针对每一交通参与对象，利用目标轨迹预测模型的特征提取层以及该交通参与对象对应的轨迹预测特征，确定该交通参与对象对应的隐随机变量单模态概率分布；

针对每一交通参与对象，利用规范化流映射算法以及该交通参与对象对应的隐随机变量单模态概率分布，得到该交通参与对象对应的隐随机变量多模态概率分布。

可选的，在所述利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的初始特征，确定各交通参与对象对应的轨迹预测特征的步骤之前，所述方法还包括：

训练得到目标轨迹预测模型的过程，其中，所述过程，包括：

获得初始轨迹预测模型；

获得各样本交通对象对应的样本训练信息以及各样本交通对象对应的样本未来轨迹，其中，样本交通对象对应的样本训练信息包括：该样本交通对象的样本历史轨迹和样本运动属性信息、其对应的样本动态对象的样本历史轨迹、样本运动属性信息和样本静态对象信息；

针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的初始样本特征，确定该样本交通对象对应的样本预测特征，其中，该样本交通对象对应的初始样本特征包括：样本交通对象样本历史轨迹和样本运动属性信息，其对应的样本动态对象的样本历史轨迹、样本运动属性信息和样本静态对象信息；

针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的样本预测特征，确定该样本交通对象对应的隐随机变量多模态概率分布；

针对每一样本交通对象，利用所述初始轨迹预测模型的特征回归层、该样本交通对象对应的样本预测特征以及该样本交通对象对应的隐随机变量多模态概率分布，确定该样本交通对象对应的多模态预测轨迹；

针对每一样本交通对象，利用预设变分算法对该样本交通对象对应的样本未来轨迹进行处理，得到该样本交通对象对应的隐随机变量变分概率分布；

针对每一样本交通对象，利用该样本交通对象对应的隐随机变量多模态概率分布以及该样本交通对象对应的隐随机变量变分概率分布，确定该样本交通对象对应的隐随机变量KL散度值；

针对每一样本交通对象，利用该样本交通对象对应的多模态预测轨迹、隐随机变量变分概率分布以及该样本交通对象对应的样本未来轨迹，确定该样本交通对象对应的轨迹重构损失值；

针对每一样本交通对象，利用该样本交通对象对应的隐随机变量KL散度值、该样本交通对象对应的轨迹重构损失值，构建最大化似然函数的变分下界；判断所构建的最大化似然函数的变分下界是否达到最大化；

若所构建的最大化似然函数的变分下界未达到最大化，则调整所述初始轨迹预测模型的特征提取层与特征回归层的模型参数，并返回所述针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的初始样本特征，确定该样本交通对象对应的样本预测特征的步骤；

若所构建的最大化似然函数的变分下界达到最大化，确定所述初始轨迹预测模型收敛，得到包含特征提取层与特征回归层的所述目标轨迹预测模型。

可选的，所述利用所述目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的隐随机变量多模态概率分布，确定各交通参与对象对应的多模态预测轨迹的步骤，包括：

针对每一交通参与对象，对交通参与对象对应的隐随机变量多模态概率分布进行采样，得到该交通参与对象对应的多个隐随机变量样本；

利用所述目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的多个隐随机变量样本，确定各交通参与对象对应的多模态预测轨迹。

第二方面，本发明实施例提供了一种运动轨迹的预测装置，所述装置包括：

获得模块，被配置为获得目标对象对应的各交通参与对象的历史轨迹和运动属性信息以及对应的当前地图信息；

第一确定模块，被配置为利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的初始特征，确定各交通参与对象对应的轨迹预测特征，其中，交通参与对象对应的初始特征包括：交通参与对象的历史轨迹和运动属性信息，及其对应的其他交通参与对象和目标对象的历史轨迹和运动属性信息以及所述当前地图信息；

第二确定模块，被配置为利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的轨迹预测特征，确定各交通参与对象对应的隐随机变量多模态概率分布，其中，隐随机变量表征各交通参与对象的行为随机性；

第三确定模块，被配置为利用所述目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的隐随机变量多模态概率分布，确定各交通参与对象对应的多模态预测轨迹。

可选的，交通参与对象对应的初始特征为基于时间顺序排列的特征，其包括交通参与对象对应的多个历史时刻的特征；

所述第一确定模块，被具体配置为针对每一交通参与对象，利用目标轨迹预测模型的特征提取层，对该交通参与对象对应的初始特征循环多次执行如下步骤A-C，确定出该交通参与对象对应的中间预测特征；

针对每一交通参与对象，基于图神经网络将该交通参与对象对应的中间预测特征中各静态对象对应的中间预测特征进行融合，确定出该交通参与对象对应的轨迹预测特征，其中，所述静态对象包括所述当前地图信息中的各静态对象；

步骤A：从特征维度对该交通参与对象对应的待处理特征进行非线性映射，得到该交通参与对象对应的映射特征，其中，所述待处理特征为该交通参与对象对应的初始特征或前一次迭代生成的该交通参与对象对应的中间预测特征；

步骤B：从时间维度对所述映射特征进行特征聚合操作，得到该交通参与对象对应的聚合特征；

步骤C：将所述聚合特征与所述待处理特征中各历史时刻的特征进行融合。

可选的，所述第二确定模块，被具体配置为针对每一交通参与对象，利用目标轨迹预测模型的特征提取层以及该交通参与对象对应的轨迹预测特征，确定该交通参与对象对应的隐随机变量单模态概率分布；

针对每一交通参与对象，利用规范化流映射算法以及该交通参与对象对应的隐随机变量单模态概率分布，得到该交通参与对象对应的隐随机变量多模态概率分布。

可选的，所述装置还包括：

训练模块，被配置为在所述利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的初始特征，确定各交通参与对象对应的轨迹预测特征之前，训练得到目标轨迹预测模型，其中，所述训练模块，被具体配置为

获得初始轨迹预测模型；

获得各样本交通对象对应的样本训练信息以及各样本交通对象对应的样本未来轨迹，其中，样本交通对象对应的样本训练信息包括：该样本交通对象的样本历史轨迹和样本运动属性信息、其对应的样本动态对象的样本历史轨迹、样本运动属性信息和样本静态对象信息；

针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的初始样本特征，确定该样本交通对象对应的样本预测特征，其中，该样本交通对象对应的初始样本特征包括：样本交通对象样本历史轨迹和样本运动属性信息，其对应的样本动态对象的样本历史轨迹、样本运动属性信息和样本静态对象信息；

针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的样本预测特征，确定该样本交通对象对应的隐随机变量多模态概率分布；

针对每一样本交通对象，利用所述初始轨迹预测模型的特征回归层、该样本交通对象对应的样本预测特征以及该样本交通对象对应的隐随机变量多模态概率分布，确定该样本交通对象对应的多模态预测轨迹；

针对每一样本交通对象，利用预设变分算法对该样本交通对象对应的样本未来轨迹进行处理，得到该样本交通对象对应的隐随机变量变分概率分布；

针对每一样本交通对象，利用该样本交通对象对应的隐随机变量多模态概率分布以及该样本交通对象对应的隐随机变量变分概率分布，确定该样本交通对象对应的隐随机变量KL散度值；

针对每一样本交通对象，利用该样本交通对象对应的多模态预测轨迹、隐随机变量变分概率分布以及该样本交通对象对应的样本未来轨迹，确定该样本交通对象对应的轨迹重构损失值；

针对每一样本交通对象，利用该样本交通对象对应的隐随机变量KL散度值、该样本交通对象对应的轨迹重构损失值，构建最大化似然函数的变分下界；判断所构建的最大化似然函数的变分下界是否达到最大化；

若所构建的最大化似然函数的变分下界未达到最大化，则调整所述初始轨迹预测模型的特征提取层与特征回归层的模型参数，并返回所述针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的初始样本特征，确定该样本交通对象对应的样本预测特征的步骤；

若所构建的最大化似然函数的变分下界达到最大化，确定所述初始轨迹预测模型收敛，得到包含特征提取层与特征回归层的所述目标轨迹预测模型。

可选的，所述第二确定模块，被具体配置为针对每一交通参与对象，对交通参与对象对应的隐随机变量多模态概率分布进行采样，得到该交通参与对象对应的多个隐随机变量样本；

利用所述目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的多个隐随机变量样本，确定各交通参与对象对应的多模态预测轨迹。

由上述内容可知，本发明实施例提供的一种运动轨迹的预测方法及装置，获得目标对象对应的各交通参与对象的历史轨迹和运动属性信息以及对应的当前地图信息；利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的初始特征，确定各交通参与对象对应的轨迹预测特征，其中，交通参与对象对应的初始特征包括：交通参与对象的历史轨迹和运动属性信息，及其对应的其他交通参与对象和目标对象的历史轨迹和运动属性信息以及当前地图信息；利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的轨迹预测特征，确定各交通参与对象对应的隐随机变量多模态概率分布，其中，隐随机变量表征各交通参与对象的行为随机性；利用目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的隐随机变量多模态概率分布，确定各交通参与对象对应的多模态预测轨迹。

应用本发明实施例，可以利用目标轨迹预测模型中已学习到各交通参与对象的行为随机性的隐随机变量，以及各交通参与对象的历史轨迹和运动属性信息以及其对应的动态对象信息即其对应的其他交通参与对象和目标对象的历史轨迹和运动属性信息，和静态对象信息即当前地图信息，拟合各交通参与对象的隐随机变量多模态概率分布即隐随机变量多模态先验分布，其代表了各交通参与对象与目标对象未来轨迹的多种可能性，进而确定各交通参与对象对应的多模态预测轨迹，以实现对各交通参与对象的多模态预测轨迹的准确确定，且该包括学习到各交通参与对象的行为随机性的隐随机变量的目标轨迹预测模型对该场景具有通用性，不存在算法设计上的瓶颈制约，随着训练得到该目标轨迹预测模型的训练数据的规模扩大，算法对未来轨迹分布建模能力可以不断加强，进而轨迹预测能力也可以随之能不断提升。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、结合目标轨迹预测模型中已学习到各交通参与对象的行为随机性的隐随机变量以及各交通参与对象的历史轨迹和运动属性信息以及对应的当前地图信息，构建各交通参与对象所对应的隐随机变量多模态概率分布，进而确定各交通参与对象对应的多模态预测轨迹，以实现对各交通参与对象的多模态预测轨迹的准确确定，且该包括学习到各交通参与对象的行为随机性的隐随机变量的目标轨迹预测模型对该场景具有通用性，不存在算法设计上的瓶颈制约，随着训练得到该目标轨迹预测模型的训练数据的规模扩大，算法对未来轨迹分布建模能力可以不断加强，进而轨迹预测能力也可以随之能不断提升。

2、依次从特征维度和时间维度对交通参与对象对应的待处理特征进行特征处理，实现对待处理特征的不同特征维度的特征和不同时间维度特征的聚合提取，得到聚合特征，进而将聚合特征与初始特征中各历史时刻的特征进行融合，多次重复以上操作，以得到交通参与对象对应的深层抽象的中间预测特征，继而，利用图神经网络将中间预测特征与各动态对象信息和静态对象信息融合，确定出该交通参与对象对应的轨迹预测特征，以为保证后续的未来轨迹预测结果的准确性提供基础。

3、通过规范化流映射算法，以及交通参与对象对应的隐随机变量单模态概率分布，以构建出交通参与对象对应的隐随机变量多模态概率分布，为后续的交通参与对象的多模态轨迹的预测提供基础。

4、通过各样本交通对象对应的样本历史轨迹和样本运动属性信息、其对应的样本动态对象的样本历史轨迹、样本运动属性信息和静态对象信息以及各样本交通对象对应的样本未来轨迹，训练初始轨迹预测模型，以使得初始轨迹预测模型中的隐随机变量学习得到各样本交通对象的行为的随机性，为后续的交通参与对象的未来轨迹的准确预测提供基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的运动轨迹的预测方法的一种流程示意图；

图2为本发明实施例提供的隐随机变量单模态概率分布映射为隐随机变量多模态概率分布的一种示意图；

图3为本发明实施例提供的目标轨迹预测模型的训练过程的一种流程示意图；

图4为本发明实施例提供的运动轨迹的预测装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种运动轨迹的预测方法及装置，以实现降低运动轨迹预测的局限性，以更好的适应比较复杂的自动驾驶场景。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的运动轨迹的预测方法的一种流程示意图。该方法可以包括如下步骤：

S101：获得目标对象对应的各交通参与对象的历史轨迹和运动属性信息以及对应的当前地图信息。

本发明实施例所提供的运动轨迹的预测方法，可以应用于任一具有计算能力的电子设备，该电子设备可以为终端或者服务器。在一种实现中，实现该运动轨迹的预测方法的功能软件可以以单独的客户端软件的形式存在，也可以以目前相关的客户端软件的插件的形式存在，这都是可以的。

其中，目标对象可以为自动驾驶车辆也可以为智能机器人。目标对象可以通过其设置的传感器获得其对应的各交通参与对象的历史轨迹以及运动属性信息，其中，交通参与对象的运动属性信息可以包括交通参与对象的运动信息和属性信息，其中，交通参与对象的运动信息包括但不限于：交通参与对象的速度以及加速度等信息。交通参与对象的属性信息可以包括但不限于：交通参与对象的类型以及形状和尺寸等。交通参与对象的历史轨迹包括：交通参与对象在当前时刻之前预设时间段内的各历史时刻的位置信息以及姿态信息。

该当前时刻可以指电子设备当前要预测轨迹的时刻。上述历史轨迹以及历史时刻中的“历史”是相对于电子设备当前要预测轨迹的时刻，即当前时刻而言的，指当前时刻之前的时间段内生成的轨迹。

电子设备本地或所连接的存储设备可以预先存储于目标对象所在区域的完整地图信息，该当前地图信息可以为该完整地图信息，也可以是基于目标对象在当前时刻的当前位姿信息从完整地图信息中，确定出其当前位姿信息所对应区域范围内的地图信息，这都是可以的。

目标对象所设置的传感器可以包括但不限于：图像采集设备、轮速传感器、雷达、IMU(Inertial measurement unit，惯性测量单元)、GPS(Global Positioning System，全球定位系统)以及GNSS(Global Navigation Satellite System，全球卫星导航系统/全球导航卫星系统)等。

在一种情况中，若目标对象为自动驾驶车辆，相应的交通参与对象可以包括但不限于：机动车辆、自行车、三轮车、行人以及动物等对象。交通参与对象为机动车辆的情况下，电子设备还可以获得该机动车辆的车灯信息，例如：转向灯的亮灭情况。

在一种情况中，该目标对象为自动驾驶车辆，该当前地图信息可以包括但不限于：车道线、停车位、行人道、交通指示牌、交通指示箭头、路灯杆等交通标识信息，其中，可以称当前地图信息中所包括的各交通标识信息为静态对象，还可以包括：场景中位置固定的建筑物、植物以及其他物体等静态对象。

S102：利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的初始特征，确定各交通参与对象对应的轨迹预测特征。

其中，交通参与对象对应的初始特征包括：交通参与对象的历史轨迹和运动属性信息，及其对应的其他交通参与对象和目标对象的历史轨迹和运动属性信息以及当前地图信息。

该目标轨迹预测模型为：基于样本交通对象对应的样本历史轨迹及样本运动属性信息、其对应的样本动态对象的样本历史轨迹及样本运动属性信息、静态对象信息以及各样本交通对象对应的样本未来轨迹训练所得模型。该目标轨迹预测模型为神经网络隐变量模型。为了布局清楚，后续针对目标轨迹预测模型的训练过程进行说明。

其中，样本交通对象对应的样本动态对象可以包括：样本交通对象所在场景中其他处于动态的交通对象。样本交通对象对应的静态对象信息可以包括：样本交通对象所在场景对应的地图信息中的各静态对象。

电子设备可以针对每一交通参与对象，将该交通参与对象对应的初始特征输入目标轨迹预测模型的特征提取层，以通过目标轨迹预测模型的特征提取层对该交通参与对象对应的初始特征进行特征提取，确定出该交通参与对象对应的轨迹预测特征，以确定出各交通参与对象对应的轨迹预测特征。

S103：利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的轨迹预测特征，确定各交通参与对象对应的隐随机变量多模态概率分布。

其中，隐随机变量表征各交通参与对象的行为随机性。

本步骤中，目标轨迹预测模型为设置有隐随机变量的模型，电子设备获得各交通参与对象对应的轨迹预测特征之后，针对每一交通参与对象，利用该交通参与对象对应的轨迹预测特征以及目标轨迹预测模型的特征提取层的隐随机变量，确定该交通参与对象对应的隐随机变量多模态概率分布。以通过隐随机变量表示出交通参与对象的轨迹的随机性以及不确定性。

在本发明的一种实现方式中，所述S103，可以包括如下步骤011-012：

011：针对每一交通参与对象，利用目标轨迹预测模型的特征提取层以及该交通参与对象对应的轨迹预测特征，确定该交通参与对象对应的隐随机变量单模态概率分布。

012：针对每一交通参与对象，利用规范化流映射算法以及该交通参与对象对应的隐随机变量单模态概率分布，得到该交通参与对象所对应隐随机变量对应的多模态轨迹分布。

本实现方式中，电子设备首先利用目标轨迹预测模型的特征提取层以及该交通参与对象对应的轨迹预测特征，确定该交通参与对象对应的隐随机变量单模态概率分布；进而通过规范化流(Normalizing Flow)映射算法，将该交通参与对象对应的隐随机变量单模态概率分布，映射成多模态概率分布，得到该交通参与对象对应的隐随机变量多模态概率分布。

在一种情况中，假设该交通参与对象对应的隐随机变量单模态概率分布为多元高斯分布，目标轨迹预测模型的特征提取层可以输出其对应的均值和方差，通过其对应的均值和方差，可以构建出该交通参与对象对应的隐随机变量单模态概率分布。后续的，通过规范化流映射算法，将该交通参与对象对应的隐随机变量单模态概率分布映射成多模态轨迹分布，得到该交通参与对象对应的隐随机变量多模态概率分布，以简化后续的目标轨迹预测模型把轨迹的随机性即隐随机变量的随机性，映射成轨迹空间多模态概率分布的难度，达到更好的多模态未来轨迹建模效果。效果图如图2所示，其中，“单模态分布”表示交通参与对象对应的隐随机变量单模态概率分布，“多模态分布”表示交通参与对象对应的隐随机变量多模态轨迹分布。

S104：利用目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的隐随机变量多模态概率分布，确定各交通参与对象对应的多模态预测轨迹。

电子设备确定出各交通参与对象对应的隐随机变量多模态概率分布，针对每一交通参与对象，利用目标轨迹预测模型的特征回归层，将交通参与对象对应的轨迹预测特征以及该交通参与对象对应的隐随机变量多模态概率分布进行融合，以确定出交通参与对象对应的多模态预测轨迹。

在本发明的一种实现方式中，所述S104，可以包括如下步骤021-022：

021：针对每一交通参与对象，对交通参与对象对应的隐随机变量多模态概率分布进行采样，得到该交通参与对象对应的多个隐随机变量样本。

022：利用目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的多个隐随机变量样本，确定各交通参与对象对应的多模态预测轨迹。

本实现方式中，电子设备针对每一交通参与对象，对交通参与对象对应的隐随机变量多模态概率分布进行采样，得到该交通参与对象对应的多个隐随机变量样本，进而，利用目标轨迹预测模型的特征回归层，将该交通参与对象对应的轨迹预测特征与该交通参与对象对应的多个隐随机变量样本映射到轨迹空间，即将该交通参与对象对应的轨迹预测特征与该交通参与对象对应的每一隐随机变量样本进行融合，以得到各交通参与对象对应的多模态预测轨迹。

应用本发明实施例，可以利用目标轨迹预测模型中已学习到各交通参与对象的行为随机性的隐随机变量，以及各交通参与对象的历史轨迹和运动属性信息以及其对应的动态对象信息即其对应的其他交通参与对象和目标对象的历史轨迹和运动属性信息，和静态对象信息即当前地图信息，拟合参与对象的未来轨迹的条件概率分布，即各交通参与对象对应的隐随机变量多模态概率分布，进而确定各交通参与对象对应的多模态预测轨迹，以实现对各交通参与对象的多模态预测轨迹的准确确定，且该包括学习到各交通参与对象的行为随机性的隐随机变量的目标轨迹预测模型对该场景具有通用性，不存在算法设计上的瓶颈制约，随着训练得到该目标轨迹预测模型的训练数据的规模扩大，算法对未来轨迹分布建模能力可以不断加强，进而轨迹预测能力也可以随之能不断提升。

在本发明的另一实施例中，交通参与对象对应的初始特征为基于时间顺序排列的特征，其包括交通参与对象对应的多个历史时刻的特征；

所述S102，可以包括如下步骤031-032：

031：针对每一交通参与对象，利用目标轨迹预测模型的特征提取层，对该交通参与对象对应的初始特征循环多次执行如下步骤A-C，确定出该交通参与对象对应的中间预测特征。

032：针对每一交通参与对象，基于图神经网络将该交通参与对象对应的中间预测特征中各静态对象对应的中间预测特征进行融合，确定出该交通参与对象对应的轨迹预测特征。

其中，静态对象包括当前地图信息中的各静态对象。

步骤A：从特征维度对该交通参与对象对应的待处理特征进行非线性映射，得到该交通参与对象对应的映射特征。

其中，待处理特征为该交通参与对象对应的初始特征或前一次迭代生成的该交通参与对象对应的中间预测特征。

步骤B：从时间维度对映射特征进行特征聚合操作，得到该交通参与对象对应的聚合特征。

步骤C：将聚合特征与待处理特征中各历史时刻的特征进行融合。

本实现方式中，交通参与对象对应的初始特征为基于时间顺序排列的特征，其包括交通参与对象对应的多个历史时刻的特征。可以理解的是，每一历史时刻可以对应交通参与对象对应的多个特征，例如：交通参与对象的位置信息、姿态信息如朝向角、速度、形状、类型和大小，交通参与对象对应的其他交通参与对象和目标对象的位置信息、姿态信息如朝向角、速度、形状、类型和大小以及交通参与对象与其对应的当前地图信息中各静态对象的相对位置信息以及类型等信息。各历史时刻对应的特征按各历史时刻信息的先后顺序排列。

电子设备可以针对每一交通参与对象，首先利用目标轨迹预测模型的特征提取层，从特征维度对该交通参与对象对应的初始特征进行非线性映射，即针对各历史时刻，对该历史时刻对应的特征，从特征维度进行非线性映射，得到该交通参与对象对应的映射特征；进而从时间维度对映射特征进行特征聚合操作，即针对各历史时刻对应的映射特征进行特征聚合操作，得到该交通参与对象对应的聚合特征；将该交通参与对象对应的聚合特征与初始特征中各历史时刻的特征进行融合，将融合所得的特征作为该交通参与对象对应的新的待处理特征，并重新执行针对每一交通参与对象，首先利用目标轨迹预测模型的特征提取层，从特征维度对该交通参与对象对应的初始特征进行非线性映射，得到该交通参与对象对应的映射特征的步骤，直至上述步骤重复执行多次，以得到该交通参与对象对应的包含深层抽象特征的中间预测特征。

进而，电子设备针对每一交通参与对象，基于图神经网络将该交通参与对象对应的中间预测特征中各静态对象对应的中间预测特征进行融合，确定出该交通参与对象对应的轨迹预测特征。

在本发明的另一实施例中，在所述S102之前，所述方法还可以包括：

训练得到目标轨迹预测模型的过程，其中，如图3所示，所述过程，包括：

S301：获得初始轨迹预测模型。

S302：获得各样本交通对象对应的样本训练信息以及各样本交通对象对应的样本未来轨迹。

其中，样本交通对象对应的样本训练信息包括：该样本交通对象的样本历史轨迹和样本运动属性信息、其对应的样本动态对象的样本历史轨迹、样本运动属性信息和样本静态对象信息。该样本运动属性信息可以包括样本交通对象的运动信息和属性信息，其中，样本交通对象的运动信息包括但不限于：样本交通对象的速度以及加速度等信息。样本交通对象的属性信息可以包括但不限于：样本交通对象的类型以及形状和尺寸等。样本交通对象的样本历史轨迹包括：样本交通对象在样本轨迹采集时刻之前的预设时间段内的各历史时刻的位置信息以及姿态信息。样本交通对象的样本未来轨迹为：样本交通对象在样本轨迹采集时刻及之后的第一时间段内的真实的运行轨迹，包括样本轨迹采集时刻及之后的第一时间段内各时刻的样本交通对象的真实的位置信息和姿态信息。

样本交通对象对应的样本动态对象为样本交通对象所处环境中周围的处于动态的对象，可以包括车辆、行人以及动物等；样本交通对象对应的样本静态对象信息包括该样本交通对象所处环境的地图信息中的各静态对象。

在一种情况中，目标对象为自动驾驶车辆，相应的，样本车辆在行驶过程中可以针对其所在环境中的各对象采集相应的信息，某一样本交通对象对应的样本训练信息及样本未来轨迹可以是基于样本车辆通过其所设置的传感器采集的传感器数据确定的。

在一种情况中，样本交通对象为机动车辆的情况下，样本交通对象对应的样本训练信息还可以包括该机动车辆的车灯信息，例如：转向灯的亮灭情况。

S303：针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的初始样本特征，确定该样本交通对象对应的样本预测特征。

其中，该样本交通对象对应的初始样本特征包括：样本交通对象样本历史轨迹和样本运动属性信息，其对应的样本动态对象的样本历史轨迹、样本运动属性信息和样本静态对象信息。

S304：针对每一样本交通对象，利用初始轨迹预测模型的特征提取层以及该样本交通对象对应的样本预测特征，确定该样本交通对象对应的隐随机变量多模态概率分布。

S305：针对每一样本交通对象，利用初始轨迹预测模型的特征回归层、该样本交通对象对应的样本预测特征以及该样本交通对象对应的隐随机变量多模态概率分布，确定该样本交通对象对应的多模态预测轨迹。

S306：针对每一样本交通对象，利用预设变分算法对该样本交通对象对应的样本未来轨迹进行处理，得到该样本交通对象对应的隐随机变量变分概率分布。

S307：针对每一样本交通对象，利用该样本交通对象对应的隐随机变量多模态概率分布以及该样本交通对象对应的隐随机变量变分概率分布，确定该样本交通对象对应的隐随机变量KL散度值。

S308：针对每一样本交通对象，利用该样本交通对象对应的多模态预测轨迹以及该样本交通对象对应的样本未来轨迹，确定该样本交通对象对应的轨迹重构损失值。

S309：针对每一样本交通对象，利用该样本交通对象对应的隐随机变量KL散度值、该样本交通对象对应的轨迹重构损失值，构建最大化似然函数的变分下界；并判断所构建的最大化似然函数的变分下界是否达到最大化。

S310：若所构建的最大化似然函数的变分下界未达到最大化，则调整初始轨迹预测模型的特征提取层与特征回归层的模型参数，并返回S303。

S311：若所构建的最大化似然函数的变分下界达到最大化，确定初始轨迹预测模型收敛，得到包含特征提取层与特征回归层的目标轨迹预测模型。

为了保证对各交通参与对象的未来轨迹预测的准确性，本发明实施例还包括目标轨迹预测模型的训练过程。相应的，电子设备可以首先获得初始轨迹预测模型，其中，该初始轨迹预测模型可以为神经网络隐变量模型；获得各样本交通对象对应的样本训练信息以及各样本交通对象对应的样本未来轨迹。

进而，电子设备针对每一样本交通对象，将该样本交通对象对应的初始样本特征输入初始轨迹预测模型的特征提取层，利用初始轨迹预测模型的特征提取层对该样本交通对象对应的初始样本特征进行特征提取融合，确定样本交通对象对应的样本预测特征，其中，初始用初始轨迹预测模型的特征提取层对该样本交通对象对应的初始样本特征进行特征提取融合的过程，可以参见目标轨迹预测模型的特征提取层对交通参与对象的初始特征的特征提取融合的过程，在此不再赘述。

针对每一样本交通对象，利用初始轨迹预测模型的特征提取层以及该样本交通对象对应的样本预测特征，得到该样本交通对象对应的隐随机变量单模态概率分布，进而通过规范化流映射算法，将样本交通对象对应的隐随机变量单模态概率分布，映射为该样本交通对象对应的隐随机变量多模态概率分布。

针对每一样本交通对象，将该样本交通对象对应的样本预测特征以及该样本交通对象对应的隐随机变量多模态概率分布，输入初始轨迹预测模型的特征回归层，以通过初始轨迹预测模型的特征回归层对该样本交通对象对应的样本预测特征以及该样本交通对象对应的隐随机变量多模态概率分布进行融合，得到该样本交通对象对应的多模态预测轨迹。

后续的，为了保证所构建的目标轨迹预测模型的预测结果的准确性，可以利用该样本交通对象对应的多模态预测轨迹以及该样本交通对象对应的样本未来轨迹，构建最大化似然函数的变分下界，通过所构建的最大化似然函数的变分下界，调整初始轨迹预测模型的模型参数，进而，得到最终的目标轨迹预测模型。为了构建最大化似然函数的变分下界，电子设备针对每一样本交通对象，利用预设变分算法对该样本交通对象对应的样本未来轨迹进行处理，得到该样本交通对象对应的隐随机变量变分概率分布，其中，该预设变分算法可以是基于变分贝叶斯原理构建的变分算法。

针对每一样本交通对象，基于KL散度算法，利用该样本交通对象对应的隐随机变量多模态概率分布以及该样本交通对象对应的隐随机变量变分概率分布，确定该样本交通对象对应的隐随机变量KL散度值。并利用该样本交通对象对应的多模态预测轨迹以及该样本交通对象对应的样本未来轨迹，确定该样本交通对象对应的轨迹重构损失值。利用该样本交通对象对应的轨迹重构损失值以及该样本交通对象对应的隐随机变量KL散度值，构建最大化似然函数的变分下界；并计算该最大化似然函数的变分下界对应的函数值，判断所构建的最大化似然函数的变分下界是否达到最大化，即最大化似然函数的变分下界对应的函数值是否达到最大化，若所构建的最大化似然函数的变分下界未达到最大化，则利用预设优化算法，调整初始轨迹预测模型的特征提取层与特征回归层的模型参数，并返回执行S203；若所构建的最大化似然函数的变分下界达到最大化，则确定初始轨迹预测模型收敛，得到包含特征提取层与特征回归层的目标轨迹预测模型。

在一种情况中，构建所得的样本交通对象对应多模态预测轨迹所对应的概率分布，利用该概率分布可以构建出该样本交通对象对应的多模态预测轨迹，可以通过如下公式(1)表示：

p(x

其中，x

相应的，可以通过如下公式表示所构建的最大化似然函数的变分下界；

logp(x

其中，logp(x

本实现方式中，在构建目标轨迹预测模型的过程中，充分考虑了各交通参与对象的历史轨迹、运行属性信息以及周围的静态对象的信息，这些信息呈现高维多源异构的特征，通过初始轨迹预测模型的特征提取层对各特征之间的各方向即特征维度和时间维度的特征提取和融合，实现了对交通参与对象对应的各特征的充分的提取和融合，以用于支撑后续的模型对未来轨迹的预测。

相应于上述方法实施例，本发明实施例提供了一种运动轨迹的预测装置，如图4所示，所述装置可以包括：

获得模块410，被配置为获得目标对象对应的各交通参与对象的历史轨迹和运动属性信息以及对应的当前地图信息；

第一确定模块420，被配置为利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的初始特征，确定各交通参与对象对应的轨迹预测特征，其中，交通参与对象对应的初始特征包括：交通参与对象的历史轨迹和运动属性信息，及其对应的其他交通参与对象和目标对象的历史轨迹和运动属性信息以及所述当前地图信息；

第二确定模块430，被配置为利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的轨迹预测特征，确定各交通参与对象对应的隐随机变量多模态概率分布，其中，隐随机变量表征各交通参与对象的行为随机性；

第三确定模块440，被配置为利用所述目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的隐随机变量多模态概率分布，确定各交通参与对象对应的多模态预测轨迹。

应用本发明实施例，可以利用目标轨迹预测模型中已学习到各交通参与对象的行为随机性的隐随机变量，以及各交通参与对象的历史轨迹和运动属性信息以及其对应的动态对象信息即其对应的其他交通参与对象和目标对象的历史轨迹和运动属性信息，和静态对象信息即当前地图信息，拟合参与对象的未来轨迹的条件概率分布，即各交通参与对象对应的隐随机变量多模态概率分布，进而确定各交通参与对象对应的多模态预测轨迹，以实现对各交通参与对象的多模态预测轨迹的准确确定，且该包括学习到各交通参与对象的行为随机性的隐随机变量的目标轨迹预测模型对该场景具有通用性，不存在算法设计上的瓶颈制约，随着训练得到该目标轨迹预测模型的训练数据的规模扩大，算法对未来轨迹分布建模能力可以不断加强，进而轨迹预测能力也可以随之能不断提升。

在本发明的另一实施例中，交通参与对象对应的初始特征为基于时间顺序排列的特征，其包括交通参与对象对应的多个历史时刻的特征；

所述第一确定模块420，被具体配置为针对每一交通参与对象，利用目标轨迹预测模型的特征提取层，对该交通参与对象对应的初始特征循环多次执行如下步骤A-C，确定出该交通参与对象对应的中间预测特征；

针对每一交通参与对象，基于图神经网络将该交通参与对象对应的中间预测特征中各静态对象对应的中间预测特征进行融合，确定出该交通参与对象对应的轨迹预测特征，其中，所述静态对象包括所述当前地图信息中的各静态对象；

步骤A：从特征维度对该交通参与对象对应的待处理特征进行非线性映射，得到该交通参与对象对应的映射特征，其中，所述待处理特征为该交通参与对象对应的初始特征或前一次迭代生成的该交通参与对象对应的中间预测特征；

步骤B：从时间维度对所述映射特征进行特征聚合操作，得到该交通参与对象对应的聚合特征；

步骤C：将所述聚合特征与所述待处理特征中各历史时刻的特征进行融合。

在本发明的另一实施例中，所述第二确定模块430，被具体配置为针对每一交通参与对象，利用目标轨迹预测模型的特征提取层以及该交通参与对象对应的轨迹预测特征，确定该交通参与对象对应的隐随机变量单模态概率分布；

针对每一交通参与对象，利用规范化流映射算法以及该交通参与对象对应的隐随机变量单模态概率分布，得到该交通参与对象对应的隐随机变量多模态概率分布。

在本发明的另一实施例中，所述装置还包括：

训练模块(图中未示出)，被配置为在所述利用目标轨迹预测模型的特征提取层以及各交通参与对象对应的初始特征，确定各交通参与对象对应的轨迹预测特征之前，训练得到目标轨迹预测模型，其中，所述训练模块，被具体配置为

获得初始轨迹预测模型；

获得各样本交通对象对应的样本训练信息以及各样本交通对象对应的样本未来轨迹，其中，样本交通对象对应的样本训练信息包括：该样本交通对象的样本历史轨迹和样本运动属性信息、其对应的样本动态对象的样本历史轨迹、样本运动属性信息和样本静态对象信息；

针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的初始样本特征，确定该样本交通对象对应的样本预测特征，其中，该样本交通对象对应的初始样本特征包括：样本交通对象样本历史轨迹和样本运动属性信息，其对应的样本动态对象的样本历史轨迹、样本运动属性信息和样本静态对象信息；

针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的样本预测特征，确定该样本交通对象对应的隐随机变量多模态概率分布；

针对每一样本交通对象，利用所述初始轨迹预测模型的特征回归层、该样本交通对象对应的样本预测特征以及该样本交通对象对应的隐随机变量多模态概率分布，确定该样本交通对象对应的多模态预测轨迹；

针对每一样本交通对象，利用预设变分算法对该样本交通对象对应的样本未来轨迹进行变分处理，得到该样本交通对象对应的变分分布概率；

针对每一样本交通对象，利用该样本交通对象对应的隐随机变量多模态概率分布以及该样本交通对象对应的隐随机变量变分概率分布，确定该样本交通对象对应的隐随机变量KL散度值；

针对每一样本交通对象，利用该样本交通对象对应的多模态预测轨迹、隐随机变量变分概率分布以及该样本交通对象对应的样本未来轨迹，确定该样本交通对象对应的轨迹重构损失值；

针对每一样本交通对象，利用该样本交通对象对应的隐随机变量KL散度值、该样本交通对象对应的轨迹重构损失值，构建最大化似然函数的变分下界；判断所构建的最大化似然函数的变分下界是否达到最大化；

若所构建的最大化似然函数的变分下界未达到最大化，则调整所述初始轨迹预测模型的特征提取层与特征回归层的模型参数，并返回所述针对每一样本交通对象，利用所述初始轨迹预测模型的特征提取层以及该样本交通对象对应的初始样本特征，确定该样本交通对象对应的样本预测特征的步骤；

若所构建的最大化似然函数的变分下界达到最大化，确定所述初始轨迹预测模型收敛，得到包含特征提取层与特征回归层的所述目标轨迹预测模型。

在本发明的另一实施例中，所述第二确定模块430，被具体配置为针对每一交通参与对象，对交通参与对象对应的隐随机变量多模态概率分布进行采样，得到该交通参与对象对应的多个隐随机变量样本；

利用所述目标轨迹预测模型的特征回归层、各交通参与对象对应的轨迹预测特征以及各交通参与对象对应的多个隐随机变量样本，确定各交通参与对象对应的多模态预测轨迹。

上述系统、装置实施例与系统实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。