一种基于旋转等变卷积神经网络的行人轨迹预测方法

技术领域

本发明属于轨迹预测技术领域，尤其涉及一种基于旋转等变卷积神经网络的行人轨迹预测方法。

背景技术

轨迹预测是根据过去的行为和环境线索来预测行人或其他物体未来位置的任务，在自动驾驶、机器人导航、行人跟踪和人机交互等领域具有重要意义。然而，由于行人行为、交互以及场景动态的复杂性和不确定性，与基于规则分布数据的物理定律推断相比，行人轨迹预测是一项极具挑战性的任务。

近年来，随着深度学习的发展，从序列数据中提取特征并使用它们来预测未来吸引了许多领域的研究，如天气预测、交通预测和物理模拟等。相比于与用物理定律或特定规则进行推理相比，行人有着较高机动性的同时受到较少约束，且本身具有多模态的特性，这使得对行人轨迹进行预测具有很大挑战。

传统的工作使用确定性模型来预测行人轨迹确定性模型不能有效地捕捉这种多模态特性。在长期轨迹预测中，确定性模型的这种缺点变得更加明显。在最近的工作中，基于深度学习的行人轨迹预测方法取得了较好的结果，但当前模型仍存在预测不够鲁棒的缺陷。

发明内容

为解决上述问题，本发明提供了如下方案：

一种基于旋转等变卷积神经网络的行人轨迹预测方法，包括以下步骤：

获取鸟瞰视角下的地面RGB图像和行人历史轨迹数据；

对所述地面RGB图像和行人历史轨迹数据进行预处理，获得行人轨迹数据集，并将所述行人轨迹数据集划分为训练集和测试集；

将训练集中的地面RGB图像输入到语义分割网络中进行语义分割，获得地面语义分割图；

基于训练集中的行人历史轨迹数据获得历史轨迹热力图；

将所述地面语义分割图和历史轨迹热力图进行通道维度拼接处理，获得拼接图，将所述拼接图输入到编码器中通过旋转等变卷积模块对特征进行编码，提取特征并学习旋转等变性，获得编码特征；

将所述图像特征输入到目标点热力图解码器，输出目标点热力图；

将所述编码特征与目标点热力图进行特征融合，得到特征融合图，将所述特征融合图输入到未来轨迹预测解码器中，获得行人轨迹预测结果。

优选地，所述获取鸟瞰视角下的地面RGB图像和行人历史轨迹数据的方法包括：通过无人机拍摄鸟瞰视角下地面RGB图像和行人历史轨迹数据；所述地面RGB图像包括行人、道路、建筑、植被；行人历史轨迹数据包括行人坐标位置信息。

优选地，所述预处理的方法包括：将行人历史轨迹数据中的行人坐标位置信息与地面RGB图像进行匹配和对齐。

优选地，所述地面语义分割图通过U-Net语义分割网络得到，U-Net语义分割网络以动作类别对地面RGB图像进行分割，所述动作类别包括行走、站立、运行。

优选地，所述获得历史轨迹热力图的方法包括：通过行人历史轨迹数据和无人机拍摄地面背景图像空间位置建立对应的位置关系坐标；将无人机拍摄图像中的行人位置刻画在无人机拍摄地面RGB图像相同尺寸的图像中，获得行人历史轨迹图；通过热力图转换的方式获得历史轨迹热力图。

优选地，编码器的神经网络包括三个模组，其中第一个模组包括一个旋转等变卷积模块，第二个模组包括一个最大池化层和两个旋转等变卷积模块，第三个模组包括一个最大池化模块。

优选地，所述旋转等变卷积模块包括一个旋转等变卷积层和一个ReLU激活函数层；

基于ReLU激活函数得到大小相同的特征图。

优选地，所述目标点热力图解码器包括六个模组，其中第一个模组包括两个旋转等边卷积模块，第二个模组包括一个上采样卷积模块和两个旋转等变卷积模块，第三个模组包括一个上采样卷积模块和两个旋转等变卷积模块，第四个模组包括一个上采样卷积模块和两个旋转等变卷积模块，第五个模组包括一个上采样卷积模块和两个旋转等变卷积模块，第五个模组包括一个上采样卷积模块和一个预测模块。

优选地，所述上采样卷积模块包括一个上采样层和一个旋转等变卷积层，通过上采样卷积模块增大信息的空间分辨率；

所述预测模块包括一个旋转等变卷积层和一个Sigmoid层。

优选地，所述未来轨迹预测解码器与目标点热力图解码器网络结构相同。

与现有技术相比，本发明具有如下优点和技术效果：

本发明通过设计旋转等变卷积神经网络对未来行人轨迹进行预测，其模型训练时间更短，预测精度更高，能够实现鸟瞰视角下对行人进行短期、长期多模态未来轨迹预测；

本发明使用旋转等变卷积层不同于传统的经典卷积层，在模型训练的过程中能够学习行人运动的等变特征，在不增加额外参数的情况下提高模型预测精度和预测鲁棒性。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例的基于旋转等变卷积神经网络的行人轨迹预测方法示意图；

图2为本发明实施例的基于旋转等变卷积神经网络的行人轨迹预测方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-2所示，本实施例的基于旋转等变卷积神经网络的行人轨迹预测方法包括如下步骤：

S1：使用无人机拍摄方式获取鸟瞰视角下地面背景的RGB图像和行人历史轨迹数据；地面背景RGB图像包括行人、道路、建筑、植被等场景信息；行人历史轨迹数据包括坐标位置信息。

S2：对数据进行预处理，得到行人轨迹数据集，所得数据集分为训练集和测试集。

S3：将步骤S2中训练集中的鸟瞰视角下地面背景的RGB图像输入到语义分割网络中进行语义分割，得到地面语义分割图；

S4：将观察到的历史行人轨迹转化为历史轨迹热力图。首先将行人历史轨迹以与所在S2对应的无人机拍摄地面背景图像空间位置建立对应的位置关系坐标；将过去3.2秒内，连续8帧摄像机拍摄图像中的行人位置，刻画在无人机拍摄地面背景图像相同尺寸的图像中，获得的行人历史轨迹图；使用热力图转换的方式获得行人历史轨迹热力图。

S5：将步骤S3获得的地面语义分割图和步骤S4获得的历史轨迹热力图进行通道维度拼接，输入到编码器E

S6：将步骤S5中编码器E

S7：将步骤S5中编码器E

其中，步骤S5中使用的编码器E

进一步地，步骤S1中，

通过无人机拍摄等方式获取鸟瞰视角下地面RGB图像和行人历史轨迹数据；地面RGB图像包括行人、道路、建筑、植被等场景信息；行人历史轨迹数据包括坐标位置信息。

进一步地，步骤S3中，

将所得地面RGB图像输入到U-Net语义分割网络中，得到地面语义分割图，该语义分割图中包含N

进一步地，步骤S4中，

采用了一个场景热力图上的轨迹表示，通过在与地面图像相同的二维空间中以空间形式表示轨迹来解决对齐问题。

进一步地，步骤S5中，

编码器对输入信息进行特征提取，编码器中旋转等变卷积特征提取部分第一个模组由1个旋转等变卷积模块构成，其后依次为4个由1个最大池化层和2个旋转等变卷积模块组成的模组，最后一个模组由1个最大池化模块组成；上述模组构成了编码器的神经网络；

将地面语义分割图和历史轨迹热力图进行拼接，输入到编码器中，经由编码器得到包含等变信息的编码特征；编码器输出编码特征作为目标点热力图解码器和未来轨迹预测解码器的输入；

作为优选的，步骤S5中，

所述的旋转等变卷积模块是由1个旋转等变卷积层和1个ReLU激活函数层组成；旋转等变卷积层对隐藏信息进行编码，学习旋转等变性，其卷积核大小为3×3，步长为1，填充为1；旋转等变卷积模块在进行旋转等变卷积层后需通过ReLU激活函数得到大小相同的特征图；最大池化层窗口大小为2×2，步长为2；

进一步地，步骤S6中，

目标点热力图解码器的第一个模组由2个旋转等边卷积模块构成，其后4个模组依次由1个上采样卷积模块和2个旋转等变卷积模块构成，并在每组解码模块的第一个旋转等变卷积模块中将所得信息与编码器对应层信息进行拼接；解码器最后一个模组由1个上采样卷积模块、1个预测模块组成；

目标点热力图解码器输入编码器的编码特征输出，同时在每组解码模块的第一个旋转等变卷积模块与编码器中对应维度的信息进行特征融合；

上采样卷积模块的作用是使得信息的空间分辨率倍增，其由1个上采样层和1个旋转等变卷积层组成；

预测模块输出目标点分布，其由1个旋转等变卷积层和1个Sigmoid层组成；

旋转等变卷积层对隐藏信息进行解码，学习旋转等变性，其卷积核大小为3×3，步长为1，填充为1；

旋转等变卷积模块在进行旋转等变卷积层后需通过ReLU激活函数得到大小相同的特征图；

上采样层，其卷积核大小为3×3，步长为1，填充为1；

进一步地，步骤S7中，

未来轨迹预测解码器与目标点热力图解码器网络结构相同，其输入为编码器所得信息，且在每个上采样卷积模块中将所得信息与目标点热力图解码器中与编码器对应层信息进行拼接，并在预测模块输出预测的行人未来轨迹分布，最终生成未来轨迹预测结果。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。