路口行人轨迹预测的方法及装置

技术领域

本申请涉及智慧城市领域，具体而言，涉及一种路口行人轨迹预测的方法及装置。

背景技术

行人轨迹预测是智慧城市的一个重要研究领域，它有利于城市出行规划、缓解交通拥堵和城市商业规划等方面。行人轨迹主要分为基于位置的社交网络(Location-BasedSocial Networks,LBSN)长期轨迹和连续位置的短期轨迹。LBSN是通过智能终端设备建立的以社会交互为目的网络，它是用户分享兴趣、爱好、状态和活动等信息的在线平台。LBSN为用户提供基于位置的服务，它允许用户在社交网络中共享各自的位置以及位置的详细信息。行人的长期轨迹预测任务是以行人的签到数据为基础，结合兴趣、爱好等隐式因素，挖掘这些数据潜在的模式和规律，进而预测未来行人位置可能会出现的情况。短期轨迹预测研究主要围绕行人短时间内连续的位置变化进行一系列的时空特征计算。车辆在道路中轨迹受道路分布和交通标志的限制，轨迹路线规律性较强能够使模型较为方便的计算时空的相互关系。然而，在现实生活中，行人的轨迹受周围行人及其附近静态障碍物的影响是复杂多变且受交通规则限制较小，这对行人短期轨迹预测提出了更大的挑战。

目前，对行人轨迹的预测的方法有基于DeepMove的预测方法、基于LSTPM(由一个用于计算长期偏好特征的非局部网络和一个改进的递归神经网络组成)的预测方法、还有基于ARNN(数据被划分为两种类型，本别被Attention layer和由LSTM组成的Recurrentlayer处理。Attention layer的输出是LSTM的输入之一)、AttenGAN(由LSTM组成的Encoder-Decoder结构之前增加了Attention机制)等的预测方法。在实际的进行行人轨迹的预测中，发明人发现，轨迹预测可以看作是序列生成任务，即基于过去的位置来预测未来轨迹。递归神经网络模型常用来学习人类的一般运动并预测其未来的轨迹。单纯递归神经网络因为无法处理随着递归，权重指数级爆炸或消失的问题(Vanishing gradientproblem)，难以捕捉长期时间关联，而结合不同的长短期记忆网络LSTM可以很好解决这个问题。递归神经网络可以描述动态时间行为，因为和前馈神经网络(feedforward neuralnetwork)接受较特定结构的输入不同，递归神经网络将状态在自身网络中循环传递，因此可以接受更广泛的时间序列结构输入，如图1所示。然而，递归神经网络有一个致命的问题：序列里面的每一个元素都和排在当前元素前面的所有元素直接相关，它的复杂度会随着计算过程爆炸性增长。

综上，现有的行人轨迹的预测方式还存在复杂性高的问题。

发明内容

本申请的主要目的在于提供一种路口行人轨迹预测的方法及装置，解决现有的行人轨迹的预测方式还存在复杂性高的问题。

为了实现上述目的，根据本申请的第一方面，提供了一种路口行人轨迹预测的方法。

根据本申请的路口行人轨迹预测的方法包括：

获取预设路口，预设时段内的行人轨迹数据，所述行人轨迹数据为经纬度位置数据，所述预设路口为至少两条路的交叉口；

对所述行人轨迹数据按照预设坐标系进行转换以及标准化处理得到行人轨迹序列，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的多条路的中心线确定X轴、Y轴；

将行人轨迹序列输入到预设轨迹预测模型中，得到行人轨迹预测结果，所述预测结果为未来时间段内行人在预设路口的行走方向，所述预设轨迹预测模型为根据预设路口的历史行人轨迹数据得到训练样本，并通过时间卷积神经网络训练得到的模型。

可选的，所述将行人轨迹序列输入到预设轨迹预测模型中，得到行人轨迹预测结果包括：

将所述行人轨迹序列进行矩阵转换、线性化处理以及卷积处理得到包含行人轨迹序列中每个节点特征以及节点之间的相关性特征的行人轨迹特征数据；

将行人轨迹特征数据以及距离辅助序列和时间辅助序列输入到时间卷积神经网络中，并经过线性化和归一化函数的处理后得到行人的行走方向。

可选的，所述对所述行人轨迹数据按照预设坐标系进行转换以及标准化处理得到行人轨迹序列包括：

对所述行人轨迹数据按照预设坐标系进行转换以及Z-Score标准化方法处理得到行人轨迹序列。

可选的，所述归一化函数为基于Log Softmax归一化函数。

可选的，所述方法还包括：

获取所述预设路口的历史行人轨迹数据；

基于所述历史行人轨迹数据以及时间卷积神经网络进行模型的训练，得到所述预设轨迹预测模型。

可选的，所述预设路口为十字路口，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的四条路的中心线为X和Y轴。

可选的，所述预设路口为非十字路口，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的某一条路的中心线为X轴或Y轴。

为了实现上述目的，根据本申请的第二方面，提供了另一种路口行人轨迹预测的装置。

根据本申请的路口行人轨迹预测的装置包括：

第一获取模块，用于获取预设路口，预设时段内的行人轨迹数据，所述行人轨迹数据为经纬度位置数据，所述预设路口为至少两条路的交叉口；

预处理模块，用于对所述行人轨迹数据按照预设坐标系进行转换以及标准化处理得到行人轨迹序列，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的多条路的中心线确定X轴、Y轴；

预测模块，用于将行人轨迹序列输入到预设轨迹预测模型中，得到行人轨迹预测结果，所述预测结果为未来时间段内行人在预设路口的行走方向，所述预设轨迹预测模型为根据预设路口的历史行人轨迹数据得到训练样本，并通过时间卷积神经网络训练得到的模型。

可选的，所述预测模块包括：

处理单元，用于将所述行人轨迹序列进行矩阵转换、线性化处理以及卷积处理得到包含行人轨迹序列中每个节点特征以及节点之间的相关性特征的行人轨迹特征数据；

预测单元，用于将行人轨迹特征数据以及距离辅助序列和时间辅助序列输入到时间卷积神经网络中，并经过线性化和归一化函数的处理后得到行人的行走方向。

可选的，所述预处理模块还用于：

对所述行人轨迹数据按照预设坐标系进行转换以及Z-Score标准化方法处理得到行人轨迹序列。

可选的，所述归一化函数为基于Log Softmax归一化函数。

可选的，所述装置还包括：

第二获取模块，用于获取所述预设路口的历史行人轨迹数据；

训练模块，用于基于所述历史行人轨迹数据以及时间卷积神经网络进行模型的训练，得到所述预设轨迹预测模型。

可选的，所述预设路口为十字路口，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的四条路的中心线为X和Y轴。

可选的，所述预设路口为非十字路口，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的某一条路的中心线为X轴或Y轴。

为了实现上述目的，根据本申请的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述第一方面中任意一项所述的路口行人轨迹预测的方法。

为了实现上述目的，根据本申请的第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述第一方面中任意一项所述的路口行人轨迹预测的方法。

在本申请实施例中，路口行人轨迹预测的方法及装置中，获取预设路口，预设时段内的行人轨迹数据，所述行人轨迹数据为经纬度位置数据，所述预设路口为至少两条路的交叉口；对所述行人轨迹数据按照预设坐标系进行转换以及标准化处理得到行人轨迹序列，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的多条路的中心线确定X轴、Y轴；将行人轨迹序列输入到预设轨迹预测模型中，得到行人轨迹预测结果，所述预测结果为未来时间段内行人在预设路口的行走方向，所述预设轨迹预测模型为根据预设路口的历史行人轨迹数据得到训练样本，并通过时间卷积神经网络训练得到的模型。可以看出，本申请实施例中根据行人轨迹来预测行人在路口的行走方向，将现有的数据回归模式(基于递归神经网络模式)转换为数据回归和分类融合的模式。具体的，在进行预测时，使用的预设轨迹预测模型为基于时间卷积神经网络训练得到的，该模型将轨迹数据、距离序列、时间序列等隐式因素进行了融合来实现多模态的数据预测任务，代替了传统的递归神经网络，可以减少时序计算的复杂性。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是现有的递归神经网络的序列中各元素之间的关系的示意图；

图2是根据本申请实施例提供的一种路口行人轨迹预测的方法流程图；

图3是根据本申请实施例提供的一种预设坐标系的示意图；

图4是根据本申请实施例提供的另一种预设坐标系的示意图；

图5是一种TCN架构中的因果卷积与空洞卷积示意图；

图6是根据本申请实施例提供的另一种路口行人轨迹预测的方法流程图；

图7是根据本申请实施例提供的多种方式预测结果的分布情况示意图；

图8是根据本申请实施例提供的各模型的ROC曲线示意图；

图9是根据本申请实施例提供的各模型训练过程的F1 Score指标变化示意图；

图10是根据本申请实施例提供的各模型的模型参数量的示意图；

图11是根据本申请实施例提供的一种路口行人轨迹预测的装置的组成框图；

图12是根据本申请实施例提供的另一种路口行人轨迹预测的装置的组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

首先需要说明的是，本申请实施例中的路口行人轨迹预测的方法可以根据行人当前时段内的轨迹，预设未来很短时间内的行走方向，这样预测方式应用在智慧交通中的，比如可以根据对行人行走方向的预测，为行人或者车辆进行提前的预警，减少事故的发生；另外，根据行人行走方向的预测还可以进行行人行走方向流量的预测，以此来调整红绿灯的时长，使交通更智能。

根据本申请实施例，提供了一种路口行人轨迹预测的方法，如图2所示，该方法包括如下的步骤：

S101.获取预设路口，预设时段内的行人轨迹数据。

其中，预设路口为至少两条路的交叉口，比如T型路口，三叉路口，十字路口等存在行走方向为多个方向的交叉路口。具体是几条路的交叉口，本申请实施例不作限制。不同的预设路口对应的模型会有一些区别，主要的区别在于数据预处理阶段，预设坐标系的选取不同，另外就是预测的结果不同(行走方向的类型不同)后续步骤中会对区别进行更详细的说明。

本申请实施例主要是针对短期行人轨迹的预测，因此预设时段为较短的时时间段，比如可以为20s，30s等。该预设时段与后续步骤中预设轨迹预测模型训练时训练数据的选取是保持一致的。即训练样本选取的是多长时段内的行人轨迹数据，那么进行预测时选取的行人轨迹也是多长时段的。

其中，行人轨迹数据为经纬度位置数据，可以通过定位设备获取到经纬度数据。

S102.对行人轨迹数据按照预设坐标系进行转换以及标准化处理得到行人轨迹序列。

在实际应用中，由于直接获取到的经纬度位置数据的精度比较差，无法满足短期对应的短距离的行人轨迹的预测，比如对于实际距离差7米的两个位置点，在经纬度位置数据中，可能精确到小数点后第7、8位才能显示出区别来，因此基于经纬度位置数据直接进行预测不准确，需要将这种微小的区别进行合适的放大后才更适合进行准确的预测。因此需要对获取的经纬度位置数据先进行预处理。

具体的，本实施例预处理的过程包括：对行人轨迹数据按照预设坐标系进行转换，并进行标准化。其中，预设坐标系为以路口的中心作为坐标系的原点，以路口对应的多条路的中心线确定X轴、Y轴。其中需要说明的是，不同类型的预设路口对应的坐标系的原点的确定方式是相同的，不同的X轴、Y轴的确定有所不同。具体的，如图3所示，若预设路口为十字路口，则以路口对应的四条路的中心线为X和Y轴。如图4所示，若预设路口为非十字路口，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的某一条路的中心线为X轴或Y轴。

基于预设坐标系对行人轨迹坐标进行转换，转换后得到两个序列{X}和{Y}，序列{X}是轨迹在坐标系中的横坐标集合，序列{Y}是轨迹在坐标系中的纵坐标集合。转换后再进行标准化的处理，具体的标准化处理的方式可以为Z-Score标准化方法，也可以为Min-Max and Decimal Scaling等标准化的方法，但是在实际的实验中，Z-Score标准化方法效果更佳。Z-Score标准化方法适用于数据的最大值和最小值未知的情况，或者有超出取值范围的离群数据的情况。与车辆的行驶方式不同，人的行为复杂多变，曲线行进或者寻找道路捷径的情况时有发生，因此Z-Score标准化方法适合行人轨迹预测的应用场景。

S103.将行人轨迹序列输入到预设轨迹预测模型中，得到行人轨迹预测结果，预测结果为未来时间段内行人在预设路口的行走方向。

其中，预设轨迹预测模型为根据预设路口的历史行人轨迹数据得到训练样本，并通过时间卷积神经网络提前训练得到的模型。不同类型的预设路口得到不同类型的预设轨迹预测模型。另外，不同的路口的行人轨迹情况可能也会存在较大的差异，因此，同样类型但是位置不同的预设路口也可以对应不同的预设轨迹预测模型。不同的模型的训练的原理是相同的，不同的是训练样本。

具体的，每一个训练样本包括预设时段内的行人轨迹数据、预设时段后行人的行走方向。对于行走方向，本实施例中给出的具体的标注方式，如图3所示，4条路对应的4个行走方向，行走方向是由行人在过路口后，最终的位置决定的，不同的路可以分别标记1、2、3、4。如果是三个行走方向则可以标记为1、2、3。在将训练样本输入到时间卷积神经网络训练进行训练之前，同样要进行步骤S102中的预处理过程，预处理后得到对应的行人轨迹序列，然后将该行人轨迹序列进行矩阵转换、线性化处理以及卷积处理得到包含行人轨迹序列中每个节点特征以及节点之间的相关性特征的行人轨迹特征数据；然后将行人轨迹特征数据以及距离辅助序列和时间辅助序列输入到时间卷积神经网络中，进行训练，最终得到输入为行人轨迹序列，输出为行人行走方向标记的预设轨迹预测模型。模型训练的过程与后续基于模型进行行走方向预测的过程是相同的，因此可以参看后续预测的过程，此处不再赘述。

需要说明的是，本申请实施例是通过时间卷积神经网络来代替传统的递归神经网络，时间卷积神经网络借助了卷积神经网络大规模并行处理的思想，它将多维矩阵映射到时间序列中，通过多层网络获得足够大的感受野，继而进行深度网络并行处理。如图5所示，是TCN架构中的因果卷积与空洞卷积，从图5中可以看到，获知每一层的值只依赖于上一层的历史值，这体现了因果卷积的特性。而每一层对上一层信息的提取是跳跃式的，且逐层空洞因子d以2的指数增长，体现了空洞卷积的特性。本申请实施例正是借鉴了对空间相关性和时间依赖性的计算模式，融合了多种隐式因素来增加数据的时空特征，减少时序计算的复杂性。

具体的“将行人轨迹序列输入到预设轨迹预测模型中，得到行人轨迹预测结果”包括以下步骤：

1)将所述行人轨迹序列进行矩阵转换、线性化处理以及卷积处理得到包含行人轨迹序列中每个节点特征以及节点之间的相关性特征的行人轨迹特征数据；

其中，将行人轨迹序列进行矩阵转换具体为通过concatenate将前述步骤中得到的标准化处理后的序列{X}和{Y}进行联接得到数据矩阵，然后再进行线性化处理，得到Conv1d的输入维度，局部连接使Conv1d能够提取数据的局部特征。卷积的过程就是在矩阵的每个局部区域做模板匹配。Conv1d的池化操作是一种下采样过程，不同特征之间的相对关系扮演了重要角色，它可以增加模型的泛化能力通过计算平移关系和控制过拟合。通过前述的矩阵转换、线性处理、卷积处理后就可以得到包含行人轨迹序列中每个节点特征以及节点之间的相关性特征的行人轨迹特征数据。

2)将行人轨迹特征数据以及距离辅助序列和时间辅助序列输入到时间卷积神经网络中，并经过线性化和归一化函数的处理后得到行人的行走方向。

距离辅助序列和时间辅助序列是由辅助因子Auxiliary Factors组成的序列，铺助因子是根据行人轨迹序列中首个节点与其他节点的差值计算得出，如公式1所示：

A

其中，A代表不同的辅助因子的序列，a

需要说明的是，公式1是给出辅助因子序列的生成方式，不同的辅助因子具体的计算方式需要适应性的调整。对于本申请中的距离辅助序列的计算公式就需要调整，具体的，不同节点之间的距离差值(距离辅助因子)可以按照下述公式2计算：

其中，d代表距离辅助因子的序列，d

另外，本申请中铺助因子还有时间辅助因子，具体的时间铺助序列中每个时间辅助因子的计算方式可以参照公式1的计算方式确定。

根据上述方式确定距离辅助序列和时间辅助序列后，将行人轨迹特征数据以及距离辅助序列和时间辅助序列输入到时间卷积神经网络中进行训练，具体的时间卷积神经网络中包含多个残差块Residual block，残差块通过shorcut connection连接使得数据更容易被优化。如果用一个非线性单元f(x,θ)逼近目标函数h(x),目标函数可以被拆分成恒等函数x和残差函数h(x)–x,根据通用近似定理，一个由神经网络构成的非线性单元由足够的能力近似逼近原始目标函数。因此，原始的问题就转化为了：让线性单元f(x,θ)去近似残差函数h(x)-x，并用f(x,θ)+x逼近h(x)。多层残差结构也被证实有利于深度神经网络的非线性化过程，而单层残差结构的性能表现并不理想。时间卷积神经网络中的残差块主要包含两个过程：因果卷积和空洞卷积。

因果卷积Causal Convolution的公式如公式3所示，其中{b

空洞卷积Dilated Convolution的公式如公式4所示，其中，d代表空洞因子，它会根据网络的深度按照2的指数变化，增大d或者K都可以增加感受野的范围。每一层t时刻的结果只能通过[0,t]即0到t时刻的数据进行计算，这体现了因果卷积的思想。各个时刻的结果是通过在前一层网络中按照空洞因子跳跃取值，这体现了空洞卷积的思想。

经过多层残差结构后，在经过线性化的处理Linearization，然后再记性规范化归一化的处理，具体的本实施例中是使用Log Softmax函数进行的，相比与传统的Softmax函数，Log Softmax在Softmax的基础上增加了一次Log操作，具体的如公式5所示。它不仅能够解决数据overflow和underflow的问题，而且能够加速运算速度和提高数据的稳定性。

其中，m

经过Log Softmax后，最终可以得到输出的结果，对于预设路口是十字路口的情况，每个行人轨迹的输出结果可以为1、2、3、4中的任意一种，然后根据1、2、3、4与路的对应关系，可以确定行人的行走方向。

另外，需要说明的是，在整个的预测过程中，实际是先根据行人轨迹先进行未来位置坐标的预测，未来位置的预测可以得到未来轨迹的预测，轨迹的预测可以确定最终行走方向。位置的预测相当于是一个中间结果，最终的结果是行走的方向。本申请实施例是将现有的数据回归模式转化为数据回归和分类融合性的模式。而且预设轨迹预测模型是一种深度时空模型，该模型将轨迹数据和距离差值，时间差值等隐式因素进行了融合来实现多模态的数据预测任务。其中利用卷积神经网络进行数据空间相关性特征计算(对应于前述中的卷积处理得到每个节点特征以及节点之间的相关性特征的行人轨迹特征数据)，利用时间卷积神经网络TCN来进行数据时间依赖性的计算。

从以上的描述中，可以看出，本申请实施例的路口行人轨迹预测的方法中，获取预设路口，预设时段内的行人轨迹数据，所述行人轨迹数据为经纬度位置数据，所述预设路口为至少两条路的交叉口；对所述行人轨迹数据按照预设坐标系进行转换以及标准化处理得到行人轨迹序列，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的多条路的中心线确定X轴、Y轴；将行人轨迹序列输入到预设轨迹预测模型中，得到行人轨迹预测结果，所述预测结果为未来时间段内行人在预设路口的行走方向，所述预设轨迹预测模型为根据预设路口的历史行人轨迹数据得到训练样本，并通过时间卷积神经网络训练得到的模型。可以看出，本申请实施例中根据行人轨迹来预测行人在路口的行走方向，将现有的数据回归模式(递归神经网络)转换为数据回归和分类融合的模式。具体的，在进行预测时，使用的预设轨迹预测模型为基于时间卷积神经网络训练得到的，该模型将轨迹数据、距离序列、时间序列等隐式因素进行了融合来实现多模态的数据预测任务，代替了传统的递归神经网络，可以减少时序计算的复杂性。

进一步的，本申请实施例还提供了另一种路口行人轨迹预测的方法，如图6所示，其中是以十字路口为例进行说明的，图6中输入数据为原始的得到的预设时段内的行人轨迹的经纬度位置数据，经过处理后得到行人轨迹序列trajectory Sequence，之后在经过Spatial Convh处理，其中包括对行人轨迹序列的矩阵转换(concatenate Sequence)、线性化处理(Linearization)以及卷积处理(Conv1d)，得到包含行人轨迹序列中每个节点特征以及节点之间的相关性特征的行人轨迹特征数据，然后与两个铺助序列(DistanceSequence、Time Sequence)同时输入到时间卷积神经网络(Temporal Conv)中进行训练，其中Temporal Conv中包括多层的残差结构，从Temporal Conv输出后再经过Linearization、Log Softmax，之后最终得到行走方向预测的结果，即“1、2、3、4”，每种结果都对应十字路口的一个行走方向。

进一步的，作为上述实施例的补充或细化，还包括如下内容：

为了验证本申请的预测方式的效果，与其他的多种现有的方式进行了对比分析，具体如下：

通过四种评估指标对本申请中的预测方式以及现有的基于其他模型的方式进行了性能的对比。具体的四种评估指标分别为Accuracy、Precision、Recall、F1 Score。其中，Accuracy是传统分类问题的评估指标，它代表了模型预测正确的结果占总样本的百分比；Precision表示在所有被预测正的样本的中，实际为正的样本的概率；Recall表示在实际为正的样本中，被预测为正样本的概率；Precision和Recall指标有时是此消彼长的，即精准率高了，召回率就下降，在一些场景下要兼顾精准率和召回率，最常见的方法就是F1Score。具体的下表为四种评估指标的计算方式：

其中，TP:模型将正类预测为正类的数量；FN:模型将正类预测为负类的数量；FP:模型将负类预测为正类的数量；TN:模型将负类预测为负类的数量。

确定评估指标后，对于同样的行人轨迹数据分别基于3种常用的递归神经网络(RNN、LSTM、GRU)，以及5种现有的行人预测特殊模型(五种模型的结构如下)，分别进行预测，结果如下表所示。

五种模型的结构：

·Fuzzy-LSTM:该模型设置了两个LSTM模块来分别计算轨迹的周期性和邻近性。两个LSTM模块输出最终被merge。

·Encoder-Decoder:该模型的主要思想是以递归神经网络为基础，模型将输入序列编码成一个固定长度的向量，然后将向量解码成输出序列。

·AttenGAN:该模型由LSTM组成的Encoder-Decoder结构之前增加了Attention机制。

·ARNN:数据被划分为两种类型，本别被Attention layer和由LSTM组成的Recurrent layer处理。Attention layer的输出是LSTM的输入之一。

DeepMove:轨迹数据首先通过multi-modal embedding layer，之后通过GRU和Attention机制计算轨迹特征。

从上述表中的结果，可以看出，本申请的方式相比较于现有的模型拥有最高的精度，在四种评估指标的比较中表现最好。与常用的递归神经网络(RNN,LSTM、GRU)相比，评估指标最大提升了84.08％。本申请方式与递归神经网络的比较结果证明了空间相关性与时间依赖性的结合相比只进行时间依赖性的计算模式能够显著提升模型的性能。与特殊的深度学习模型(Fuzzy-LSTM,Encoder-Decoder,AttenGAN,DeepMove)相比，评估指标最大提升了29.86％。本申请方式与其他特殊结构的模型的比较结果证明了卷积神经网络与TCN的结合在轨迹预测中的性能优势。在本申请方式中，增加TCN的网络层数能够能搞模型的精度。然而，层数的增加牺牲了训练的速度。在实际应用的场景中，模型的训练速度与精度的比例应该被综合考虑。

另外，还通过了预测结果的分布情况进行几种表现较好的模型的预测结果的比较，具体的，如图7所示，其中a代表ARNN,b代表DeepMove，c代表本申请方式)。从实验结果中，我们可以了解到三种模型对第四种类别的预测结果较好，这是因为在实际的数据集中第四种类别的数据量比其他类别多，样本特征丰富。即使在第一种类别的数据较少的情况下，本申请方式也表现出了良好的精度。这是因为本申请方式充分利用了轨迹的历史信息，所有的历史信息都参与了temporal convolution layer的计算过程，这个过程充分挖掘了行人起点到路口中心点的位置信息。

另外，为了更直观的展示本申请方式的准确性，通过ROC曲线，进行说明，ROC曲线越靠近左上角，模型的查全率就越高，即ROC曲线上的点是分类错误最少。为了比较不同模型的性能，将各个模型的ROC曲线绘制到同一坐标系中，如图8所示。本申请方式、DeepMove和ARNN具有明显的精度优势，时空模型的结构使得它们能够保留了空间的相关性和时间依赖性。本申请方式使用了动态变化的感受野和更长期的历史信息，所以它能更准确地捕捉行人轨迹各个节点之间的时空关系以及递归关系。

如前所述，TCN的空洞卷积机制和纯卷积结构强有力地提升了训练过程的模型收敛速度。现有的特殊的模型大部分是基于传统的递归网络设计而成，它们无法避免递归网络的单步计算模式。这些模型与本申请方式中模型训练过程的F1 Score指标变化如图9所示，从图9可以获知AttenGAN,ARNN和DeepMove在模型训练前期的性能变化较慢，并且在整个训练过程的结束阶段，模型的性能才到达最优。本申请方式中强大的模型收敛能力使得模型在训练的前期就能达到性能最优值，并且在整个模型训练阶段，模型没有出现过拟合现象。本申请方式的3层结构和5层结构的实验结果比较证明了在一定范围内，TCN网络层数的增加能够提升本申请方式中模型的性能和速度，并且不会影响高鲁棒性。

由于深度学习依靠神经网络中数以千万计的网络参数共同参与计算，存在网络结构复杂，运算量大，速度慢的缺点，并且很难移植到嵌入式设备中。随着网络模型层数越来越深，参数越来越多，减少他们的大小和计算损耗至关重要。本申请方式中的因果卷积机制在特征层面实现了历史信息的追溯和融合，它不像DeepMove只在数据层面对历史信息进行计算过程，这个过程导致了DeepMove拥有庞大参数量。本申请方式中的模型是一个轻量化的完全卷积模型。相较于其他特殊的行人预测模型，模型参数量最小，如图10所示。

最后，对本申请的路口行人轨迹预测的方法的有益效果进行总结：

1、将现有的数据回归模式转化为数据回归与分类融合性模式；

2、提出了一种深度时空模型，该模型将轨迹数据和距离差值，时间差值等隐式因素进行了融合来实现多模态的数据预测任务，减少时序计算的复杂性。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述方法实施例中路口行人轨迹预测的装置，如图11所示，该装置包括：

第一获取模块21，用于获取预设路口，预设时段内的行人轨迹数据，所述行人轨迹数据为经纬度位置数据，所述预设路口为至少两条路的交叉口；

预处理模块22，用于对所述行人轨迹数据按照预设坐标系进行转换以及标准化处理得到行人轨迹序列，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的多条路的中心线确定X轴、Y轴；

预测模块23，用于将行人轨迹序列输入到预设轨迹预测模型中，得到行人轨迹预测结果，所述预测结果为未来时间段内行人在预设路口的行走方向，所述预设轨迹预测模型为根据预设路口的历史行人轨迹数据得到训练样本，并通过时间卷积神经网络训练得到的模型。

从以上的描述中，可以看出，本申请实施例的路口行人轨迹预测的装置中，获取预设路口，预设时段内的行人轨迹数据，所述行人轨迹数据为经纬度位置数据，所述预设路口为至少两条路的交叉口；对所述行人轨迹数据按照预设坐标系进行转换以及标准化处理得到行人轨迹序列，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的多条路的中心线确定X轴、Y轴；将行人轨迹序列输入到预设轨迹预测模型中，得到行人轨迹预测结果，所述预测结果为未来时间段内行人在预设路口的行走方向，所述预设轨迹预测模型为根据预设路口的历史行人轨迹数据得到训练样本，并通过时间卷积神经网络训练得到的模型。可以看出，本申请实施例中根据行人轨迹来预测行人在路口的行走方向，将现有的数据回归模式(递归神经网络)转换为数据回归和分类融合的模式。具体的，在进行预测时，使用的预设轨迹预测模型为基于时间卷积神经网络训练得到的，该模型将轨迹数据、距离序列、时间序列等隐式因素进行了融合来实现多模态的数据预测任务，代替了传统的递归神经网络，可以减少时序计算的复杂性。

进一步的，如图12所示，所述预测模块23包括：

处理单元231，用于将所述行人轨迹序列进行矩阵转换、线性化处理以及卷积处理得到包含行人轨迹序列中每个节点特征以及节点之间的相关性特征的行人轨迹特征数据；

预测单元232，用于将行人轨迹特征数据以及距离辅助序列和时间辅助序列输入到时间卷积神经网络中，并经过线性化和归一化函数的处理后得到行人的行走方向。

进一步的，所述预处理模块22还用于：

对所述行人轨迹数据按照预设坐标系进行转换以及Z-Score标准化方法处理得到行人轨迹序列。

进一步的，所述归一化函数为基于Log Softmax归一化函数。

进一步的，如图12所示，所述装置还包括：

第二获取模块24，用于获取所述预设路口的历史行人轨迹数据；

训练模块25，用于基于所述历史行人轨迹数据以及时间卷积神经网络进行模型的训练，得到所述预设轨迹预测模型。

进一步的，所述预设路口为十字路口，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的四条路的中心线为X和Y轴。

进一步的，所述预设路口为非十字路口，所述预设坐标系为以路口的中心作为坐标系的原点，以路口对应的某一条路的中心线为X轴或Y轴。

具体的，本申请实施例的装置中各单元、模块实现其功能的具体过程可参见方法实施例中的相关描述，此处不再赘述。

根据本申请实施例，还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行上述方法实施例中的路口行人轨迹预测的方法。

根据本申请实施例，还提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行上述方法实施例中的路口行人轨迹预测的方法。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。