一种交通流量预测装置、预测方法及预测模型构建方法

技术领域

本发明属于交通流量预测技术领域，更具体地说，涉及一种基于MCB和Attention双通道多模态融合的交通流量预测装置、预测方法及预测模型构建方法。

背景技术

交通是现代都市中最为重要的基础设施，它为数百万人提供了日常出行和出行服务。随着城市化进程的加快，人口的不断增加，道路交通的日趋完善，交通体系也日趋复杂，其中包括了公路交通、轨道交通、行人以及网约车、共享单车等多种共享交通工具。但是，随着城市化进程的加快，城市的发展也出现了许多与之相对应的问题，如空气污染、交通拥堵等。基于交通预测的早期干预被认为是改善交通系统效率、缓解交通拥堵问题的重要方法。随着智能化都市与智能化运输体系的发展，在公路上设置了诸如环形检测器之类的传感器可以感知交通状态，车载GPS系统可以不断的读取车辆位置信息以反馈交通状态，地铁、公交车等的交易记录，以及路况监测录像，甚至可以利用装有GPS的智能手机实现对行人的出行进行数据采集，实现对路况信息的间接反映。交通预测的主要过程是基于上述各类历史交通相关数据，结合环境因素(天气、节假日、POI等)来预测未来交通状态。

交通预测由于数据量大、高维、动态性强，以及交通事故等各种突发情况，因此具有非常大的挑战性。交通状况预测，既存在空间依赖，也存在时间依赖，会受到附近区域的影响，也会受到季节性的时间影响。传统的交通预测模型主要采用线性时间序列模型，如自回归综合移动平均模型(ARIMA)，无法处理这样的时空依赖问题。为解决线性时间序列模型存在的缺点，有相关研究引入了基于数据驱动的机器学习和深度学习技术。然而，现有方法虽然可以捕捉交通预测问题的时空依赖问题，但是交通预测仍不可避免地会受到各种因素的影响。

发明内容

1.要解决的问题

本发明的目的之一在于提供一种基于MCB和Attention双通道多模态融合的交通流量预测装置及预测方法，从而可以解决现有预测方法易受到各种因素影响的问题，提高了交通流量的预测精度。

本发明的目的之二在于提供一种交通流量预测模型的构建方法，从而可以对影响交通流量预测的各项因素进行多模态融合，以获得更高预测精度的交通流量预测模型。

2.技术方案

为了解决上述问题，本发明所采用的技术方案如下：

本发明的一种交通流量预测模型构建方法，包括以下步骤：

步骤一、构建交通流量的时空图，提取交通流量的时空图特征，并生成时空图表示向量；

步骤二、以路网、车辆轨迹以及传感器位置数据构建图片序列，对图片序列进行特征提取，获取图片序列的视觉表示向量；

步骤三、对天气因素特征进行提取，形成天气因素的向量化表示；

步骤四、采用MCB和Attention双通道多模态融合模型对时空图表示向量与图片序列的视觉表示向量进行融合，得到图结构与视觉特征对齐的融合向量，最终拼接天气因素向量，从而得到交通流量的预测模型。

针对现有交通流量预测方法存在的易受到各种因素的影响，从而导致预测精度较低的不足，本发明对影响交通流量预测的各项因素进行多模态融合，即将交通流量的时空图表示向量、图片序列的视觉表示向量以及天气因素向量进行融合、拼接，从而可以有效提高交通流量预测模型的预测精度。

更进一步的，步骤一中构建交通流量的时空图时，根据交通流量传感器的相关数据，分别构建n个不同时刻的空间图；对于n个时刻的空间图，在相邻的时间步上将所有节点与其自身连接起来作为传感器节点之间的时间边，从而得到传感器对于n个时刻的全局时空图；传感器节点的空间边权值

上式中，d

传感器节点的时间边权值

上式中，N是传感器个数，

更进一步的，步骤一中采用改进的STSGCN对空间图结构进行特征提取，具体包括基于滑动窗口的时空图序列化和基于权值融合的STSGCM局部特征提取，其中：

(1)基于滑动窗口的时空图序列化

采用滑动窗口结合序列填补的方式对全局时空图进行序列化分割，得到一系列局部时空图；

(2)基于权值融合的STSGCM局部特征提取

基于STSGCM对分割的时空图序列分别进行特征提取，得到对应的时空图特征序列；然后基于权值对各时空图序列的特征分别进行融合，最终得到输出向量序列，即时空图表示向量。

更进一步的，对全局时空图进行序列化分割时，采用窗口大小为3，步长为1的滑动窗口对时间方向进行序列化分割，同时对构建的全局时空图添加t

更进一步的，基于STSGCM对分割的时空图序列进行特征提取时，STSGCM运算的具体公式如公式(6)、公式(7)所示:

H

H

其中，A′表示时间步为3的局部时空图的邻接矩阵，H

更进一步的，基于权值对时空图序列的特征进行融合的具体操作如下公式所示：

其中，

对所有的局部时空图序列进行特征提取后，最终得到输出向量序列

更进一步的，步骤三中采用基于时间衰减的天气因素提取算法来提取天气相关因素，具体过程如下：

(1)在模型训练阶段，根据历史降雨、气温、气压、风速的气象数据构建4个天气因素的时序特征向量作为模型输入数据；

(2)在模型预测阶段，选取未来一定时间间隔的天气预报数据作为初始数据，并采用基于多项式的方法来修正天气预报数据以作为模型预测时的天气因素输入数据，具体计算过程如公式(11)所示：

其中，

更进一步的，步骤四的具体过程如下：

(1)采用MCB算法对时空图的特征向量序列以及路网和轨迹的视觉向量序列进行融合，得到融合结果向量

(2)采用跨模态注意力机制对时空图的特征向量序列以及路网和轨迹的视觉向量序列进行融合，得到基于注意力机制的融合向量

(3)将

其中，W

本发明的一种交通流量预测方法，包括以下步骤：

步骤一、获取数据

获取交通流量传感器的相关数据、路网和车辆GPS轨迹信息以及天气环境因素信息；

步骤二、根据步骤一获取的数据，按照权利要求1-7中任一项所述的方法构建得到交通流量的预测模型；

步骤三、根据构建的预测模型对下一时刻的交通流量进行预测。

本发明的交通流量预测装置，包括：

时空图表示向量构建模块，用于根据交通流量传感器的相关数据构建交通流量的时空图，提取交通流量的时空图特征，并生成时空图表示向量；

图片序列的视觉表示向量构建模块，用于基于路网数据生成不同时刻的路网和轨迹图片序列，并对生成的路网和轨迹图片序列进行特征提取，获取视觉特征表示向量序列；

天气因素的向量化表示构建模块，用于对天气因素特征进行提取，形成天气因素的向量化表示；

以及融合模块，用于基于MCB和Attention的双通道融合模型对生成的时空图表示向量、视觉特征表示向量序列以及天气因素的向量化表示进行融合，以形成交通流量的预测模型，对下一时刻的交通流量进行预测。

3.有益效果

相比于现有技术，本发明的有益效果为：

(1)本发明的一种交通流量预测模型构建方法，基于MCB和Attention的多模态融合模型，将时空图的图结构特征和路网轨迹视觉特征进行融合，并将天气特性与融合特征进行拼接，从而可以构建得到预测精度更高的交通流量预测模型，尽可能地减少其他因素对预测结果的影响。

(2)本发明的一种交通流量预测模型构建方法，在传统时序预测模型的基础上，基于交通传感器的时序数据，利用车辆车速的时间-空间矩阵转换法来构造交通流量时空图，并对STSGCN加以改进，从而形成weighted-STSGCN模型，利用padding、权值融合的方法，从而能够高效地提取出交通流时空图的结构特性，且使得融合结果的节点特征信息更加全面。

(3)本发明的一种交通流量预测模型构建方法，将路网和车辆GPS轨迹信息进行关联，生成路网和轨迹图片，并采用ResNet提取图片特征，可以有效的将路网和轨迹信息转换为视觉特征，从而有利于提升预测模型的效果；同时本发明还考虑了天气环境因素的影响，对天气因素特征进行提取，形成天气因素的向量化表示，从而有利于进一步提升预测模型的效果。

附图说明

图1为本发明的交通流量预测方法的整体流程图；

图2为本发明的交通流量的时空图特征提取流程图；

图3为本发明的路网和轨迹的视觉特征提取流程图；

图4为本发明的交通流量预测模型的整体结构图。

具体实施方式

下面结合具体实施例对本发明进一步进行描述。

实施例

结合图1，本实施例采用基于MCB和Attention双通道多模态融合模型对交通流量的时空图特征和轨迹路网视觉特征进行融合，并结合天气环境因素实现对未来交通流量预测模型的构建以及交通流量的预测，具体步骤如下：

步骤一：交通流量的时空图特征提取

交通流量的时空图特征提取包括交通流量的时空图构建、交通流量的时空图编码以及基于GCN(Graph Convolutional Network)的时空图特征提取三个部分。如图2所示，主要包括以下步骤：

1、交通流量的时空图构建

根据交通流量传感器的相关数据构建交通流量时空图，对于t

传感器节点的空间边权值

其中，d

传感器节点的时间边权值

/>

其中，N是传感器个数，

2、交通流量的时空图编码

在时空网络序列中加入时空嵌入，使模型同时考虑时空信息，可以增强时空相关性。对于构建的时空网络序列

其中，T

3、基于weighted-STSGCN的时空图特征提取

为了提取交通流量时空图特征，本实施例采用改进的STSGCN(称之为weighted-STSGCN)对空间图结构进行特征提取。整体主要包括基于滑动窗口的时空图序列化和基于权值融合的STSGCM局部特征提取两个部分：

(1)基于滑动窗口的时空图序列化

基于STSGCN的模型结构，需要对交通流量全局时空图进行序列化分割，本实施例采用滑动窗口结合序列填补(padding)的方式对全局时空图进行序列化分割，得到一系列局部时空图。具体的，采用窗口大小为3，步长为1的滑动窗口对时间方向进行序列化分割，同时对构建的全局时空图添加t

(2)基于权值融合的STSGCM局部特征提取

基于权值融合的STSGCM局部特征提取主要包含基于STSGCM的局部时空图特征提取和基于权值的特征融合两个部分，具体过程如下：

a)基于STSGCM的局部时空图特征提取

STSGCM由一组图卷积(GCN)运算模块组成，每个GCN模块对分割的时空图序列分别进行特征提取，得到对应的时空图特征序列。GCN运算可以将每个节点的特征与其相邻节点进行聚合，其输入是局部时空图的图邻接矩阵，以实现每个节点在相邻的时间步长上聚合自己和相邻节点的特征。STSGCM运算的具体公式如(6)-(7)所示：

H

H

其中，A′表示时间步为3的局部时空图的邻接矩阵，H

b)基于权值的特征融合

基于权值融合过程可以利用前一个时间步和下一个时间步中节点的所有特征，从而使得融合结果的节点特征信息更加全面，在包含局部的时空相关性的同时消除了特征冗余信息。具体操作过程如公式(8)所示：

其中，

对所有的局部时空图序列进行特征提取后，最终得到输出向量序列

步骤二：路网和轨迹的视觉特征提取

为了提升预测模型的性能，本实施例将路网和车辆GPS轨迹信息进行关联，以构建视觉特征来提升模型效果，具体包含路网和轨迹图片序列生成、基于路网和轨迹图片序列的视觉特征提取，整体流程如图3所示，主要步骤如下：

1、路网和轨迹图片序列生成

基于路网数据(包含高速公路、城市快速路、城市主干道、城市次干道、城市支路、乡村道路、自行车道、人行道路、内部道路、其他共10种道路数据)，使用相关软件(如ArcGIS)对路网数据进行可视化得到路网可视化图，并将传感器位置标注到可视化路网图上。根据出租车、公共汽车、自行车、行人等带时间戳的经纬度数据，统计任意两个传感器之间路网上在T

其中，

以计算得到的占比结果作为影响指数，并根据影响指数的大小在传感器之间构建不同颜色深度的路网轨迹，并将结果标注到可视化路网图上，最终生成不同时刻的路网和轨迹图片序列

2、基于路网和轨迹图片序列的视觉特征提取

对于生成的路网和轨迹图片序列

步骤三：天气因素特征向量化

为了进一步提升预测模型的性能，在获取图结构特征和视觉特征后，本实施例考虑了天气环境因素(降雨、气温、气压、风速等)的影响，对天气因素特征进行提取，形成天气因素的向量化表示。在预测阶段，由于未来天气是未知的，从而使得模型只能使用相关的天气预报数据来进行预测，这会导致天气预报的准确性会影响预测模型的准确性。同时，天气预报的准确性也会随时间衰减，因此本实施例采用了基于时间衰减的天气因素提取算法来提取天气相关因素。天气因素提取具体过程如下：

在模型训练阶段，根据历史降雨、气温、气压、风速的气象数据构建4个天气因素的时序特征向量作为模型输入数据。

在模型预测阶段，选取未来一定时间间隔的天气预报数据(降雨、气温、气压、风速)作为初始数据，并采用基于多项式的方法来修正天气预报数据以作为模型预测时的天气因素输入数据，具体计算过程如公式(11)所示：

其中，

步骤四：多模态融合的交通流量预测模型

完成步骤一、步骤二和步骤三的三种模态特征提取之后，使用基于MCB和Attention的双通道融合模型来融合图结构和视觉的多模态特征，并结合天气因素特征，对未来的交通流量进行预测，整体模型结构如图4所示，具体分为以下几个步骤：

1、基于MCB的多模态融合

对于时空图的特征向量序列

a.分别将时空图向量序列和视觉向量序列进行拼接，并使用全连接网络对拼接后的向量进行维度变换，得到维度一致的表示向量V

b.使用Count Sketch映射函数分别对V

c.对向量

2、基于跨模态Attention机制的多模态融合

对于时空图向量序列和视觉向量序列，本实施例同时采用跨模态注意力机制进行融合，以得到基于注意力机制的融合向量，具体操作过程如下：

a.同样将时空图向量序列和视觉向量序列进行拼接、维度变换，得到维度一致的表示向量V

b.基于Attention机制对两种模态的表示向量V

/>

其中，W

3、融合多模态数据的交通流量预测

将基于MCB的时空图与路网轨迹图多模态融合结果向量

其中，W

综上，与已有的方法相比较，本发明提出一种利用车辆车速的时间-空间矩阵转换法来构造具有权值的交通流时空图，并对STSGCN加以改进，从而形成weighted-STSGCN模型，利用padding、权值融合的方法，能够高效地提取出交通流时空图的结构特性；同时，本发明还给出了一种基于路网与车流相结合的图像序列生成方法，可以有效的将路网和轨迹信息转换为视觉特征。基于上述特征，本发明提出了基于MCB和Attention的多模态融合模型，将时空图的图结构特征和路网轨迹视觉特征进行融合，并将气象特性与融合特征进行拼接，从而达到高准确率的交通流预测。