一种交通异常流量因果检测方法及设备

技术领域

本发明涉及智慧交通技术领域，特别是涉及一种交通异常流量因果检测方法及设备。

背景技术

交通出行是智慧城市发展建设中的一个核心部分。智慧出行作为创新型的出行方式，利用人工智能、物联网、空间感知、大数据、云计算等先进的技术融合，并以此对城市交通的管理、交通运输以及人们出行等交通领域进行全方位和交通建设管理整个流程进行管控支撑。这能让交通出行系统在地区、城市甚至更宽广的空间范围内具有物联、感知、互联、监控、预警、防控等出色的能力。在保障交通出行的安全以及提升交通出行的高效率与综合管理能力的提升方面都发挥出巨大的作用。交通被认为是物联网所有应用场景中最有前景的应用之一。

而随着城市化的发展，交通问题越来越严重，使得传统的解决方案已无法满足新的交通问题，因此智能交通应运而生。智能交通指的是利用先进的信息技术、数据传输技术以及计算机处理技术等有效的集成到交通运输管理体系中，使人、车和路能够紧密的配合，改善交通运输环境来提高资源利用率等。

其中，异常检测分析可以解决交通、公共安全、预防犯罪、高效资源利用等一些城市规模问题，改善大型公共和私人空间的用户体验。异常值检测又称异常检测，是指检测明显偏离大多数数据实例的数据。其在如风险管理、合规性、安全、财务监督、健康和医疗风险以及人工智能等领域的需求和应用的日益增长，异常值检测在这些领域起到了越来越重要的作用。

而包括 GPS和 WIFI 在内的定位技术的日益普及推广产生了大量的时空数据，这些数据的一种主要形式即是轨迹数据形式的时空数据。由大量运动物体所产生的轨迹数据的异常模式通常能够反映交通道路网络上的异常交通流量模式，这可能是由庆祝活动、大型商业促销、临时的交通管制，特殊的大型体育赛事等非周期性事件引起的，也可能是由于交通道路一定程度上的不合理规划所导致的周期性的交通拥堵。因此从轨迹数据中检测异常值有助于管理者及时感知异常事件，并降低它们对交通流所造成的异常影响。

对于目前的异常值检测技术，其检测方法包括主成分分析（PCA）及其变体、DPMM（DirichletProcess Mixture Model，狄利克雷过程混合模型）和深度神经网络模型。其中主成分分析及其变体被广泛应用于从空间和时间数据中检测异常值，而DPMM更多专注于交通数据中的异常指检测的研究。同时，由于深度神经网络模型强大的学习能力，也有研究人员将其用于异常值检测的领域。

主成分分析（PCA）及其变体是较流行数据降维及异常检测方法。主成分分析的主要思想是使用正交变换将线性相关数据转换为线性不相关数据。PCA被应用于链路时间矩阵，该矩阵在时间窗口中显示不同道路上的交通量，以检测异常交通行为的根本原因。

DPMM可以用来推导城市交通流数据中的异常值。首先，将所有流量值的集合投影到n 维空间中。然后，通过主成分分析（PCA）将数据的维数减少到二维空间。然后，根据中餐馆过程（Chinese restaurant process），将流量值聚类为多个类。每个流量值以与数量参数α成比例的概率分配给一个新簇，否则，它将分配给先前创建的簇。之后，属于具有最大元素数的集群的所有流量值被视为内部值，其余的流量值被视为离群值即异常值。

深度神经网络用于异常值检测的方法如下：研究人员训练了三个独立的自动编码器网络，用以学习视频异常检测的三个不同的特征：外观、运动和外观-运动联合特征。一个由三个支持向量机集成的分类器在每个学习到的特征表示上进行独立训练，以执行异常评分。首先，使用线性支持向量机（Linear SVM）对深层神经网络产生的高维原数据的低维特征表示进行异常值检测。进一步优化后，使用无监督分类的方法代替SVM（SupportVectorMachine），以在投影空间中实现异常评分。在这项技术中，他们首先对基于卷积的自动编码器产生的视频帧的低维特征进行聚类，然后将聚类标签作为伪标签进行分类。分类概率用于计算每帧的异常分数。

对于因果关系检验技术，传统的分析检验因果关系方法是控制变量实验，例如A/B检测被广泛用于产业。A/B测试是一种传统的因果分析检验方法，它把各组变量随机分配到特定的单变量处理水平，再把一个或多个测试组的表现与控制组相比较，最后进行测试。

当上述的方法存在以下缺点：

缺点1：在异常值检测方面，主成分分析（PCA）的结果对高度依赖数据的参数设置非常敏感。在某些情况下，极端异常值会过来会影响PCA的计算，导致异常值的误报和漏报。同时，上述技术中缺少对异常值的因果检验以及随时间变化的传递性。

缺点2：目前的时空因果检测方法，有些专注于发掘异常情况下的因果关系，有些尝试从数据中挖掘总体交通道路之间的因果关系，但是没有区分常态与异常情况下的不同条件的道路因果图。

缺点3：在因果关系检验方面，传统的A/B测试需要获得同一用户或样本对于不同变量条件下的不同的测试反馈来确定变量之间的因果关系。而由于在实践中，获得同一样本不同条件下的数据是十分困难的，以交通数据为例，通常只能获得某一时刻某区域流出和流入的流量大小，而无法获得同一时刻若干区域的流出的流量变大或变小对其他区域流量的影响。同时，因果检验关系并简单的相关性，而是一种更强烈的关联关系，因此A/B检测的可靠性再应用中往往受限。

发明内容

本发明所要解决的技术问题是：一种交通异常流量因果检测方法及设备，通过建立更精确的因果关系图，能够更好理解当前的道路交通模式并做出更及时的应对策略；

为了解决上述技术问题，本发明采用的技术方案为：

一种交通异常流量因果检测方法，包括步骤：

将城市区域进行区域分割，得到城市区域节点图；

获取流量数据，根据所述城市区域节点图以及流量数据构建节点与节点之间的链接；

计算所有所述链接的距离值，并根据所述距离值得到时空异常值；

根据异常因果树算法判断所述时空异常值之间的关系，得到异常因果图；

根据所述流量城市区域节点图以及流量数据判断节点与节点之间的关系，得到常态因果图。

为了解决上述技术问题，本发明采用的另一技术方案为：

一种交通异常流量因果检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种交通异常流量因果检测方法中的各个步骤。

本发明的有益效果在于：通过将城市区域进行区域分割得到城市区域节点图后，根据获取到的城市流量数据在节点与节点之间创建链接，通过链接实现城市区域流量变化对城市其他区域流量变化的监控，并通过计算链接的距离值得到时空异常值，从而通过异常因果树算法对时空异常值进行计算得到异常因果图，以及结合流量正常状态下的常态因果图，将常态与异常情况的下流量区分，能够捕捉到由于时空异常值所导致的交通流量的异常变化特征，实现对异常值的因果检验以及随时间变化的传递性，揭示了不同城市区域以及道路之间潜在的相互作用，促进对城市交通状态的有效感知并有利于更精准的决策。

附图说明

图1为本发明实施例中的一种交通异常流量因果检测方法的步骤流程图；

图2为本发明实施例中的一种交通异常流量因果检测方法的逻辑结构示意图；

图3为本发明实施例中的一种交通异常流量因果检测设备的结构示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种交通异常流量因果检测方法，包括步骤：

将城市区域进行区域分割，得到城市区域节点图；

获取流量数据，根据所述城市区域节点图以及流量数据构建节点与节点之间的链接；

计算所有所述链接的距离值，并根据所述距离值得到时空异常值；

根据异常因果树算法判断所述时空异常值之间的关系，得到异常因果图；

根据所述流量城市区域节点图以及流量数据判断节点与节点之间的关系，得到常态因果图。

有上述描述可知，本发明的有益效果在于：通过将城市区域进行区域分割得到城市区域节点图后，根据获取到的城市流量数据在节点与节点之间创建链接，通过链接实现城市区域流量变化对城市其他区域流量变化的监控，并通过计算链接的距离值得到时空异常值，从而通过异常因果树算法对时空异常值进行计算得到异常因果图，以及结合流量正常状态下的常态因果图，将常态与异常情况的下流量区分，能够捕捉到由于时空异常值所导致的交通流量的异常变化特征，实现对异常值的因果检验以及随时间变化的传递性，揭示了不同城市区域以及道路之间潜在的相互作用，促进对城市交通状态的有效感知并有利于更精准的决策。

进一步地，所述将城市区域进行区域分割，得到城市区域节点图包括：

采用正六边形对城市区域进行分割，得到所述城市区域节点图；

每一所述节点表示一个区域；

所述节点之间的连线表示区域与区域之间的流量。

由上述描述可知，采用蜂窝六边形将城市区域划分为多个区域构建区域图，并通过图中的节点表示对应的分割区域，以及通过六边形的边表示两个区域之间的流量，从而能够精确的描述城市区域中各个节点的流量变化以及节点与节点之间的流量变化。

进一步地，所述根据所述城市区域节点图以及流量数据构建节点与节点之间的链接包括：

根据所述流量数据判断节点与节点之间是否存在流量交互，若是，则在存在流量交互两组节点之间建立链接。

由上述描述可知，当两个节点之间存在流量交互时，表明两个节点之间存在交互关系，通过在存在交互关系的节点之间建立链接，从而提高了节点之间的关联性。

进一步地，所述计算所有所述链接的距离值，并根据所述距离值得到时空异常值包括：

计算所有所述链接的距离特征值，并根据所述距离特征值得到时间异常值；

计算所有不同所述链接之间的距离，并根据所述链接之间的距离得到空间异常值；

根据所述时间异常值与所述空间异常值的交集得到所述时空异常值。

由上述描述可知，通过分别根据链接的距离值得到时间异常值，以及根据链接之间的距离得到空间异常值，最终将同时满足时间异常值和空间异常值的数据筛选出，得到时空异常值，能够准确的筛选中流量数据中的异常值。

进一步地，所述计算所有所述链接的距离特征值，并根据所述距离特征值得到时间异常值包括：

计算每一所述链接中所有时间帧对于其他任意时间帧之间的流量距离的平均值，得到每一时间帧相对其他时间帧的距离平均值；

从所有所述距离平均值中筛选出极值，将所述极值作为所述时间异常值。

由上述描述可知，通过计算每一链接在不同时间帧上的流量之间的距离的平均值，从而能够筛选出每一链接中存在异常流量数据的时间帧，得到每一链接对应的时间异常值。

进一步地，所述计算所有不同所述链接之间的距离，并根据所述链接之间的距离得到空间异常值包括：

在相同时间帧下计算任意两组所述链接之间的流量距离值，得到每一时间帧下每一所述链接与其他所有所述链接之间的流量距离值；

从所有所述流量距离值中筛选出极值，将所述极值作为所述空间异常值。

由上述描述可知，通过计算每一链接与其他连接在同一天的相同时间帧内对应的距离，从而能够将与其他连接距离较远的链接筛选出，即该链接相对于其他链接存在空间异常，得到精确的空间异常值。

进一步地，所述从所有所述流量距离值中筛选出极值，将所述极值作为所述空间异常值包括：

对所有所述流量距离值进行归一化；

对归一化的所述流量距离值中筛选出极值，将所述极值作为所述空间异常值。

由上述描述可知，通过先对流量距离值进行归一化后再进行筛选，能够消除不同区域之间数值大小不同的影响，提高筛选精度。

进一步地，所述根据所述流量城市区域节点图以及流量数据判断节点与节点之间的关系，得到常态因果图包括：

对每一所述节点的输入流量以及输出流量进行聚合，得到流量时间序列；

通过特征提取以及差分处理所述流量时间序列，得到平稳流量序列；

对所述平稳流量序列进行格兰杰因果检验，得到所述节点与节点之间的关系，并得到所述常态因果图。

由上述描述可知，通过对每一节点的输入流量以及输出流量进行聚合，并对聚合得到的流量时间序列进行特征提取和差分处理，从而能够消除流量时间序列的周期性，进而得到平稳流量序列，更有利于进行格兰杰因果检验，提高检验结果有效性。

进一步地，所述通过特征提取以及差分处理所述流量时间序列，得到平稳流量序列包括：

采用非负矩阵分解法对所述流量时间序列进行特征提取；

通过所述流量数据对所述非负矩阵分解的拟合结合进行所述差分处理，得到所述平稳流量序列。

由上述描述可知，通过采用非负矩阵分解法对流量时间序列进行特征提取，能够仅允许流量时间序列在其内部的相加组合，起到隐藏特征的效果，更适用于对交通流量数据的处理，从而提高数据处理效果。

请参照图3，本发明另一实施例提供了一种交通异常流量因果检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的一种交通异常流量因果检测方法中的各个步骤。并将由上述的一种交通异常流量因果检测方法得到的结果图可视化。

本发明上述一种交通异常流量因果检测方法及设备能够适用于城市智慧交通场景，通过建立精确的因果关系图，能够更好理解当前的道路交通模式并做出更及时的应对策略，以下通过具体实施方式进行说明：

实施例一

请参照图1和图2，一种交通异常流量因果检测方法，包括步骤：

S1、将城市区域进行区域分割，得到城市区域节点图；

网格系统对于分析大型空间数据集、将城市区域划分为可识别的网格单元至关重要，本实施例中采用蜂窝六边形对城市区域进行分割，得到所述城市区域节点图；并根据轨迹数据构建一个区域图，其中所述区域图中的每一所述节点表示一个区域；所述节点之间的连线表示区域与区域之间的流量；

S2、获取流量数据，根据所述城市区域节点图以及流量数据构建节点与节点之间的链接；具体的，根据所述流量数据判断节点与节点之间是否存在流量交互，若是，则在存在流量交互两组节点之间建立链接；如所述流量数据为出租车订单轨迹数据；所述轨迹数据包括出租车订单编号、时间戳、经度和纬度四个特征；以同一出租车的同一订单编号按照时间戳顺序进行排序，便得到出租车行驶轨迹；对于出租车的两条轨迹数据，如果两条轨迹数据时间连续（即时间戳连续）且空间连续（即经纬度连续），即出租车从一个区域移动到相邻的一个区域时，认为两个区域间产生了流量的交互；对于两条连续的轨迹数据，如果它们分别属于两个不同的区域，则认为此时这两个区域间存在一条链接；即从一个划分的区域到下一个区域即为一条所述链接，所述链接带有方向性；

通过扫描整个轨迹数据集，将每一所述轨迹数据转换为区域对之间的一系列所述链接；如果两个区域之间产生了流量的交互，则通过所述链接连接这两个区域，其中链接=（总流量，流量出度，流量入度）；即一个所述链接是一个包含了三个维度信息的向量；其中，总流量的定义为所述链接上的流量总数，即在某个时间段内经过两个区域的车辆总数；流量出度，即某时间段内经该条链接流出的流量占从该区域内总流量的比例；流量入度，即某时间段内经该条链接流入的流量占从该区域内的总流量的比例；

S3、计算所有所述链接的距离值，并根据所述距离值得到时空异常值；具体的，将距离值中的将异常值定义为所述时空异常值，只有在时间和空间上都存在异常的异常值才认为是时空异常值；

S31、计算所有所述链接的距离特征值，并根据所述距离特征值得到时间异常值；

S311、计算每一所述链接中所有时间帧对于其他任意时间帧之间的流量距离的平均值，得到每一时间帧相对其他时间帧的距离平均值，即得到所述链接的距离特征值；在一可选的实施方式中，采用欧氏距离进行上述计算，即通过上述计算能够获取如在不同日期的同一时间或不同周的同一天等与时间相关的数据，能够观察到类似行为的特殊交通数据模式；如对于链接L1，其在不同的时间帧{t1,t2,t3,t4...}上会有不同的流量属性{(flow1,in1,out1)、(flow2,in2,out2)、(flow3,in3,out3)、(flow4,in4,out4)...}，其中，flow1、in1和out1分别表示链接定义中的总流量、流量出度以及流量入度；通过如下公式计算任意两个时间帧之间的距离：

；

即t1t2、t1t3、t1t4...、t2t1、t2t3、t2t4、...、t3t1、t3t2、t3t4...；对于t1时间帧，它相对于其他时间帧的距离即为t1t2+t1t3+t1t4.../n；以此类推，可以获得所有时间帧到其他时间帧的距离来得到所述距离平均值，作为所述距离特征值；

S312、从所有所述距离平均值中筛选出极值，将所述极值作为所述时间异常值；通过将步骤S311中计算得到的所述距离特征值减去最小值并除以最大值，即对所述距离特征值进行归一化处理：(x-min)/max，使所述距离特征值在[0,1]的范围内，消除了不同区域的数值大小的影响；再根据给定的阈值，对每一个所述链接的不同时间帧的距离特征进行筛选，其中的极大值即距离其他所有所示链接距离较远的时间帧，认为是时间异常值；如在一可选的实施方式中，对于归一化后的距离特征值，设定阈值=0.95来筛选出其中距离极大的前百分之5的距离特征值，并认为其是距离特征的极大值；

S32、计算所有不同所述链接之间的距离，并根据所述链接之间的距离得到空间异常值；针对所述空间异常值的检测，通过对一个时间帧范围内计算两个所述链接之间的距离来判断，即通过搜索同一时间范围内不同链接之间的最大差异值来表示，具体的：

S321、在相同时间帧下计算任意两组所述链接之间的流量距离值，得到每一时间帧下每一所述链接与其他所有所述链接之间的流量距离值；如计算在同一天的相同时间帧内，两个所述链接流量之间的距离，用马氏距离来表示；即对于在相同时间帧上的所述链接，如任意两个链接会有不同的流量属性如包括链接{L1,L2,L3,L4,...}，其中L1为{(flow1,in1,out1)、L2为(flow2,in2,out2)、L3为(flow3,in3,out3)、L4为(flow4,in4,out4)...}，通过下如下公式计算任意两个所述链接的流量距离：

；

x，y为两个不同的链接，即对于L1可以获得其在t1时间下与其他所有链接的距离，以此类推，可以获得t1时间下任意两个所述链接的距离；

S322、从所有所述流量距离值中筛选出极值，将所述极值作为所述空间异常值；如对所有所述流量距离值进行归一化；对归一化的所述流量距离值中筛选出极值，将所述极值作为所述空间异常值；如检测t1时间帧范围内所有链接中的极值，这些链接的特征与其空间相邻的差异最大的所述链接即是空间异常值；

S33、根据所述时间异常值与所述空间异常值的交集得到所述时空异常值；即通过由步骤S31得到的所述时间异常值结果与由步骤S32得到的所述空间异常值结果进行相交，得到的交集便是所述时空异常值；

S4、根据异常因果树算法判断所述时空异常值之间的关系，得到异常因果图；基于异常因果树算法查看从最早时间范围到最后一个时间范围内的异常值之间的关系来查找异常值因果关系；当一个所述时空异常值STO1在时间上发生在另一个所述时空异常值STO2之前并且它们在空间上同样具有首尾相连的关系，则认为异常值STO1是另一个异常值STO2的原因；如根据前述步骤所获得异常链接值来查找依赖关系，具体的：

对于每一个所述时空异常值其均包括时间属性（即发生异常的时间），空间属性（即发生异常链接的两个区域）；那么对于异常链接L1（t1,startgrid1,end grid1）和异常连接L2(t2,start grid2,end grid2)，若t1与t2时间上连续（如10:30和11:00）并且L1的end grid1与L2的start grid2连续（即end grid1和start grid2相同，为同一个区域），那么则认为异常连接L1与异常连接L2在时间和空间上均为连续，则认为这两个时空异常值存在因果关系；

S5、根据所述流量城市区域节点图以及流量数据判断节点与节点之间的关系，得到常态因果图；

S51、对每一所述节点的输入流量以及输出流量进行聚合，得到流量时间序列；为了获得常态下的流量信息，对从每个区域的输入和输出的所有流量进行聚合；其中例如用Rgno表示链接的起始区域，Rgnd表示链接的到达区域；则对于任意的区域Rgnk，输入流量：Rgnk.inflow = Σi=1 to nlinki.flow where linki.Rgno = Rgnk；输出流量：Rgnk.outflow = Σi=1 to nlinki.flow wherelinki.Rgnd = Rgnk；

S52、通过特征提取以及差分处理所述流量时间序列，得到平稳流量序列，具体的：

S521、采用非负矩阵分解法对所述流量时间序列进行特征提取；从而去除步骤S51中流量时间序列的周期性；

S522、通过所述流量数据对所述非负矩阵分解的拟合结合进行所述差分处理，得到所述平稳流量序列；如将W的列数和H的行数设置为一天的数据量，使得非负矩阵分解能够按天提取特征并利用原始数据对非负矩阵分解的拟合结果进行差分处理得到原数据的差分波动，进而去除周期性的影响，得到所述平稳流量序列；

S53、对所述平稳流量序列进行格兰杰因果检验，得到所述节点与节点之间的关系，并得到所述常态因果图；

如对于全部的所述平稳流量序列两两之间进行格兰杰因果检验，将格兰杰因果检验的结果作为区域有向图之间的边，即如果两个区域之间存在因果关系，则存在边，否则不存在因果关系；同时，为进一步提取因果性而非相关性，选择在不同的时间长度上进行格兰杰因果检验，最终得到常态的区域因果图；并通过上述得到的所述异常因果图以及常态因果图对交通流量进行改善。

实施例二

请参照图3，一种交通异常流量因果检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如实施例一所述的一种交通异常流量因果检测方法中的各个步骤。

综上所述，本发明提供的一种交通异常流量因果检测方法及设备，通过将城市区域进行区域分割得到城市区域节点图后，根据获取到的城市流量数据在节点与节点之间创建链接，通过链接实现城市区域流量变化对城市其他区域流量变化的监控，并通过计算链接的距离值得到时空异常值，从而通过异常因果树算法对时空异常值进行计算得到异常因果图，以及结合流量正常状态下的常态因果图，将常态与异常情况的下流量区分，能够捕捉到由于时空异常值所导致的交通流量的异常变化特征，实现对异常值的因果检验以及随时间变化的传递性，揭示了不同城市区域以及道路之间潜在的相互作用，促进对城市交通状态的有效感知并有利于更精准的决策。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。