一种基于视频中车辆群体轨迹分析的异常事件检测方法

技术领域

本发明涉及智能交通领域，具体涉及一种基于视频中车辆群体轨迹分析的异常事件检测方法。

背景技术

近年来，随着城市居民生活水平不断提高，私家车出行成为越来越普遍的交通方式，随之而来的交通事故频发成为隐患，给交通管理部门带来了巨大的挑战。

传统的事故处理依赖于事故车辆司机上报，或者由相关警务人员通过监控视频人工筛查，这无疑是低效的，因此，寻求一种快速的侦察事故异常方法显得尤为重要。

传统方法大多采用经典的图像处理方法，或者采用手工提取相关特征对事故场景做分类，但是这些方法泛化性不高，在一些场景中容易失效；而近年来，随着深度学习的兴起，越来越多方法转向了通过神经网络来对事件进行判别分析。

在一些已有的方法中，有的试图采用神经网络得到目标对象，通过停车，交并比等逻辑判别以及规则对目标做出约束（如公开号专利CN112509315A），这类方法往往需要大量的阈值作为逻辑判断，在不同的场景中可能需要修改这些阈值参数。

另外一些方法则直接采用了卷积网络对正常的视频帧和交通事故的异常视频帧进行特征提取的方式，例如在公开专利号CN112487961A的专利中公开了一种交通事故检测方法、存储介质及设备，方法包括步骤：对筛选的交通数据进行预处理，构建交通事故数据集；将所述交通事故数据集中的每个原始视频样本视为一个包，对每个包进行空时域分割，得到与每个包对应的若干实例；根据所述交通事故数据集的弱标签属性构建事故检测模型，并基于所述每个包对应的若干实例对所述事故检测模型进行训练，得到训练后事故检测模型；根据所述训练后事故检测模型对测试视频进行端到端的交通事故检测。本发明提供的方法可有效提高交通事故检测率，降低误报率。

这种方式将图像整个作为网络输入，针对一些具有剧烈场景变化的交通事故场景可能有效，但是在其他事故场景下无法进行有效辨别。

而采用公开的事故数据集（例如UCF Crimes，CADP等开源数据集）作为事故的图像特征训练有时往往并不可靠，因为这些数据集包含各种各样场景，例如新闻播报、手持设备录像晃动、文字覆盖、不同的分辨率等，这和基于监控视频的检测方法相去甚远。

在现实生活中，一方面，真正的监控事故数据集往往是难以获取的，如果将这些事故数据集和占据大多数的正常数据集一起作为训练，往往受到数据不均衡的影响，使得网络训练效果变差；另一方面，交通事故场景往往是多变并且及其复杂的，依靠单一的网络在缺乏事故数据集上采用直接特征提取进行训练的结果往往是令人难以信服的。

因为事故数据的难以获取以及事故场景的多样性和复杂性，网络模型有时候往往难以收敛。当事故发生时，对正常的交通流往往具有一定的影响，例如车辆的拥堵，缓行，周围车辆发生绕行，行人下车等，这些车辆的行为模式和正常的交通流的车辆行为模式截然不同。本实施例通过时序的神经网络对车辆的轨迹进行训练，综合考虑全局的车辆行为模式和局部车辆的行为模式，并考虑车辆间的交互影响，提出了一种新的基于视频中车辆群体轨迹分析的异常事件检测方法，通过采集到的大量的正常视频数据集，依赖于神经网络强大的学习能力和表征能力，取得了一定的效果。与其他检测方法相比，本实施例的方法不需要大量的事故数据集，本实施例将事故作为一个异常事件，这样避免了事故场景的复杂性和多变性，同时，本实施例的方法也能够检测出其他的异常事件。

发明内容

为了解决上述问题，本发明提出了一种基于视频中车辆群体轨迹分析的异常事件检测方法，能够对因车辆事故导致的车辆异常轨迹具有一定的识别性，能够减少交警人力成本，并帮助其快速做出决策。

本发明的技术方案如下所示：

一种基于视频中车辆群体轨迹分析的异常事件检测方法，包括以下步骤：

S100：获取路段的车辆行驶监控视频，通过目标检测网络和跟踪算法获得车辆目标的行驶轨迹信息，并构建训练集和评估集；

S200：构建时间序列的全局车辆状态表示和每个车辆自身的时间序列状态表示，并基于全局时序特征和车辆时序特征分别建立全局编码器网络和局部编码器网络；

S300：将全局编码器网络和局部编码器网络各自的输出进行连接，并通过特征池进行特征重构获得新的特征编码；

S400：对每个车辆目标，基于相邻车辆的交互影响，构建相邻车辆的共享权值编码；

S500：构建解码器并将步骤S300中的新的特征编码和步骤S400中的共享权值编码作为输入，对每个时间步，构建车辆自身的时间序列表示，计算损失函数，并进行反向传播；

S600：利用步骤S200-S500中训练好的网络在评估集上获得异常分数阈值，并对并对车辆行驶监控视频进行异常事件检测，计算获得异常分数，对比异常分数和异常分数阈值，判断车辆行驶监控视频是否存在异常。

优选的，所述步骤S100中的行驶轨迹信息包括每个车辆的

优选的，所述步骤S100中还包括对目标检测网络和跟踪算法获得车辆目标的行驶轨迹进行调整的过程，所述调整包括边界框的调整和轨迹调整，所述边界框的调整为移除重复框和对位置调整，所述轨迹调整为将同一目标断掉的轨迹信息进行合并以及补充丢失的轨迹信息。

优选的，所述步骤S300中的新的特征编码的获取步骤具体如下：

S301：将S200中所述的全局编码器和局部编码器的输出进行连接，得到所有目标的中间的隐藏层状态标识H

S302：通过特征池FP重构方法进行特征重构，所述特征池FP重构方法采用M个固定维度的特征向量；

S303：在FP重构方法的fetch阶段中，对每个目标

S304：在FP重构方法的update阶段，对每个FP的特征向量

S305：将重构特征和原始特征连接后，得到新的特征表示

优选的，所述步骤S400中构建相邻车辆的共享权值编码的具体过程为：

S401：通过阈值

S402：对相邻范围内的目标车辆，通过基于距离的注意力机制对相邻范围内的目 标加权求和，记

优选的，所述步骤S500中损失函数的计算过程为：

S501：通过一组线性映射将每个时间步的特征映射为

S502：通过公式

S503：用重建后的

S504：利用公式

优选的，所述压缩损失

优选的，所述重构误差损失

优选的，所述异常分数的计算过程为：通过

优选的，异常分数阈值的获取过程为：对每个评估集

本发明的有益效果为：

本发明通过时序的神经网络对车辆的轨迹进行训练，综合考虑全局的车辆行为模式和局部车辆的行为模式，并考虑车辆间的交互影响，通过采集到的大量的正常视频数据集，依赖于神经网络强大的学习能力和表征能力，解决了事故数据的难以获取以及事故场景的多样性和复杂性的问题，且与其他传统的检测方法相比，本发明提供的方法不需要大量的事故数据集，只需要事故作为一个异常事件来看待。

附图说明

图1为本发明中异常事件检测方法的流程框图。

图2为异常事件检测流程图。

具体实施方式

下面将结合说明书附图对本发明的实施例进行详细说明。

如图1所示，一种基于视频中车辆群体轨迹分析的异常事件检测方法，包括以下步骤：

S100：获取路段的车辆行驶监控视频，通过目标检测网络和跟踪算法获得车辆目标的行驶轨迹信息，并构建训练集和评估集；

S200：构建时间序列的全局车辆状态表示和每个车辆自身的时间序列状态表示，并基于全局时序特征和车辆时序特征分别建立全局编码器网络和局部编码器网络；

S300：将全局编码器网络和局部编码器网络各自的输出进行连接，并通过特征池进行特征重构获得新的特征编码；

S400：对每个车辆目标，基于相邻车辆的交互影响，构建相邻车辆的共享权值编码；

S500：构建解码器并将步骤S300中的新的特征编码和步骤S400中的共享权值编码作为输入，对每个时间步，构建车辆自身的时间序列表示，计算损失函数，并进行反向传播；

S600：利用步骤S200-S500中训练好的网络在评估集上获得异常分数阈值，并对并对车辆行驶监控视频进行异常事件检测，计算获得异常分数，对比异常分数和异常分数阈值，判断车辆行驶监控视频是否存在异常。

其中，步骤S100中采集的轨迹信息包含每个车辆的

训练集中只包含正常行驶的车辆轨迹，正常行驶车辆是指在没有明显交通拥堵情况下或者因事故导致车辆拥堵绕行的车辆。

评估集中包含异常行驶的车辆，特别地，因交通事故导致的车辆停止，拥堵，周围车辆发生绕行。

构建训练集和评估集时，对目标检测和跟踪算法的车辆轨迹进行调整，主要包含边界框的调整和轨迹调整。边界框的调整主要是移除重复框和位置调整；轨迹调整是为了将同一目标断掉的轨迹信息进行合并以及补充丢失的轨迹信息。

步骤S200中全局的车辆状态特征

通过计算前后中心位置的差值来表示车辆的速度，对第t帧的第i个目标，

具体的，假设地t-1帧中第i个目标框坐标位置为[120, 314,88,56]，第t帧中第i 个目标框坐标位置为[123, 318,89,61]，则计算的

第t帧的第i个车辆速度

假设当前帧总共有10个目标，其速度分别为[2,3,3,4,4,5,5,6,6,6]，则

计算全局轨迹聚类切换次数

对第

车辆自身的时间序列状态表示

上述步骤S200中使用LSTM作为网络的基本架构，对隐藏层，将维度设为M，在一个具体实施例中，可设置M=512，初始的隐藏层采用随机初始化参数。两个网络相互独立，输出相同维度的特征编码，作为抽象的高层语义表示。

步骤S300中新的特征编码

首先将步骤2中所述的全局编码器和局部编码器的输出进行连接，得到所有目标 的中间的隐藏层状态标识

在fetch阶段，对每个目标

在update阶段，对每个FP的特征向量

将重构特征和原始特征连接后，得到新的特征表示

具体的，在fetch阶段，考虑第i个目标，假设计算得到的

步骤S400中，共享权值编码

通过阈值

在一个具体实施例中，假设第i个目标的

对相邻范围内的目标车辆，通过基于距离的注意力机制对相邻范围内的目标加权 求和，记

具体的，第i个目标包含三个相邻车辆，特征分别为

步骤S500中，损失函数的计算过程为：

通过一组线性映射将每个时间步的特征映射为

所计算的损失函数包含两个部分，FP特征损失

FP损失

重构误差损失表示

总的误差损失为

步骤S600中异常分数和异常分数阈值的计算过程为：

异常分数

在评估集上获得异常分数阈值

具体的，如图2所示，对视频进行异常事件检测的过程中，使用前序的目标检测模 型和目标跟踪算法获得每个目标的轨迹信息。然后分别构建全局的时序特征状态和车辆自 身的特征状态，输入到训练好的网络中，获得异常分数score，当

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。