一种基于全局局部双流特征互学习的异常事件检测方法

技术领域

本发明属于停车场异常检测技术领域，涉及一种基于全局局部双流特征互学习的异常事件检测方法。

背景技术

目前停车场随着经济的发展已经大规模建设，随着停车场的智能化普及，停车场的智能化改造已经变得非常重要，尤其是大型停车场以及露天大型港口，如果继续采用人工巡逻的方式将会造成极大的人力财力和物力的浪费。为了解决停车场的安保问题，监控设备已经遍布大型停车场的关键位置，然而，目前的监控设备往往只能起到简单的拍摄功能，并不能针对各种突发情况做出及时预警。

以海量数据作为驱动的人工智能技术以及深度学习技术正在飞速发展，如果能够结合监控设备拍摄的海量数据和人工智能技术，将会极大的促进停车场的智能化进度。现在针对停车场视频异常检测的相关研究工作发展缓慢，主要原因是停车场拍摄的海量数据中存在大量噪声数据以及冗余数据，并且目前的算法往往设计复杂的网络，需要占用大量资源进行逻辑推理，这些局限性导致了停车场视频异常事件检测进展缓慢。

发明内容

本发明的目的在于克服现有技术存在的缺点，设计提供一种基于全局局部双流特征互学习的停车场视频异常事件检测方法，利用监控设备对停车场视频进行采集，采用视频帧预测的方法进行异常视频帧检测，从而实现异常事件的检测和预测。

为实现上述目的，本发明实现基于全局局部双流特征互学习的异常事件检测的具体过程为：

S1、数据集构建：采用从停车场中拍摄异常检测视频数据，并采用间隔采样的方式采集车辆图像数据并构建数据集，将构建的车辆图像数据集按照停车场中是否存在异常事件划分为正常车辆图像和异常车辆图像，并将标注后的车辆图像数据集划分为训练集、验证集和测试集；

S2、车辆全局特征长距离信息学习：分别提取停车场视频的长距离全局信息（车辆长时序关系建模）和局部细节信息（车辆局部细节信息保持），采用增加处理停车场拍摄视频帧数，并缩小分辨率的方式学习车辆长距离全局信息约束，得到预测帧中车辆的全局特征信息；

S3、车辆局部细节信息学习：采用增加图片分辨率的方式，发现车辆图片中蕴含的丰富的局部细节信息，从而发现细微的车辆异常信息；

S4、车辆动量学习：通过车辆细微异常感知的动量学习模块将车辆异常信息作用到当前帧，从而生成预测帧的车辆局部特征信息；

S5、前景车辆互学习：通过前景车辆互学习模块学习步骤S2所述预测帧的全局车辆特征信息与步骤S4所述预测帧的车辆局部特征信息之间前景车辆区域的一致性，得到增强后的前景车辆区域；

S6、车辆信息互补学习：根据步骤S5增强后的前景车辆区域，采用车辆信息互补学习模块进行互补学习得到预测帧车辆特征；

S7、车辆预测图像输出：采用基于注意力聚合的方式将恢复的预测帧车辆特征转化为预测车辆图像，从而得到输出的预测帧车辆特征；

S8、训练视频帧车辆预测网络：采用L2损失函数作为网络优化的损失函数，通过将训练集中连续的正常车辆视频帧输入到网络中，输出当前视频序列的车辆预测帧，通过计算车辆预测帧与实际帧之间的差异并反向传播调整网络参数，经过设定次数的迭代后，输出并保存到本地网络模型参数，得到训练好的视频帧车辆预测网络；

S9、测试网络并通过得到车辆异常检测结果：在测试过程中，将测试集中连续的车辆视频序列输入到训练好的视频帧车辆预测网络中，并输出预测帧，通过对比车辆预测帧与实际帧之间的差异判定当前帧车辆中是否存在异常，对于车辆存在异常的判定阈值，采用计算SSIM值的方式获得，如果SSIM值小于阈值，则证明车辆预测帧与实际帧之间存在差异，从而得出当前帧中车辆存在异常。

作为本发明的进一步技术方案，步骤S2得到预测帧车辆全局特征信息的过程为：

，

其中，

作为本发明的进一步技术方案，步骤S3的具体过程为：

，

其中，

，

，

其中，

作为本发明的进一步技术方案，步骤S4所述预测帧的车辆局部特征信息为：

，

其中，

作为本发明的进一步技术方案，步骤S5所述增强后的前景车辆区域为：

，

其中

作为本发明的进一步技术方案，步骤S6得到的预测帧车辆特征为：

，

其中，

作为本发明的进一步技术方案，步骤S7输出的预测帧车辆特征为：

，

其中，

与现有技术相比，本发明的有益效果是：

1、通过将视频特征的提取过程拆分，能够极大的避免计算问题，减少计算量，简化计算过程；

2、分开学习车辆全局和局部信息，将背景和前景车辆特征提取的复杂度降低，不仅能用于车辆异常事件检测中的异常感知，而且能用于复杂场景下的视频加速处理以及提升视频的场景理解。

附图说明

图1为本发明实现异常事件检测所采用的网络结构图。

图2为本发明异常事件检测的工作流程框图。

具体实施方式

下面结合附图并通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

实施例：

本实施例实现基于全局局部双流特征互学习的异常事件检测所采用的网络结构如图1所示，具体过程如图2所示，具体为：

S1、数据集构建：为构建停车场视频异常检测数据集，本实施例采用从停车场中拍摄异常检测视频数据，并采用间隔采样（SampleRate=16，间隔5帧，取16帧作为一个序列片段）的方式采集车辆图像数据构建数据集，并将构建的车辆图像数据集，按照正常图像（1）和异常图像（0）标注，最后，将标注后的车辆图像数据集划分为训练集、验证集和测试集；

S2、车辆全局长距离信息学习：传统方式计算视频异常检测往往基于整段视频段处理时序特征，然而，这种方式存在非常多的弊端，1）计算量非常大，因为视频需要像素级处理，需要消耗大量计算资源；2）计算重复，视频数据往往场景变换单一，尤其是停车场视频数据，往往背景变化缓慢，如果采用传统方式处理，将会存在大量计算重复；3）时序特征冗余，采用传统方式提取的视频特征存在大量冗余信息，这些信息对于视频场景理解非常不利，因此，本实施例将视频车辆特征的处理过程拆分为两个部分，分别提取车辆长距离全局信息

，

其中，

S3、车辆局部细节信息学习：为学习车辆局部细节信息

，

其中，

，

，

其中，

S4、车辆动量学习：通过车辆局部细节信息获得的特征将无法用于预测帧的车辆信息重建，为获得预测帧的车辆相关动量信息，本实施例引入动量学习模块，将动量信息作用到当前帧，从而生成预测帧的车辆局部特征信息，

，

其中，

S5、前景车辆互学习：通过步骤S4获得的预测帧的车辆局部特征信息能够最大程度的重建预测帧的信息，为了增强预测帧前景车辆内容的预测精度，引入前景车辆互学习模块，通过学习预测的t+1帧的车辆全局信息

，

其中，其中

S6、车辆信息互补学习：通过步骤S5增强后的前景车辆区域

，

其中，

S7、车辆预测图像输出：通过步骤S6得到的车辆预测帧

，

其中，

S8、训练视频帧车辆预测网络：采用L2损失函数作为网络优化的损失函数，通过将连续的车辆正常视频帧

（9）测试网络并通过推理得到车辆异常检测结果：在测试过程中，将连续的车辆视频序列输入到训练好的视频帧车辆预测网络中，并输出车辆预测帧，通过对比车辆预测帧与实际帧之间的差异判定当前帧是否存在异常，对于异常的判定阈值，采用计算SSIM值的方式获得，如果SSIM值小于阈值，则证明车辆预测帧与实际帧之间存在差异，从而得出当前帧中车辆是否存在异常。

本文中未详细说明的算法和计算过程均为本领域通用技术。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的，因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。