一种基于帧间特征的人群异常行为检测方法及系统

技术领域

本发明涉及人群异常行为检测领域，特别是涉及一种基于帧间特征的人群异常行为检测方法及系统。

背景技术

随着世界人口的不断增长和城市化，人群场景变得越来越常见。自动检测人群场景中的异常活动或事件对于智能监控、行为分析和安全应用至关重要。特别是拥挤场景中的异常行为检测是一个具有挑战性的问题，因为拥挤场景中有大量近距离行人、个体外貌的波动性、产生的频繁局部遮挡以及人群的不规则运动模式。此外，在拥挤的环境中存在着潜在的危险活动，如人群恐慌、踩踏和涉及大量人员的事故等，使得智能视频监控成为最需要解决的问题。

近年来，为减少人群恐慌和踩踏事故等，众多基于视频序列的人群异常行为检测算法相继提出。为了提高公共场所中异常行为的检测与监控，Solera等人提出用空间关心理论和动态时间规整来激发特征，然后用支持向量机 (Support Vector Machine，SVM)进行异常检测。此方法虽可从宏观角度直观反应人群形态，但因所提取运动信息单一，行为特征不完整，导致准确性不高。为解决行为特征不完整问题，Zhang等人提出基于一种基于社会力模型(Social force model，SFM)的社会属性感知模型，该模型利用社会障碍和拥塞属性来准确描述人群行为的相互作用，但因涉及参数众多，建模比较复杂，导致实时性难较差。针对此问题，Xiong等人利用势能(energy model，EM)模型估计公共场所的人数，并将人口统计结果与人群熵相结合来检测人群聚集状态从而进行异常检测。但该方法需要特定的视频剪辑来估计阈值，从而导致复杂度较高。针对此问题，Wu等人提出基于贝叶斯模型(Bayesian model，BM)，通过利用潜在目标和发散中心来表征异常与正常两种情况下的人群运动，从而进行人群异常检测。此方法在应用场景中易受诸多因素影响，导致模型稳健性较差。针对此问题，Zhou等人基于量化群体流形拓扑结构设计具有较低复杂度的群体性描述符以检测人群异常行为。但该集群性模型(collectiveness model，CM) 随着行人数量减少，行为一致性估计精度有所下降，从而导致模型对人群特征表征能力降低。为抑制特征表征能力降低问题，Wang等人基于局部邻间粒子行为一致性特征，提出一种全局方向描述子以提取群体整体运动，而后将局部及全局特征融合以建立方向-集群性模型(direction-collectiveness model， D-CM)，从而增强模型的表征能力。然而，因其对运动方向过度聚类，导致对方向混乱的异常行为检测性能下降。

针对上述问题，本发明提出一种基于帧间特征及双流卷积神经网络(Two Stream-Convolutional Neural Networks，ST-CNN)的人群异常行为检测方法。所提方法根据人群特征变化，利用光流法提取人群运动的瞬时加权能量，加速度值及方向差光流值并分别映射为HSV的色调值，饱和度及数值以此形成代表人群帧间运动特征的帧间运动显著图；同时获得视频单针图；最后，将帧间运动显著图和视频单针图输入ST-CNN以进行人群异常行为的检测。

发明内容

本发明的目的是提供一种基于帧间特征的人群异常行为检测方法及系统，提高检测的准确性。

为实现上述目的，本发明提供了如下方案：

一种基于帧间特征的人群异常行为检测方法，所述检测方法包括：

获取视频图像；

对所述视频图像进行分帧处理，将视频单帧图作为外观特征；

提取每两帧图像之间运动目标的帧间特征；所述帧间特征包括：加速度、方向角度差以及瞬时加权能量；

将所述外观特征和所述帧间特征进行融合，得到HSV模型；

基于所述HSV模型对TS-CNN网络进行训练；

采用训练后的TS-CNN网络综合利用视频空时信息进行人群异常行为检测。

可选的，所述加速度具体采用以下公式：

a＝(v

其中，v

可选的，所述方向角度差具体采用以下公式：

其中，θ

可选的，所述瞬时加权能量具体采用以下公式：

ΔE

其中，ΔE

本发明另外提供一种基于帧间特征的人群异常行为检测系统，所述检测系统包括：

视频图像获取模块，用于获取视频图像；

分帧处理模块，用于对所述视频图像进行分帧处理，将视频单帧图作为外观特征；

帧间特征提取模块，用于提取每两帧图像之间运动目标的帧间特征；所述帧间特征包括：加速度、方向角度差以及瞬时加权能量；

融合模块，用于将所述外观特征和所述帧间特征进行融合，得到HSV模型；

训练模块，用于基于所述HSV模型对TS-CNN网络进行训练；

异常行为检测模块，用于采用训练后的TS-CNN网络综合利用视频空时信息进行人群异常行为检测。

可选的，所述加速度具体采用以下公式：

a＝(v

其中，v

可选的，所述方向角度差具体采用以下公式：

其中，θ

可选的，所述瞬时加权能量具体采用以下公式：

ΔE

其中，ΔE

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明中的上述方法，通过获取视频图像；对所述视频图像进行分帧处理，将视频单帧图作为外观特征；提取每两帧图像之间运动目标的帧间特征；所述帧间特征包括：加速度、方向角度差以及瞬时加权能量；将所述外观特征和所述帧间特征进行融合，得到HSV模型；基于所述HSV模型对TS-CNN网络进行训练；采用训练后的TS-CNN网络综合利用视频空时信息进行人群异常行为检测，与CM，D-CM，SFM，BM及EM算法相比，所提方法在光照变化，遮挡等复杂环境下具有最高的检测准确率及鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于帧间特征的人群异常行为检测方法流程图；

图2为本发明实施例基于帧间特征的人群异常行为检测方法整体框图；

图3为本发明实施例群体行为加速度变化图；

图4为本发明实施例群体运动方向差光流值变化图；

图5为本发明实施例RGB与HSV模型对比图；

图6为本发明实施例TS-CNN网络结构示意图；

图7为本发明实施例基于帧间特征的人群异常行为检测系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于帧间特征的人群异常行为检测方法及系统，提高检测的准确性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例基于帧间特征的人群异常行为检测方法流程图，图2 为本发明实施例基于帧间特征的人群异常行为检测方法整体框图，如图1和图 2所示，所述方法包括：

步骤101：获取视频图像。

步骤102：对所述视频图像进行分帧处理，将视频单帧图作为外观特征。

步骤103：提取每两帧图像之间运动目标的帧间特征；所述帧间特征包括：加速度、方向角度差以及瞬时加权能量。

步骤104：将所述外观特征和所述帧间特征进行融合，得到HSV模型。

步骤105：基于所述HSV模型对TS-CNN网络进行训练。

步骤106：采用训练后的TS-CNN网络综合利用视频空时信息进行人群异常行为检测。

具体包含以下几个部分：

1、首先对视频进行分帧处理，其中视频单帧图作为外观特征，即空间数据流；

2、提取每两帧图像之间运动目标的加速度、方向角度差、瞬时加权能量等帧间特征。

1)通过光流确定目标的运动方向和速度信息；

采用HS方法计算人群光流。

目标在空间中一般为连续运动，因而所获运动目标图像也是连续的，即灰度不变，由此可得光流方程如下：

I

其中，I(x,y,t)表示t时刻相邻两张图像亮度变化，I

由式(1)所得水平偏移量ΔX与垂直偏移量ΔY可以确定目标的运动方向并可以计算群体行为加权能量，加速度及方向差光流值。

第n帧图像运动区域各像素的速度为:

2)采用瞬时加权能量值可更好描述人群异常变化过程，用瞬时加权能量表示行人运动幅度

第n帧图像运动目标的光流能量为：

其中：v

光流能量的权值计算为：

式中：

ΔAngle＝|∠AngleCurr-∠AngleAvg|\*MERGEFORMAT (5)

∠AngleAvg＝∑Angle

式中，ΔAngle为角度变化量，∠AngleCurr为当前角度，∠AngleAvg为平均角度

第n帧图像运动目标瞬时加权能量：

ΔE

3)正常情况下，行人以均匀的速度前进。异常事件发生时，人们由于恐慌会快速逃跑，群体行为速度会有较为明显的改变，即加速度会产生变化，有助于人群异常行为的检测。综上所述，群体行为加速度可作为区分群体正常和异常行为的重要特征。

第n帧图像运动目标的加速度为：

a＝(v

利用UMN数据集，可得加速度值的变化情况如图3所示。由图可知，加速度值在第526帧后开始变化显著，表明行人开始加速逃散，有助于正常与异常行为的区分。所以，本发明中选用群体运动加速度值可更好检测异常人群。

4)异常情况下，人群运动方向差有较为明显的改变。因此，运动角度差可作为区分群体正常和异常行为的重要特征。

帧间每个像素点处的角度差为：

然而，有小噪声的光学值，会影响角度差计算。为了去除这些噪声影响，将角度差乘以当前帧中的位移量，如下式所示：

基于UMN数据集，可得群体运动方向差光流值的变化情况如图4所示，由图可知，群体运动方向差光流值在第526帧后开始变化显著，表明此时行人开始四处逃散，有助于区分正常与异常行为。因此，本发明中采用方向差光流值值可更好检测人群异常。

2、将人群加权能量值E映射为色调值，加速度幅值a映射为饱和度，运动方向差光流值I

该模型比RGB更接近于人们的经验和对色彩的感知，含有较少的噪声，更有利于人群异常行为的检测。如图5所示。

3、采用TS-CNN网络结构以综合利用视频空时进行异常行为检测。

本发明中的的网络结构如图6所示。第一层卷积核尺寸为7*7，步长为2；卷积核个数设置为64以实现网络时间流提取时域信息，即：人群加速度、瞬时加权能量值和群体运动方向差光流值，以及空间流提取颜色、纹理等空域信息；池化层皆采用尺寸为2*2的最大池化方法以减少冗余信息并保留关键点信息。第二层卷积核尺寸设置为5*5，步长为2，个数为128保证信息的不丢失。随后三个卷积层卷积核尺寸皆设置为3*3，步长为1。卷积层后衔接两个全连接层，以分别融合所提取的空间特征与帧间特征。

4、最后，使用Softmax融合空时信息并分类。

图7为本发明实施例一种基于帧间特征的人群异常行为检测系统结构示意图，如图7所示，所述系统包括：

视频图像获取模块201，用于获取视频图像；

分帧处理模块202，用于对所述视频图像进行分帧处理，将视频单帧图作为外观特征；

帧间特征提取模块203，用于提取每两帧图像之间运动目标的帧间特征；所述帧间特征包括：加速度、方向角度差以及瞬时加权能量；

融合模块204，用于将所述外观特征和所述帧间特征进行融合，得到HSV 模型；

训练模块205，用于基于所述HSV模型对TS-CNN网络进行训练；

异常行为检测模块206，用于采用训练后的TS-CNN网络综合利用视频空时信息进行人群异常行为检测。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。