一种地铁环境中行人异常行为检测方法及装置

技术领域

本申请属于轨道交通技术领域，特别涉及一种地铁环境中行人异常行为检测方法以及地铁环境中行人异常行为检测装置。

背景技术

目前，随着视频监控数据不断海量化，产品市场规模不断拓展，对智能化视频处理技术提出了越来越高的要求。尤其在轨道交通这一领域，由于地铁环境下客流密集，一旦发生踩踏、拥挤和暴乱等异常事件，后果将十分严重。尽管目前地铁车站及列车中大多布设视频监控，但仍然存在诸多局限性。地铁环境下的视频监控系统普遍只能记录，无法进行智能分析，需要通过人工查看视频并分析，往往错过最佳处理时间，造成不必要的资源损失。而且面对冗长的视频录像进行人工分析，往往又会带来事件的漏报或误报。因此，亟需运用智能化的视频识别技术及时发现隐患，保障安全运营。

在地铁环境中，通过智能视频分析技术和人体行为识别算法能够实时对视频中行人的行为做出响应，当检测到异常行为时及时进行报警，降低事故发生的损失率，减小存在隐患。但由于地铁环境复杂，现有针对地铁环境下的行人的异常行为智能检测的能力不足，对行人异常行为检测研究不够深入。因此研究对行人行为的理解、行人异常行为的智能检测具有很大意义。

异常事件检测方法可分为基于定义规则的方法、基于概率的统计学方法、机器学习方法和基于目标检测轨迹跟踪的方法，核心思想是对异常行为进行划分并对其建模，从视频序列中提取运动特征代入模型，并与阈值相比较，判断是否出现异常事件。

在现有的异常事件检测技术中，基于规则的方法使用一些预定义的规则来定义正常或异常活动。这些方法只能对预定义的特定异常行为进行检测。对于未出现过的异常行为缺乏可扩展性。基于概率的统计学方法来构建行为模型，这类方法是以数据驱动的方法，准确度较差，对有些相似行为无法进行准确判断。

因此，希望有一种技术方案来克服或至少减轻现有技术的至少一个上述缺陷。

发明内容

本申请的目的是提供了一种地铁环境中行人异常行为检测方法，以解决上述至少一方面的问题。

在本申请的第一方面，一种地铁环境中行人异常行为检测方法，所述地铁环境中行人异常行为检测方法包括：

获取车站图像组；

提取车站图像组的轨迹特征；

获取训练后的局部轨迹特征模型以及训练后的全局轨迹特征模型；

将所述轨迹特征输入至所述局部轨迹特征模型以及全局轨迹特征模型以获取行人异常情况。

可选地，所述提取车站图像组的轨迹特征包括：

分别获取每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度；

根据每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度获取各个行人运动轨迹；

获取每个行人运动轨迹的轨迹特征，各个所述轨迹特征组成所述车站图像组的轨迹特征。

可选地，所述分别获取每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度包括：

对各个原始图像通过自动色彩均衡算法进行图像增强；

获取各个图像的相应的特征图；

获取行人目标获取模型；

将所述特征图输入至所述行人目标获取模型，从而获取每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度。

可选地，所述根据每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度获取各个行人运动轨迹包括：

根据连续的各个多帧图像间的行人的目标位置以及与每个行人的目标位置对应的置信度生成至少一种行人运动假设轨迹；

计算每一种行人运动假设轨迹的先验概率；

获取先验概率高的行人运动假设轨迹作为行人运动轨迹。

可选地，所述局部轨迹特征模型包括个人逆行异常模型、个人越界异常模型和个人奔跑异常模型中的一个或多个。

可选地，所述个人逆行异常模型为：

(Center[i].y-Center[0].y)＜0；其中，

Center[i]为具有每帧车站图像的行人运动轨迹的坐标的数组；

y为y轴，y轴定义为在该车站图像所在的场景下标定的行人应该行走的方向，其中，y轴向下为正方向，当轨迹方向为y轴向上时则为逆向轨迹。

可选地，所述个人越界异常模型为：

P

可选地，所述个人奔跑异常模型包括：

判断行人运动轨迹对应的行人的真实的运动速度，若运动速度超过阈值，则判断为该对应的行人处于奔跑状态。

本申请还提供了一种地铁环境中行人异常行为检测装置，所述地铁环境中行人异常行为检测装置包括：

车站图像组获取模块，所述车站图像组获取模块用于获取车站图像组；

轨迹特征提取模块，所述轨迹特征提取模块用于提取车站图像组的轨迹特征；

模型获取模块，所述模型获取模块用于获取训练后的局部轨迹特征模型以及训练后的全局轨迹特征模型；

行人异常情况获取模块，所述行人异常情况获取模块用于将所述轨迹特征输入至所述局部轨迹特征模型以及全局轨迹特征模型以获取行人异常情况。

本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的地铁环境中行人异常行为检测方法。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的地铁环境中行人异常行为检测方法。

本申请至少存在以下有益技术效果：

本申请的地铁环境中行人异常行为检测方法通过局部轨迹特征模型以及全局轨迹特征模型两种模型进行车站的预测，通过局部轨迹特征模型来判断个体的异常情况，通过全局轨迹特征模型来判断群体事件，实现了一种鲁棒的实时地铁环境行人异常行为检测方法。

附图说明

图1是本申请一个实施方式提供的地铁环境中行人异常行为检测方法的流程示意图。

图2是本申请一个实施方式提供的行人运动轨迹的流程示意图。

图3是本申请一个实施方式提供的个人逆行异常的逻辑示意图。

图4是本申请一个实施方式提供的个人越界异常的逻辑示意图。

图5是本申请一个实施方式提供的训练局部轨迹特征模型以及训练全局轨迹特征模型的逻辑示意图。

图6是本申请一个实施方式提供的地铁环境中行人异常行为检测方法的全流程示意图。

图7是能够实现根据本申请一个实施例提供的地铁环境中行人异常行为检测方法的电子设备的示例性结构图。

具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。

需要说明的是，在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

图1是本申请一个实施方式提供的地铁环境中行人异常行为检测方法的流程示意图。

如图1所示的地铁环境中行人异常行为检测方法包括：

步骤1：获取车站图像组；

步骤2：提取车站图像组的轨迹特征；

步骤3：获取训练后的局部轨迹特征模型以及训练后的全局轨迹特征模型；

步骤4：将轨迹特征输入至局部轨迹特征模型以及全局轨迹特征模型以获取行人异常情况。

本申请的地铁环境中行人异常行为检测方法通过局部轨迹特征模型以及全局轨迹特征模型两种模型进行车站的预测，通过局部轨迹特征模型来判断个体的异常情况，通过全局轨迹特征模型来判断群体事件，实现了一种鲁棒的实时地铁环境行人异常行为检测方法。

在本实施例中，步骤1：获取车站图像组包括：获取连续的多帧车站图像。

步骤2：提取车站图像组的轨迹特征包括：

步骤21：分别获取每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度；

步骤22：根据每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度获取各个行人运动轨迹；

步骤23：获取每个行人运动轨迹的轨迹特征，各个所述轨迹特征组成所述车站图像组的轨迹特征。

在本实施例中，分别获取每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度包括：

对各个原始图像通过自动色彩均衡算法进行图像增强；

获取各个图像的相应的特征图；

获取行人目标获取模型；

将所述特征图输入至行人目标获取模型，从而获取每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度。

举例来说，参见图2，针对地铁特殊环境，对原始的车站图像组首先用自动色彩均衡算法进行图像增强，通过多个尺度卷积核生成相应特征图，并通过最大池化进行特征压缩，构成特征图金字塔，并将不同尺度的特征图进行深度融合以充分利用特征图中的信息提升检测效果。在特征图上根据训练的模型参数对输入数据进行预测并计算预测结果的置信度，最后通过非极大值抑制筛选输出行人目标位置及其置信度得分。

在本实施例中，根据每帧的车站图像中的各个行人的目标位置以及与每个行人的目标位置对应的置信度获取各个行人运动轨迹包括：

根据连续的各个多帧图像间的行人的目标位置以及与每个行人的目标位置对应的置信度生成至少一种行人运动假设轨迹；

计算每一种行人运动假设轨迹的先验概率；

获取先验概率高的行人运动假设轨迹作为行人运动轨迹。

举例来说，采用基于部分确定轨迹的多假设跟踪算法进行目标跟踪，通过利用连续多帧图像间目标(例如，目标可以是行人)终结和新目标生成的检测，生成多种假设轨迹，计算每一种假设的先验概率；结合表观和运动信息进行预测，引入颜色信息、深度信息进行匹配，消除观测数据中的不确定性因素，提高关联精度，实现动态多目标的跟踪，输出目标行人的跟踪轨迹。

在本实施例中，局部轨迹特征模型包括个人逆行异常模型、个人越界异常模型和个人奔跑异常模型中的一个或多个。

个人逆行异常模型是通过轨迹的方向是否和该场景下标定的方向是否一致进行划分，计算行人的轨迹的纵向坐标变化来判断行人的运动方向，将行人的运动方向和标定的方向做比较，判断是否属于逆行轨迹。具体的判定规则是将每帧的轨迹坐标存到数组Center[i]中，规定y轴向下为正方向，当轨迹方向为y轴向上时则为逆向轨迹，如下图3所示。判定公式为：

(Center[i].y-Center[0].y)＜0；其中，

Center[i]为具有每帧车站图像的行人运动轨迹的坐标的数组；

y为y轴，y轴定义为在该车站图像所在的场景下标定的行人应该行走的方向，其中，y轴向下为正方向，当轨迹方向为y轴向上时则为逆向轨迹。

参见图4，个人越界异常模型是通过行人轨迹是否经过地铁环境下标定的警戒线进行划分。行人穿越警戒线的位置关系示意图如下图3所示，由此只需判定行人轨迹的起点和终点连线是否与警戒线存在交点。P

其中，P

在本实施例中，个人奔跑异常模型包括判断行人运动轨迹对应的行人的真实的运动速度，若运动速度超过阈值，则判断为该对应的行人处于奔跑状态。

个人奔跑异常模型通过目标速度进行划分，根据检测到的目标行人和对应的轨迹进行速度的计算，核心计算法则是通过区域距离和帧率计算速度，定义(p,q)为在第i帧时开始的轨迹坐标，(r，s)为第j帧时结束的轨迹坐标。总行驶距离D为：

则速度v

其中v

参见图5，在本实施例中，获取训练后的局部轨迹特征模型包括：

获取样本，其中包括正常轨迹样本以及异常轨迹样本，对划分的正常轨迹样本和异常轨迹样本进行轨迹特征提取，得到局部特征点轨迹，采用轨迹形状特征描述子来描述轨迹特征；给定一段长度为L的轨迹，将这段轨迹的形状描述为一个向量序列，即(ΔP

ΔP

为使向量序列不被各个时刻的具体位移所干扰，对向量序列正则化：

对局部轨迹形状描述子集合进行混合高斯模型GMM训练，得到训练后的局部轨迹特征模型。

给定输入特征向量x，隐含变量z，以及未知参数矩阵θ，GMM模型表示如下：

其中，K表示混合高斯模型的数目，θ＝[θ

参见图5，在本实施例中，获取训练后的全局轨迹特征模型包括：

全局轨迹特征模型使用局部轨迹特征模型作为码本生成器，使用FV 编码方法对轨迹特征描述子进行编码，FV可以由式子表示：

其中，

γ

VLAD公式：

VLAD:s＝[0,...,ω(i)(x-d

d表示距离局部描述子x最近的码词。

对编码后的特征进行池化与标准化，并保存为轨迹特征样本，对保存的轨迹特征集合进行GMM训练，得到全局轨迹特征模型。,

参见图6，将提取的车站图像组的轨迹特征带入局部轨迹特征模型以及全局轨迹特征模型。局部轨迹特征模型对所有轨迹特征和获取的速度参数进行判断，当输出的异常置信度大于设定的阈值时，则初步判定为逆行、越界事件。若置信度和估算的速度大于设定阈值时，初步判断为奔跑事件。全局轨迹特征模型对车站图像组的轨迹特征进行判断，判断是否会出现群体的异常事件，当输出的异常置信度大于设定的阈值，判断为群体异常事件。异常轨迹判断的流程如图6所示，其中模型1为局部轨迹特征模型，模型2为全局轨迹特征模型。

本申请还提供了一种地铁环境中行人异常行为检测装置，所述地铁环境中行人异常行为检测装置包括车站图像组获取模块、轨迹特征提取模块、模型获取模块以及行人异常情况获取模块，车站图像组获取模块用于获取车站图像组；轨迹特征提取模块用于提取车站图像组的轨迹特征；模型获取模块用于获取训练后的局部轨迹特征模型以及训练后的全局轨迹特征模型；行人异常情况获取模块用于将所述轨迹特征输入至所述局部轨迹特征模型以及全局轨迹特征模型以获取行人异常情况。

需要说明的是，前述对方法实施例的解释说明也适用于本实施例的装置，此处不再赘述。

本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的地铁环境中行人异常行为检测方法。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的地铁环境中行人异常行为检测方法。

图7是能够实现根据本申请一个实施例提供的地铁环境中行人异常行为检测方法的电子设备的示例性结构图。

如图7所示，电子设备包括输入设备501、输入接口502、中央处理器 503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线 507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器 503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器 504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备 506将输出信息输出到电子设备的外部供用户使用。

也就是说，图7所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现如上的地铁环境中行人异常行为检测方法。

在一个实施例中，图7所示的电子设备可以被实现为包括：存储器 504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的地铁环境中行人异常行为检测方法。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD) 或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。第一、第二等词语用来标识名称，而不标识任何特定的顺序。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit， ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。