一种基于多尺度视频异常检测方法

技术领域

本发明属于安防技术领域，尤其涉及一种基于多尺度视频异常检测方法。

背景技术

视频异常检测是指对视频中发生的异常行为进行检测。随着监控视频的不断普及，自动识别视频中的异常事件变得越来越有必要，因为人工检查可能会造成大量的资源浪费（例如，劳动力）。然而，由于异常事件的罕见性和多样性，视频异常检测是一项具有挑战性的任务。更具体地说，异常事件很少发生，可能是以前从未见过的事件。因此，要收集所有类型的异常事件相当困难，这使得传统的二元分类方法不适合。此外，它很难以明确界定异常情况。鉴于异常点通常是与上下文相关，一个场景中的异常事件可以被视为作为另一个场景中的正常事件。一般认为异常是指训练样本达不到预期，偏离正常分布的行为。例如，在正常的交通场景中，在人行道上骑车可以被认为是一种异常行为。基于这一事实，人们提出了许多半监督视频异常检测的方法。具体来说，它们一般假设训练集中只有正常数据。试图学习正常分布。在测试中阶段，可以发现偏离常态的事件为异常。其实，这些半监督方法 是比较符合视频异常检测的实际情况的。根据视频序列的时间特征，它们大致可分为两类：基于重建模型的方法和基于预测模型的方法。对于基于重建模型的方法，他们通常会把正常帧输入到深度神经网络中，试图将这些帧以较小的误差重建。此外，一些研究还将轨迹或骨架特征送进神经网络进行重建。基于此，在测试中阶段，异常现象由于其偏离正常的视觉模式预计将表现出较大的重建误差。然而，深度神经网络由于其巨大的容量和通用性，重构模型有时甚至能很好地重建异常事件，导致异常无法检测出来。对于基于预测模型的方法，他们通常将连续的帧输入到神经网络中，试图预测未来的帧，对正常数据的预测误差较小。考虑到异常检测是识别不符合预期的事件，自然要利用预测与预期的差异来检测异常事件。在生成式对抗网络的基础上，未来帧的预测实现了更大的现实可能性，促进了视频中异常检测的性能。这些方案都是在单一空间中学习正常模式并检测异常。例如，基于深度学习的重建和预测方法通常会在原始图像空间中逐个像素比较原始帧和生成帧以检测异常。我们发现，异常往往发生在视频帧的某个区域，如果只是单纯的将生成的帧和真实帧直接求一个峰值信噪比得分，会导致对局部异常不敏感，不能对局部异常进行很好的检测。如何提高对局部异常的名感性，是待解决的技术问题。本发明通过将预测的帧和真实的帧在不同尺度上分块，提高了局部异常的监测敏感性。具体的：通过样本的局部改变做样本的多尺度变化，在提高样本数量的同时，增强局部差异样本，在提高局部监测准确性的同时，大大提高了模型训练效率；通过测试次数，训练次数，误差范围的限定，科学选用已训练好的权重文件，通过设置窗口进行逐行卷积降低了神经网络的计算量，大大加快训练的速度；通过多尺度测试降低局部预测误差，消除显著的局部预测错误，从而最终提高模型的区域预测能力。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于多尺度视频异常检测方法，所述方法包含：

步骤S1：获取视频样本数据，对视频样本作多尺度变化；具体的：将视频样本网格化，确定网格化视频样本数据之间的网格差异，基于网格差异追踪视频样本数据的网格变化情况，根据网格的变化情况做尺度变化，选择目标尺度并基于目标尺度对视频样本作变化；

步骤S2：构建异常检测模型，进行模型训练；具体的：构建异常检测模型，采用视频样本数据I

步骤S3：进行多尺度异常检测模型的测试；用异常检测模型预测得到下一帧预测值I

步骤S3具体包括如下步骤：

步骤S31：进行测试初始化；初始化测试尺度Scale为1；其中：测试尺度为尺度划分的层次或次数；

步骤S32：按照测试尺度进对视频样本作尺度划分得到一个或多个经过尺度划分的视频样本序列；将视频样本序列分别依次输入异常检测模型，得到和所述一个或多个视频样本序列对应的预测输出；计算一个或多个预测输出的误差值，获取和误差值对应的得分SC；

步骤S33：判断划分终止条件是否满足，如果是，则进入步骤S34，否则，则对测试尺度做增量操作，并进入步骤S32；

步骤S34：基于得分得到总得分，如果总得分超过总得分阈值，或者存在一个得分超过的得分阈值时，确定测试视频样本存在异常。

进一步的，所述获取和误差值对应的得分，具体为：根据误差值和得分的对照表查找和所述误差值对应的得分。

进一步的，划分终止条件为测试尺度等于预设值和/或存在一个得分超过的得分阈值。

进一步的，所述划分终止条件为测试尺度等于关注尺度加1。

进一步的，所述基于得分得到总得分，具体为：对上述得分进行加权求和得到总得分。

进一步的，步骤S3还包括：网格化后划分成的网格是大小相同的。

进一步的，所述异常检测模型为神经网络模型。

本发明的有益效果包括：（1）对样本的局部改变做样本的多尺度变化，在提高样本数量的同时，增强局部差异样本，在提高局部监测准确性的同时，大大提高了模型训练效率；（2）通过测试次数，训练次数，误差范围的限定，科学选用已训练好的权重文件，通过设置窗口进行逐行卷积降低了神经网络的计算量，大大加快训练的速度；（3）通过多尺度测试降低局部预测误差，消除显著的局部预测错误，从而最终提高模型的区域预测能力。

附图说明

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1为本发明的一种基于多尺度视频异常检测方法示意图。

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

视频异常检测是一项具有挑战性的任务，要收集所有类型的异常事件相当困难，这使得传统的二元分类方法不适合。此外，它很难以明确界定异常情况。鉴于异常点通常是与上下文相关，一个场景中的异常事件可以被视为作为另一个场景中的正常事件。

现有技术中在进行异常检测时，通过异常类型的训练，直接在二分方法中发现异常类型，在模型的训练过程中正常帧输入到深度神经网络中，试图将这些帧以较小的误差重建，还涉及将轨迹或骨架特征送进神经网络进行重建。但是显然这种二分的预测方法不可能枚举所有的异常类型；或者直接通过正常帧训练来实现异常检测，但是这样的异常检测会因为异常往往发生在较为局部的范围，导致异常检测不出，本发明通过多尺度检测提高了对异常检测的效率；

本发明所述的一种基于多尺度视频异常检测方法，包含如下步骤：

步骤S1：获取视频样本数据，对视频样本作多尺度变化；具体的：将视频样本网格化，确定网格化视频样本数据之间的网格差异，基于网格差异追踪视频样本数据的网格变化情况，根据网格的变化情况做尺度变化，选择目标尺度并基于目标尺度对视频样本作变化；

步骤S1具体包括如下步骤：

步骤S11：在网格化尺度小于尺度阈值时将视频样本数据网格化，具体为：按照网格化尺度将视频样本数据网格化；

优选的：所述网格化尺度的初始值为1；每次进入该步骤S11，网格化尺度的尺度值增加1或者一个单位；增加的方式也可以是按照2的次幂的方式增加，如：J=2

优选的：网格化后划分成的网格是大小相同的；

步骤S12：确定网格化视频样本之间的网格差异，具体为：对于视频样本I

步骤S13：如果差异值矩阵中存在落入预设差异值范围的网格，则将当前网格化尺度作为目标尺度，将落入预设范围的网格作为目标网格，并进入步骤S16;否则，进入步骤S14；

步骤S14：根据公式（1）计算脊变化熵SH，如果脊变化熵小于预设值，则进入步骤S11；否则，进入步骤S15；

步骤S15：计算网格差异和

通过网格差异和对网格进行区分，得到的每个分类之间都存在明显的差异性，通过差异性分类将固定的部分和变化强烈的部分区分开来；本发明通过引入网格所处时间作为权重，在考虑差异性的同时，进行变化趋势的考量，精选了样本的扩充基础；

步骤S16：基于目标尺度和目标网格对视频样本作变化；具体的：生成视频样本的变化视频样本，变化视频样本RI

可替换的：RI

可替换的，RI

优选的：基于目标尺度确定所生成的变化视频样数量，当目标尺度和关注尺寸差异小时，例如：大小比较在阈值范围内来确定；产生较多的视频样本，反之亦然；关注尺寸和异常检测所针对的内容相关，例如：异常检测关于目标人，那么该关注尺寸和人在视频样本中的尺寸相关；通过这样的方式使得尺度变化监测效率最高；

现有技术中在进行样本扩充的时不考虑视频内容及其改变，更不考虑局部改变，因为涉及局部改变就要涉及图像的分割，显然对于样本扩充来说这样是得不偿失的，本发明通过网格拆分找到合理的粒度范围，在对样本的局部改变做样本的多尺度变化，在提高样本数量的同时，保障样本增强局部差异样本，从而在提高局部监测准确性的同时，大大提高了模型训练效率；

步骤S2：构建异常检测模型，进行模型训练；具体的：构建异常检测模型，采用视频样本数据I

优选的：所述异常检测模型为神经网络模型;

所述构建异常检测模型，为构建基于神经网络模型的异常检测模型，具体包括如下步骤：

步骤SA1：对视频样本数据通过卷积神经网络的映射层进行输入映射，基于视频样本帧生成输入矩阵，其中每个样本帧对应一个输入矩阵；

步骤SA2：设置窗口长度为W的卷积核，对W个输入矩阵做连续的卷积操作；

优选的：对W个输入矩阵作逐行卷积操作，具体的：将输入矩阵中的一行元素作为一个输入向量，对输入向量作卷积操作；Ker

优选的：W≤t；

步骤SA3：对卷积结果作池化操作；

优选的：所述卷积为均值卷积；

可替换的：所述神经网络模型为U-net模型；本发明对于视频样本同时存在特征向量稀疏 和维度较高的问题，采用神经网络会带来的大量计算导致死机，本发明通过设置窗口进行逐行卷积降低了神经网络的计算量，提高了异常检测效率；

所述构建异常检测模型，还包括权重文件选择步骤，具体为：

步骤SB1:从权重文件集合中选择一权重文件作为模型的当前权重文件，进行模型的训练；训练次数为第一给定次数；

当权重文件集合中所有权重文件均不满足要求时，从权重文件集合中选择在步骤SB4中误差值最小的权重文件作为所选择的权重文件；

优选的：所述权重文件为已训练好的权重文件；

步骤SB2：采用异常检测模型进行第一测试并获取误差值；若误差值在第一合理范围，则进入步骤SB3，否则，进入步骤SB1；

优选的：所述误差值为第一测试次数的平均误差值；

优选的：所述第一测试次数为0.1*第一给定次数；

步骤SB3：用当前权重文件进行模型的继续训练，训练次数为第二给定次数；

步骤SB4: 采用模型进行第二测试并获取误差值；若误差值在第二合理范围，则将当前权重文件作为所选择的权重文件；否则，进入步骤SB1；

优选的：所述第一给定次数NG1小于等于第二给定次数NG2；

优选的：随着模型的训练次数不断增加，合理范围也相应收窄；具体的：

具体的：所述第一合理范围数D1=[DD1,DU1]满足如下关系：

所述第一合理范围数D2=[DD2,DU2]满足如下关系：

优选的：所述第二测试次数等于第一测试次数；虽然使用其他模型的权重文件能够增加训练速度，但是如何选用，怎么选用现有技术中鲜有涉及，本发明通过测试次数，训练次数，误差范围的限定，科学选用已训练好的权重文件，大大加快训练的速度；

步骤S3：进行多尺度异常检测模型的测试；用异常检测模型预测得到下一帧预测值I

优选的：所述误差值为峰值信噪比；当误差值较大时，测试得分高，当测试得分大于异常得分时，确定存在异常；

所述误差，具体为：求取下一帧预测值和下一帧真实值之前的强度损失和/或梯度损失作为误差；

步骤S3具体包括如下步骤：

步骤S31：进行测试初始化；初始化测试尺度Scale为1；其中：测试尺度为尺度划分的层次或者次数；

步骤S32：按照测试尺度进对视频样本作尺度划分得到一个或多个经过尺度划分的视频样本序列；将视频样本序列分别依次输入异常检测模型，得到和所述一个或多个视频样本序列对应的预测输出；计算一个或多个预测输出的误差值，获取和误差值对应的得分SC；

所述获取和误差值对应的得分，具体为：根据误差值和得分的对照表查找和所述误差值对应的得分；

步骤S33：判断划分终止条件是否满足，如果是，则进入步骤S34，否则，则对测试尺度做增量操作，并进入步骤S32；

优选的：划分终止条件为测试尺度等于预设值和/或存在一个得分超过的得分阈值；

可替换的：所述划分终止条件为测试尺度等于关注尺度+1；

步骤S34：基于得分得到总得分，如果总得分超过总得分阈值，或者存在一个得分超过的得分阈值时，确定测试视频样本存在异常；本发明提出通过多尺度测试降低局部预测误差，消除显著的局部预测错误，从而最终提高模型的区域预测能力，以达到异常检测效率这个最终目的；

所述基于得分得到总得分，具体为：对上述得分进行加权求和得到总得分；SCALL=∑SC；

软件环境可以分为两类，包括在一个或多个硬件环境上执行的系统软件和应用软件。在一个实施例中，在此公开的方法和过程可以实现为系统软件、应用软件或它们的组合。系统软件可以包括诸如操作系统（OS）和信息管理系统之类的控制程序，它们指示硬件环境中的一个或多个处理器（例如微处理器）如何运行和处理信息。应用软件可以包括但不限于程序代码、数据结构、固件、驻留软件、微代码，或者可以由处理器读取、分析或执行的任何其它形式的信息或例程。

换言之，应用软件可以实现为程序代码，其以机器可用或计算机可读存储介质的形式嵌入在计算机程序产品中，计算机程序产品提供程序代码以便由机器、计算机或任何指令执行系统使用或者与其结合使用。此外，应用软件可以包括一个或多个计算机程序，这些计算机程序在从存储介质加载到本地存储器之后，在系统软件之上执行。在客户端-服务器体系结构中，应用软件可以包括客户端软件和服务器软件。例如，在一个实施例中，客户端软件可以在客户端计算系统上执行，该客户端计算系统不同于并且独立于执行服务器软件的服务器计算系统。

软件环境还可以包括浏览器软件以便访问通过本地或远程计算网络提供的数据。进一步，软件环境可以包括用户接口（例如图形用户接口（GUI））以便接收用户命令和数据。有必要重申，上面描述的硬件和软件体系结构和环境用于实例目的。因此，可以在任何类型的系统体系结构、功能或逻辑平台或处理环境上实现一个或多个实施例。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。