复杂场景下的高精度高空抛物检测系统及方法

技术领域

本发明涉及一种复杂场景下的高精度高空抛物检测系统及方法，属于视频监控安防技术领域，主要针对商场、住宅小区的高楼层进行高空抛物的检测。

背景技术

随着城市化的发展，高空抛物越来越成为严峻和急需被重视的城市问题，这种高空抛物行为给社会带来巨大的危害和影响。人工从历史录像数据里面排查高空抛物难度大，成本高，取证难。而目前的＂高空抛物＂检测系统大多使用较为简单的图像检测手段，误报率和漏报率都相对较高，这都使得检测系统的使用大打折扣。

近年来，无论是图像检测算法还是相机，计算机等硬件，性能和成熟度上都有了很大的提高，但是却没有能把这些技术和手段运用到＂高空抛物＂的检测上，尤其是在复杂场景，复杂条件的情况下精确地检测高空抛物。

综上所述，急需一种高精度的图像检测技术来解决现有技术中存在的问题。

专利1：《一种高空抛物预警方法和装置》，CN110853295A。该专利提供了一整套高空抛物的检测装置的设计，包括摄像头的安装，目标入侵检测，高空抛物验证，高空抛物预警，以及通过二次验证的方法提高检测准确率。

专利2：《一种基于图像识别的坠落物识别方法及系统》，CN111488799A。该专利提出基于图像识别的方法识别坠落物，主要运用背景建模的方法找出前景，使用密度聚类和二次方程拟合的方法从前景中识别坠落物体。

专利3：《一种高空抛物监测方法》，CN111539388A。该专利提出一整套检测和记录抛物的系统，使用前后帧对比，二值化的图像处理方法和几何学方法来检测抛物在图像中的位置，并且结合相机标定的位置来估算抛物对应的大楼房间，并将所有数据存入数据库系统。

发明内容

现有技术的缺点：专利1：《一种高空抛物预警方法和装置》。其设计的主要缺点是使用Gabor滤波器，多尺度图像分析，二次分析方法会造成检测速度变慢，而且图像平滑之后，很多小目标被过滤掉，从而容易造成漏检。专利2：《一种基于图像识别的坠落物识别方法及系统》。其设计的主要缺点是里面很多设计需要设定经验值，例如＂二测方程系数＂如何判别符合条件，需要手动设置阈值，降低了系统的通用性，没有结合最新的机器学习方法。专利3：《一种高空抛物监测方法》。其设计的主要缺点是没有提出具体有效的抛物检测模型，前后帧比对和二值化处理方法很难准确定位到高空抛物在图像中的位置。

本发明的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出一种复杂场景下的高精度高空抛物检测系统及方法，本发明的技术方案融合了图像特征工程方法，前后帧匹配算法以及机器学习和深度学习算法，能够在复杂条件下，例如雨天，夜晚，进行高空抛物检测和定位，并且用于备案和追踪事故。该算法无需配置阈值参数，并且能够达到实时检测的效果

本发明具体采用如下技术方案：复杂场景下的高精度高空抛物检测系统，包括：

运动物体检测模块，用于执行：输入一组连续帧图像序列，通过背景建模方法检测到每帧图像中快速移动的前景目标，并输出给特征抽取模块；

特征抽取模块，用于执行：接收所述运动物体检测模块输入的前景目标，对每个检测出的物体目标提取低维特征和高维特征，并存入特征库；

特征匹配模块，用于执行：接收所述特征抽取模块的低维特征和高维特征，进行物体目标前后帧的匹配，生成符合抛物轨迹的序列，并输出给轨迹预测并筛选模块；

轨迹预测并筛选模块，用于执行：接收所述特征匹配模块输出的所述符合抛物轨迹的序列，进行过滤噪声，并输出过滤后的抛物轨迹序列给物体类别过滤模块；

物体类别过滤模块，用于执行：接收所述轨迹预测并筛选模块输出的抛物轨迹序列，通过学习一个神经网络来筛选特定的高空抛物目标；具体包括：选择每个序列C

作为一种较佳的实施例，所述运动物体检测模块具体执行包括：静态相机下捕捉得到的连续帧通过混合高斯模型GMM获得前景图像；通过形态学上的闭运算来放大前景图像，对混合高斯模型GMM获得的二值图进行腐蚀操作达到放大前景图像的目的；在二值图上通过找连通域的方法找到前景图像中所有的连通区域，然后使用外接矩形拟合找到的连通域，把一些只有像素点大小的噪声滤掉，只保留有一定面积占比的矩形作为检测到的下落物体；利用层次聚类模型，对每个背景建模检测出来的前景目标进行建模，搜索其周围邻近的目标归为一类，打上一个标签”已归类”，下一次再对没有归类的目标执行相同操作，直到所有的前景目标都被打上标签”已归类”，最终得到一个干净的前景图。

作为一种较佳的实施例，所述特征抽取模块具体执行包括：

首先把所述运动物体检测模块检测获得的前景目标转化为更为抽象的特征，用于后续的帧间匹配和构建特征库；对在二值图上获得的目标框，投影到原始图像上，获得每一帧下检测的抛物，检测框根据自身大小，将宽和高各扩大一倍，在提取特征之前，将检测目标图片框归一化到20(宽)×20(高)像素大小，消除图像尺度对特征的影响；

提取每一个目标的几何特征，所述几何特征指的是面积Area和周长Perimeter；在二值图像上，所述几何特征具体指的是每个过滤出的连通域的面积和周长，所述几何特征作为低维度的特征被保存到特征库中；

提取每一个目标的纹理特征作为高维特征，所述纹理特征指的是24维的LBP特征。

作为一种较佳的实施例，所述特征匹配模块具体执行包括：

设特征库里面已经存有m组抛物序列列表C＝{C

其中，C表示LBP特征的余弦相似度，其计算公式是公式(2)，

其中，

如果当前抛物序列列表C为空，对F里的每个特征新建一个序列C

如果在匹配过程中发现目标F

作为一种较佳的实施例，所述轨迹预测并筛选模块具体执行包括：

通过特征匹配模块之后，生成一组完整的抛物序列C＝{C

v_speed表示序列C

seq_length表示序列C

size_partial表示序列C

curve_score表示用二次曲线ax

对于提取的5维轨迹特征，将收集到的各个抛物序列通过标注的手段分成两类：是真实抛物轨迹，标签为1；是噪声，标签为0，将轨迹筛选问题转化为二分类问题，然后训练一颗C4.5决策树对新的轨迹进行预测，从而达到筛出错误轨迹或者噪声的目的。

本发明还提出复杂场景下的高精度高空抛物检测方法，包括：

运动物体检测步骤，包括：输入一组连续帧图像序列，通过背景建模方法检测到每帧图像中快速移动的前景目标，并输出给特征抽取步骤；

特征抽取步骤，包括：接收所述运动物体检测步骤输入的前景目标，对每个检测出的物体目标提取低维特征和高维特征，并存入特征库；

特征匹配步骤，包括：接收所述特征抽取步骤的低维特征和高维特征，进行物体目标前后帧的匹配，生成符合抛物轨迹的序列，并输出给轨迹预测并筛选步骤；

轨迹预测并筛选步骤，包括：接收所述特征匹配步骤输出的所述符合抛物轨迹的序列，进行过滤噪声，并输出过滤后的抛物轨迹序列给物体类别过滤步骤；

物体类别过滤步骤，用于执行：接收所述轨迹预测并筛选步骤输出的抛物轨迹序列，通过学习一个神经网络来筛选特定的高空抛物目标；具体包括：选择每个序列C

作为一种较佳的实施例，所述运动物体检测步骤具体包括：静态相机下捕捉得到的连续帧通过混合高斯模型GMM获得前景图像，也就是说相机本身固定不动；由于下落的目标通常很小，需要通过形态学上的闭运算来放大前景图像，对混合高斯模型GMM获得的二值图进行腐蚀操作达到放大前景图像的目的，其缺点是也会发大噪声，不过本发明可以通过后续的特征匹配模块和轨迹预测并筛选模块过滤掉噪声，从而在复杂条件下检测出高空抛物；在二值图上通过找连通域的方法找到前景图像中所有的连通区域，然后使用外接矩形拟合找到的连通域，把一些只有像素点大小的噪声滤掉，只保留有一定面积占比的矩形作为检测到的下落物体；由于背景建模比较容易出现零碎的前景，所以利用层次聚类模型，对每个背景建模检测出来的前景目标进行建模，搜索其周围邻近的目标归为一类，打上一个标签”已归类”，下一次再对没有归类的目标执行相同操作，直到所有的前景目标都被打上标签”已归类”，最终得到一个干净的前景图。

作为一种较佳的实施例，所述特征抽取步骤具体包括：首先把所述运动物体检测步骤检测获得的前景目标转化为更为抽象的特征，用于后续的帧间匹配和构建特征库；对在二值图上获得的目标框，投影到原始图像上，获得每一帧下检测的抛物，检测框根据自身大小，将宽和高各扩大一倍，目的是为了增大感受野，有利于特征的抽取。在提取特征之前，将检测目标图片框归一化到20(宽)×20(高)像素大小，消除图像尺度对特征的影响；

提取每一个目标的几何特征，所述几何特征指的是面积Area和周长Perimeter；在二值图像上，所述几何特征具体指的是每个过滤出的连通域的面积和周长，所述几何特征作为低维度的特征被保存到特征库中；

提取每一个目标的纹理特征，所述纹理特征指的是24维的LBP特征，LBP特征对高速下落的目标物体具有旋转不变性。

若每一帧检测到的目标如果不能和前面帧检测出的目标一一对应上，就没法生成抛物序列，因此作为一种较佳的实施例，所述特征匹配步骤具体包括：

设特征库里面已经存有m组抛物序列列表C＝{C

其中，C表示LBP特征的余弦相似度，其计算公式是公式(2)，

其中，

如果当前抛物序列列表C为空，对F里的每个特征新建一个序列C

如果在匹配过程中发现目标F

特征匹配模块得到的抛物序列中很多属于False Positive的样本，因此作为一种较佳的实施例，所述轨迹预测并筛选步骤具体执行包括：

通过特征匹配步骤之后，生成一组完整的抛物序列C＝{C

v_speed表示序列C

seq_length表示序列C

size_partial表示序列C

curve_score表示用二次曲线ax

对于提取的5维轨迹特征，将收集到的各个抛物序列通过标注的手段分成两类：是真实抛物轨迹，标签为1；是噪声，标签为0，将轨迹筛选问题转化为二分类问题，然后训练一颗C4.5决策树对新的轨迹进行预测，从而达到筛出错误轨迹或者噪声的目的。

本发明还提出电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。

本发明还提出存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述方法的步骤。

本发明所达到的有益效果：第一，本发明提出一种复杂场景下的高精度高空抛物检测方法及系统，完全避免了人工设定检测参数的困难和不可控性，使用机器学习模型和深度学习模型辅助分类和检测，能够在较为复杂的场景下精确检测抛物轨迹；第二，本发明使用了高维度特征和低维度特征相结合的方法，提高了高速运动小目标物体的前后帧匹配精准度，避免了追踪目标丢失的实际问题；第三，本发明设计了一套带监督的特征工程方法和机器学习方法，简单有效的筛选出有效轨迹，对复杂场景下过滤掉误报有很大帮助。

附图说明

图1是本发明的复杂场景下的高精度高空抛物检测方法的流程图。

图2是本发明的物体类别过滤模块所使用的神经网络结构拓扑示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1：本发明提出复杂场景下的高精度高空抛物检测系统，包括：

运动物体检测模块，用于执行：输入一组连续帧图像序列，通过背景建模方法检测到每帧图像中快速移动的前景目标，并输出给特征抽取模块；

特征抽取模块，用于执行：接收所述运动物体检测模块输入的前景目标，对每个检测出的物体目标提取低维特征和高维特征，并存入特征库；

特征匹配模块，用于执行：接收所述特征抽取模块的低维特征和高维特征，进行物体目标前后帧的匹配，生成符合抛物轨迹的序列，并输出给轨迹预测并筛选模块；

轨迹预测并筛选模块，用于执行：接收所述特征匹配模块输出的所述符合抛物轨迹的序列，进行过滤噪声，并输出过滤后的抛物轨迹序列给物体类别过滤模块；

物体类别过滤模块，用于执行：接收所述轨迹预测并筛选模块输出的抛物轨迹序列，通过学习一个神经网络来筛选特定的高空抛物目标；具体包括：选择每个序列C

作为一种较佳的实施例，所述运动物体检测模块具体执行包括：静态相机下捕捉得到的连续帧通过混合高斯模型GMM获得前景图像；通过形态学上的闭运算来放大前景图像，对混合高斯模型GMM获得的二值图进行腐蚀操作达到放大前景图像的目的；在二值图上通过找连通域的方法找到前景图像中所有的连通区域，然后使用外接矩形拟合找到的连通域，把一些只有像素点大小的噪声滤掉，只保留有一定面积占比的矩形作为检测到的下落物体；利用层次聚类模型，对每个背景建模检测出来的前景目标进行建模，搜索其周围邻近的目标归为一类，打上一个标签”已归类”，下一次再对没有归类的目标执行相同操作，直到所有的前景目标都被打上标签”已归类”，最终得到一个干净的前景图。

作为一种较佳的实施例，所述特征抽取模块具体执行包括：

首先把所述运动物体检测模块检测获得的前景目标转化为更为抽象的特征，用于后续的帧间匹配和构建特征库；对在二值图上获得的目标框，投影到原始图像上，获得每一帧下检测的抛物，检测框根据自身大小，将宽和高各扩大一倍，在提取特征之前，将检测目标图片框归一化到20(宽)×20(高)像素大小，消除图像尺度对特征的影响；

提取每一个目标的几何特征，所述几何特征指的是面积Area和周长Perimeter；在二值图像上，所述几何特征具体指的是每个过滤出的连通域的面积和周长，所述几何特征作为低维度的特征被保存到特征库中；

提取每一个目标的纹理特征，所述纹理特征指的是24维的LBP特征。

作为一种较佳的实施例，所述特征匹配模块具体执行包括：

设特征库里面已经存有m组抛物序列列表C＝{C

其中，C表示LBP特征的余弦相似度，其计算公式是公式(2)，

其中，

如果当前抛物序列列表C为空，对F里的每个特征新建一个序列C

如果在匹配过程中发现目标F

作为一种较佳的实施例，所述轨迹预测并筛选模块具体执行包括：

通过特征匹配模块之后，生成一组完整的抛物序列C＝{C

v_speed表示序列C

seq_length表示序列C

size_partial表示序列C

curve_score表示用二次曲线ax

对于提取的5维轨迹特征，将收集到的各个抛物序列通过标注的手段分成两类：是真实抛物轨迹，标签为1；是噪声，标签为0，将轨迹筛选问题转化为二分类问题，然后训练一颗C4.5决策树对新的轨迹进行预测，从而达到筛出错误轨迹或者噪声的目的。

实施例2：如图1所示，本发明还提出一种复杂场景下的高精度高空抛物检测方法，具体地，静态相机下，输入一串个数为N的图像序列。

步骤1：从第2张图像开始，使用混合高斯模型(GMM)获得前景图像；

步骤2：通过形态学上的闭运算放大前景，主要对GMM获得的二值图进行腐蚀操作，达到放大前景目标的目标；

步骤3：在二值图上找到图像中所有的连通区域，然后使用外接矩形拟合连通域获得检测框，只保留有一定面积占比的矩形作为检测到的下落物体；

步骤4：利用层次聚类模型，对每个背景建模检测出来的目标进行建模，搜索其周围10像素范围的目标并归为一类，打上一个标签”已归类”，下一次再对没有归类的目标执行相同操作，直到所有目标的标签都变成”已归类”，最终可以得到一个较为干净的前景；

步骤5：对在二值图上获得的目标框，投影到原始图像上，获得每一帧下检测的抛物，检测框根据自身大小宽和高各扩大一倍，目的是为了增大目标的感受野。在提取每个目标特征之前，将图片归一化到20(宽)×20(高)像素大小；

步骤6：提取每一个目标的几何特征和纹理特征，几何特征包括每个连通域层次聚类之后的区域面积大小(Area)和区域周长(Perimeter)。纹理特征指的是24维的LBP特征，LBP特征对高速下落的目标物体具有旋转不变性；

步骤7：假设当前第2帧图像通过运动物体检测模块检测出m个目标F＝{F

步骤8：重复步骤1－步骤6，得到下一帧图像上检测到的一组k个目标F＝{F

其中，C表示LBP特征的余弦相似度，其计算公式如下；

其中，

如果在匹配过程中发现目标F

步骤9：重复步骤8，直到N帧图片都被处理完成；

步骤10：通过特征匹配模块之后，最终生成一组匹配完整的抛物序列C＝{C

步骤10-2：计算v_speed特征值，v_speed表示序列C

步骤10-3：计算seq_length特征值，seq_length表示序列C

步骤10-4：计算size_partial特征值，size_partial表示序列C

步骤10-5：计算curve_score特征值，curve_score表示用二次曲线ax

步骤10-6：对每个提取的序列C

步骤11(可选)：对C′中每个序列C′

本发明还提出电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述方法的步骤。

本发明还提出存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述方法的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。