监控场景下的异常闯入物实时检测方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种监控场景下的异常闯入物实时检测方法及装置。

背景技术

安全是现代生活中社会关注的焦点问题，各地都建立了全方位的监控体系来保障社会的平稳有序运行，视频监控系统就是其中应用最广泛的一部分。伴随着高清摄像机的普及和移动网络的发展，视频监控系统逐渐应用在当下生产生活中的各个场景，特别是在一些敏感、高危区域视频监控覆盖率极高。得益于近年来计算机视觉技术，特别是深度学习技术的不断突破，计算机能够在算法模型的指导下对视频图像进行分析处理，提取出其中有价值的信息进行判断输出，像人一样的理解画面，从而代替工作人员完成一些繁琐的任务，并提高效率和准确率。然而，这些海量视频数据也给实时智能监控带来了极大挑战，常规的方法很难在实时处理的条件下达到较高的检测识别精度。

应用在安防领域视觉监控的异物入侵检测方法可以分为两种：一种方法是基于背景建模的运动目标检测算法，如静态差分、高斯混合模型和ViBe算法。这类算法需要建立背景模型，符合背景模型的像素点即为背景，同时作为背景输入更新背景模型，不符合背景模型的像素点为前景，即检测目标。基于背景建模的算法具有运算速度快、泛化性好的优点，但是缺点在于误报率高，对复杂场景下、远距离的较小目标的检测效果差；另一种方法是基于深度学习的目标检测算法，如Faster RCNN、SSD和YOLO系列。基于深度学习的目标检测算法不依赖视频帧之间的信息，可以对单幅图像进行目标检测。基于深度学习的目标检测算法的优点在于检测精度高、误报率低，缺点在于对远距离和像素点较小的目标检测效果差，占用计算机资源多，实时性不高。

发明内容

针对现有技术中存在的问题，本发明实施例提供一种监控场景下的异常闯入物实时检测方法及装置。

第一方面，本发明实施例提供一种监控场景下的异常闯入物实时检测方法，包括：

实时获取监控视频；

将所述监控视频输入至预设的异常闯入物检测模型中进行检测，当检测到与所述监控视频对应的监控图像中存在异常闯入物时，得到由所述异常闯入物检测模型输出的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别；其中，所述含有异常闯入物的监控图像中携带标注框，所述标注框用于框住所述异常检测物；所述预设的异常闯入物检测模型为采用监控视频样本作为输入数据，以及与所述监控视频样本对应的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别作为输出数据，基于机器学习算法训练得到的。

进一步地，还包括：

构建异常闯入物数据集，并进行标注确定所述异常闯入物所属类别；

对所述异常闯入物数据集进行扩展增强；

基于进行扩展增强后的所述异常闯入物数据集采用聚类算法获取符合预设待检测目标尺度特点的锚点框尺寸；

基于聚类后的所述异常闯入物数据集通过改进非极大值抑制的方法，抑制冗余框；

并基于YOLO_v4和/或YOLO_v5神经网络对所述异常闯入物数据集进行训练和检测。

进一步地，还包括：

计算两个所述锚点框中心点的距离；

根据计算结果抑制所述锚点框中的冗余框。

进一步地，所述对所述异常闯入物数据集进行扩展增强，具体包括：

采用旋转、亮度、尺度、角度变换，以及噪声和模糊处理的变换方式对所述异常闯入物数据集进行扩展增强。

第二方面，本发明实施例提供了一种监控场景下的异常闯入物实时检测装置，包括：

获取模块，用于实时获取监控视频；

检测模块，用于将所述监控视频输入至预设的异常闯入物检测模型中进行检测，当检测到与所述监控视频对应的监控图像中存在异常闯入物时，得到由所述异常闯入物检测模型输出的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别；其中，所述含有异常闯入物的监控图像中携带标注框，所述标注框用于框住所述异常检测物；所述预设的异常闯入物检测模型为采用监控视频样本作为输入数据，以及与所述监控视频样本对应的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别作为输出数据，基于机器学习算法训练得到的。

进一步地，还包括，构建模型模块：

所述构建模型模块，用于构建异常闯入物数据集，并进行标注确定所述异常闯入物所属类别；

对所述异常闯入物数据集进行扩展增强；

基于进行扩展增强后的所述异常闯入物数据集采用聚类算法获取符合预设待检测目标尺度特点的锚点框尺寸；

基于聚类后的所述异常闯入物数据集通过改进非极大值抑制的方法，抑制冗余框；

并基于YOLO_v4和/或YOLO_v5神经网络对所述异常闯入物数据集进行训练和检测。

进一步地，所述构建模型模块，还用于：

计算两个所述锚点框中心点的距离；

根据计算结果抑制所述锚点框中的冗余框。

进一步地，所述构建模型模块在执行对所述异常闯入物数据集进行扩展增强时，具体用于：

采用旋转、亮度、尺度、角度变换，以及噪声和模糊处理的变换方式对所述异常闯入物数据集进行扩展增强。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上第一方面所述的监控场景下的异常闯入物实时检测方法的步骤。

第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上第一方面所述的监控场景下的异常闯入物实时检测方法的步骤。

由上述技术方案可知，本发明实施例提供的监控场景下的异常闯入物实时检测方法及装置，通过实时获取监控视频；将所述监控视频输入至预设的异常闯入物检测模型中进行检测，当检测到与所述监控视频对应的监控图像中存在异常闯入物时，得到由所述异常闯入物检测模型输出的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别。本发明能够实时监测监控范围内的环境中是否存在会阻碍正常生产、影响安全及会引起信息泄露的异常闯入物，从而在检测到存在异常闯入物时及时进行语音及视频标注框提醒，以保证监控区域的安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的监控场景下的异常闯入物实时检测方法的流程示意图；

图2为本发明一实施例提供的监控场景下的异常闯入物实时检测装置的结构示意图；

图3为本发明一实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面将通过具体的实施例对本发明提供的监控场景下的异常闯入物实时检测方法进行详细解释和说明。

图1为本发明一实施例提供的监控场景下的异常闯入物实时检测方法的流程示意图；如图1所示，该方法包括：

步骤101：实时获取监控视频。

步骤102：将所述监控视频输入至预设的异常闯入物检测模型中进行检测，当检测到与所述监控视频对应的监控图像中存在异常闯入物时，得到由所述异常闯入物检测模型输出的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别；其中，所述含有异常闯入物的监控图像中携带标注框，所述标注框用于框住所述异常检测物；所述预设的异常闯入物检测模型为采用监控视频样本作为输入数据，以及与所述监控视频样本对应的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别作为输出数据，基于机器学习算法训练得到的。

在本实施例中，需要说明的是，异常闯入物，如无人机、车辆、气球、风筝、空中漂浮物(如塑料带/袋等)等可能会阻碍正常生产、影响人员机器安全、及可能造成信息泄露的异物。

在本实施例中，针对预设的异常闯入物检测模型，需要说明的是，所述预设的异常闯入物检测模型用于对如无人机、车辆、气球、风筝、空中漂浮物等异物进行监测并预警，所述预设的异常闯入物检测模型为采用监控视频样本作为输入数据，以及与所述监控视频样本对应的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别作为输出数据，基于机器学习算法训练得到的。其中，针对构建所述预设的异常闯入物检测模型，举例来说，如首先针对场景中可能闯入的异物，构建相应的数据集，数据集来源可包括监控场景下的真实数据，亦可通过网络爬虫技术搜集互联网上的相关数据，并采用数据增强的方式进行扩展数据以提高数据的多样性，然后使用聚类算法获取符合待检测目标尺度特点的锚点框尺寸，然后改进非极大值抑制来抑制冗余框，最终在YOLO_v4和/或YOLO_v5网络架构上完成训练和测试，从而使得构建好的所述预设的异常闯入物检测模型能同时对多种异常闯入物进行监测，既能保持实时性，同时还能提高检测准确性。

由上面技术方案可知，本发明实施例提供的监控场景下的异常闯入物实时检测方法，通过实时获取监控视频；将所述监控视频输入至预设的异常闯入物检测模型中进行检测，当检测到与所述监控视频对应的监控图像中存在异常闯入物时，得到由所述异常闯入物检测模型输出的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别。本发明能够实时监测监控范围内的环境中是否存在会阻碍正常生产、影响安全及会引起信息泄露的异常闯入物，从而在检测到存在异常闯入物时及时进行语音及视频标注框提醒，以保证监控区域的安全。

在上述实施例的基础上，在本实施例中，构建异常闯入物数据集，并进行标注确定所述异常闯入物所属类别；

对所述异常闯入物数据集进行扩展增强；

基于进行扩展增强后的所述异常闯入物数据集采用聚类算法获取符合预设待检测目标尺度特点的锚点框尺寸；

基于聚类后的所述异常闯入物数据集通过改进非极大值抑制的方法，抑制冗余框；

并基于YOLO_v4和/或YOLO_v5神经网络对所述异常闯入物数据集进行训练和检测。

在本实施例中，可以理解的是，构建异常闯入物数据集包括构建训练集和测试集，并对其进行标注，生成xml文件，其中，xml文件包括标注框的坐标信息，以及所属类别。

在本实施例中，可以理解的是，扩展增强的方式如：旋转、亮度、角度、尺度变换、以及噪声和模糊处理的变换方式，从而充分利用有限的数据(即原始数据样本)，在原始数据样本上进行数据扩充，形成增强训练样本。

在本实施例中，需要说明的是，聚类算法的作用是将相似的样本自动归到一个类别中，获取符合待检测目标尺度特点的锚点框尺寸。

在本实施例中，需要说明的是，通过判断固定网格内是否有目标物以及预测框与真实距离，获取所述当前目标尺度特点的锚点框设计。

在本实施例中，需要说明的是，YOLO_v4和/或YOLO_v5的骨干网络采用了CSPDarknet53(BottlenneckCSP)网络结构，解决在网络深入过程中梯度信息的重复学习，提升检测速度。在网络结构后增加SPP结构，让预测框获取更大的感受野，有效分离出数据中的重要特征信息。PANet路径聚合使用上下采样相结合的方式，通过上采样提高小目标检测物的检测效果，再通过下采样加强特征金字塔，最后通过多尺度特征层进行预测。

在本实施例中，需要说明的是，在YOLOv4和/或YOLOv5的网络基础上，构建符合监控场景下的异常闯入物体数据集，该数据集可来自真实视觉监控视频的采集，也可通过互联网获取，并对其进行数据增强，可以从有限的数据中充分获取特征信息，可以帮助模型更好地泛化；使用聚类算法获取符合待检测目标尺度特点的锚点框尺寸，可以提高模型的检测精度。本发明实施例提供的监控场景下的异常闯入物实时检测方法既能保持较高的准确性，又能保证实时性。

在上述实施例的基础上，在本实施例中，还包括：

计算两个所述锚点框中心点的距离；

根据计算结果抑制所述锚点框中的冗余框。

在本实施例中，可以理解是，本实施例考虑到两框中心点位置的信息，改进非极大值抑制来抑制冗余框。在非极大值抑制过程中替换了原有的IoU(交并比)，更符合实际情况。

在本实施例中，需要说明的是，在抑制准则中不仅应该考虑重叠区域，而且还应考虑两个边界框之间的中心点距离，改进非极大值抑制来抑制冗余框。

举例来说，改进后的非极大值抑制可以更好地反应两框之间的重合度，对预测框与真实框的距离、重叠率和尺度等因素建立关联，直接最小化二者的中心点距离，当预测框与真实框上下或者左右相邻时，可以优化不相交的边界框，为预测框提供移动方向，使其位置回归更加快速准确，最终保留位置更准确的预测框，提高模型对目标位置预测的准确度，使其通过非极大值抑制筛选得到的结果更加合理。

在上述实施例的基础上，在本实施例中，所述对所述异常闯入物数据集进行扩展增强，具体包括：

采用旋转、亮度、尺度、角度变换，以及噪声和模糊处理的变换方式对所述异常闯入物数据集进行扩展增强。

由上面技术方案可知，本发明实施例提供的监控场景下的异常闯入物实时检测方法，有利于充分利用有限的数据(即原始数据样本)，在原始数据样本上进行数据扩充，形成增强训练样本。

为了更好的理解本发明，下面结合实施例进一步阐述本发明的内容，但本发明不仅仅局限于下面的实施例。

一、构建异常闯入物检测模型：

本发明实施例通过对异常闯入物进行训练，得到针对于异常闯入物的训练权重，构建异常闯入物检测模型。其中在训练阶段具体分为以下几个步骤：

步骤S1：构建无人驾驶周围环境具有代表性的5类数据集，分别是无人机、车辆、气球、风筝、空中漂浮物，划分训练集和测试集，然后使用LabelImg或Labelme对数据进行标注，生成的标注文件中包含标注框的坐标信息，以及数据所属类别。

步骤S2：对当前数据集进行数据增强处理，数据增强的方式包括旋转、亮度、尺度、角度变换以及噪声和模糊处理的变换方式，通过数据增强的方式扩展数据，防止因为过度拟合而停止学习特征，提升其泛化能力和鲁棒性。

步骤S3：使用聚类算法获取符合待检测目标尺度特点的锚点框尺寸，具体的计算步骤如下所示：

适当随机选取k个类的初始中心；

在每次迭代中，对任意一个样本分别求其到k个中心的欧式距离，将该样本归距离最短的中心所在的类；

利用均值方法更新该k个类的中心的值；

对于所有的k个聚类中心，重复第二步和第三步，类的中心值的移动距离满足一定条件时，迭代结束，完成分类。

步骤S4：改进非极大值抑制来抑制冗余框，考虑了两框中心点位置的信息，根据计算两个锚点框中心点的距离，抑制冗余框，具体的计算方法如下公式所示：

改进后的非极大值抑制通过同时考虑重叠区域和两个框中心点之间的距离来移除框B

步骤S5：将改进后的算法应用于YOLOv4或YOLOv5的网络中，对数据进行训练。本发明实施例中采集了5类数据。整个训练过程如下：输入图像以608×608的分辨率进入YOLOv4网络中，经过主干网络CSPDarknet53后，进入SPP网络，SPP网络在YOLO中用来增加网络的感受野，实现对上一层进行5×5、9×9、13×13的最大池化，完成池化后进行Concat(张量拼接，可以扩充两个张量的维度)，连接成一个特征图通过1×1降维到512个通道；经过PANet上采样用于最后的特征拼接；最后经过YOLOv3 Head输出76×76×30、38×38×30、19×19×30。

二、检测构建好的异常闯入物检测模型：

本发明实施例的检测阶段，通过应用训练后的权重对异常闯入物进行检测，其具体检测原理如下：以输入图像分辨率为608×608、特征尺度为19×19为例说明YOLOv4检测模型的检测流程。模型将整张图像均匀分割成19×19的网络，当某个目标中心落入网络中，则该网络负责检测目标，每个网格会预测3个尺度不同的边界框，每个边界框需要预测中心点坐标、宽、高、置信度以及目标属于每个类别的概率，通过训练阶段步骤S3所说的聚类方法获得更符合目标数据的边界框尺寸，再通过训练阶段步骤S4所述的改进的非极大值抑制方法对冗余预测进行剔除，得到最终目标检测框。

利用上述原理检测构建好的异常闯入物模型：

实时获取监控视频；

将所述监控视频输入至预设的异常闯入物检测模型中进行检测，如某时某刻，检测到与所述监控视频对应的监控图像中存在异常闯入物(无人机)时，得到由所述异常闯入物检测模型输出的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别(即输出的监控图像中含有被框中的无人机)。

三、应用构建好的异常闯入物检测模型：

本发明实施例可以检测识别出安防监控场景下异常闯入物体以及物体在图像中的相对位置。将识别出来的结果进行综合分析，从而能够很好地感知外界环境，从而保障监控区域的安全。

图2为本发明一实施例提供的监控场景下的异常闯入物实时检测装置的结构示意图，如图2所示，该装置包括：获取模块201和检测模块202，其中：

其中，获取模块201，用于实时获取监控视频；

检测模块202，用于将所述监控视频输入至预设的异常闯入物检测模型中进行检测，当检测到与所述监控视频对应的监控图像中存在异常闯入物时，得到由所述异常闯入物检测模型输出的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别；其中，所述含有异常闯入物的监控图像中携带标注框，所述标注框用于框住所述异常检测物；所述预设的异常闯入物检测模型为采用监控视频样本作为输入数据，以及与所述监控视频样本对应的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别作为输出数据，基于机器学习算法训练得到的。

本发明实施例提供的监控场景下的异常闯入物实时检测装置具体可以用于执行上述实施例的监控场景下的异常闯入物实时检测方法，其技术原理和有益效果类似，具体可参见上述实施例，此处不再赘述。

基于相同的发明构思，本发明实施例提供一种电子设备，参见图3，电子设备具体包括如下内容：处理器301、通信接口303、存储器302和通信总线304；

其中，处理器301、通信接口303、存储器302通过通信总线304完成相互间的通信；通信接口303用于实现各建模软件及智能制造装备模块库等相关设备之间的信息传输；处理器301用于调用存储器302中的计算机程序，处理器执行计算机程序时实现上述各方法实施例所提供的方法，例如，处理器执行计算机程序时实现下述步骤：实时获取监控视频；将所述监控视频输入至预设的异常闯入物检测模型中进行检测，当检测到与所述监控视频对应的监控图像中存在异常闯入物时，得到由所述异常闯入物检测模型输出的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别；其中，所述含有异常闯入物的监控图像中携带标注框，所述标注框用于框住所述异常检测物；所述预设的异常闯入物检测模型为采用监控视频样本作为输入数据，以及与所述监控视频样本对应的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别作为输出数据，基于机器学习算法训练得到的。

基于相同的发明构思，本发明又一实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例提供的方法，例如，实时获取监控视频；将所述监控视频输入至预设的异常闯入物检测模型中进行检测，当检测到与所述监控视频对应的监控图像中存在异常闯入物时，得到由所述异常闯入物检测模型输出的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别；其中，所述含有异常闯入物的监控图像中携带标注框，所述标注框用于框住所述异常检测物；所述预设的异常闯入物检测模型为采用监控视频样本作为输入数据，以及与所述监控视频样本对应的含有异常闯入物的监控图像，以及所述异常闯入物的所属类别作为输出数据，基于机器学习算法训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。

此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。