一种安防系统中边缘设备的多路高空抛物检测方法及系统

技术领域

本发明涉及图像检测领域，具体而言涉及高空抛物的运动物体检测，更具体地涉及一种安防系统中边缘设备的多路高空抛物检测方法及系统。

背景技术

数据表明，一个30克的蛋从4楼抛下来就会让人起肿包，从8楼抛下来就可以让人头皮破损，从18楼抛下来就可以砸破行人的头骨，从25楼的高度抛下即可使人当场死亡，可见，高空坠落的物体对人身安全的危害极大。近年来，高空抛物、坠物事件不断发生，严重危害公共安全，侵害人民群众合法权益，影响社会和谐稳定。

高空抛物是一种特殊的侵权责任，包括从建筑物中抛掷物品，和从建筑物上坠落物品两种行为，一般情况下很难确定坠落物品由何处抛出或坠落。目前的小区防控方法还比较老旧，在事发后往往需要在十几个小时的监控录像中查找仅几秒内的抛物视频，不但很大浪费人力物力，而且实时性较差，无法准确的通知物业管理人员，给抛物溯源工作也带来了很大的困难。

现有技术中提供了很多高空抛物检测的相关方法，大都设置在数据中心端，但云端进行抛物检测的方式实时性较差，且云端数据中心对多路视频检测的效率较低，同时现有技术也没有溯源单元以及物业管理提醒单元，无法及时的提醒物业管理人员去现场处理相关事件。

发明内容

本发明提供的在安防系统中基于边缘设备的多路高空抛物检测方法及系统，通过在边缘设备及时对多路摄像机拍摄的视频画面进行基于边缘计算节点的抛物检测，再将初步筛选的检测结果上传至数据中心进行二次分析与溯源追踪，提高检测精度和效率，并通过预警通知单元及时告知相关人员现场处理，提高抛物溯源的准确性和及时性。

为达到上述目的，本发明提供了一种安防系统中边缘设备的多路高空抛物检测方法，其包括以下步骤：

步骤1：边缘设备获取多路高清网络摄像机所拍摄的视频，将视频缓存解码后对视频帧进行第一次抛物检测分析，并输出仅包含检测到抛物事件的视频序列；

步骤2：数据中心将接收到抛物事件视频序列进行抛物过程的二次分析，确定抛物点，并向相关人员发出预警信息；

其中，步骤1的具体执行过程为：

步骤11：利用开放式网络视频接口论坛与实时流传输协议获取高清网络摄像机所拍摄的视频；

步骤12：利用队列编码技术将获取的视频进行内存缓存，其中缓存视频的时长为15秒，以用于保存发生抛物事件的视频；

步骤13：利用解码器对缓存的视频码流进行解码处理，得到视频帧的原始图像序列；

步骤14：将原始图像序列中的每一帧图像进行滤波、压缩、灰度图转换的预处理；

步骤15:对经过预处理每一帧视频图像进行运动目标检测，计算运动目标中心点坐标与区域大小，并进行标记；

步骤16：计算当前帧的噪声情况，并生成当前帧的噪声掩膜图I

步骤17：将各帧检测到的运动目标进行匹配并标注；

步骤18：将检测到的包含运动目标的视频序列上传到数据中心。

在本发明一实施例中，其中步骤14中进行预处理的具体过程为：

步骤1401：采用双边滤波的方式对原始图像进行滤波处理，以抑制图像中的噪声；

步骤1402：压缩图像并读取彩色图像中的RGB分量；

步骤1403：计算当前视频帧图像I

步骤1404：对当前视频帧图像I

在本发明一实施例中，其中步骤15中进行运动目标检测的具体步骤为：

步骤1501：构建当前帧的近似背景图，具体为：

为经过预处理的图像序列建立一个容量为5的灰度图队列，其中，队列中的图片的选择为从当前帧向前每5帧跳帧选择一帧进行存储；

当队列满时，对队列内的5帧灰度图片进行相加处理，然后进行像素平均，得到一张近似背景图I

完成当前帧近似背景图I

步骤1502：获取当前帧的前景图I

将灰度图像I

对变化图I

步骤1503：对前景图进行消除噪声处理，具体为：

利用预置的第一掩膜图I

再利用上一帧图像经过计算获得的噪声掩膜图I

步骤1504：标记抛物区域块，并记录其中心点坐标与区域大小，具体为：

在消除噪声后的前景图I

当计算的任一区域块中像素点数量大于10时，记录此区域块的中心点坐标与区域大小。

在本发明一实施例中，其中步骤16中计算当前帧的噪声情况，并生成当前帧的噪声掩膜图I

步骤1601：将步骤1502中得到的变化图I

步骤1602：计算每一区域块中像素点的数量，当任一区域块中像素点数量大于10时，标记此区域为变化物体；

步骤1603：计算图像I

步骤1604：计算从当前帧开始前数20帧图像中存在噪声的帧数，当存在噪声的帧数小于4时，认为当前系统无噪声，并将噪声掩膜图I

步骤1605：将当前帧的前景图I

在本发明一实施例中，其中步骤17中将各帧检测到的运动目标进行匹配并标注的具体过程为：

设上一帧检测到的运动目标为A，当前帧检测到的运动目标为B，运动目标A的大小为A.area，运动目标B的大小为B.area，运动目标A的中心点坐标为(A.x，A.y)，运动目标B的中心点坐标为(B.x，B.y)，计算运动目标A与运动目标B的相关度Z，当Z大于第二阈值时，认定运动目标A与运动目标B为同一物体，否则认定运动目标A与运动目标B为不同物体，其中，第二阈值设置为108，相关度Z的计算公式为：

其中，max为两者中取较大值，min为两者中取较小值，0.00001为用于调节大小比例与距离比例的常量。

在本发明一实施例中，其中，步骤2的具体执行过程为：

步骤21：接收包含运动目标的视频序列；

步骤22:将标注的运动目标中心点进行连线，得到抛物轨迹及抛物起始点；

步骤23：利用预置的第二掩膜图I

步骤24：向系统使用人员发出预警通知，并发送发生抛物事件的地址信息与事件详情。

本发明还提供了一种安防系统中边缘设备的多路高空抛物检测系统，用于实现前述高空抛物检测方法，其包括：

IPC摄像机模块，为4路800W高清网络摄像机；

边缘计算节点模块，架设于边缘设备中并与IPC摄像机模块数据连接，用于对获取到的摄像机拍摄视频进行第一次抛物检测分析；以及

数据中心模块，架设于云平台并与边缘计算节点模块数据连接，用于对第一次抛物检测分析结果进行二次分析，并对分析出的抛物结果发出预警通知；

其中，边缘计算节点模块包括：

视频图像接入单元，用于获取高清网络摄像机所拍摄的视频；

视频图像缓存单元，用于利用队列编码技术将视频图像接入单元获取的视频进行缓存处理；

视频图像解码单元，包括解码器，用于对视频图像缓存单元缓存的视频码流进行解码，以得到视频图像序列；

视频图像预处理单元，用于对视频图像解码单元解码后的视频图像序列的每一帧图像进行滤波、压缩、灰度图转换的预处理；

视频图像运动物体检测单元，用于对经过视频图像预处理单元预处理的视频图像序列进行运动目标检测；

视频图像噪声检测单元，用于动态对视频图像运动物体检测单元检测的视频帧进行噪声计算，并将计算结果用于下一帧的噪声消除；

运动目标匹配单元，用于将视频图像运动物体检测单元在各视频帧检测到的运动目标进行匹配并标注；

视频结果上传单元，用于将运动目标匹配单元匹配并标注好的运动目标视频序列上传到数据中心模块做进一步分析与证据采集；

其中，数据中心模块包括：

视频结果接收单元，用于接收视频结果上传单元上传的视频序列；

抛物过程分析单元，用于将视频结果接收单元接收到的视频序列进行抛物过程分析及抛出点的计算；

抛物预警通知单元，用于接收抛物过程分析单元的分析结果并向系统使用人员发送包括发生抛物的地址与事件详情的预警通知。

本发明提供的在安防系统中基于边缘设备的多路高空抛物检测系统及方法，通过在边缘设备及时对多路摄像机拍摄的视频画面进行基于边缘计算节点的抛物检测，再将初步筛选的检测结果上传至数据中心进行二次分析与溯源追踪，并通过预警通知单元及时告知相关人员现场处理。相比于现有技术，本发明至少具有以下优点：

(1)将抛物检测装置部署在边缘设备端，不需要将视频码流全量传输到数据中心，减轻了网络部署的压力与传输负载情况，提高了传输效率。

(2)增加数据中心的分析单元，通过两次分析判断，提高检测精度和抛物溯源的准确性。

(3)增加数据中心的报警单元，通过与检测和分析单元的全流程连通可以进行抛物溯源、证据保存、现场预警、物业提醒等多项功能，提高抛物溯源的准确性和及时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明高空抛物检测方法的流程图；

图2为本发明高空抛物检测系统示意图。

附图标记说明：S1、S2、S11～S18、S21～S23-步骤；10-IPC摄像机模块；20-边缘计算节点模块；21-视频图像接入单元；22-视频图像缓存单元；23-视频图像解码单元；24-视频图像预处理单元；25-视频图像运动物体检测单元；26-视频图像噪声检测单元；17-运动目标匹配单元；28-视频结果上传单元；30-数据中心模块；31-视频结果接收单元；32-抛物过程分析单元；33-抛物预警通知单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为本发明抛物检测方法的流程图，如图1所示，本发明提供了一种安防系统中边缘设备的多路高空抛物检测方法，其包括以下步骤：

步骤1：边缘设备获取多路高清网络摄像机所拍摄的视频，将视频缓存解码后对视频帧进行第一次抛物检测分析，并输出仅包含检测到抛物事件的视频序列；

步骤2：数据中心将接收到抛物事件视频序列进行抛物过程的二次分析，确定抛物点，并向相关人员发出预警信息；

其中，所述步骤1的具体执行过程为：

步骤11：利用开放式网络视频接口论坛(onvif)与实时流传输协议(rtsp)获取高清网络摄像机所拍摄的视频；

步骤12：利用队列编码技术将获取的视频进行内存缓存，其中缓存视频的时长为15秒，以用于保存发生抛物事件的视频，通过内存缓存的方式可以减少存储介质的损耗同时节省存储空间；

步骤13：利用解码器对缓存的视频码流进行解码处理，得到视频帧的原始图像序列；

步骤14：将原始图像序列中的每一帧图像进行滤波、压缩、灰度图转换的预处理，以保证尽量保存图像细节的情况下提高后续数据运算速度与精度。其中，预处理的输出结果是灰度化的图像，所述灰度化就是把含有亮度和色彩的彩色图像变化为灰度图像的过程；

其中，进行预处理的具体过程为：

步骤1401：采用双边滤波的方式对原始图像进行滤波处理，以抑制图像中的噪声；

其中，双边滤波(Bilateralfilter)是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折中处理，能够兼顾同时考虑空域信息和灰度相似性，达到保边去噪的目的，具有简单、非迭代、局部的特点。本发明实施例采用双边滤波的好处是可以做边缘保存(edgepreserving)，一般常用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波顾名思义比高斯滤波多了一个高斯方差sigma-d，它是基于空间分布的高斯滤波函数，因此在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存，具体算法在此不做赘述。

步骤1402：压缩图像并读取彩色图像中的RGB分量，其中，RGB是指RGB色彩模式，其是工业界的一种颜色标准，是通过对红(R，Red)、绿(G，Green)、蓝(B，Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的；

步骤1403：计算当前视频帧图像I

步骤1404：对当前视频帧图像I

步骤15:对经过预处理每一帧视频图像进行运动目标检测，计算运动目标中心点坐标与区域大小，并进行标记；

其中，进行运动目标检测的具体步骤为：

步骤1501：构建当前帧的近似背景图，具体为：

为经过预处理的图像序列建立一个容量为5的灰度图队列，其中，灰度图队列中的灰度图片的选择为从当前帧向前每5帧跳帧选择一帧进行存储；

当队列满时，对队列内的5帧灰度图片进行相加处理，然后进行像素平均，得到一张近似背景图I

完成当前帧近似背景图I

在本发明一实施例中，若当前帧为第25帧，则向前跳帧选择第5帧、第10帧、第15帧、第20帧与第25帧组成灰度图队列；将第5帧、第10帧、第15帧、第20帧与第25帧灰度图相加后，进行像素平均得到第25帧图像的近似背景图I

步骤1502：获取当前帧的前景图I

将灰度图像I

对变化图I

步骤1503：对前景图进行消除噪声处理，具体为：

利用预置的第一掩膜图I

再利用上一帧图像经过计算获得的噪声掩膜图I

步骤1504：标记抛物区域块，并记录其中心点坐标与区域大小，具体为：

在消除噪声后的前景图I

当计算的任一区域块中像素点数量大于10时，记录此区域块的中心点坐标与区域大小。

步骤16：计算当前帧的噪声情况，并生成当前帧的噪声掩膜图I

其中，计算当前帧的噪声情况，并生成当前帧的噪声掩膜图I

步骤1601：将步骤1502中得到的变化图I

步骤1602：计算每一区域块中像素点的数量，当任一区域块中像素点数量大于10时，标记此区域为变化物体；

步骤1603：计算图像I

步骤1604：计算从当前帧开始前数20帧图像中存在噪声的帧数，当存在噪声的帧数小于4时，认为当前系统无噪声，并将噪声掩膜图I

步骤1605：将当前帧的前景图I

在本发明一实施例中，设当前帧为第25帧，将变化图I

步骤17：将各帧检测到的运动目标进行匹配并标注，具体为：

设上一帧检测到的运动目标为A，当前帧检测到的运动目标为B，运动目标A的大小为A.area，运动目标B的大小为B.area，运动目标A的中心点坐标为(A.x，A.y)，运动目标B的中心点坐标为(B.x，B.y)，计算运动目标A与运动目标B的相关度Z，当Z大于第二阈值时，认定运动目标A与运动目标B为同一物体，否则认定运动目标A与运动目标B为不同物体，其中，第二阈值设置为108，相关度Z的计算公式为：

其中，max为两者中取较大值，min为两者中取较小值，0.00001为用于调节大小比例与距离比例的常量。

步骤18：将检测到的包含运动目标的视频序列上传到数据中心。

其中，所述步骤2的具体执行过程为：

步骤21：接收包含运动目标的视频序列；

步骤22:将标注的运动目标中心点进行连线，得到抛物轨迹及抛物起始点；

步骤23：利用预置的第二掩膜图I

步骤24：向系统使用人员发出预警通知，并发送发生抛物事件的地址信息与事件详情。

图2为本发明的高空抛物检测系统示意图，如图2所示，本发明还提供了一种安防系统中边缘设备的多路高空抛物检测系统，用于实现前述高空抛物检测方法，其包括：

IPC摄像机模块(10)，为4路800W高清网络摄像机，其中，IPC(IP camera)为网络摄像机；

边缘计算节点模块(20)，架设于边缘设备中并与IPC摄像机模块(10)数据连接，用于对获取到的摄像机拍摄视频进行第一次抛物检测分析；以及

数据中心模块(30)，架设于云平台并与边缘计算节点模块(20)数据连接，用于对第一次抛物检测分析结果进行二次分析，并对分析出的抛物结果发出预警通知；

其中，边缘计算节点模块(20)包括：

视频图像接入单元(21)，用于获取高清网络摄像机所拍摄的视频；

视频图像缓存单元(22)，用于利用队列编码技术将视频图像接入单元(21)获取的视频进行缓存处理；

视频图像解码单元(23)，包括解码器，用于对视频图像缓存单元(22)缓存的视频码流进行解码，以得到视频图像序列；

视频图像预处理单元(24)，用于对视频图像解码单元(23)解码后的视频图像序列的每一帧图像进行滤波、压缩、灰度图转换的预处理；

视频图像运动物体检测单元(25)，用于对经过视频图像预处理单元(24)预处理的视频图像序列进行运动目标检测；

视频图像噪声检测单元(26)，用于动态对视频图像运动物体检测单元(25)检测的视频帧进行噪声计算，并将计算结果用于下一帧的噪声消除；

运动目标匹配单元(27)，用于将视频图像运动物体检测单元(25)在各视频帧检测到的运动目标进行匹配并标注；

视频结果上传单元(28)，用于将运动目标匹配单元(27)匹配并标注好的运动目标视频序列上传到数据中心模块(30)做进一步分析与证据采集；

其中，数据中心模块(30)包括：

视频结果接收单元(31)，用于接收视频结果上传单元(28)上传的视频序列；

抛物过程分析单元(32)，用于将视频结果接收单元(31)接收到的视频序列进行抛物过程分析及抛出点的计算；

抛物预警通知单元(33)，用于接收抛物过程分析单元(32)的分析结果并向系统使用人员发送包括发生抛物的地址与事件详情的预警通知。

在本发明一实施例中，所述高清网络摄像机所拍摄的视频以H.264或H.265码流格式传输。

本发明提供的在安防系统中基于边缘设备的多路高空抛物检测系统及方法，通过在边缘设备及时对多路摄像机拍摄的视频画面进行基于边缘计算节点的抛物检测，再将初步筛选的检测结果上传至数据中心进行二次检测分析与溯源追踪，并通过预警通知单元及时告知相关人员现场处理，提高检测精度和效率，也提高了抛物溯源的准确性和及时性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。