一种排除飞虫干扰的遗留物检测方法

技术领域

本发明涉及一种排除飞虫干扰的遗留物检测方法，属于视频图像处理技术领域。

背景技术

遗留物检测能够有效检测出威胁公共安全的诸如爆炸物、有毒物质等的不明遗留物，在火车站、机场、地铁站等人群密集的公共区域具有广阔的应用空间。虽然通过视频监控可以找到大多数的遗留物，但是放在轨道上的遗留物通常不易被发现，随着轨道交通速度的不断提升，放在轨道上的遗留物很容易对乘客和车辆的安全带来隐患，故需要对遗留物进行实时监测。

目前，遗留物检测的方法主要可以分为两类，一类是基于目标跟踪的方法，其通过分析视频序列图像，在每帧图像中检测出各自独立的运动目标，从而确定目标在每帧中的具体位置，既能提供目标的运动轨迹，又能根据目标的跟踪信息进行运动检测和识别。目标跟踪的关键问题是连续的图像帧之间目标的对应匹配问题。基于目标跟踪的方法需要很好地解决如何高效选取匹配特征，克服场景干扰，对目标自身变化进行自适应的问题，流程相对复杂，算法复杂度较大。另一类是基于目标检测的方法，其是指在视频序列中检测并提取出与参考图像之间存在相对运动的前景区域，分析其灰度、纹理和边缘等特征，再以此为依据分割成若干独立目标。目前目标检测的方法主要分为光流法、帧间差分法、背景差分法等。基于目标检测的方法原理与计算相对简单，检测速度快，开发和应用成本较低，但在频繁遮挡、光线变化的复杂环境应用中的适应性有待提高。

虽然目前对于遗留物检测已经有很多研究，但是对于复杂场景内遗留物检测，依然存在很多问题。例如在复杂场景下非常容易受到其他物体，如静止的行人，夜晚快速飞舞的飞虫等因素的干扰，同时也会受到光照变化的影响，从而导致检测精度较低，误检率较高。而使用深度学习算法过滤行人以及动物等非目标物体，在不同的场景下需要大量标记的样本对模型进行训练，一旦场景出现其他干扰物体就需要对模型进行重新训练，否则检测精度就会大大下降。同时，深度学习算法计算复杂度和计算量都很大，很难满足智能视频监控系统实时处理的要求。

发明内容

针对上述问题，本发明的目的是提供了一种排除飞虫干扰的遗留物检测方法，其不仅能够适用于普通的火车站、商场等场景，还能用于排查火车铁轨上是否被人恶意放置障碍物等场景。在有效提高了检测精度的同时也能够保证其实时性以及对于复杂场景的适应性，能够有效节省人力、物力以及时间成本。

为实现上述目的，本发明采取以下技术方案：一种排除飞虫干扰的遗留物检测方法，包括以下步骤：S1从视频图像中获取物体的边缘；S2从视频图像中追踪移动目标，并判断其是否为飞虫，若否则直接进入下一步，若是则在步骤S1获取的物体的边缘中剔除移动物体的边缘后，进入下一步；S3对经过步骤S2处理的物体的边缘进行分类，并根据分类结果确定疑似遗留物的目标框；S4计算疑似遗留物的目标框中物体的得分，若得分大于阈值，则确认目标框中物体为遗留物，若得分小于阈值，则目标框中物体不是遗留物。

进一步，步骤S1中从视频图像中获取物体的边缘的方法为：S1.1计算视频图像在水平方向和垂直方向的梯度值，计算背景图像在水平方向和垂直方向的梯度值；S1.2计算水平方向上视频图像和背景图像的梯度差，计算垂直方向上视频图像和背景图像的梯度差；S1.3根据水平方向和垂直方向的梯度差获得二值化的前景边缘掩膜；S1.4根据前景边缘掩膜和每个边缘像素的时间累计得到稳定的边缘掩膜。

进一步，背景图像在水平方向的梯度值为：

B

背景图像在垂直方向的梯度值为：

B

其中，B

进一步，稳定的边缘掩膜的计算公式为：

SEMask

其中，SEMask

ACC

F

F

其中，D

进一步，步骤S2中从视频图像中追踪移动目标的方法为：S2.1计算视频图像中移动目标的特征信息；S2.2采用特征信息对卡尔曼滤波器进行初始化；

S2.3采用卡尔曼滤波器对下一帧中对应的目标区域进行预测，当下一帧到来时，将目标区域内的图像与预测结果进行匹配；S2.4如果匹配成功，则更新卡尔曼滤波器。

进一步，匹配的方法为匈牙利匹配算法，其通过最小化卡尔曼滤波得到的预测结果的质心与下一帧中实际检测到的图像的质心之间的欧氏距离之和将预测结果和检测到的图像进行匹配。

进一步，步骤S2中判断其是否为飞虫的方法为：判断物体在相邻帧的质心移动距离是否大于其目标框的较短边缘的1/2，且移动方向为向上；或者，在相邻十帧内运动方向是否有大于等于三次的变换，若是则为飞虫，若否则判断不是飞虫。

进一步，在步骤S3中对经过步骤S2处理的物体的边缘进行分类的方法为：将物体的每一个边缘放在一个边缘目标框中，计算每一边缘目标框与其他边缘目标框的距离，根据距离将边缘分为位于疑似遗留物的上方、下方、左方和右方四类，从而形成疑似遗留物的目标框。

进一步，步骤S4中的疑似遗留物的目标框中物体的得分包括对象得分和静态得分，只有当对象得分和静态得分均大于步骤S4中阈值时，才确认目标框中物体为遗留物。

进一步，对象得分的计算公式S

其中，T

静态得分C

其中，

本发明由于采取以上技术方案，其具有以下优点：1、本申请利用边缘来检测和分析判定候选出的疑似遗留物，能够有效减少复杂场景中的误报情况。2、本申请利用飞虫飞舞时的运动速度以及方向，能够有效抑制其在目标检测时带来的干扰，其对场景变化具有较强的鲁棒性，能准确地剔除静止的人所产生的误报，同时在飞虫较多的室外夜晚也能减少飞虫飞舞对后续入侵检测等系统的功能带来的影响。3、本发明通过对前景边缘进行多帧的检测来确保得到了较为稳定的场景边缘。4、本发明简单有效的甄别出夜晚室外场景时对画面有干扰的飞虫，并将其排除出入侵检测的目标，有效提高系统在复杂环境下检测的准确度并且有效减少了计算量。

附图说明

图1是本发明一实施例中排除飞虫干扰的遗留物检测方法的流程图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方向，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。

本发明公开了一种排除飞虫干扰的遗留物检测方法，其通过对前景边缘进行多帧的检测来确保得到了较为稳定的场景边缘。然后使用聚类算法对这些边缘进行分组，得到了包含疑似遗留物的矩形框。接下来，为了对疑似遗留物的目标进行分类，通过对其边缘的位置、方向和静态分数来有效的判断该疑似遗留物是否真的是遗留物。同时，在前景检测时，可以对移动物体进行框定以及聚类，通过判断其在每帧时运动轨迹的长度与其目标框长宽的比值是否过大，运动方向是否为向上并且是否短时间内运动方向急速变化，从而简单有效的甄别出夜晚室外场景时对画面有干扰的飞虫，并将其排除出在目标之外，有效提高系统在复杂环境下检测的准确度，有效减少了计算量。下面通过具体实施例对本发明方案进行详细说明。

本实施例公开了一种排除飞虫干扰的遗留物检测方法，包括以下步骤：

S1从视频图像中获取物体的边缘。

物体的边缘检测是将移动边缘检测技术与时间累积过程相结合，生成的稳定的边缘掩模。使用边缘代替像素强度是因为边缘对光照变化不敏感，不需要移除阴影，同时可以更好地描述场景信息，避免了光照变化对图像和检测结果的影响。

步骤S1中从视频图像中获取物体的边缘的方法为：

S1.1计算视频图像在水平方向和垂直方向的梯度值，计算背景图像在水平方向和垂直方向的梯度值。

在输入的视频图像上应用Sobel算子，计算输入视频图像在水平方向和垂直方向的一阶导数，即视频图像在水平方向和垂直方向的梯度值。然后，随着时间的推移在每个像素上使用连续的平均算法，计算背景图像在水平方向和垂直方向的梯度值，其公式为：

背景图像在水平方向的梯度值为：

B

背景图像在垂直方向的梯度值为：

B

其中，B

S1.2计算水平方向上视频图像和背景图像的梯度差，计算垂直方向上视频图像和背景图像的梯度差；

背景图像在水平方向的梯度差为：

D

背景图像在垂直方向的梯度值为：

D

其中，G

S1.3根据水平方向和垂直方向的梯度差获得二值化的前景边缘掩膜。

F

F

F

其中，hyst()是滞后阈值函数，D

S1.4根据前景边缘掩膜和每个边缘像素的时间累计得到稳定的边缘掩膜。

通过二值化的前景掩膜F

ACC

稳定的边缘掩膜的计算公式为：

SEMask

其中，SEMask

可以使稳定边缘掩膜SEMask

S2从视频图像中检测出移动物体，并判断其是否为飞虫，若否则直接进入下一步，若是则在步骤S1获取的物体的边缘中剔除移动物体的边缘后，进入下一步；

利用了检测出来的稳定背边缘以及二值化前景边缘掩膜，对输入的视频图像进行运算，获得移动目标的中心坐标以及目标框，通过blob分析检测连通域，得到对应的移动目标。然后利用卡尔曼滤波(Kalman)以及匈牙利匹配算法对帧间目标框建立关系，从而实现对多个移动物体的跟踪与匹配。

步骤S2中在视频图像中对多个移动物体的跟踪与匹配的方法为：

S2.1计算视频图像中移动目标的特征信息，包括运动目标的目标框，以及该目标框的中心坐标；

S2.2采用特征信息对卡尔曼滤波器进行初始化；

S2.3采用卡尔曼滤波器对下一帧中对应的目标区域进行预测，当下一帧到来时，将目标区域内的图像与预测结果进行匹配；

S2.4如果匹配成功，则更新卡尔曼滤波器。

其中，卡尔曼滤波器的状态方程为：

x

卡尔曼滤波器的观测方程为：

y

上两式子中，x

匹配的方法为匈牙利匹配算法，其通过最小化卡尔曼滤波得到的预测结果的质心与下一帧中实际检测到的图像的质心之间的欧氏距离之和将预测结果和检测到的图像进行匹配。具体方法为：计算匈牙利匹配算法的损失矩阵，其大小为[M N]，其中，M是轨迹数目，N是检测到的运动物体数目，并求解该损失矩阵。

跟踪到了移动物体，则找到其质心在相邻帧间移动的欧氏距离，可以得到移动物体的运动方向以及运动速度。通过对多处铁轨附近摄像头附近蚊虫飞舞的观察，简单的总结出了蚊虫飞舞的规律，得到了以下结论，当物体移动速度很快，在相邻帧的质心移动距离大于其目标框的较短边缘的1/2且当移动方向为向上或者在相邻十帧内运动方向有多于等于三次的变换。故步骤S2中判断移动目标是否为飞虫的方法为：判断物体在相邻帧的质心移动距离是否大于其目标框的较短边缘的1/2，且移动方向为向上；或者，在相邻十帧内运动方向是否有大于等于三次的变换，若是则为飞虫，若否则判断不是飞虫。

S3对经过步骤S2处理的物体的边缘进行分类，并根据分类结果确定疑似遗留物的目标框；

在步骤S3中对经过步骤S2处理的物体的边缘进行分类的方法为：将物体的每一个边缘放在一个边缘目标框中，计算每一边缘目标框与其他边缘目标框的距离，根据距离将边缘分为位于疑似遗留物的上方、下方、左方和右方四类，从而形成疑似遗留物的目标框。实时检测边缘的稳定性作为聚类的时间距离，矩形框与矩形框之间的距离不用质心之间的距离而是用矩形框的四个角和其他矩形框的角之间的最小距离衡量。计算出一边缘目标框与其他边缘目标框的时间距离和空间距离，如果另一边缘目标框的第一个边缘目标框的空间距离小于距离阈值D

S4计算疑似遗留物的目标框中物体的得分，若得分大于阈值，则确认目标框中物体为遗留物，若得分小于阈值，则目标框中物体不是遗留物。

现有技术中，通常会通过大量的分数来判断疑似的遗留物是否是由鬼影、静止的人以及突然变化的光照等引起的。而在本实施例中，只需要检查疑似遗留物的目标框内是否包含有一整个对象来判断疑似遗留物是否真的为被遗留的物体。基于类别无关的目标检测原理，在目标检测之前通过生成一个大概率包含遗留物的目标框来检查所有可能的位置以及滑动窗口的范围。

疑似遗留物的目标框中物体的得分包括对象得分和静态得分，只有当对象得分和静态得分均大于步骤S4中阈值时，才确认目标框中物体为遗留物。

对象得分：

对于人眼来说，具有明确的封闭边界的物体才可能是对象，假设被遗弃的物体一般都有简单的凸边缘，从而据此定义物体的客观得分。

在本实施例中，疑似遗留物的目标框宽度和长度为BB

将T

其中，θ

静态分数

静止的人很可能给遗留物检测带来挑战，但是人在静止时一般会有微小的内部运动，如耸肩等，因此，本实施例定义了一个静态分数来衡量目标轮廓的稳定性。通过验证每个边缘组与其相邻边缘组的关联性来测量物体轮廓的连通性从而得到一个分数C

静态得分C

其中，

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。