一种基于多目标跟踪的监控视频智能分段方法

技术领域

本发明涉及视频分段技术，特别是一种基于多目标跟踪的监控视频智能分段方法。

背景技术

随着目标跟踪技术的日趋成熟，研究人员可以对视频中的多目标同时跟踪[如文献1-5]， 为视频分段技术的实现提供了一种解决路径。

[1]Bewley A,Ge Z,Ott L,et al.Simple Online and Realtime Tracking[C]//2016IEEE International Conference on Image Processing(ICIP).IEEE,2016.

[2]Wojke N,Bewley A,Paulus D.Simple online and realtime tracking witha deep association metric[C]//2017IEEE international conference on imageprocessing(ICIP).IEEE,2017: 3645-3649.

[3]Son J,Baek M,Cho M,et al.Multi-object tracking with quadrupletconvolutional neural networks[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2017: 5620-5629.

[4]Zhu J,Yang H,Liu N,et al.Online multi-object tracking with dualmatching attention networks[C]//Proceedings of the European Conference onComputer Vision(ECCV).2018: 366-382.

[5]Wang Q,Zhang L,Bertinetto L,et al.Fast online object tracking andsegmentation:A unifying approach[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2019: 1328-1338.

目前视频分析任务多在标准视频数据集中进行，标准数据集中的视频多为120帧左右的 小视频，目的偏重于对比视频分析算法的有效性。然而，实际应用中，监控视频多为长达数 小时的长视频，需要提前对长视频分割成为小视频，否则无法直接应用于视频分析任务中。 目前的视频分段方法，多为暴力等分的方法，然而，该方法可能会把关键的动作分到两段小 视频中，严重影响后续的视频分析。

发明内容

针对现有技术中存在的问题，本发明提供了一种以多目标跟踪轨迹为基础，以事件为导 向进行对视频进行智能分段，可以有效避免关键事件的漏检的基于多目标跟踪的监控视频智 能分段方法。

本发明的目的通过以下技术方案实现。

一种基于多目标跟踪的监控视频智能分段方法，步骤包括：

多目标跟踪：对监控视频中的多目标进行跟踪，取得不同目标的运动轨迹点的位置坐标； 计算目标速度：以运动轨迹点为参照，计算每个轨迹点处目标的速度大小和速度方向；

视频智能分段：首先把速度大小或方向变化量超过阈值的轨迹点作为视频分割结点，对长视 频进行初次分段，然后初次分段后大于设定帧数阈值的视频，按固定帧数进行平均分段。

所述多目标跟踪：针对监控视频中的运动目标，所述运动目标包括人及交通工具，为了 在视频分割过程中，不同目标行为的事件同等程度地被照顾到，采用多目标跟踪算法(如简 单快速的SORT(Simple Online And Realtime Tracking)多目标跟踪方法[1]、对遗失和障碍物 更为鲁棒的Deep SORT跟踪算法[2]或其它可对视频图像中的多目标进行跟踪的算法[3-5])， 对监控视频中的目标进行跟踪，并分别标记不同目标的轨迹。

所述计算每个轨迹点处目标的速度大小和速度方向步骤包括：根据视频发生的先后顺 序标记目标的行进方向，该目标连续两帧的轨迹点记为P

速度大小变化量阈值设定为当前速度的50％；速度方向变化量的阈值设定为

所述设定帧数阈值为150帧。

所述按固定帧数进行平均分段具体为设定平均分段步长，对视频进行平均分段，尾部不 满足一个步长的视频帧则并入最后一段。

相比于现有技术，本发明的优点在于：突发事件多发生在分段后的一个小视频内，更有 益于后续的视频分析任务，尤其针对视频中包含异常事件时，可以极大降低漏检的概率，提 升视频分析的效率。

附图说明

图1为本发明监控视频画面示例；

图2为多目标跟踪后的目标轨迹点示例；

具体实施方式

下面结合说明书附图和具体的实施例，对本发明作详细描述。

实施例1

如图1和2所示，多目标跟踪：针对监控视频中的运动目标，所述运动目标包括人及交 通工具，为了在视频分割过程中，不同目标行为的事件同等程度地被照顾到，采用多目标跟 踪算法(如简单快速的SORT(Simple Online And Realtime Tracking)多目标跟踪方法[1]、对 遗失和障碍物更为鲁棒的Deep SORT跟踪算法[2]或其它可对视频图像中的多目标进行跟踪 的算法[3-5])，对监控视频中的目标进行跟踪，并分别标记不同目标的轨迹；

记录同一目标轨迹点的坐标位置，针对特定目标计算出其每个轨迹点处的速度矢量：

根据视频发生的先后顺序标记目标的行进方向，该目标连续两帧的轨迹点记为P

计算P

计算P

设定速度标量变化阈值，如当前速度的50％；设定速度方向变化的阈值，如

根据轨迹分段结果对视频进行初次分段，此时，每一段视频内是一个完整的事件；

若初分段的视频帧数大于设定阈值，如150帧，则转入步骤6进行再分段，否则结束；

针对初分段过长的视频片段，进行再分段：设定平均分段步长，对视频进行平均分段， 尾部不满足一个步长的视频帧则并入最后一段。