一种稀疏目标跟踪方法

技术领域

本发明属于目标跟踪技术领域，具体涉及一种稀疏目标跟踪方法。

背景技术

目标跟踪属于智能决策技术范畴，是在同一视频序列的同一帧中标记目标并进行跟踪的技术。复杂背景下的多目标跟踪问题分为稀疏目标背景和密集目标背景。当目标分布稀疏时，目标区域较大且分布较为离散，多用于视频监控、自动驾驶等多种军事及民用应用领域中。目前，复杂背景下的稀疏目标跟踪问题逐渐成为研究热点。

研究人员在目标检测器的基础上提出了多种目标跟踪技术和方法。总的来说，现有跟踪方法可分为检测后跟踪方法和边检测边跟踪方法。其中，检测后跟踪方法凭借着优异的性能和较快的运行速度，获得了学术界和工业界的青睐。基于感兴趣人(Person ofInterest，POI)的算法提出了一种基于深度学习检测和重识别(Re-identification，ReID)提取的外观特征进行目标跟踪的方法，证明了好的检测和外观特征对多目标跟踪的重要性。基于长短时记忆(LongShort-Term Memory，LSTM)的目标跟踪方法将检测和外观特征输入到LSTM中得到目标间相似性得分，然后进行关联。基于深度简单在线实时跟踪(DeepSimple Online and Realtime Tracking，DeepSORT)的多目标算法提出了一种整合外观信息进行关联的策略，解决了遮挡时间较长的多目标跟踪问题，并大大减少了身份切换的数量。尽管提出了多种方法，但是当面临长期遮挡和复杂背景的多目标检测任务时，由于目标对象的外观特征发生了巨大改变，现有多目标跟踪技术无法解决跟踪精度低和跟踪率下降的情况，从而影响了多目标跟踪性能。

发明内容

本发明的目的在于解决在稀疏目标分布场景下，现有目标跟踪算法跟踪精度和跟踪率下降问题，提供一种稀疏目标跟踪方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：逐帧输入目标检测结果，并删除检测置信度低的目标；

步骤2：利用Mask R-CNN获得各目标的精确前景图像区域，并利用ReID网络提取各目标的128维前景特征；

步骤3：考虑到目标的运动因素，在原视频图像上以各个目标为中心，裁剪出包含背景的目标图像块，并将裁剪后各个目标图像块输入到ReID网络，提取128维前景+背景特征；

步骤4：利用卡尔曼滤波进行轨迹预测，并利用余弦距离和匈牙利算法获得目标前景特征匹配结果和目标前景+背景特征匹配结果；

步骤5：找出目标前景匹配结果和前景+背景匹配结果不一致的目标；

步骤6：根据待匹配目标所具有的相同邻居数，确定选择使用目标前景匹配结果还是前景+背景匹配结果；

步骤6.1：根据历史匹配结果，找出步骤5中匹配结果不一致目标的3个最近历史邻居目标，并将其邻居目标的轨迹编号集合记录为history

步骤6.2：根据当前帧的检测结果，对于步骤5中匹配结果不一致的目标，找出其最近的3个邻居目标，并根据目标前景匹配和前景+背景匹配结果，分别得到这3个邻居目标所对应的轨迹编号集合current

步骤6.3：统计目标前景匹配的history

步骤6.4：统计目标前景+背景匹配下的history

步骤6.5：如果All

步骤7：对级联匹配后的结果进行IoU匹配；

步骤8：利用IoU匹配结果对各个目标轨迹进行更新；

步骤9：重复步骤4至步骤8直至视频的最后一帧。

本发明的有益效果在于：

本发明设计了一种新的目标跟踪方法，通过引入目标前景信息、目标前景+背景信息和近邻目标信息来提高跟踪精度、改善跟踪性能。本发明解决了在稀疏目标分布场景下，现有目标跟踪算法跟踪精度和跟踪率下降问题。

附图说明

图1为本发明的流程图。

图2为本发明的实施例中选取MOT16数据集中具有稀疏行人分布的序列测试本发明的测试结果表。

具体实施方式

下面结合附图对本发明做进一步描述。

为解决在稀疏目标分布场景下，现有目标跟踪算法跟踪精度和跟踪率下降问题，本发明设计了一种新的目标跟踪方法，通过引入目标前景信息、目标前景+背景信息和近邻目标信息来提高跟踪精度、改善跟踪性能。

一种稀疏目标跟踪方法，包括以下步骤：

步骤1)逐帧输入目标检测结果，并删除检测置信度低的目标。

步骤2)利用基于掩模区域的卷积神经网络分割算法(MaskRegion-based CNN，Mask R-CNN)获得各目标的精确前景图像区域，并利用ReID网络提取各目标的128维前景特征。

步骤3)考虑到目标的运动因素，在原视频图像上以各个目标为中心，裁剪出包含背景的目标图像块，并将裁剪后各个目标图像块输入到ReID网络，提取128维前景+背景特征。

步骤4)利用卡尔曼滤波进行轨迹预测，并利用余弦距离和匈牙利算法获得目标前景特征匹配结果和目标前景+背景特征匹配结果。

步骤5)找出目标前景匹配结果和前景+背景匹配结果不一致的目标。

步骤6)由于遮挡等原因，目标的外观特征已经不可信了。因此，本发明利用周围邻居信息进行辅助关联。根据待匹配目标所具有的相同邻居数，确定选择使用目标前景匹配结果还是前景+背景匹配结果。具体包括：

a)根据历史匹配结果，找出5)中匹配结果不一致目标的3个最近历史邻居目标，并将其邻居目标的轨迹编号集合记录为history

b)根据当前帧的检测结果，对于5)中匹配结果不一致的目标，找出其最近的3个邻居目标，并根据目标前景匹配和前景+背景匹配结果，分别得到这3个邻居目标所对应的轨迹编号集合current

c)统计目标前景匹配的history

d)统计目标前景+背景匹配下的history

e)如果All

步骤7)对级联匹配后的结果进行重叠度(Intersection over Union，IoU)匹配。

步骤8)利用IoU匹配结果对各个目标轨迹进行更新。

步骤9)重复步骤4)至步骤8)直至视频的最后一帧。

实施例1：

下面结合图1详细描述本发明的具体实施方式。令输入为视频图像和MOT16-POI的检测结果。设每个检测目标由(t,x,y,w,h,score)表示，其中x，y分别表示目标框左上角的横、纵坐标，w，h分别表示目标框的宽度和高度，score表示检测结果的置信度。本发明提出的稀疏目标跟踪技术的具体实现步骤如下：

步骤1，删除score<＝0.3的目标。

步骤2，提取目标前景特征：利用检测结果在视频中裁剪出各个目标对应的图像块。将各图像块输入Mask R-CNN，获得目标的精确前景图像，并将目标前景图像输入到ReID网络，提取目标的128维前景特征。在此步骤中，利用如下方法获取目标的精确前景图像：

(a)如果Mask R-CNN计算掩码时发现目标图像块中有多个对象，则分别统计每个对象掩码的像素数，保留像素数最多的目标掩码。如果只有一个对象则保留全部掩码信息。

(b)利用(a)中得到的掩码信息，获得目标图像块中对应位置的图像信息，并将该信息叠加在相同大小的黑色背景上，得到最终的目标精确前景图像。

步骤3，对于目标O＝(t,x,y,w,h,score)，在原视频图像上裁剪包含目标前景和背景信息的图像块，相应的裁剪区域为(x-a,y-a,w+2a,h+2a)，其中a为正整数，其他参数含义同前所述。将裁剪后图像块输入到ReID网络，提取目标的128维前景+背景特征。

步骤4，将当前视频帧中满足步骤1条件的目标检测结果及其前景特征和前景+背景特征输入到DeepSORT模型中。

步骤5，根据当前视频帧中各目标的状态信息，利用卡尔曼滤波器预测其在下一帧中的位置。

步骤6，利用级联匹配算法对历史匹配结果(轨迹)和当前帧检测结果进行初步匹配。具体包括：

(a)分别对历史匹配结果(轨迹)和当前帧目标检测结果进行标号。如果没有历史匹配结果，则转到步骤4。

(b)分别利用目标前景特征和前景+背景特征，根据余弦距离和匈牙利算法得到目标前景的匹配结果indices

(c)找出目标前景匹配结果indices

(d)根据历史匹配结果，找出c)中结果不一致目标的3个最近历史邻居目标，并将其邻居轨迹编号集合记录为history

(e)根据当前帧的检测结果，对于c)中结果不一致的目标，找出其最近的3个邻居目标，并根据目标前景匹配和目标前景+背景匹配结果，分别得到这3个邻居目标对应的轨迹编号集合，记为current

(f)计算目标前景匹配下的history

(g)计算目标前景+背景匹配下的history

(h)如果All

步骤7：对步骤6(h)的级联匹配结果进行IoU匹配。

步骤8：利用IoU匹配结果更新各个目标的轨迹。

步骤9：读取下一帧视频，重复步骤4至步骤8直至视频序列结束。

与现有技术相比，本发明的有益效果是：跟踪准确度高，并且跟踪率高。

选取MOT16数据集中具有稀疏行人分布的序列测试本发明所提出的目标跟踪方法，结果如图2所示。实验表明：在稀疏人群分布的测试集上，多目标跟踪精度有所提升，伪负有所减少，本发明提出的跟踪方法的跟踪性能优于DeepSORT方法，达到了更好的跟踪效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。