基于特征点匹配的自适应目标跟踪方法

文献发布时间：2024-04-18 19:58:26

技术领域

本发明属于图像处理与计算机视觉技术领域，具体涉及一种基于特征点匹配的自适应目标跟踪方法。

背景技术

目标跟踪技术一直以来都是计算机视觉领域的研究热点，其在安防监控等诸多方面均有广泛的应用前景。针对复杂场景，研究一种能够适应目标的各种变化，并能够稳定并精确地进行目标跟踪的算法具有重要的研究价值与应用前景。

近年来有许多学者开展了目标跟踪方法的研究，目前主要是针对目标尺度和角度变化不大情况下的跟踪问题，采用模板相关或特征点提取的方法。中国期刊《科技风》2017,Vol.2,pp.148-149刊登了一篇题为“基于特征点的运动目标跟踪算法研究”的论文，作者武婷等人通过加入距离约束机制对SIFT特征点提取算法进行改进，采用基于图像金字塔模型的光流跟踪以适应大尺度运动，利用基于多尺度分层的金字塔结构，实现小窗口捕获大运动。但是，这些目标跟踪算法不能够在复杂图像场景中跟踪存在各种变化的目标。因此，要实现有效的图像跟踪必须研究和寻找更为有效、准确、实时的技术途径。

目前有很多目标跟踪算法，但是都存在各种各样的问题，主要体现在两个方面：

1)算法的精确性。当目标物体尺度变化、旋转变化、背景改变、被其它物体遮挡的情况下，就会出现丢失目标的情况。

2)算法的稳定性。由于各种环境的改变，使得辨别目标物体、追踪目标物体的难度提升，算法的识别、跟踪能力都有所下降，降低了算法的跟踪稳定性。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：现有目标跟踪算法不能够在复杂图像场景中跟踪存在各种变化的目标。实际环境中的目标与背景存在很多的不确定性，既有目标本身的尺度、视角和光照渐变，也会有突然的目标遮挡，这些情况都造成传统的方法难以解决这些复杂背景下的目标跟踪问题。

(二)技术方案

为解决上述技术问题，本发明提供一种基于特征点匹配的自适应目标跟踪方法，所述方法包括：

步骤S1：初始化，获得前景特征点和背景特征点；

步骤S2：使用光流法进行跟踪，获取第一部分跟踪点；

步骤S3：采用特征描述匹配器进行匹配，获取第二部分跟踪点；

步骤S4：对前景特征点进行一致性约束聚类；

步骤S5：将两部分跟踪点进行不重复地融合；

步骤S6：将包围所有目标前景特征点的区域作为目标物体的位置，更新输出的跟踪矩形框；

步骤S7：将该矩形框以及矩形框内的内点作为下一帧的输入。

其中，所述方法还包括：

步骤S8：判断有无关机命令，如有，则结束；否则，进入下一个循环。

其中，所述步骤S1包括如下子步骤：

步骤S1.1：首先选定待跟踪目标的矩形框，计算矩形框中心；

步骤S1.2：对图像帧进行灰度化，提取fast特征点，并分离前景部分和背景部分的特征点，在矩形框中心目标物体上的关键点作为前景特征点，在背景部分的关键点作为背景特征点；

步骤S1.3：初始化匹配器：将第一帧图像帧中所有前景特征点和背景特征点构造成一个特征描述库database；

步骤S1.4：创建前景类，即特征点的索引，并将前景特征点进行归一化；

步骤S1.5：通过归一化的前景特征点初始化匹配器，生成前景类标签和匹配库；

步骤S1.6：使用归一化的前景特征点初始化一致器，生成矩形框内任意点对之间的距离和角度矩阵；

步骤S1.7：创建初始有效点，即前景特征点的坐标，并结合前景类标签，从而建立匹配模型；对步骤S1.5输出的匹配库中的特征点进行判断，如果某特征点是背景特征点，则从匹配库中删除；

对于当前图像帧前景特征点进行追踪，将每一个追踪到的前景特征点添加入匹配库中；若前景特征点的水平或垂直坐标超出了图像帧的边界，则删除该前景特征点。

其中，所述步骤S2使用光流法进行跟踪，获取第一部分跟踪点的过程如下：

已知第t-1图像帧中的前景特征点，通过计算前向光流和后向光流，再比较两次得到的对应前景特征点之间的距离，距离大于阈值Tg的前景特征点对排除掉，剩下的前景特征点即作为跟踪到的前景特征点，即第一部分跟踪点。

其中，所述前向光流即第t-1图像帧到第t图像帧。

其中，所述后向光流即第t图像帧到第t-1图像帧。

其中，所述步骤S3包括如下子步骤：

步骤S3.1：前景特征点全局匹配，获取第二部分跟踪点；

将当前图像帧中检测器得到的所有特征点的特征描述与特征描述库database进行knnMatch匹配，每个特征描述子在特征描述库database寻找最佳的匹配结果，作为第二部分跟踪点；

步骤S3.2：前景特征点局部匹配；

比较当前图像帧中检测得到的每一个前景特征点与第一图像帧中经过旋转和尺度变换之后的所有前景特征点之间的欧氏距离，将当前图像帧中检测得到的每一个前景特征点的特征描述与特征描述库database进行knnMatch匹配。

其中，所述步骤S4包括如下子步骤：

步骤S4.1：聚类初始化；

计算并保存第一图像帧中所有归一化前景特征点与水平轴的夹角以及前景特征点两两之间的距离；

步骤S4.2：评估当前的旋转角度和尺度因子；

计算全局匹配后融合得到的前景特征点的夹角以及前景特征点两两之间的距离，并与对应的归一化前景特征点的夹角求差、距离求商，再分别取平均值，评估出当前图像帧中目标的尺度因子和旋转角度；

步骤S4.3：寻找得到的各前景特征点之间的一致性，将每一个前景特征点作为中心进行投票，目的是为了使匹配更加准确，从而获取目标位置和局部前景特征点。

其中，所述步骤S5包括如下子步骤：

步骤S5.1：跟踪点初步融合；

将光流跟踪到的第一部分跟踪点与全局匹配到的第二部分跟踪点进行融合，得到的前景特征点用于评估目标的旋转角度和尺度，以及投票寻找目标中心位置；

步骤S5.2：跟踪点二次融合；

将全局匹配到的第二部分跟踪点与局部前景特征点融合，得到最终有效的目标前景特征点，这些目标前景特征点用于下一帧的跟踪。

其中，所述方法结合关键点匹配和关键点追踪算法，利用关键点映射对目标物体中心进行投票，从而确定目标物体的位置；通过关键点的分布，分析出旋转尺度、位置移动的具体变化；

所述方法经过初始化环节后，在连续的图像帧之间对目标进行跟踪，使用光流法进行跟踪获取第一部分跟踪点，采用关键点全局匹配获取第二部分跟踪点，并对特征点进行局部匹配和一致性约束聚类，将两种特征点不重复地融合；最后判断是否到达图像序列的最后一帧，如果到达则结束本次跟踪，否则进行下一帧图像的跟踪。

(三)有益效果

为了解决在尺度变化、旋转、遮挡等复杂情况下的目标跟踪问题，在特征点跟踪算法的基础上，本发明技术方案使用光流法进行跟踪获取第一部分跟踪点，采用关键点全局匹配获取第二部分跟踪点，并对特征点进行局部匹配和一致性约束聚类，将两种特征点不重复地融合。通过实验，证明改进后的算法在跟踪目标物体方面，减少了目标物体丢失的情况，提高了目标跟踪的稳定性。经过对图2(a)至图2(d)所示的460帧视频图像进行目标跟踪，目标能够实现跟踪准确率为100％的全部跟踪；而常用的特征点跟踪算法在目标存在旋转和尺度变化时就出现目标丢失，跟踪失败。

附图说明

图1是本发明的流程图；

图2(a)至图2(d)是本发明的目标跟踪算法实验结果。

其中，图2(a)是跟踪的初始图像帧。

图2(b)是目标旋转摆动后的跟踪结果。

图2(c)是目标变大的跟踪结果。

图2(d)是目标最后到达目标的跟踪结果。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

针对传统目标跟踪算法中的缺陷，本发明进行了以下工作：

1)针对特征点跟踪算法在处理过程中容易丢失目标的问题，采用基于多尺度关键点匹配的思想，对特征点跟踪算法进行改进。多尺度关键点匹配思想是指通过一种改进的关键点全局匹配与局部匹配机制不断更新跟踪模块的“显著特征点”和目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。在改进的算法中，使用光流法进行跟踪获取第一部分跟踪点，采用关键点全局匹配获取第二部分跟踪点，并对特征点进行局部匹配和一致性约束聚类，最后将两种特征点不重复地融合。通过实验，证明改进后的跟踪算法在跟踪目标物体方面，减少了目标物体丢失的情况。

2)针对跟踪算法在处理过程中，目标匹配算法的速度慢、耗费时间久的问题，分析了在检测过程中，特征点匹配策略的缺陷以及改进方法。采用前景关键点建立目标模型，通过关键点双向匹配的方法，减少关键点的错误匹配个数，在减少匹配次数的同时提高匹配精度。