一种基于可靠性的多层深度特征目标跟踪方法

技术领域

本发明涉及一种基于可靠性的多层深度特征目标跟踪方法，属于网络通信技术领域。

背景技术

目标跟踪是计算机领域中的研究热点，在视频监控、人机交互、智能交通等领域具有广泛的应用。视觉跟踪任务的目标是在图象序列中检测连续运动的物体，获得物体的运动信息，进一步提取物体运动轨迹，并对物体进行运动分析，从而实现对物体运动行为的理解。由于跟踪场景的多样性和复杂性，现有目标跟踪算法对目标进行判别和定位依然不够准确，如何进一步提升现有目标跟踪算法的性能具有十分重要的研究意义。

浅层特征主要集中在低层信息上，如形状、纹理、颜色等，对定位精度影响较大；深层特征具有丰富的语义信息，应对复杂跟踪场景时有较强的鲁棒性，如形变、运动模糊等，但因分辨率低丢失了较多的空间细节。因此，如何在复杂跟踪场景中综合利用浅层和深层信息是亟需解决的问题。

现有的技术缺陷：传统基于相关滤波的目标跟踪方法使用的都是使用单一特征来表示目标，导致特征对当前跟踪目标的表达力不够，特别是背景中有相似目标干扰时，跟踪器无法判别，甚至跟踪失败。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于可靠性的多层深度特征目标跟踪方法，利用不同层特征在跟踪场景的鉴别能力不一，采取通道可靠性来融合不同层特征的定位信息；在跟踪过程中，采用尺度池技术对目标尺寸进行实时更新，并将上一帧所提取的特征与原始模板特征进行融合，得到鲁棒性更强跟踪模型。

为了实现上述目的，本发明采用如下技术方案：一种基于可靠性的多层深度特征目标跟踪方法，包括如下步骤：

步骤S1、根据视频序列第一帧输入图片I

步骤S2、采用训练好的VGG-Net-19网络提取当前帧的目标特征，根据网络特性，分别提取conv3-4、conv4-4、conv5-4三层特征描述目标，记为 f

步骤S3、将f

步骤S4、分别求解响应图R

步骤S5、求取不同输入特征的可靠性并进行归一化，分别为k

步骤S6、依据可靠性加权融合三种输入特征的定位信息，得到最终响应图R，并得到目标定位信息；

步骤S7、采用尺度池技术对目标尺度进行估计，并进行更新，得到最新的目标尺度c＝(c

步骤S8、对目标模型进行更新；

步骤S9、重复步骤S2-S8，直至当前序列所有帧跟踪结束。

进一步地，所述步骤S3中获取响应图R

步骤S31、将f

步骤S32、通过傅立叶反变换求解得到f

进一步地，所述步骤S4中对响应图的四个指标进行求解的具体步骤包括：

步骤S41、响应图峰值r

步骤S42、峰值旁瓣比r

步骤S43、平均峰值相关能量r

步骤S44、次主峰和主峰比r

进一步地，所述步骤S5中求取不同输入特征的可靠性并进行归一化的具体步骤为：

步骤S51、计算每个通道的可靠性，k

步骤S52、对计算得到每个通道的可靠性进行归一化，归一化公式为

进一步地，所述步骤S6中融合后的响应图

进一步地，所述S7中采用尺度池技术对目标尺度进行估计，设定尺度池为S＝{s

步骤S71、设定尺度池为S＝{0.8,0.85,0.9,0.95,1.0,1.05,1.1,1.15,1.2}，对这些尺寸进行分别估算，通过

步骤S72、为保证目标尺寸平稳，对尺寸进行平缓更新，c

进一步地，所述步骤S8中对目标模型进行更新是将相关滤波器分成分母和分子两部分进行分别更新，

步骤S81、进行分子部分更新，

步骤S82、进行分母更新，

与现有的技术相比，本发明具有如下优点：

第一，同时使用了VGG-Net-19网络中的浅层结构特征和深层结构特征，提高了模型的表征能力，实现更精确的目标定位；

第二，通过引入不同指标综合衡量了各输入特征响应图的可靠性，提高了模型的泛化能力；

第三，在目标跟踪过程中引入了尺度池技术，提高了跟踪模型应对复杂场景中目标尺度变化的能力；

第四，在目标跟踪过程中采用了模板更新机制，提升了跟踪模型应对跟踪场景中目标表征变化和外界干扰的鲁棒性；

最终，通过各个环节的配合，相较于现有常用对比算法展现出了更优的跟踪精度和成功率。

附图说明

图1为本发明的结构示意图；

图2为本发明的流程图；

图3为VGG-Net-19网络各层输出示意图；

图4为本发明和现有常用目标跟踪算法在OTB100标准数据集上综合精度的对比仿真图；

图5为本发明和现有常用目标跟踪算法在OTB100标准数据集上跟踪成功率的对比仿真图。

具体实施方式

下面结合附图对本发明实施中的技术方案进行清楚，完整的描述，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1至图5所示，本发明提供的一种基于可靠性的多层深度特征目标跟踪方法，包括如下步骤：

步骤S1、根据视频序列第一帧输入图片I

步骤S2、采用训练好的VGG-Net-19网络提取当前帧的目标特征，根据网络特性，分别提取conv3-4、conv4-4、conv5-4三层特征描述目标，记为 f

步骤S3、将f

步骤S31、将f

步骤S32、通过傅立叶反变换求解得到f

步骤S4、分别求解响应图R

步骤S41、响应图峰值r

步骤S42、峰值旁瓣比r

步骤S43、平均峰值相关能量r

步骤S44、次主峰和主峰比r

步骤S5、求取不同输入特征的可靠性并进行归一化，分别为k

步骤S51、计算每个通道的可靠性，k

步骤S52、对计算得到每个通道的可靠性进行归一化，归一化公式为

步骤S6、依据可靠性加权融合三种输入特征的定位信息，得到最终响应图R，并得到目标定位信息；其中，响应图

步骤S7、采用尺度池技术对目标尺度进行估计，并进行更新，得到最新的目标尺度c＝(c

步骤S71、设定尺度池为S＝{0.8,0.85,0.9,0.95,1.0,1.05,1.1,1.15,1.2}，对这些尺寸进行分别估算，通过

步骤S72、为保证目标尺寸平稳，对尺寸进行平缓更新，c

步骤S8、由于波器的训练会受到目标形变、尺度变化、遮挡等因素影响，出现漂移现象，故需对目标模型进行更新；具体的，更新是将相关滤波器分成分母和分子两部分进行分别更新，

步骤S81、进行分子部分更新，

步骤S82、进行分母更新，

步骤S9、重复步骤S2-S8，直至当前序列所有帧跟踪结束。

上述步骤S1-S6为目标跟踪过程，步骤S7为目标尺度更新过程，步骤S8 为跟踪模型更新过程，三者结合一起构成完整的目标跟踪过程，在实际的目标跟踪过程中，通过重复步骤S1-S8，完成整个目标跟踪，目标跟踪的位置信息由其中的步骤S6和步骤S7得到。

为了验证本发明基于可靠性的多层深度特征目标跟踪方法(A Multiple DeepFeature Visual Tracking Algorithm Based on Reliability，MDPR)的有效性，将其应用在OTB100数据集上进行对比实验，对比算法主要有目前常用的目标跟踪算法，具体如下：

对比算法1、CT(Zhang K,Lei Z,Yang M H.Real-Time Compressive Tracking[C]//Proceedings of European Conference on Computer Vision,2012: 864-877.)；

对比算法2、CSK(Henriques J F,Caseiro R,Martins P,et al.Exploiting theCirculant Structure of Tracking-by-Detection with Kernels[C]//Proceedings ofEuropean Conference on Computer Vision,2012:702-715.)；

对比算法3、MOSSE_CA(Bolme D S,Beveridge J R,Draper B A,et al.Visualobject tracking using adaptive correlation filters[C]//2010IEEE Conference onComputer Vision and Pattern Recognition,2010:2544-2550.)；

对比算法4、SAMF(Li Y,Zhu J.A Scale Adaptive Kernel Correlation FilterTracker with Feature Integration[C]//Proceedings of European Conference onComputer Vision,2014:254-265.)

对比算法5、DCF_CA(Henriques J F,Caseiro R,Martins P,et al.High-SpeedTracking with Kernelized Correlation Filters[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2015,37(3):583-596.)；

对比算法6、RPT(Li Y,Zhu J,Hoi S C H.Reliable Patch Trackers:Robustvisual tracking by exploiting reliable patches[C]//Proceedings of IEEEConference on Computer Vision and Pattern Recognition,2015:353-361.)；

对比算法7、KCF_MTSA(Bibi A,Ghanem B.Multi-template Scale-AdaptiveKernelized Correlation Filters[C]//Proceedings of IEEE InternationalConference on Computer Vision Workshop,2015:613-620.)。

对比仿真实验过程中采用定量分析，即通过计算评价指标判断跟踪性能。实验中采用的评价指标有跟踪精度(Precision)和跟踪成功率(SuccessRate)，其对应的对比仿真实验结果如图4和图5所示，图4中横坐标表示算法估计的目标位置的中心点与人工标注的目标中心点距离阈值，纵轴表示小于此阈值的帧数占总帧数的比率，即预测精度；图5中横坐标表示算法估计的目标边界框面积与人工标注的目标的边界框的重合率阈值，纵轴表示小于此阈值的帧数所占总帧数百分比，即成功率。

结合图4和图5可见，本发明MDPR在OTB100数据集上均较上述对比算法展现出更优的跟踪精度和成功率，综合精度为79.3％，成功率为75.1％。

综上所述，本发明在光照变化、旋转变化和尺寸变化等复杂场景中，通过计算通道的可靠性来衡量不同层特征的表征能力，进而融合不同层特征的定位信息，得到更精确的目标位置信息；在跟踪过程中，采用尺度池技术对目标尺寸进行实时更新，并将上一帧所提取的特征与原始模板特征进行融合，得到鲁棒性更强跟踪模型。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神和基本特征的情况下，能够以其他的具体形式实现本发明。此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。