一种基于yolov5和deepsort的PTZ相机主动跟踪方法

技术领域

本发明属于图像分析技术领域，尤其涉及一种基于yolov5和deepsort的PTZ相机主动跟踪方法。

背景技术

无人车上加装了激光雷达，摄像头等多个传感器，已能完成无人车周围近距离的感知。但是，无人车较远距离感知中，激光雷达点云非常稀疏，具有大视场的短焦相机目标像素量很少，长焦相机虽能保证目标像素量，但视场小，无法对目标区域形成全面的认识。PTZ相机能够通过调整旋转、俯仰和焦距参数，实现远近距离目标的连续测量，弥补无人车常规环境感知传感器探测信息距离和特征上的不足，扩大目标视觉跟踪范围。

利用PTZ相机对目标进行主动跟踪技术已经有了显著发展，但是，由于远距离目标检测跟随容易漏检误检，目标遮挡、目标类别多样等多种情况容易导致目标跟踪失败，因此，在多种环境下利用PTZ相机稳定跟随多样化目标是当前研究的热点。专利申请公布号为CN 115174861 A的专利文献公开了一种云台摄像机自动跟踪移动目标方法，包括：获取移动侦测结果；判断当前状态：若当前状态为发生跟踪状态，则判断获取移动侦测结果时监控画面的图像是否稳定，若不稳定则丢弃当前移动侦测结果，若稳定则把当前状态更新为未发生跟踪状态并对移动侦测结果进行处理，后根据处理结果决定是否执行对移动目标跟踪；若当前状态为未发生跟踪状态，则对移动侦测结果进行处理后根据处理结果决定是否执行对移动目标跟踪；当执行对移动目标跟踪时把当前状态更新为发生跟踪状态。现有技术的技术方案普遍存在以下问题：1、针对目标遮挡：容易出现目标丢失或目标ID变化情况，导致PTZ相机主动跟随目标出现跟错；2、针对远距离目标：由于缺少变焦控制，小目标检测容易漏检，跟踪距离难以扩大。

发明内容

本发明的目的在于克服上述技术的不足，而提供一种基于yolov5和deepsort的PTZ相机主动跟踪方法，可以在部分遮挡条件下保持目标主动跟随，并通过变焦控制实现远近距离目标连续跟随。

本发明为实现上述目的，采用以下技术方案：一种基于yolov5和deepsort的PTZ相机主动跟踪方法，其特征是：建立数据采集模块、数据接收与感知模块、感知引导控制模块和执行控制指令模块的跟踪系统，在图像和PTZ参数信息采集的基础上，利用yolov5目标检测算法和deepsort目标跟踪方法实现对目标的检测与跟踪，建立跟踪目标锁定策略，设计预置框锚定跟踪范围，输出PTZ相机的运动方向，结合变焦策略设计对PTZ相机实施控制，提高目标主动跟踪效果，具体步骤如下：

步骤1采集图像数据和PTZ参数；

步骤2利用yolov5目标检测算法获取当前帧目标检测信息；

步骤3利用deepsort目标跟踪方法实现多目标检测与跟踪；

步骤4建立跟踪目标锁定策略，锁定跟随单一指定目标；

步骤5建立预置框锚定跟踪范围的感知引导控制跟随系统，输出PTZ相机运动方向；

步骤6PTZ相机主动跟随目标变焦控制；

步骤7对相机实施运动控制，完成运动目标主动跟随；

其中：步骤5具体为：

1)设置预置框锚定跟踪范围：在图像中心设置预置框rect

其中，W,H为图像的宽和高。通过预置框可将图像划分为九宫格区域，按照由左到右，由上到下的顺序编号为1、2、3、4、5、6、7、8、9；预置框内是5号，为PTZ相机运动停止区，剩下编号在预置框外，为PTZ相机运动移动区；

2)跟踪方向确定：根据目标在PTZ相机运动移动区的位置，确定PTZ相机的移动方向：

(1)当在1号区域，PTZ相机向左上方移动；

(2)当在2号区域，PTZ相机向上方移动；

(3)当在3号区域，PTZ相机向右上方移动；

(4)当在4号区域，PTZ相机向左边移动；

(5)当在5号区域，PTZ相机不移动，执行步骤6；

(6)当在6号区域，PTZ相机向右边移动；

(7)当在7号区域，PTZ相机向左下方移动；

(8)当在8号区域，PTZ相机向下方移动；

(9)当在9号区域，PTZ相机向右下方移动。

进一步地，步骤2)所述获取当前帧目标检测信息，具体为：

1)数据预处理：对图像进行Mosaic数据增强、自适应图像填充等处理，完成数据增强，保证图像尺寸和网络输入尺寸相同；

2)特征提取网络：利用包含多个残差组件的CSP1_x模块和CBL模块对图像进行特征提取获取多层下采样特征，构建特征金字塔；

3)Neck层网络：将特征金字塔通过多层上采样和下采样特征提取与拼接，输出不同层提取结果；

4)预测网络：将不同层的输出结果通过卷积模块得到不同采样倍数下的置信分数和回归系数，输出目标检测结果。

进一步地，步骤3)所述利用deepsort目标跟踪方法实现多目标检测与跟踪，具体为：

1)利用卡尔曼滤波对目标跟踪轨迹进行预测，将目标检测结果与目标跟踪预测结果通过级联匹配器进行匹配，使用检测框和跟踪轨迹之间的马氏距离描述匹配程度；

d(i,j)＝(d

其中，d

2)匹配成功，则利用卡尔曼滤波对跟踪轨迹状态进行更新；当未匹配成功时，若为跟踪轨迹未匹配，则根据跟丢阈值判断是否需要删除跟踪结果；

3)当目标检测结果与目标跟踪预测结果未匹配成功，且为检测结果未匹配，则利用交并比匹配方式再一次进行匹配，若匹配完成，则利用卡尔曼滤波对跟踪轨迹状态进行更新；若匹配失败，则生成新的跟踪轨迹。

进一步地，步骤4)所述建立跟踪目标锁定策略，锁定跟随单一指定目标，具体为：

1)分别设定初次跟随目标条件和持续跟随目标条件，建立跟踪目标锁定策略，设定follow_lock_flag标签值，初始状态下follow_lock_flag＝false，表明此时系统未能锁定跟随目标；

2)当系统选定跟随目标后，满足初次跟随目标条件，此时follow_lock_flag＝true，系统开始进入持续跟随目标状态，只要前序算法能够输出跟随目标的状态信息，系统即保持主动跟随状态，且目标跟随序列保持递增；

3)当前序算法未能输出目标状态，系统随即停止，保持等待状态，且目标跟随序列保持递减，当目标跟随序列递减为0，此时follow_lock_flag设置为false。

进一步地，步骤6)所述PTZ相机主动跟随目标变焦控制，具体为：

1)目标像素位置与焦距之间的关系为：

其中，

2)目标变焦前后的像素值长宽与焦距关系为：

其中，w

3)综上，为了保证目标在预设标准框内的大小，设置变焦策略如下：

4)在图像中心设置一个与rect

当感知目标跟随框的大小(w

w

有益效果：本发明设计的PTZ相机主动跟踪方法，发挥深度学习感知优势，利用预置框锚定跟踪范围，结合变焦策略设计对PTZ相机实施控制，有效提高PTZ相机主动跟踪目标精度和距离。

附图说明

图1是基于yolov5和deepsort的PTZ相机主动跟踪系统设计图；

图2是yolov5网络结构图；

图3是deepsort算法流程图；

图4是目标锁定流程图；

图5是基于九宫格的感知引导控制图；

图6是PTZ相机zoom值随帧数变化情况；

图7是PTZ相机俯仰角度(tilt值)随帧数变化情况；

图8是PTZ相机旋转角度(pan值)随帧数变化情况；

图9是目标中心x坐标运动统计图；

图10是目标中心y坐标运动统计图；

图11是成功率统计曲线；

图12是准确率统计曲线。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。

在本发明的各实施例中，为了便于描述而非限制本发明，本发明专利申请说明书以及权利要求书中使用的术语"连接"并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。"上"、"下"、"下方"、"左"、"右"等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也相应地改变。

详见附图，本实施例提供了一种基于yolov5和deepsort的PTZ相机主动跟踪方法，其特征是：建立数据采集模块、数据接收与感知模块、感知引导控制模块和执行控制指令模块的跟踪系统，在图像和PTZ参数信息采集的基础上，利用yolov5目标检测算法和deepsort目标跟踪方法实现对目标的检测与跟踪，建立跟踪目标锁定策略，设计预置框锚定跟踪范围，输出PTZ相机的运动方向，结合变焦策略设计对PTZ相机实施控制，提高目标主动跟踪效果，具体步骤如下：

步骤1采集图像数据和PTZ参数；

步骤2利用yolov5目标检测算法获取当前帧目标检测信息；

步骤3利用deepsort目标跟踪方法实现多目标检测与跟踪；

步骤4建立跟踪目标锁定策略，锁定跟随单一指定目标；

步骤5建立预置框锚定跟踪范围的感知引导控制跟随系统，输出PTZ相机运动方向；

步骤6PTZ相机主动跟随目标变焦控制；

步骤7对相机实施运动控制，完成运动目标主动跟随；

其中：步骤5具体为：

1)设置预置框锚定跟踪范围：在图像中心设置预置框rect

其中，W,H为图像的宽和高。通过预置框可将图像划分为九宫格区域，按照由左到右，由上到下的顺序编号为1、2、3、4、5、6、7、8、9；预置框内是5号，为PTZ相机运动停止区，剩下编号在预置框外，为PTZ相机运动移动区；

2)跟踪方向确定：根据目标在PTZ相机运动移动区的位置，确定PTZ相机的移动方向：

(1)当在1号区域，PTZ相机向左上方移动；

(2)当在2号区域，PTZ相机向上方移动；

(3)当在3号区域，PTZ相机向右上方移动；

(4)当在4号区域，PTZ相机向左边移动；

(5)当在5号区域，PTZ相机不移动，执行步骤6；

(6)当在6号区域，PTZ相机向右边移动；

(7)当在7号区域，PTZ相机向左下方移动；

(8)当在8号区域，PTZ相机向下方移动；

(9)当在9号区域，PTZ相机向右下方移动。

本实施例的优选方案是，详见附图2，步骤2)所述获取当前帧目标检测信息，具体为：

1)数据预处理：对图像进行Mosaic数据增强、自适应图像填充等处理，完成数据增强，保证图像尺寸和网络输入尺寸相同；

2)特征提取网络：利用包含多个残差组件的CSP1_x模块和CBL模块对图像进行特征提取获取多层下采样特征，构建特征金字塔；

3)Neck层网络：将特征金字塔通过多层上采样和下采样特征提取与拼接，输出不同层提取结果；

4)预测网络：将不同层的输出结果通过卷积模块得到不同采样倍数下的置信分数和回归系数，输出目标检测结果。

本实施例的优选方案是，详见附图3，步骤3)所述利用deepsort目标跟踪方法实现多目标检测与跟踪，具体为：

1)利用卡尔曼滤波对目标跟踪轨迹进行预测，将目标检测结果与目标跟踪预测结果通过级联匹配器进行匹配，使用检测框和跟踪轨迹之间的马氏距离描述匹配程度；

d(i,j)＝(d

其中，d

2)匹配成功，则利用卡尔曼滤波对跟踪轨迹状态进行更新；当未匹配成功时，若为跟踪轨迹未匹配，则根据跟丢阈值判断是否需要删除跟踪结果；

3)当目标检测结果与目标跟踪预测结果未匹配成功，且为检测结果未匹配，则利用交并比匹配方式再一次进行匹配，若匹配完成，则利用卡尔曼滤波对跟踪轨迹状态进行更新；若匹配失败，则生成新的跟踪轨迹。

本实施例的优选方案是，详见附图4，步骤4)所述建立跟踪目标锁定策略，锁定跟随单一指定目标，具体为：

1)分别设定初次跟随目标条件和持续跟随目标条件，建立跟踪目标锁定策略，设定follow_lock_flag标签值，初始状态下follow_lock_flag＝false，表明此时系统未能锁定跟随目标；

2)当系统选定跟随目标后，满足初次跟随目标条件，此时follow_lock_flag＝true，系统开始进入持续跟随目标状态，只要前序算法能够输出跟随目标的状态信息，系统即保持主动跟随状态，且目标跟随序列保持递增；

3)当前序算法未能输出目标状态，系统随即停止，保持等待状态，且目标跟随序列保持递减，当目标跟随序列递减为0，此时follow_lock_flag设置为false。

本实施例的优选方案是，详见附图5，步骤6)所述PTZ相机主动跟随目标变焦控制，具体为：

1)目标像素位置与焦距之间的关系为：

其中，

2)目标变焦前后的像素值长宽与焦距关系为：

其中，w

3)综上，为了保证目标在预设标准框内的大小，设置变焦策略如下：

4)在图像中心设置一个与rect

当感知目标跟随框的大小(w

w

实施例

本发明设计的主动跟随系统共分四个模块，分别是数据采集模块、数据接收与感知模块、感知引导控制模块和执行控制指令模块。首先，由操控人员通过鼠标在当前检测跟踪目标结果中选择拟跟随目标，数据采集模块采集图像和PTZ参数，数据接收与感知模块根据选择的目标完成目标锁定，输出目标在图像的位置；感知引导控制模块根据位置信息输出相机运动方向，当相机旋转俯仰运动停止后，根据目标在图像的大小自主调整焦距值，确保目标在图像中的预置框范围内。实施过程全程目标保持静止和运动状态均可，变焦后，PTZ相机对锁定目标继续保持跟踪。本发明在Ubuntu上利用C++设计主动跟随系统，在室外展开目标跟随实验。

一、模型参数和实验场景

(1)主动跟随系统参数如下：

(2)实验场景设置：

室外空旷场地，目标类型为骑行者，移动速度10km/h；

二、实验结果

(1)保持骑行者目标运动，利用本发明提出的算法对车辆目标进行主动跟随，经过测试，目标能够始终出现在图像中，跟踪总帧数为1116。跟踪过程中，为了保持目标在预置框内，PTZ相机的旋转、俯仰和zoom值始终在保持调整，参数变化如图6、图7和图8所示。经过统计，目标中心位置的x坐标和y坐标统计图如图9和图10所示。由于预置框的左上角坐标为[480,270]，右下角坐标为[800,450]，为了保持目标在预置框内，即需要保持目标中心位置的x坐标尽可能在区间[480,800]内，y坐标尽可能在区间[270,450]内。图9和图10中，目标中心位置的x坐标在区间[480,800]内的统计概率为84.28％，目标中心位置的y坐标在区间[270,450]内的统计概率为93.80％，分布集中在预置框内部。

(2)虽然本发明提出的算法能够保持对车辆运动目标的跟踪，保持目标在图像画面内，为了进一步研究本发明提出的算法性能，从主动跟踪成功率和准确率方面对实验结果进行统计，如图11和图12所示。此处的跟踪成功率根据IOU值进行判断，大于0.5认为跟踪成功。经统计，主动跟踪成功率为74.65％，准确率为73.52％，主动跟踪成功率和准确率结果较优。

上述参照实施例对一种基于yolov5和deepsort的PTZ相机主动跟踪方法的详细描述，是说明性的而不是限定性的，可按照所限定范围列举出若干个实施例，因此在不脱离本发明总体构思下的变化和修改，应属本发明的保护范围之内。