目标对象的视觉跟踪方法、装置、存储介质及设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种目标对象的视觉跟踪方法、装置、存储介质及设备。

背景技术

视觉跟踪是指对图像序列中的目标对象进行检测、提取、识别和跟踪，以获得目标对象的运动参数，再进行下一步的处理与分析，实现对目标对象的行为理解，从而完成更高一级的检测任务。其中，运动参数可以是位置、速度、加速度和运动轨迹等。

相关技术中，采集图像序列的相机通常安装在建筑物的固定位置处，使得我们只能对固定视角范围内的目标对象进行视觉跟踪，若目标对象因为运动而离开该视角范围，则无法继续对目标对象进行视觉跟踪。

发明内容

本申请提供了一种目标对象的视觉跟踪方法、装置、存储介质及设备，用于解决目标对象离开安装在建筑物的固定位置处的相机的视角范围后，无法继续对目标对象进行视觉跟踪的问题。所述技术方案如下：

一方面，提供了一种目标对象的视觉跟踪方法，所述方法包括：

从云台相机拍摄的视频流中提取图像帧；

对所述图像帧中的目标对象进行跟踪，得到跟踪结果；

根据所述跟踪结果生成所述云台相机的姿态参数，根据所述姿态参数调节所述云台相机的姿态，以使运动的所述目标对象始终位于所述云台相机的取景框中的预定位置；

根据所述姿态参数和所述跟踪结果生成底盘的运动参数，根据所述运动参数控制所述底盘跟随所述目标对象运动；

所述根据所述姿态参数和所述跟踪结果生成所述底盘的运动参数，根据所述运动参数控制底盘跟随所述目标对象运动，包括：根据所述姿态参数生成所述底盘的转向角参数；根据所述跟踪结果生成所述底盘的速度参数；根据所述转向角参数和所述速度参数控制所述底盘跟随所述目标对象运动；

所述根据所述姿态参数生成所述底盘的转向角参数，包括：从所述姿态参数中获取所述云台相机的偏航角参数；根据预设的非线性函数将所述偏航角参数转换为所述底盘的转向角参数；

所述根据预设的非线性函数将所述偏航角参数转换为所述底盘的转向角参数，包括：所述预设的非线性函数为双曲正切函数，对所述云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和所述底盘的转向角范围生成映射关系，所述映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；根据所述偏航角参数计算所述双曲正切函数中的参数z的表达式；根据所述参数z的表达式和所述映射关系生成所述底盘的转向角参数。

在一种可能的实现方式中，所述根据所述跟踪结果生成所述底盘的速度参数，包括：

当所述跟踪结果表示所述目标对象在所述图像帧中的边界框内时，从所述图像帧中获取所述边界框内的像素区域；

计算所述边界框内的像素区域与所述图像帧的像素区域的百分比；

根据所述百分比生成所述底盘的速度参数。

在一种可能的实现方式中，所述根据所述百分比生成所述底盘的速度参数，包括：

获取预设的百分比阈值；

检测所述百分比是否大于所述百分比阈值；

若所述百分比大于所述百分比阈值，则生成数值为零的速度参数；

若所述百分比小于或等于所述百分比阈值，则生成数值大于零的速度参数。

在一种可能的实现方式中，所述方法还包括：

当根据所述跟踪结果确定丢失所述目标对象时，获取所述目标对象的模板图像，所述模板图像是在丢失所述目标对象之前，对所述目标对象的边界框内的图像区域进行提取得到的；

获取所述云台相机对当前环境进行旋转式扫描得到的画面；

从所述画面中提取与所述模板图像的相似度最高的图像区域作为所述目标对象的模板图像；

根据提取到的所述模板图像继续对所述目标对象进行跟踪。

在一种可能的实现方式中，所述方法还包括：

从多个图像帧中采样预定数量的采样图像；

根据相邻两张采样图像计算像素坐标距离差值，所述像素坐标距离差值表示在相邻两个采样时刻跟踪到的两个边界框的中心点之间的距离差值；

根据所述采样图像和所述目标对象的模板图像计算图像相似度值，所述图像相似度值表示在采样时刻和提取模板图像时刻跟踪到的两个边界框内的图像区域之间的相似度；

根据所述像素坐标距离差值和所述图像相似度值计算所述目标对象的丢失置信度，所述丢失置信度等于丢失目标参数和相似目标参数的加权和，所述丢失目标参数是将像素坐标距离差值与第一设定阈值进行比较，并根据比较结果的占比来设置的，所述相似目标参数是将图像相似度值与第二设定阈值进行比较，并根据比较结果的占比来设置的；

根据所述丢失置信度判断是否丢失所述目标对象。

在一种可能的实现方式中，所述对所述图像帧中的目标对象进行跟踪，得到跟踪结果，包括：

当对第i个图像帧中的目标对象进行跟踪时，获取第i-1个图像帧的跟踪结果，所述跟踪结果表示所述目标对象在所述图像帧中的边界框，i≥2；

利用目标跟踪算法基于所述第i-1个图像帧的跟踪结果和所述第i个图像帧预测所述第i个图像帧的跟踪结果；

将i更新为i+1，继续对第i个图像帧中的目标对象进行跟踪。

在一种可能的实现方式中，所述方法还包括：

对第一个图像帧进行目标检测，从检测到的至少一个对象中选择待跟踪的目标对象；

提取所述目标对象的边界框内的图像区域为模板图像；

将所述目标对象的边界框确定为第一个图像帧的跟踪结果。

一方面，提供了一种目标对象的视觉跟踪装置，所述装置包括：

图像帧提取模块，用于从云台相机拍摄的视频流中提取图像帧；

视觉跟踪模块，用于对所述图像帧中的目标对象进行跟踪，得到跟踪结果，所述跟踪结果用于体现所述目标对象在所述图像帧中的位置；

姿态调节模块，用于根据所述跟踪结果生成所述云台相机的姿态参数，根据所述姿态参数调节所述云台相机的姿态，以使运动的所述目标对象始终位于所述云台相机的取景框中的预定位置，所述姿态参数包括偏航角参数；

底盘跟踪模块，用于根据所述姿态参数和所述跟踪结果生成底盘的运动参数，根据所述运动参数控制所述底盘跟随所述目标对象运动；

所述底盘跟踪模块，还用于：根据所述姿态参数生成所述底盘的转向角参数；根据所述跟踪结果生成所述底盘的速度参数；根据所述转向角参数和所述速度参数控制所述底盘跟随所述目标对象运动；

所述底盘跟踪模块，还用于：从所述姿态参数中获取所述云台相机的偏航角参数；根据预设的非线性函数将所述偏航角参数转换为所述底盘的转向角参数；

所述底盘跟踪模块，还用于：所述预设的非线性函数为双曲正切函数，对所述云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和所述底盘的转向角范围生成映射关系，所述映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；根据所述偏航角参数计算所述双曲正切函数中的参数z的表达式；根据所述参数z的表达式和所述映射关系生成所述底盘的转向角参数。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的目标对象的视觉跟踪方法。

一方面，提供了一种视觉跟踪设备，所述视觉跟踪设备包括云台相机、底盘、处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的目标对象的视觉跟踪方法。

本申请提供的技术方案的有益效果至少包括：

在跟踪目标对象的过程中，先将目标对象的运动情况转化为云台相机的姿态变化，再根据云台相机的姿态变化联动控制底盘运动，使得底盘与云台相机之间的相对转动角度为零，从而达到控制底盘跟随目标对象运动的目的。这样，可以保证目标对象始终位于云台相机的视角范围内，实现对目标对象的持续跟踪。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是一种视觉跟踪设备的结构示意图；

图2是一种视觉跟踪设备的软件栈框架图；

图3是目标对象的视觉跟踪方法的方法流程图；

图4是目标对象的视觉跟踪方法的方法流程图；

图5是tanh函数的示意图；

图6是目标对象的视觉跟踪装置的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本实施例公开了一种视觉跟踪设备，该视觉跟踪设备包括云台相机、底盘和控制器，如图1所示。云台相机可以是一台三轴云台相机，绕三轴旋转可以形成俯仰角（pitch）、偏航角（yaw）和翻滚角（roll）。本实施例中，可以通过调节俯仰角和偏航角的角度来调节云台相机的姿态。云台相机的变焦倍数可以根据业务需求确定，比如变焦倍数为10倍，本实施例中不作限定。底盘可以是任意一款PIX底盘。控制器是一种算力平台，可以理解为常规自动驾驶套件中的工控机，本实施例中将英伟达的Jetson AGX Xavier嵌入式开发板套件作为算力平台。

云台相机和底盘分别与控制器相连。具体的，底盘上设有支架，云台相机安装在支架上，且云台相机的正面朝前。云台相机的串口连接到控制器，且云台相机的串口数据通过串口传输给控制器。云台相机的HDMI（High Definition Multimedia Interface，高清多媒体接口）接口通过HDMI转USB（Universal Serial Bus，通用串行总线）3.0的采集卡设备连接到控制器，且云台相机的图像数据通过HDMI接口传输给控制器。底盘的CAN（ControllerArea Network，控制器局域网络）接口通过CAN线连接到控制器的CAN接口。

本实施例公开了一种视觉跟踪设备的软件栈框架图，如图2所示，该软件栈框架包括硬件、中间件和软件。其中，硬件包括PIX底盘和云台相机，中间件包括PIX-ROS驱动和相机ROS驱动，软件包括多个模块。PIX底盘与PIX-ROS驱动之间传输CAN数据，PIX-ROS驱动与软件之间传输相机云台的偏航角参数、转向角参数和速度参数；云台相机与相机ROS驱动之间传输串口指令数据、RGB图像数据和串口数据，相机ROS驱动与软件之间传输RGB图像数据、偏航角参数、转向角参数和速度参数。

请参考图3，其示出了本申请一个实施例提供的目标对象的视觉跟踪方法的方法流程图，该目标对象的视觉跟踪方法可以应用于图1所示的控制器中。该目标对象的视觉跟踪方法，可以包括：

步骤301，从云台相机拍摄的视频流中提取图像帧。

云台相机将针对当前环境拍摄到的视频流实时发送给控制器，控制器按照预定的采样频率从该视频流中采样图像帧，对得到的每个图像帧进行处理。

步骤302，对图像帧中的目标对象进行跟踪，得到跟踪结果。

控制器可以从一个图像帧中检测出目标对象，再在后续采样得到的图像帧中对该目标对象进行跟踪，得到跟踪结果。其中，跟踪结果用于体现目标对象在图像帧中的位置，具体可以是目标对象在图像帧中的边界框。

步骤303，根据跟踪结果生成云台相机的姿态参数，根据姿态参数调节云台相机的姿态，以使运动的目标对象始终位于云台相机的取景框中的预定位置。

姿态参数包括偏航角角度，还可以包括俯仰角角度。

预定位置是预先设置的位置，比如居中位置、左侧位置、右侧位置等。为了保证跟踪效果，可以将预定位置设置为居中位置。

步骤304，根据姿态参数和跟踪结果生成底盘的运动参数，根据运动参数控制底盘跟随目标对象运动。

运动参数包括转向角角度和速度参数，转向角角度用于控制底盘的转向，速度参数用于控制底盘的速度。

综上所述，本申请实施例提供的目标对象的视觉跟踪方法，在跟踪目标对象的过程中，先将目标对象的运动情况转化为云台相机的姿态变化，再根据云台相机的姿态变化联动控制底盘运动，使得底盘与云台相机之间的相对转动角度为零，从而达到控制底盘跟随目标对象运动的目的。这样，可以保证目标对象始终位于云台相机的视角范围内，实现对目标对象的持续跟踪。

请参考图4，其示出了本申请一个实施例提供的目标对象的视觉跟踪方法的方法流程图，该目标对象的视觉跟踪方法可以应用于图1所示的控制器中。该目标对象的视觉跟踪方法，可以包括：

步骤401，从云台相机拍摄的视频流中提取图像帧。

云台相机将针对当前环境拍摄到的视频流实时发送给控制器，控制器按照预定的采样频率从该视频流中采样图像帧，对得到的每个图像帧进行处理。

步骤402，对图像帧中的目标对象进行跟踪，得到跟踪结果。

控制器可以从一个图像帧中检测出目标对象，再在后续采样得到的图像帧中对该目标对象进行跟踪，得到跟踪结果。其中，跟踪结果用于体现目标对象在图像帧中的位置，具体可以是目标对象在图像帧中的边界框。

如图2所示，以控制器中的软件包括目标检测模块、目标跟踪模块、目标丢失判断模块和巡视重检测模块为例，对跟踪流程进行说明。

在开启目标检测模块后，目标检测模块对第一个图像帧进行目标检测，从检测到的至少一个对象中选择待跟踪的目标对象；提取目标对象的边界框内的图像区域为模板图像；将目标对象的边界框确定为第一个图像帧的跟踪结果。

当目标检测模块检测到图像帧中包括一个对象时，可以将该对象默认为目标对象；当目标检测模块检测到图像帧中包括至少两个对象时，可以提示用户执行选择操作，根据用户的选择操作确定目标对象。

在确定了目标对象后，目标检测模块可以将目标对象的边界框作为跟踪结果发送给目标跟踪模块。其中，跟踪结果中除了包括边界框的位置信息，还需要包括边界框的标识（ID），以便在跟踪多个目标对象时进行区分。

目标跟踪模块接收到跟踪结果后，基于跟踪结果从图像帧中提取目标对象的边界框内的图像区域为模板图像。模板图像可以用于判断目标对象是否丢失，还可以用于在丢失目标对象后重新获取目标对象，详见下文中的描述，此处不作赘述。

当对第i个图像帧中的目标对象进行跟踪时，目标跟踪模块获取第i-1个图像帧的跟踪结果，跟踪结果表示目标对象在图像帧中的边界框，i≥2；利用目标跟踪算法基于第i-1个图像帧的跟踪结果和第i个图像帧预测第i个图像帧的跟踪结果；将i更新为i+1，继续对第i个图像帧中的目标对象进行跟踪。其中，目标跟踪算法已经非常成熟，此处不作赘述。

目标跟踪模块将每个跟踪结果发送给目标丢失判断模块，目标丢失判断模块可以根据跟踪结果和模板图像来判断是否丢失目标对象，具体判断流程如下：

（1）从多个图像帧中采样预定数量的采样图像。

以云台相机一秒拍摄30帧为例，可以选择连续的180个图像帧，以30帧的采样频率对180个图像帧进行采样，得到6张采样图像。其中，图像帧的数量、采样频率以及采样图像的数量可以根据业务需求设置，本实施例中不作限定。

（2）根据相邻两张采样图像计算像素坐标距离差值，像素坐标距离差值表示在相邻两个采样时刻跟踪到的两个边界框的中心点之间的距离差值。

目标丢失判断模块获取第一张采样图像中目标对象的边界框的中心点像素坐标，获取第二张采样图像中目标对象的边界框的中心点像素坐标，计算这两个中心点像素坐标的差值，得到一个像素坐标距离差值。同理，目标丢失判断模块继续计算后续的相邻两张采样图像对应的像素坐标距离差值，最终得到多个像素坐标距离差值。

目标丢失判断模块将像素坐标距离差值与第一设定阈值进行比较，并根据比较结果的占比来设置丢失目标参数。以采样次数6次为例，假设3个像素坐标距离差值小于第一设定阈值（比如，经验像素差值10pixels），则认为丢失目标参数PixelLost=0.5；假设3个像素坐标距离差值都大于第一设定阈值，则认为丢失目标参数PixelLost=1。

（3）根据采样图像和目标对象的模板图像计算图像相似度值，图像相似度值表示在采样时刻和提取模板图像时刻跟踪到的两个边界框内的图像区域之间的相似度。

目标丢失判断模块从第一张采样图像中提取出边界框内的图像区域，计算该图像区域与模板图像中的图像区域的相似度，得到一个图像相似度值。同理，目标丢失判断模块继续计算后续的采样图像对应的图像相似度值，最终得到多个图像相似度值。

目标丢失判断模块将图像相似度值与第二设定阈值进行比较，并根据比较结果的占比来设置相似目标参数。以采样次数6次为例，假设3个图像相似度值小于第二设定阈值（比如，经验相似度值17），则认为相似目标参数SimilarityLow=0.5；假设3个图像相似度值都大于第二设定阈值，则认为相似目标参数SimilarityLow=1。

（4）根据像素坐标距离差值和图像相似度值计算目标对象的丢失置信度。

丢失置信度等于丢失目标参数和相似目标参数的加权和。假设丢失目标参数的权重为第一系数a，相似目标参数的权重为第二系数b，则丢失置信度LostConfidence=PixelLost *a + SimilarityLow * b。其中，a和b可以是经验值，比如，a为0.2，b为0.8。

（5）根据丢失置信度判断是否丢失目标对象。

目标丢失判断模块判断丢失置信度是否大于或等于第三设定阈值，若大于或等于第三设定阈值，则确定丢失目标对象；若小于第三设定阈值，则确定未丢失目标对象。其中，第三设定阈值可以是经验值，比如0.5。

在确定丢失目标对象后，目标丢失判断模块向巡视重检测模块发送丢失信号，巡视重检测模块获取目标对象的模板图像，该模板图像是在丢失目标对象之前，对目标对象的边界框内的图像区域进行提取得到的；获取云台相机对当前环境进行旋转式扫描得到的画面；从画面中提取与模板图像的相似度最高的图像区域作为目标对象的模板图像；根据提取到的模板图像继续对目标对象进行跟踪。

在巡视重检测模块得到新的模板图像后，将该新的模板图像对应的跟踪结果发送给目标跟踪模块，目标跟踪模块根据该跟踪结果继续跟踪目标对象。

步骤403，根据跟踪结果生成云台相机的姿态参数，根据姿态参数调节云台相机的姿态，以使运动的目标对象始终位于云台相机的取景框中的预定位置。

姿态参数包括偏航角角度，还可以包括俯仰角角度。

预定位置是预先设置的位置，比如居中位置、左侧位置、右侧位置等。为了保证跟踪效果，可以将预定位置设置为居中位置。

以预定位置为居中位置为例，控制器中还包括目标居中保持模块和云台相机控制模块。目标跟踪模块将每个跟踪结果发送给目标居中保持模块，若目标居中保持模块根据目标丢失判断模块的判断结果确定未丢失目标对象，则需要根据跟踪结果调节云台相机的姿态。

具体的，目标居中保持模块获取当前的图像帧中心的十字标靶的像素坐标（x1，y1），并获取目标对象的边界框的中心点的像素坐标（x2，y2），计算这两个像素坐标的距离差值PixelsError=（（x1-x2），（y1-y2）），得到X轴方向和Y轴方向的像素误差值。目标居中保持模块将X轴方向和Y轴方向的像素误差值发送给云台相机控制模块，云台相机控制模块根据X轴方向和Y轴方向的像素误差值计算姿态参数，将姿态参数作为PID（比例-积分-微分）调节的误差量，并进行云台相机的Yaw（偏航角）和Pitch（俯仰角）方向的控制输出。

步骤404，根据姿态参数生成底盘的转向角参数。

云台相机控制模块还需要将云台相机的偏航角参数发送给控制器中的底盘控制模块，底盘控制模块将会和云台相机控制模块进行联动控制，在连续时间下完成两个系统趋于稳定居中的非线性控制。

具体的，根据姿态参数生成底盘的转向角参数，可以包括：从姿态参数中获取云台相机的偏航角参数；根据预设的非线性函数将偏航角参数转换为底盘的转向角参数。

根据预设的非线性函数将偏航角参数转换为底盘的转向角参数，可以包括：非线性函数为双曲正切函数tanh函数，对云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和底盘的转向角范围生成映射关系，映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；根据偏航角参数计算双曲正切函数中的参数z的表达式；根据参数z的表达式和映射关系生成底盘的转向角参数。

在一个示例中，底盘的转向角的控制量范围是[-1024, 1024]，云台相机的Yaw角的控制量范围是[-150, 150]，其中，控制量范围中的负数值代表向左转，正数值均代表向右转。因为底盘的控制和云台相机的控制都是连续的，且是两个非线性的控制量，所以，我们把这个联动控制看成是一个对两个机械部件间相对位移的连续非线性控制。我们基于云台的Yaw角角度推断底盘的转向角角度，由于底盘是阿克曼底盘，不能原地转向到指定角度，所以，我们需要让底盘的转向角跟随云台相机的PID调节的Yaw角做非线性的增长，否则底盘的转向不能和云台相机的转向联动配合好。由此，我们引入非线性tanh函数

底盘控制模块将云台相机的Yaw角控制范围[-150，150]归一化到[-1，1]，当前时刻云台相机的T1，Yaw值为Yaw

步骤405，根据跟踪结果生成底盘的速度参数。

具体的，控制器中的目标距离估计模块从图像帧中获取边界框内的像素区域；计算边界框内的像素区域与图像帧的像素区域的百分比；根据百分比生成底盘的速度参数。

在根据百分比生成底盘的速度参数时，目标距离估计模块获取预设的百分比阈值；检测百分比是否大于百分比阈值；若百分比大于百分比阈值，则生成数值为零的速度参数；若百分比小于或等于百分比阈值，则生成数值大于零的速度参数。

其中，百分比可以表示目标对象与云台相机的空间距离，百分比阈值可以表示最小安全距离。当百分比大于百分比阈值时，目标距离估计模块确定目标对象与云台相机的空间距离小于最小安全距离，需要控制底盘停止运动，也即将速度参数的数值设为零，以控制底盘减速。当百分比小于或等于百分比阈值时，目标距离估计模块确定目标对象与云台相机的空间距离大于或等于最小安全距离，需要继续控制底盘运动，也即将速度参数的数值设为大于零，以控制底盘继续运动。

步骤406，根据转向角参数和速度参数控制底盘跟随目标对象运动。

在初始状态时，默认目标对象、云台相机和底盘之间是基本对准的。当然，即使目标对象、云台相机和底盘之间不对准，也不会影响后面的跟踪流程。当目标对象开始运动时，云台相机随即开始转动以跟踪目标对象。由于已经基于云台相机与底盘之间的非线性运动关系创建好非线性函数，所以，可以基于该非线性函数实现云台相机带动底盘运动，使得云台相机和底盘都趋于对准目标对象的中心。即，从初始位置到终止位置，云台相机和底盘之间的转动角度为零，也就是说云台相机和底盘之间是零转动。

综上所述，本申请实施例提供的目标对象的视觉跟踪方法，在跟踪目标对象的过程中，先将目标对象的运动情况转化为云台相机的姿态变化，再根据云台相机的姿态变化联动控制底盘运动，使得底盘与云台相机之间的相对转动角度为零，从而达到控制底盘跟随目标对象运动的目的。这样，可以保证目标对象始终位于云台相机的视角范围内，实现对目标对象的持续跟踪。

请参考图6，其示出了本申请一个实施例提供的目标对象的视觉跟踪装置的结构框图，该目标对象的视觉跟踪装置可以应用于图1所示的控制器中。该目标对象的视觉跟踪装置，可以包括：

图像帧提取模块610，用于从云台相机拍摄的视频流中提取图像帧；

视觉跟踪模块620，用于对图像帧中的目标对象进行跟踪，得到跟踪结果，跟踪结果用于体现目标对象在图像帧中的位置；

姿态调节模块630，用于根据跟踪结果生成云台相机的姿态参数，根据姿态参数调节云台相机的姿态，以使运动的目标对象始终位于云台相机的取景框中的预定位置，姿态参数包括偏航角参数；

底盘跟踪模块640，用于根据姿态参数和跟踪结果生成底盘的运动参数，根据运动参数控制底盘跟随目标对象运动。

在一个可选的实施例中，底盘跟踪模块640，还用于：

根据姿态参数生成底盘的转向角参数；

根据跟踪结果生成底盘的速度参数；

根据转向角参数和速度参数控制底盘跟随目标对象运动。

在一个可选的实施例中，底盘跟踪模块640，还用于：

从姿态参数中获取云台相机的偏航角参数；

根据预设的非线性函数将偏航角参数转换为底盘的转向角参数。

在一个可选的实施例中，底盘跟踪模块640，还用于：

非线性函数为双曲正切函数，对云台相机的偏航角范围进行归一化，根据归一化后的偏航角范围和底盘的转向角范围生成映射关系，映射关系表示转向角角度与偏航角角度的归一化数值之间的关系；

根据偏航角参数计算双曲正切函数中的参数z的表达式；

根据参数z的表达式和映射关系生成底盘的转向角参数。

在一个可选的实施例中，底盘跟踪模块640，还用于：

当跟踪结果表示目标对象在图像帧中的边界框内时，从图像帧中获取边界框内的像素区域；

计算边界框内的像素区域与图像帧的像素区域的百分比；

根据百分比生成底盘的速度参数。

在一个可选的实施例中，底盘跟踪模块640，还用于：

获取预设的百分比阈值；

检测百分比是否大于百分比阈值；

若百分比大于百分比阈值，则生成数值为零的速度参数；

若百分比小于或等于百分比阈值，则生成数值大于零的速度参数。

在一个可选的实施例中，视觉跟踪模块620，还用于：

当根据跟踪结果确定丢失目标对象时，获取目标对象的模板图像，模板图像是在丢失目标对象之前，对目标对象的边界框内的图像区域进行提取得到的；

获取云台相机对当前环境进行旋转式扫描得到的画面；

从画面中提取与模板图像的相似度最高的图像区域作为目标对象的模板图像；

根据提取到的模板图像继续对目标对象进行跟踪。

在一个可选的实施例中，视觉跟踪模块620，还用于：

从多个图像帧中采样预定数量的采样图像；

根据相邻两张采样图像计算像素坐标距离差值，像素坐标距离差值表示在相邻两个采样时刻跟踪到的两个边界框的中心点之间的距离差值；

根据采样图像和目标对象的模板图像计算图像相似度值，图像相似度值表示在采样时刻和提取模板图像时刻跟踪到的两个边界框内的图像区域之间的相似度；

根据像素坐标距离差值和图像相似度值计算目标对象的丢失置信度，丢失置信度等于丢失目标参数和相似目标参数的加权和，丢失目标参数是将像素坐标距离差值与第一设定阈值进行比较，并根据比较结果的占比来设置的，相似目标参数是将图像相似度值与第二设定阈值进行比较，并根据比较结果的占比来设置的；

根据丢失置信度判断是否丢失目标对象。

在一个可选的实施例中，视觉跟踪模块620，还用于：

当对第i个图像帧中的目标对象进行跟踪时，获取第i-1个图像帧的跟踪结果，跟踪结果表示目标对象在图像帧中的边界框，i≥2；

利用目标跟踪算法基于第i-1个图像帧的跟踪结果和第i个图像帧预测第i个图像帧的跟踪结果；

将i更新为i+1，继续对第i个图像帧中的目标对象进行跟踪。

在一个可选的实施例中，视觉跟踪模块620，还用于：

对第一个图像帧进行目标检测，从检测到的至少一个对象中选择待跟踪的目标对象；

提取目标对象的边界框内的图像区域为模板图像；

将目标对象的边界框确定为第一个图像帧的跟踪结果。

综上所述，本申请实施例提供的目标对象的视觉跟踪装置，在跟踪目标对象的过程中，先将目标对象的运动情况转化为云台相机的姿态变化，再根据云台相机的姿态变化联动控制底盘运动，使得底盘与云台相机之间的相对转动角度为零，从而达到控制底盘跟随目标对象运动的目的。这样，可以保证目标对象始终位于云台相机的视角范围内，实现对目标对象的持续跟踪。

本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的目标对象的视觉跟踪方法。

本申请一个实施例提供了一种视觉跟踪设备，所述视觉跟踪设备包括云台相机、底盘、处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的目标对象的视觉跟踪方法。

需要说明的是：上述实施例提供的目标对象的视觉跟踪装置在进行目标对象的视觉跟踪时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将目标对象的视觉跟踪装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的目标对象的视觉跟踪装置与目标对象的视觉跟踪方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。