无人机视觉跟踪方法、系统、无人机及可读存储介质

技术领域

本发明涉及无人机控制技术领域，尤其涉及一种无人机视觉跟踪方法、系统、无人机及可读存储介质。

背景技术

随着技术的不断进步，无人机在民用和军用领域均得到广泛应用。而固定翼无人机具有航行速度快、航时长等优点，被广泛应用于地面目标的跟踪上。

通常采用在无人机上搭载视觉传感器的方式，获取地面目标的图像信息，进而实现对目标的跟踪。其中，视觉传感器可以为云台相机。现有技术在对无人机进行控制的时候，需要建立无人机的模型和云台的模型，并且，需要云台姿态将与无人机姿态耦合，使得解耦的难度较大。

发明内容

本申请提供一种无人机视觉跟踪方法、系统、无人机及可读存储介质，不需要建立无人机的模型和云台的模型，也不需要解耦。

本申请提供一种无人机视觉跟踪方法，包括：

获取无人机所固联的云台上相机采集的目标图像；

识别被跟踪目标在所述目标图像中相对于图像中心区域的相对偏移位置；

根据所述相对偏移位置，得到所述无人机及所述云台的控制量信息；

根据所述控制量信息，以所述图像中心区域为基准，联合控制所述无人机及所述云台以使所述被跟踪目标处于所述图像中心区域。

进一步的，所述根据所述相对偏移位置，得到所述无人机及云台的控制量信息，包括：

将所述相对偏移位置、云台当前位姿，飞行信息及无人机的位姿，输入至无人机控制模型，输出得到所述无人机及云台的控制量信息；其中，所述无人机控制模型是采用视觉信息和无人机飞行环境的物理参数形成的目标图像样本训练得到的。

进一步的，所述方法还包括：采用如下方式，训练得到所述无人机控制模型：通过域随机化方法，对模拟环境中的视觉信息和无人机飞行环境的物理参数进行随机化，增大无人机控制模型的样本量；以及，基于强化学习算法，利用所增大后的样本量进行无人机控制模型的训练，得到所述无人机控制模型；所述无人机控制模型用于迁移到真实的所述无人机。

进一步的，所述将所述相对偏移位置、云台当前位姿，飞行信息及无人机的位姿，输入至无人机控制模型，输出得到所述无人机及云台的控制量信息，包括：

将所述相对偏移位置，云台当前位姿，飞行信息及无人机的位姿，作为强化学习算法的观测量；

将无人机偏航角速度及云台目标位姿，作为所述强化学习算法的动作；

将所述相对偏移位置的平方作为所述强化学习算法中的奖励函数的惩罚项；

将所述无人机的航行速度，作为所述奖励函数的奖励项；

利用所述观测量、所述动作及所述奖励函数，通过所述强化学习算法，得到所述无人机及所述云台的控制量信息。

进一步的，所述利用所述观测量、所述动作及所述奖励函数，通过所述强化学习算法，得到所述无人机及所述云台的控制量信息，包括：

在所述观测量和所述动作的条件下，多次迭代确定所述奖励函数的奖励值；

通过多次迭代的所述奖励值，选择累计奖励值最大对应的状态空间和动作空间，作为所述控制量信息。

进一步的，所述无人机为固定翼无人机；

所述云台搭载单目相机；所述云台具有两自由度，所述云台用于通过调整俯仰角和偏航角跟踪目标；

将所述云台固联在所述固定翼无人机上。

进一步的，所述识别被跟踪目标在所述目标图像中相对于图像中心区域的相对偏移位置，包括：

使用轻量化模型将所述目标图像划分为多个网格单元；所述多个网格单元对包含该网格的目标的检测和定位；

利用所述多个网格单元，估计目标标签和与所述目标标签对应的目标出现在网格单元的各单元格中的概率分布；

依据所述概率分布进行非极大值抑制，得到目标的目标检测结果；所述目标检测结果包括目标的大小和中心位置；

接收用户针对所述目标图像的所述目标选定的感兴趣目标，作为被跟踪目标；

跟踪所述被跟踪目标在所述目标图像中的当前图像帧相对于图像中心区域的相对偏移位置。

进一步的，所述轻量化模型包括使用YOLO算法的网络结构，其中，所述网络结构包含24个卷积层和2个全连接层；

所述使用轻量化模型将所述目标图像划分为多个网格单元，包括：

通过所述YOLO算法，采用所述卷积层，提取所述目标图像的图像特征；

所述利用所述多个网格单元，估计目标标签和与所述目标标签对应的目标出现在网格单元的各单元格中的概率分布，包括：

通过所述全连接层对所述图像特征进行预测，将所述图像特征转换为所述目标的预测值；所述预测值包括目标的边界坐标及所述目标对应的目标标签的概率。

进一步的，所述跟踪所述被跟踪目标在所述目标图像中的当前图像帧相对于图像中心区域的相对偏移位置，包括：

采用核相关滤波算法，根据所述目标图像中的当前图像帧的信息以及之前图像帧的信息，确定相关信息；

利用所述相关信息，与新获取的所述当前图像帧之后的图像帧进行相关性计算，得到所述被跟踪目标的跟踪结果。

本申请的提供一种无人机视觉跟踪系统，包括：

目标图像获取模块，用于获取无人机所固联的云台上相机采集的目标图像；

相对偏移位置识别模块，用于识别被跟踪目标在所述目标图像中相对于图像中心区域的相对偏移位置；

控制量信息确定模块，用于根据所述相对偏移位置，得到所述无人机及所述云台的控制量信息；

联合控制模块，用于根据所述控制量信息，以所述图像中心区域为基准，联合控制所述无人机及所述云台以使所述被跟踪目标处于所述图像中心区域。

本申请的提供一种无人机，包括一个或多个处理器，用于实现如上任一项所述的方法。

本申请的提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现如上任一项所述的方法。

在一些实施例中，本申请的无人机视觉跟踪方法，获取无人机所固联的云台上相机采集的目标图像；识别被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置；根据相对偏移位置，通过强化学习算法，得到无人机及云台的控制量信息；根据控制量信息，以图像中心区域为基准，联合控制无人机及云台以使被跟踪目标处于图像中心区域。如此，根据被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置，得到无人机及云台的控制量信息，不需要建立无人机的模型和云台的模型，也不需要云台姿态和无人机姿态耦合，也不需要解耦，从而不存在解耦的难度。

附图说明

图1所示为本申请实施例的无人机视觉跟踪方法的流程示意图；

图2所示为图1所示的无人机视觉跟踪方法中的被跟踪目标的跟踪流程示意图；

图3所示为图2所示的无人机视觉跟踪方法中的核相关滤波算法的流程示意图；

图4所示为本申请实施例的无人机视觉跟踪系统的结构示意图；

图5所示为本申请实施例提供的无人机的模块框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

为了解决解耦的难度较大的技术问题，本申请实施例提供一种无人机视觉跟踪方法。其中，获取无人机所固联的云台上相机采集的目标图像；识别被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置；根据相对偏移位置，通过强化学习算法，得到无人机及云台的控制量信息；根据控制量信息，以图像中心区域为基准，联合控制无人机及云台以使被跟踪目标处于图像中心区域。

在本申请实施例中，根据被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置，得到无人机及云台的控制量信息，不需要建立无人机的模型和云台的模型，也不需要云台姿态和无人机姿态耦合，也不需要解耦，从而不存在解耦的难度。这样被跟踪目标的跟踪速度快、精度高及鲁棒性强。

图1所示为本申请实施例的无人机视觉跟踪方法的流程示意图。

如图1所示，该无人机视觉跟踪方法可以包括如下步骤110至步骤140：

步骤110，获取无人机所固联的云台上相机采集的目标图像。

上述目标图像可以反映云台相机采集的内容，这些内容可以包含目标，以实现后续的目标跟踪。上述目标图像可以但不限于包括地面目标图像及天上目标图像中的一者或多者。

其中，无人机可以为固定翼无人机；上述云台搭载单目相机；上述云台具有两自由度，且云台用于通过调整俯仰角和偏航角跟踪目标。将云台固联在固定翼无人机上。如此，相较于多旋翼无人机，由于固定翼无人机飞行符合动力学原理，因此，可以实现较快速度的飞行，对地面上运动速度较快目标的追踪。同时，由于固定翼无人机的待机时间长，因此可以实现长时间的追踪。并且，由于固定翼无人机自身的飞行控制系统采用类似飞机的飞行原理，因此可以实现稳定。

进一步的，上述固定翼无人机飞到目标附近的上空，进行匀速盘旋飞行，同时进行目标搜索和识别。这样后续通过轻量化的YOLO检测网络，也称为下文的YOLO模型，实时识别和检测目标在图像中的位置。

步骤120，识别被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置。

上述被跟踪目标可以是指目标图像中的一个或多个目标，其是通过用户从目标图像中的所有目标中选择的。

步骤130，根据相对偏移位置，得到无人机及云台的控制量信息。

其中，上述控制量用于对无人机及云台进行控制的最优策略，以实现对被跟踪目标的跟踪。上述控制量可以包括无人机偏航角速度及云台目标位姿中的一者或多者。进一步的，利用强化学习算法得到上述对无人机及云台进行控制的最优策略。这样基于强化学习的固定翼无人机目标跟踪方法，通过搭载在二自由度云台上的单目视觉传感器采集地面图像信息，并通过轻量化YOLO网络进行目标检测，进而通过强化学习算法，同时控制固定翼无人机的偏航角速度、云台俯仰角、云台偏航角，实现对地面目标的长时间稳定跟踪。详细说明如下。

步骤140，根据控制量信息，以图像中心区域为基准，联合控制无人机及云台以使被跟踪目标处于图像中心区域。

上述图像中心区域用于尽可能让被跟踪目标处于图像中心区域，以便更好的跟踪和拍摄被跟踪目标。上述图像中心区域可以是指图像中心点所在的区域，上述图像中心区域也可以是指以图像中心点为中心向中心外侧延伸的预设区域。

上述步骤140进一步可以包括通过如下方式，建立固定翼无人机和二自由度云台的联合运动方程：

其中，V

图2所示为图1所示的无人机视觉跟踪方法中的被跟踪目标的跟踪流程示意图。

如图2所示，上述步骤120进一步可以包括如下步骤121至步骤125：

步骤121，使用轻量化模型将目标图像划分为多个网格单元；多个网格单元对包含该网格的目标的检测和定位。

其中，目标可以是通过目标检测框表示。上述轻量化模型可以但不限于包括轻量化YOLO模型，用于实现目标检测。如此，用户根据YOLO算法得出的目标中选择感兴趣目标，作为被跟踪目标，后续通过核相关滤波算法实时跟踪选中被跟踪目标在图像中的位置(σ

进一步的，上述轻量化模型包括使用YOLO算法的网络结构，其中，网络结构包含24个卷积层和2个全连接层。由YOLO检测网络识别和检测目标在图像中的位置：采用卷积网络来提取图像特征，然后通过全连接层得到预测值。网络结构包含24个卷积层和2个全连接层。对每一层，采用相应的激活函数。检测结果为各个目标的大小和中心位置。具体实现如下：第一，收集所关注地面目标图像的样本数据集，并用标注工具进行标注。第二，修改数据文件、模型文件、权重文件等。运行训练程序，进行训练。训练后得到最终的权重文件。第三，利用训练得到的权重文件，结合无人机机载视觉传感器采集到的图像信息，进行地面目标的实时识别。

步骤122，利用多个网格单元，估计目标标签和与目标标签对应的目标出现在网格单元的各单元格中的概率分布。

上述步骤121可以包括如下①的步骤；相应的，上述步骤122可以包括如下②的步骤：

①、通过YOLO算法，采用卷积层，提取目标图像的图像特征。②、通过全连接层对图像特征进行预测，将图像特征转换为目标的预测值；预测值包括目标的边界坐标及目标对应的目标标签的概率。如此，用户根据YOLO算法得出的目标检测结果，用户从目标检测结果中选择感兴趣目标进行跟踪。跟踪算法采用核相关滤波法，根据当前图像帧的信息以及之前图像帧的信息训练出一个相关滤波器，然后通过对目标的特征进行卷积，得到一个响应图，然后根据响应图来确定目标的位置。基于循环矩阵来进行训练样本的生成。如此，采用轻量化的YOLO算法进行目标检测。通过删除不重要的卷积核来减少模型参数的数量，从而减少模型的大小；进而采用卷积网络来提取图像特征，实时识别和检测目标在图像中的位置。

步骤123，依据概率分布进行非极大值抑制，得到目标的目标检测结果；目标检测结果包括目标的大小和中心位置。

上述通过非最大值抑制，根据概率分布对目标进行预测，得到目标的目标检测结果；目标检测结果包括目标的大小和中心位置具体如下：第一步，识别上述概率分布。第2步，去掉小于预设阈值的概率，得到目标的目标检测结果。示例性的，本申请预算所需10个目标，不做非极大值抑制，可能会识别出来15个目标；通过非最大值抑制，将多识别出来的5个目标去掉，最后得到所需的10个目标。如此，而可以减少检测过程中的无效计算。

步骤124，接收用户针对上述目标图像的目标选定的感兴趣目标，作为被跟踪目标。

步骤125，跟踪被跟踪目标在目标图像中的当前图像帧相对于图像中心区域的相对偏移位置。

图3所示为图2所示的无人机视觉跟踪方法中的核相关滤波算法的流程示意图。

如图3所示，上述步骤125进一步可以包括采用核相关滤波算法，根据目标图像中的当前图像帧的信息以及之前图像帧的信息，确定相关信息；以及，利用相关信息，与新获取的当前图像帧之后的图像帧进行相关性计算，得到被跟踪目标的跟踪结果。如此，采用核相关滤波器算法，使得无人机可以在复杂的地面背景下进行目标跟踪，并且可以处理地面目标的尺度变化、旋转变化等问题。此外，还可以借助核相关滤波算法进行多目标跟踪。

继续图1和图2所示，上述步骤130可以包括如下将相对偏移位置、云台当前位姿，飞行信息及无人机的位姿，输入至无人机控制模型，输出得到无人机及云台的控制量信息。其中，无人机控制模型是采用视觉信息和无人机飞行环境的物理参数形成的目标图像样本训练得到的。

进一步的，上述步骤130可以通过如下第1个步骤至第5个步骤，获得控制量信息：

第1个步骤，将相对偏移位置，云台当前位姿，飞行信息及无人机的位姿，作为强化学习算法的观测量；其中，上述观测量包括状态观测空间；状态空间包括无人机姿态、飞行速度、飞行高度及云台当前姿态；动作空间包括无人机的偏航角速率、云台的偏航角速率及云台的俯仰角速率。

利用强化学习算法得到上述对无人机及云台进行控制的最优策略，具体的马尔可夫决策过程元组选取如下。

状态观测空间：

动作空间：

奖励函数：

循环迭代，学习最优策略。循环迭代过程如下：

1)、初始化：给定初始策略π；

2)、求解线性方程，计算出与π对应的值函数V：

其中，s为状态，R为奖励函数的数值，T为转移函数的数值，V为状态值函数的数值，a为动作，s′为转移后的状态。

3)、基于计算出的值函数V，按照下列算式更新策略：

π(s)＝argmax

其中，argmax

4)、不断重复步骤2)、3)，直到收敛条件，即旧的动作＝π(s)。

5)、迭代次数不超过|A|

如此，通过强化学习算法，实现固定翼无人机和云台的联合控制，实现固定翼无人机对地面上运动速度较快目标的长时间稳定盘旋跟踪。

第2个步骤，将无人机偏航角速度及云台目标位姿，作为强化学习算法的动作；其中，上述动作包括动作空间。

第3个步骤，将相对偏移位置的平方作为强化学习算法中的奖励函数的惩罚项。

第4个步骤，将无人机的航行速度，作为奖励函数的奖励项。

第5个步骤，利用观测量、动作及奖励函数，通过强化学习算法，得到无人机及云台的控制量信息。如此，基于强化学习算法的无人机控制适应性强，无需提前设计控制策略：基于强化学习算法的无人机控制，能够适应不确定性环境和复杂性更高的控制问题，对于非线性、非确定性问题具有很好的适应能力；且不需要提前设计无人机和云台的联合控制策略，也不需要提前建立无人机的模型和云台的模型，可以通过与环境交互学习得到最优策略，具有更高的灵活性。

上述第5个步骤可以包括在观测量和动作的条件下，多次迭代确定奖励函数的奖励值；

通过多次迭代的奖励值，选择累计奖励值最大对应的状态空间和动作空间，作为控制量信息。

其中，上述训练得到无人机控制模型有多种方式：

在得到无人机控制模型的一种方式中，通过域随机化方法，对模拟环境中的视觉信息和无人机飞行环境的物理参数进行随机化，增大无人机控制模型的样本量；以及，基于强化学习算法，利用所增大后的样本量进行无人机控制模型的训练，得到无人机控制模型；无人机控制模型用于迁移到真实的无人机。如此，通过域随机化方法，对模拟环境中的视觉信息和无人机飞行环境等相关的物理参数进行随机化，使智能体在随机变化的模拟环境中进行学习。这样不仅基于强化学习算法的无人机控制模型训练采样效率高、训练安全，而且，可以解决直接在现实环境中进行训练时，采样效率低、采集样本耗时以及容易给无人机或者周围环境带来损害等问题。

示例性的，在Isaac Gym模拟器中进行仿真训练，开启一个物理引擎，在其中并行地运行多个子智能体，也即固定翼无人机。固定翼无人机控制模型训练完毕后，进行迁移学习，并将所得到的固定翼无人机控制模型迁移到实际的固定翼无人机平台上去，进而实现固定翼无人机对地面目标的盘旋跟踪。如此，通过Isaac Gym仿真环境进行模拟仿真训练，提高学习过程中的安全性和迭代速度。随后通过域随机化等手段，进行迁移学习，并将所得到的模型迁移到实际的固定翼无人机平台上去，进而实现固定翼无人机对地面目标的盘旋跟踪。

在得到无人机控制模型的另一种方式中，获取现实环境中采用视觉信息和无人机飞行环境的物理参数形成的目标图像样本；基于强化学习算法，利用所增大后的样本量进行无人机控制模型的训练，得到无人机控制模型；无人机控制模型用于迁移到真实的无人机。如此，更符合周围实际环境的控制。这样基于强化学习算法的无人机控制模型训练采样效率高、训练安全。

在本申请实施例中，能够克服相关技术中的目标跟踪方法建议误差较大、目标容易脱离机载视觉传感器视场、难以精确建模和设计控制率等问题，实现固定翼无人机对于地面运动目标的长时间稳定跟踪。

图4所示为本申请实施例的无人机视觉跟踪系统的结构示意图。

如图4所示，该无人机视觉跟踪系统可以包括如下模块：

目标图像获取模块41，用于获取无人机所固联的云台上相机采集的目标图像；

相对偏移位置识别模块42，用于识别被跟踪目标在目标图像中相对于图像中心区域的相对偏移位置；

控制量信息确定模块43，用于根据相对偏移位置，得到无人机及云台的控制量信息；

联合控制模块44，用于根据控制量信息，以图像中心区域为基准，联合控制无人机及云台以使被跟踪目标处于图像中心区域。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，可以达到相同的技术效果，在此不再赘述。

在本申请实施例提供的一种无人机，包括如上所述的无人机视觉跟踪系统。

图5所示为本申请实施例提供的无人机50的模块框图。

如图5所示，无人机50包括一个或多个处理器51，用于实现如上所述的无人机视觉跟踪方法。

在一些实施例中，无人机50可以包括计算机可读存储介质59，计算机可读存储介质59可以存储有可被处理器51调用的程序，可以包括非易失性存储介质。在一些实施例中，无人机50可以包括内存58和接口57。在一些实施例中，无人机50还可以根据实际应用包括其他硬件。

本申请实施例的计算机可读存储介质59，其上存储有程序，该程序被处理器51执行时，用于实现如上描述的无人机视觉跟踪方法。

本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质59(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质59包括永久性和非永久性、可移动和非可移动媒体，可以任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质59的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。