一种基于YOLO网络的空中目标机动动作识别方法与系统

技术领域

本发明涉及战场态势分析领域，具体涉及一种基于YOLO网络的空中目标机动动作识别方法与系统。

背景技术

在复杂和动态的空战场景中，敌方飞机的机动表现直接反映了其作战意图和决策。通过对飞行数据进行准确和实时的机动动作识别，可以及时分析和响应敌方飞机作战策略，在空战研究领域具有迫切需求。目前，飞行机动识别(Flight ManeuverRecognition，FMR)任务的研究主要集中在四个技术方向上，即基于专家系统、基于概率图模型、基于线性分类和基于神经网络。其中，神经网络方法具有高识别率、高精度和对先验知识依赖较小等优点，但现有的模型忽略了对飞行数据的分割，并将FMR视为仅仅是一个分类任务。

空中目标运动是一个连续动态的过程，它包含了非机动动作，也可能包含一个或多个机动飞行动作，且机动动作与机动动作之间或与非机动动作之间没有明确的分界点。对于飞行中的机动动作，一般需要模型先确定一个机动动作的起始时间点和结束时间点，再对起始时间点和结束时间点中包含的机动动作的类别进行分类。也就是在识别飞行数据中的机动动作的类别之前有必要对飞行数据进行分割和提取，以排除待识别机动动作外的冗余飞行数据。由于完成一个飞行动作所需的时间长度受飞机当前飞行速度、飞机最大加速度、动作类型、飞行动作完成情况以及一些人为或外部因素的影响，因此同一类型动作的飞行数据往往具有不同的长度。这就还要求识别器能够识别不同长度的飞行数据。

由于现有的用于飞行机动识别任务的神经网络忽略了对飞行数据的分割，在实际应用中会遇到一些问题。1.循环神经网络(RNN)通过对飞行数据的单个采样点数据的类别进行识别。在飞行数据的噪声较大时，会出现机动动作中个别采样点的类别识别错误的情况，导致对某个完整机动动作的类别识别结果的不连续。在提取机动动作时，会将原本完整的机动动作提取成为多个割裂的机动动作。2.通过固定长度的滑动数据窗口截取飞行数据时间序列的子序列，一维卷积神经网络(CNN1d)对截取的子进行分类。由于一个完整的机动动作的时间长度时不固定的，固定窗长的滑动数据窗口截取的飞行数据子序列，要么只包含了不完整的机动动作飞行数据，要么还包含了非机动动作的飞行数据，对完整机动动作的截取效果不好。此外，滑动数据窗口中非机动动作飞行数据的冗余和机动动作数据缺失会影响截取的飞行数据子序列类别的识别结果。

发明内容

发明目的：针对现有的飞行机动识别方法存在的问题，本发明提出一种基于YOLO网络的空中目标机动动作识别方法及系统，通过对YOLOv5进行改进，使得神经网络结构能够自适应地对不同长度机动动作飞行数据的分割和提取，克服现有飞行机动识别任务的神经网络的由于不具备分割能力遇到的问题。

技术方案：一种基于YOLO网络的空中目标机动动作识别方法，其特征在于，包括以下步骤：

将空中目标的航迹时间序列D＝{d

将待识别的空中目标的航迹时间序列输入训练好的神经网络模型，由神经网络模型给出多类别识别结果，利用非极大值抑制算法对神经网络模型的多类别识别结果进行过滤，经非极大值抑制过滤后得到的识别结果作为空中目标机动的最终识别结果。

进一步地，所述神经网络模型的主干部分由焦点模块、部分连接模块、跨阶段部分连接模块和空间金字塔池化模块组成，焦点模块对T长度的6通道序列数据进行下采样，并扩展通道，产生一个32通道、

进一步地，所述神经网络模型的颈部机构中，Fpn对来自主干和颈部的多尺度特征向量进行上采样和上融合，将强语义特征传递给第一尺度特征向量；Pan对来自Fpn的多尺度特征向量进行下采样，然后向下融合，将强位置特征传递给第二尺度特征向量。

进一步地，所述神经网络模型的头部产生三个特征向量集分别为

进一步地，所述神经网络模型是基于YOLOv5改进得到，具体包括：

将处理二维图像数据的YOLOv5网络中的CNN2d替换为CNN1d，用来处理控制目标的飞行数据，并相应修改神经网络模型中原本的用于二维特征向量的批标准化操作BatchNorm、连接操作Concat和上采样操作Upsample，使其应用于一维特征向量，使得网络模型适用于一维时间序列数据；

将YOLOv5的3个输入通道，即对应输入图像的红、绿、蓝颜色通道，扩大到6个，即对应探测数据的6个参数，分别是空间位置坐标x，y，z、速度v、倾角θ和方位角ψ；

设置采用差分法对输入的航迹时间序列进行预处理，使得输入网络的飞行参数被缩小至一个固定的区间。

进一步地，神经网络模型训练过程中，飞行机动识别的损失函数

其中，机动置信度损失

机动置信度损失

其中，

机动分割点回归损失

其中t

机动类型分类损失

其中c表示机动类别的个数。

进一步地，利用交并比IOU来衡量机动时间区间的真实值开始时间t

本发明还提供一种基于YOLO网络的空中目标机动动作识别系统，包括：

模型训练模块，用于将空中目标的航迹时间序列D＝{d

机动识别模块，用于将待识别的空中目标的航迹时间序列输入训练好的神经网络模型，由神经网络模型给出多类别识别结果，利用非极大值抑制算法对神经网络模型的多类别识别结果进行过滤，经非极大值抑制过滤后得到的识别结果作为空中目标机动的最终识别结果。

本发明还提供一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如上所述的基于YOLO网络的空中目标机动动作识别方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于YOLO网络的空中目标机动动作识别方法的步骤。

有益效果：本发明通过改进用于目标检测的YOLOv5神经网络，提出一个可以同时对一维时间序列数据进行分割和分类的神经网络结构，克服现有飞行机动识别任务的神经网络的由于不具备分割能力遇到的识别错误等问题。所提出的神经网络模型在对应的飞行数据构建的数据集上完成训练后，可以实现对飞行数据中机动动作的分割与识别，可以达到与循环神经网络(RNN)相当的单采样点识别精度。

附图说明

图1为本发明的识别方法处理流程图；

图2为本发明的神经网络模型结构图；

图3为本发明不同IOU阈值下的精确率-召回率曲线。

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

目标检测器用于对图像中的物体进行定位和分类。由于目标检测任务和识别空中目标机动任务之间的相似性，可将目标检测器改进用于识别空中目标机动。YOLOv5是一种检测速度快、检测精度高的目标检测器，采用了特征金字塔网络(FPN)和路径聚合网络(PAN)结构。可以改进用于提取和融合不同长度的飞行数据信息。本发明在YOLOv5的基础上进行了修改，以适应飞行机动识别任务处理一维时间序列数据的需求。为了描述的便利，下文中以飞机或飞行器来指代空中目标。飞机的飞行数据是对飞行过程中采样的飞行状态参数的时间序列数据，由探测传感器进行探测获取得到，由于其一般表征飞机随时间的位置和方位，因此本文中称为航迹时间序列，二者可互换使用。

参照图1，本发明实施例中，一种基于YOLO网络的空中目标机动动作识别方法，包括以下步骤：

(1)获取飞行数据：

本发明中，长度为T的飞行数据段表示为D＝{d

作为一个示例，对于固定翼飞机，飞行控制参数与飞行状态参数的时间序列变化之间的关系可以用3DOF方程表示：

固定翼飞机的机动类型及其对应的控制参数如表1所示。给定初始值d

表1飞机的机动类型及其对应的控制参数

表中C

应当理解，本发明可以适用于其他类型的飞机，对于其他类型的飞机的机动类型、控制参数及其对应的3DOF方程不一样。通过在对应类型的飞机的飞行数据构成的数据集上训练神经网络，使得神经网络具有识别对应机动类型的能力。

(2)设置网络架构：

本发明基于YOLOv5改进神经网络，使神经网络能够同时学习时间序列的分割和分类任务，用于识别飞行机动。神经网络也称为神经网络模型或网络模型，也简称为网络。本发明对网络架构的具体修改如下：

首先，将处理二维图像数据的YOLOv5网络中的CNN2d替换为CNN1d，用来处理飞行数据。并相应修改网络模型中原本的用于二维特征向量的批标准化操作BatchNorm、连接操作Concat和上采样操作Upsample，使其应用于一维特征向量，使得网络模型适用于一维时间序列数据。

其次，将YOLOv5的分别对应输入图像的红、绿、蓝颜色的3个输入通道，扩大到6个，以对应飞行数据的6个状态参数，分别是飞机的空间位置坐标x，y，z、速度v、倾角θ和方位角ψ。

最后，数字图像的像素点的颜色强度值是固定的从0到255的区间，而飞行数据的状态参数的取值区间极大，尤其是位置坐标x，y，z。因此，采用差分的方法对飞行数据进行预处理，将输入网络的飞行参数缩小到一个固定的区间，使神经网络能够更好地拟合，加快训练的收敛速度。

修改后的神经网络结构如图2所示，包括四个部分：输入、主干、颈部和头部。

输入：D＝{d

主干：主干由焦点模块Focus、部分连接模块CBS、跨阶段部分连接模块C3和空间金字塔池化模块SPP组成，从不同尺度的飞行数据中提取特征。Focus对T长度的6通道序列数据进行下采样，并扩展通道，产生一个32通道、

颈部：颈部由Fpn和Pan两个结构组成，融合多尺度特征向量的信息。Fpn对来自主干和颈部的多尺度特征向量进行上采样和上融合，将强语义特征传递给大尺度特征向量。而Pan对来自Fpn的多尺度特征向量进行下采样，然后向下融合，将强位置特征传递给小尺度特征向量。尺度大小是指网络中特征向量感受野的大小，飞行数据YOLOv5网络输出的最终特征向量是在三个尺度上的。

头部：头部通过卷积对颈部的多尺度特征向量集进行正则化处理，产生三个特征向量集

(3)设置损失函数：

网络的预测结果通过Sigmoid激活函数映射到[0,1]区间，然后估计其与真实值之间的误差。

飞行机动识别的损失函数

其中，机动置信度损失

具体地，机动置信度损失

其中，如果机动的时间中心落在第n个时间区间内，

机动分割点回归损失

其中t

机动类型分类损失

其中c表示机动类别的个数，这里是6。

(4)进行模型训练：

随机生成飞机机动的初始状态参数、开始时间和结束时间t

6类飞行机动每类产生100个样本，组成一个训练周期的600个样本的数据集。设置神经网络的超参数λ

训练好的模型，输入待识别的飞行数据，给出多类别识别结果。

(5)对识别结果过滤：

利用非极大值抑制(NMS)算法对神经网络的多类别识别结果进行过滤。利用交并比(IOU)来衡量机动时间区间的真实值(开始时间t

为了对识别结果有更清楚的认识，绘制不同IOU阈值下的精确率(precision)-召回率(recall)曲线。如图3所示，当NMS算法中的IOU阈值设置为0.7或更低时，精确率-召回率曲线的AUC值较高，模型的召回率超过0.8，并接近0.9，精确率水平约为0.9。相反，当IOU阈值设置为大于0.7时，随着IOU阈值的增加，精确率-召回率曲线的AUC值减小。由此可见，基于YOLOv5改进的神经网络可以对飞行数据中飞行机动的分割与识别。

由于现有识别飞行机动的神经网络模型不具备分割能力，将本发明提出神经网络的机动飞行数据段的识别结果转换为飞行数据中每一个采样点的识别精度与现有识别飞行机动的神经网络模型比较。在NMS算法的置信阈值设置为0.9的情况下，对神经网络的识别结果进行过滤，并转换为采样点的识别精度，与三层LSTM神经网络的识别精度进行比较，结果如表2所示。可以看出，本发明提出神经网络的采样点的识别精度与三层LSTM模型相当。

表2两种模型识别精度对比

本发明通过设计合适的神经网络和损失函数，让神经网络同时学习分割和分类任务，同时训练多个任务可以节省时间和计算资源，且同时保持相当甚至更优的任务性能水平。

本发明还提供一种基于YOLO网络的空中目标机动动作识别系统，包括：

模型训练模块，用于将空中目标的航迹时间序列D＝{d

机动识别模块，用于将待识别的空中目标的航迹时间序列输入训练好的神经网络模型，由神经网络模型给出多类别识别结果，利用非极大值抑制算法对神经网络模型的多类别识别结果进行过滤，经非极大值抑制过滤后得到的识别结果作为空中目标机动的最终识别结果。

其中，神经网络模型的结构设置、训练过程中的参数设置以及损失函数设置等具体实现，可参照上述方法实施例中的相关描述，此处不再赘述。

本发明还提供一种计算机设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述程序被处理器执行时实现如上所述的基于YOLO网络的空中目标机动动作识别方法的步骤。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于YOLO网络的空中目标机动动作识别方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置(系统)、计算机设备或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程以及流程图中的流程的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。