一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法

技术领域

本发明涉及无人机异常检测技术领域，具体涉及一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法。

背景技术

现有的无人机飞行数据异常检测方法通常分为基于知识、基于模型和基于数据的方法。

其中，基于知识的方法通过总结专家在无人机特定领域的经验和知识来检测飞行数据异常。然而，这些方法严重依赖先验知识，导致其异常检测能力差。基于模型的方法通常涉及为无人机或其子系统建立一个适当的物理模型，并构建一个观测系统模型。然后通过比较估计值和实际值来计算残差，以检测无人机飞行数据中的异常情况。然而，建立准确的无人机系统物理模型很困难，这在一定程度上限制了这些方法的应用。

与基于知识和模型的方法相比，数据驱动的方法不需要对无人机系统的物理特征进行复杂的建模，可以最大限度地利用传感器数据中的信息。此外，各种数据驱动方法可以根据无人机飞行数据信息的变化特征来检测异常情况。数据驱动方法被广泛用于无人机关键部件和系统的异常检测。

数据驱动方法可进一步分为时间相关方法和空间-时间相关方法。时空相关方法只考虑时间维度上的相关，而忽略了多维无人机飞行数据空间维度上的相关。空间-时间相关方法充分考虑了多维无人机飞行数据在时间和空间上的相关性，如利用LSTM挖掘无人机飞行数据的时空相关性，但在参数选择上仍依赖于先验知识。虽然可以直接选择无人机飞行数据的所有参数进行分析，但有更多的冗余参数会对模型的性能产生不利的影响。

综上所述，无人机飞行数据异常检测的主要挑战有以下几点：

1、目前大多数数据驱动的方法没有很好地考虑到多维无人机飞行数据的时间和空间关联性。

2、现有的时空相关方法在参数选择上仍然依赖先验知识。

3、异常数据标签的缺乏和大规模标注异常数据的高成本使得监督异常检测方法往往不可行。

发明内容

本发明意在提供一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法，能够准确检测数据异常，且能够有效减少数据分析对于先验知识的依赖性，异常检测较为方便，检测有效度高。

本发明提供的基础方案为：一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法，包括以下步骤：

步骤1：采集原始数据集；所述原始数据集为原始的多维无人机飞行数据参数集；

步骤2：预处理原始数据集，并得到标准数据集；

步骤3：采用MIC相关分析法按照预设处理策略处理标准数据集，并输出得到飞行数据参数之间的关联程度值；

步骤4：自标准数据集中，提取关联程度值大于第一阈值的飞行数据参数，并组成特征子集；

步骤5：将特征子集作为模型输入，输入至LSTM-AE模型中；将LSTM-AE模型损失函数作为异常分数，对特征子集进行评分；

步骤6：比对异常分数与第二阈值；若异常分数大于第二阈值，则判定为飞行数据存在异常，否则，判定为飞行数据不存在异常。

本发明的工作原理及优点在于：第一，本方案进行异常检测的数据分析基础，是基于多维的无人机飞行参数，即，是基于不同类型的参数项目进行的综合性分析。与常规的无人机飞行数据分析方法不同，常规方法往往是针对单一参数进行单维变量分析，该方法涉及的数据量小，分析难度低，但是，其分析具有较大的局限性。而本方案基于多维数据进行综合性分析，可以突破参数项本身的局限，更好地分析无人机性能指标。且对于现有分析方案而言，它们无法保证多维分析的准确度和效率，因为多维分析必然存在冗余参数，会对分析模型的性能产生不利的影响，使得分析效果不佳；而若是依靠专家知识(先验知识)，则又会使得多维分析本身的优点丧失，受到先验知识的主观局限。本方案则解决了上述技术难点，通过步骤3至步骤4，进行参数提取，组成特征子集，能够在没有先验知识，不利用先验知识的情况下对多维参数进行优选，去除多维分析中的参数冗余，同时保有多维分析的优势。

第二，本方案在进行参数优选时，利用MIC相关分析方法获取参数间的关联程度值，以进行参数选取，且在选取时，仅选取关联程度值较高(大于第一阈值)的参数，能够智能地精选出具有关联性的参数作为无人机运行状态性能分析的数据源，有效去除冗余参数的同时，具有关联性的参数能够更好地反映出无人机某些部件的性能指标，特别是单个参数无法充分展示的相对隐性的性能指标。并且，本方案采用的MIC相关分析方法，相比于其他的相关系数(如皮尔逊相关系数等)，在捕捉数据中存在线性和非线性相关参数时，表现更佳，能够有效减少对专家知识(先验知识)的依赖，使得异常检测和处理更为可靠、有效和便捷。

第三，本方案采用LSTM-AE模型对相关性特征子集进行评分，并将模型损失损失函数作为异常分数以用作异常判定，LSTM-AE模型能够映射具有时空相关性的飞行数据参数集，实现多维无人机飞行数据的无监督异常检测，相比于需要大规模标注异常数据，设置异常数据标签的监督异常检测方法，本方案的成本更低，运行效率更高，分析也更完善。

附图说明

图1为本发明一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法实施例的方法流程示意图；

图2为本发明一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法实施例的相关性分析对比图；

图3为本发明一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法实施例的部分参数的归一化和S-G滤波器处理图形示意图；

图4为本发明一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法实施例的LSTM-AE模型示意图；

图5为本发明一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法实施例的部分参数的异常分数示意图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例基本如附图1所示：一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法，包括以下步骤：

步骤1：采集原始数据集；所述原始数据集为原始的多维无人机飞行数据参数集。

具体地，原始数据集的数据自公开数据集中获取得到，本实施例中选用的公开数据集为Thor flight69数据集，数据量充足且数据来源可靠。本实施例的原始数据集中包含多种无人机飞行数据参数，如表1所示：

表1飞行数据参数表

步骤2：预处理原始数据集，并得到标准数据集。

所述预设处理策略包括：将原始数据集归一化。具体地，归一化处理就是将所有的数据映射到同一尺度，即让每一个特征数据的影响力是相同的场景，能够使得各种不同类别的参数数据具备可比性，便于对多维数据进行综合分析。如附图3所示归一化处理后的归一化图形，可以看出，Savitzky-Golay滤波器可以最大限度地减少有用信息的损失，从而提高数据的平滑度，减少噪声的干扰。

对标准化后的原始数据集进行滤波处理。在进行滤波处理时，采用Savitzky-Golay滤波器进行处理。Savitzky-Golay滤波器，即指S-G滤波器，是一种在时域内基于局域多项式最小二乘法拟合的滤波方法。这种滤波器最大的特点在于在滤除噪声的同时可以确保信号的形状、宽度不变。采用S-G滤波器对数据进行滤波处理后，原始数据集中的相对不明显的异常点也能够被检测出来。

步骤3：采用MIC相关分析法按照预设处理策略处理标准数据集，并输出得到飞行数据参数之间的关联程度值。

具体地，MIC相关分析法，即指最大信息系数相关分析法，其核心思想是给出一对两个变量的有序样本S＝(X,Y)。二维坐标系的x和y轴被划分为一个x×y的网格，S|

I

在方程(1)的基础上，特征矩阵可以定义为：

结合方程(1)和方程(2)，MIC可定义为：

所述预设处理策略包括：将标准数据集输入到MIC中，由MIC输出得到参数之间的关联程度值。

该关联程度值能够用来准确评估参数间的相关性。并且，相对于常规方案中常采用的皮尔逊相关系数(PCC),本方案中的MIC可以更好的捕捉多维无人机飞行数据中存在的线性和非线性相关性参数，有效减少对专家知识的依赖性，可以准确地表示多维无人机飞行数据之间的相关程度，并将其转化为一般的数据分析问题。这使得无人机飞行数据的异常检测和处理更加有效和方便。并且，如附图2所示，基于MIC的非线性相关分析相比于基于PCC的线性相关分析，在对于相关程度的判定分析上，更为准确、可靠。

步骤4：自标准数据集中，提取关联程度值大于第一阈值的飞行数据参数，并组成特征子集；所述第一阈值为0.6。即，提取关联程度>0.6的飞行数据参数组成特征子集。这样设置，将关联程度值大于0.6的条件判定为参数与参数相关，数值设定恰当，能够准确判定参数相关性，便于进一步确定无人机整体性能。

步骤5：将特征子集作为模型输入，输入至LSTM-AE模型中；将LSTM-AE模型损失函数作为异常分数，对特征子集进行评分。

在LSTM-AE模型中，LSTM网络与AE网络嵌套为一体。它结合了AE的特征提取能力和LSTM的时间数据处理能力，保留了提取的特征中的时间数据信息。该模型有一个输入层，一个输出层，四个LSTM层，和一个重复向量。具体地，每个LSTM层和重复向量的输入和输出形状如表2所示。LSTM第2层也可称为瓶颈层，即输入数据编码后的最小尺寸，如附图4所示。

表2每个LSTM层和重复向量的输入和输出形状

具体地，异常分数获取按照评分策略获取；所述评分策略包括：由LSTM-AE网络对特征子集中的关键数据进行重构，并得到重构数据；输出重构数据与原始输入特征子集特征数据的误差值为模型损失函数，所述损失函数即为异常分数。

具体地，本方案中，LSTM-AE模型在编码阶段，假设将维度为(l，M)的相关性特征子集作为模型中LSTM第1层的输入，并定义为

其中，l是滑动时间窗(时间步长为1)。M是由MIC相关分析法确定的相关性特征子集中所包含的特征数量。

LSTM层1的编码过程在第l个LSTM单元结束。LSTM层2的编码过程与LSTM层1的编码过程类似。

LSTM层2编码后的输出数据维度被重复向量扩展，得到输出

当LSTM层4的解码完成后，即得到输入数据

进一步地，在本实施例中，LSTM-AE模型的损失函数采用平均平方误差(MSE)，如公式(3)所示。

异常得分可按以下方式获得。

Scores＝loss (4)

步骤6：比对异常分数与第二阈值；若异常分数大于第二阈值，则判定为飞行数据存在异常，否则，判定为飞行数据不存在异常。

所述第二阈值X为训练集和验证集所训练和调整LSTM-AE模型而得。在实际应用中，X的具体数值适应性调整。

具体地，训练集和验证集均由特征子集组成。本实施例中，LSTM-AE模型的训练是基于反向传播算法的。该算法根据网络结构的权重梯度来更新网络权重，直到满足模型精度要求。模型训练的目标是使损失函数最小化。此处模型采用的激活函数为relu，并使用Adam优化器来更新网络权重。

在模型测试阶段，重建损失函数的计算方法与公式(3)中描述的相同。假设从模型训练中得到的阈值为X。如果模型测试的重建损失loss值大于阈值X，则该数据点被标记为异常。否则，就是正常的。因此，异常检测是通过以下定义实现的：

即，将模损失函数作为异常分数，若异常分数>时，则判定为飞行数据存在异常；异常分数≤X时，则判定为飞行数据不存在异常。例如，本实施例中的而异常检测结果如附图5所示。

本实施例提供的一种基于时空相关性的多维无人机飞行数据的无监督异常检测方法，能够准确检测数据异常，且能够有效减少数据分析对于先验知识的依赖性，异常检测较为方便，检测有效度高。

并且，在异常检测方案，本方案所提供的方法能有效的检测出无人机飞行数据中的异常区域，较其他方法具有明显的优越性，如下表3所示。

表3异常检测结果对比表

具体地，由表3可以看出，本方案提供的方法能够检测出绝大部分的异常点，其真阳率(TPR)为93.52％，相比于AE、IForst和MD，分别高于2.29％、1.05％和16.48％。尽管本方案提供的方法出现了少量的假阳率(FPR)为1.90％，但相比于AE、IForst和MD，分别降低1.7％、7.4％和28.57％。此外，本方案提供的方法在综合指标准确率(ACC)为95.50％，相比于AE、IForst和MD，分别高于2.05％、5.50％和21.65％。结果表明本方案提出的方法能以较少误检率实现高准确率的异常检测，本方案在多维度比较下都具备明显的优越性，异常检测更为全面、准确。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。