一种基于自注意力机制与2DPCA的无人机自主避障方法及系统

技术领域

本发明涉及无人机避障技术领域，尤其涉及一种基于自注意力机制与2DPCA的无人机自主避障方法及系统。

背景技术

无人机最早出现在20世纪20年代，最初在军事上作为训练的靶机使用，随着科学技术的发展进步，无人机飞行器在社会生产生活中得到了广泛的应用。将无人机应用于电力输电线路巡检，可对输电线路产生故障进行实时定位和监控，实时发现并排除线路缺陷和重大隐患，能节省大量人力、物力，提高巡检工作的安全性。

但现今，传统的无人机飞行器都是采用手持遥控器或计算机安装地面站的方式来控制无人机的飞行。由于无人机飞行环境的不确定性以及飞行控制方式的复杂性，因此对无人机操作者的操作水平提出了较高的要求。然而由于无人机其自身结构的特殊性和飞行高度属于低空域的特点，在实际飞行过程中容易发生碰撞，损坏飞机，甚至造成炸机的风险。因此在飞行器自主导航过程中对障碍物的判断和避障成了无人机飞行控制领域一个十分重要的问题。

发明内容

本发明的目的在于针对上述问题，提出了一种基于自注意力机制与2DPCA的无人机自主避障方法及系统，采用注意力机制深度网络算法与二维主成分分析法(2DPCA)相结合的方式来实现障碍物的识别以及根据障碍物的种类做出不同的避障策略以实现对无人机飞行的智能控制。

本发明的目的是通过以下技术方案来实现的：

在第一方案中，提供一种基于自注意力机制与2DPCA的无人机自主避障方法，所述方法包括以下步骤：

S1、图像采集与预处理

采集障碍物图像，每一类障碍物采集多张样本图像；对样本图像进行剪裁和缩放，统一样本图像的尺度，再将统一尺度的样本图像转化为灰度图像，得到样本库；

S2、主成分分析法提取样本图像特征

将尺寸为w×h的样本图像的Ii看成是一个矩阵x

S21、求所述训练集S的均值向量

S22、对所述均值向量去均值：

S23、求协方差矩阵

S24、定义A＝[Φ1，Φ2，...，Φ

u

S25、将特征值从大到小排序，截取前面K个特征值及对应的特征向量，定义U＝[u

其中，Ω为矩阵Φ映射的低维矩阵；

S3、图像识别的自注意力机制

将样本图像转换为矩阵，再对其进行零均值和归一化处理后，通过公式(2-1)特征矩阵U映射得到特征提取后的向量集Q＝[q

f(q

g(q

s

h(q

y

其中，q

S4、构建基于自注意力机制的深度网络模型

在经过降维后的训练样本的向量集Q中，取80％的样本作为训练集，剩余20％作为验证集；

S41、块嵌入

假定降维后输入特征图大小为mxm，将其分为固定大小的块，块大小为pxp，则每张图像会生成(mxm)/(pxp)个块，即输入序列长度为(mxm)/(pxp)，每个块维度为pxpx3；

S42、位置编码

为了区分各个块的位置，加入位置编码；

S43、多头自注意力提取特征信息；

S5、实时图像采集并进行预处理；

S6、识别障碍物是否存在并制定应对策略。

作为一优选项，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述步骤S41中对每一个快加上一个特殊字符cls进行识别。

作为一优选项，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述位置编码包括：

设计一张表，表一共有N行，N的大小和输入序列长度相同，每一行就代表一个向量，向量的维度和输入序列的维度相同。

作为一优选项，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述多头自注意力提取特征信息，包括：

设立阈值α＝0.4，找出计算得到性能优异者，若其小于设定阈值α，则返回S41继续训练，反之转S5。

作为一优选项，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述实时图像采集并进行预处理，包括：

在无人机飞行器飞行的前方装载的两个摄像头构成双目摄像头，使用所述双目摄像头实时的采集无人机飞行路径前方危险区域的图像信息。

作为一优选项，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述将统一尺度的样本图像转化为灰度图像，包括：

利用如下公式将彩色图像转化成灰度图像：

Gray＝0.299*R+0.114*B+0.587*G

其中：R、G、B分别代表原始图像中的红绿蓝三种颜色。

作为一优选项，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述识别障碍物是否存在并制定应对策略，包括：

待识别的未知模式q'输入训练好的自注意力深度网络，对无人机飞行前方的危险区域中是否存在障碍物进行识别，若存在障碍物并对其进行进一步判定；

所述判定过程包括：

首先判断其中是否存在降落点：通过模型计算得到识别结果ξ

如果存在障碍物，根据ξ

作为一优选项，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述障碍物包括顶灯、人和墙壁。

在第二方案中，提供一种基于自注意力机制与2DPCA的无人机自主避障系统，所述系统包括：

图像采集模块，用于进行图像采集以及预处理，包括采集障碍物图像，每一类障碍物采集多张样本图像；对样本图像进行剪裁和缩放，统一样本图像的尺度，再将统一尺度的样本图像转化为灰度图像，得到样本库；

特征提取模块，使用主成分分析法提取样本图像特征，其中，将尺寸为w×h的样本图像的Ii看成是一个矩阵x

u

其中，Ω为矩阵Φ映射的低维矩阵；

自注意力图像处理模块，用于将样本图像转换为矩阵，再对其进行零均值和归一化处理后，通过公式(2-1)特征矩阵U映射得到特征提取后的向量集Q＝[q

f(q

g(q

s

h(q

y

其中，q

深度网络模型构建模块，用于构建基于自注意力机制的深度网络模型，在经过降维后的训练样本的向量集Q中，取80％的样本作为训练集，剩余20％作为验证集；

假定降维后输入特征图大小为mxm，将其分为固定大小的块，块大小为pxp，则每张图像会生成(mxm)/(pxp)个块，即输入序列长度为(mxm)/(pxp)，每个块维度为pxpx3；

为了区分各个块的位置，加入位置编码，并使用多头自注意力提取特征信息；

飞行策略制定模块，用于识别障碍物是否存在及制定应对策略。

作为一优选项，一种基于自注意力机制与2DPCA的无人机自主避障系统，所述图像采集模块包括双目摄像头。

需要进一步说明的是，上述各选项对应的技术特征在不冲突的情况下可以相互组合或替换构成新的技术方案。

与现有技术相比，本发明有益效果是：

本发明采用注意力机制深度网络算法与二维主成分分析法(2DPCA)相结合的方式来实现障碍物的识别以及根据障碍物的种类做出不同的避障策略以实现对无人机飞行的智能控制，使得无人机在自主导航飞行的过程中能够智能地识别障碍物并自主躲避，确保飞行过程的安全。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本发明实施例示出的一种基于自注意力机制与2DPCA的无人机自主避障方法的流程图；

图2为本发明实施例示出的实际无人机飞行器自主避障流程；

图3为本发明实施例示出的无人机飞行器与障碍物之间的危险区域示意；

图4为本发明实施例示出的自注意力机制过程；

图5为本发明实施例示出的基于自注意力机制的深层网络模型。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

在一示例性实施例中，提供一种基于自注意力机制与2DPCA的无人机自主避障方法，参见图1-图2，所述方法包括以下步骤：

S1、图像采集与预处理

采集障碍物图像，每一类障碍物采集多张样本图像；对样本图像进行剪裁和缩放，统一样本图像的尺度，使之达到统一的分辨率，再将统一尺度的样本图像转化为灰度图像，得到样本库；

S2、主成分分析法提取样本图像特征

将尺寸为w×h的样本图像的Ii看成是一个矩阵x

S21、求所述训练集S的均值向量

S22、对所述均值向量去均值：

S23、求协方差矩阵

S24、定义A＝[Φ1，Φ2，...，Φ

u

S25、将特征值从大到小排序，截取前面K个特征值及对应的特征向量，定义U＝[u

其中，Ω为矩阵Φ映射的低维矩阵；

S3、图像识别的自注意力机制

如图4所示，将样本图像转换为矩阵，再对其进行零均值和归一化处理后(RGB三通道均需处理)，通过公式(2-1)特征矩阵U映射得到特征提取后的向量集Q＝[q

f(q

g(q

s

h(q

y

其中，q

S4、构建基于自注意力机制的深度网络模型

在经过降维后的训练样本的向量集Q中，取80％的样本作为训练集，剩余20％作为验证集；

S41、块嵌入

假定降维后输入特征图大小为mxm，将其分为固定大小的块，块大小为pxp，则每张图像会生成(mxm)/(pxp)个块，即输入序列长度为(mxm)/(pxp)，每个块维度为pxpx3(RGB三通道)；

S42、位置编码

为了区分各个块的位置，加入位置编码；位置编码相当于设计一张表，表一共有N行，N的大小和输入序列长度相同，每一行就代表一个向量，向量的维度和输入序列的维度相同。位置编码与原始序列直接相加即可。编码方案直接采用1，2，3...n(序列长度)编码。

S43、多头自注意力提取特征信息；具体地，如图5所示，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述多头自注意力提取特征信息，包括：

设立阈值α＝0.4，找出计算得到性能优异者，若其小于设定阈值α，则返回S41继续训练，反之转S5。其中多头注意力机制可反复叠加使用。

S5、实时图像采集并进行预处理；

S6、识别障碍物是否存在并制定应对策略。

在一个示例中，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述步骤S41中对每一个快加上一个特殊字符cls进行识别。

在一个示例中，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述实时图像采集并进行预处理，包括：

在无人机飞行器飞行的前方装载的两个摄像头构成双目摄像头，使用所述双目摄像头实时的采集无人机飞行路径前方危险区域的图像信息，如图3所示，并通过图像传输设备实时的回传到无人机地面站系统，由于摄像头所采集的图像为彩色图像是无法直接输入神经网络进行操作的，必须经过相应的预处理，才能为后续处理所使用。

进一步地，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述将统一尺度的样本图像转化为灰度图像，包括：

利用如下公式将彩色图像转化成灰度图像：

Gray＝0.299*R+0.114*B+0.587*G

其中：R、G、B分别代表原始图像中的红绿蓝三种颜色。不同的系数是根据人眼对不同色彩的敏感程度来决定的。

在一个实例中，为了进一步减少计算量，还可以依据此对采集到的路径前方图像进行缩放以及灰度化处理，使得样本图像由三通道的彩色图像变为单通道的灰度图像。利用矩阵变换将灰度图像矩阵转化成行向量，进行零均值和归一化处理，经过公式(2-1)进行特征提取，得到待识别的未知模式q'，由于前面已经提到了2DPCA处理，所以此步操作为可选项，可根据实际情况进行选择。

在一个示例中，一种基于自注意力机制与2DPCA的无人机自主避障方法，所述识别障碍物是否存在并制定应对策略，包括：

待识别的未知模式q'输入训练好的自注意力深度网络，对无人机飞行前方的危险区域中是否存在障碍物进行识别，若存在障碍物并对其进行进一步判定，假设所述障碍物包括顶灯、人和墙壁；所述判定过程包括：

首先判断其中是否存在降落点：通过模型计算得到识别结果ξ

如果存在障碍物，根据ξ

具体地，果识别为顶灯，则发送指令1001到无人机飞行控制系统，则无人机向下偏航，直到目标不在视野内，即ξ

如果识别为人，则发送指令1010到无人机飞行控制系统，则无人机向左或向右偏航绕行，直到目标不在视野中，此时输出指令0000，无人机继续巡航。

如果识别为楼宇墙壁，则发送指令1100到无人机飞行控制系统，则无人机悬停(停止前进)，然后垂直向上拔高，直到目标不在视野内，此时输出指令0000，无人机继续巡航。

在另一示例性实施例中，提供一种基于自注意力机制与2DPCA的无人机自主避障系统，所述系统包括：

图像采集模块，用于进行图像采集以及预处理，包括采集障碍物图像，每一类障碍物采集多张样本图像；对样本图像进行剪裁和缩放，统一样本图像的尺度，再将统一尺度的样本图像转化为灰度图像，得到样本库；

特征提取模块，使用主成分分析法提取样本图像特征，其中，将尺寸为w×h的样本图像的Ii看成是一个矩阵x

u

其中，Ω为矩阵Φ映射的低维矩阵；

自注意力图像处理模块，用于将样本图像转换为矩阵，再对其进行零均值和归一化处理后，通过公式(2-1)特征矩阵U映射得到特征提取后的向量集Q＝[q

f(q

g(q

s

h(q

y

其中，q

深度网络模型构建模块，用于构建基于自注意力机制的深度网络模型，在经过降维后的训练样本的向量集Q中，取80％的样本作为训练集，剩余20％作为验证集；

假定降维后输入特征图大小为mxm，将其分为固定大小的块，块大小为pxp，则每张图像会生成(mxm)/(pxp)个块，即输入序列长度为(mxm)/(pxp)，每个块维度为pxpx3；

为了区分各个块的位置，加入位置编码，并使用多头自注意力提取特征信息；

飞行策略制定模块，用于识别障碍物是否存在及制定应对策略。

作为一优选项，一种基于自注意力机制与2DPCA的无人机自主避障系统，所述图像采集模块包括双目摄像头。

以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。