基于可通行路径判断的无人机飞行控制方法及系统

技术领域

本发明涉及无人机感知识别定位技术领域，具体地，涉及一种基于可通行路径判断的无人机飞行控制方法及系统。尤其涉及一种于未知环境中无人机判断目标门的可通行范围的方法及系统。

背景技术

随着科技的不断发展，无人机技术也越来越成熟，无人机的应用领域也越来越广泛，例如利用无人机去探索未知环境，利用无人机实现目标的远距离追踪等。在各种环境、领域的应用中，无人机在未知室内环境中的应用是近年来的热点方向。而无人机在室内执行任务，必须要实现的就是要对自身的位置，以及环境中可以通行的路径进行识别和判断。

而未知环境中，无人机飞行中判断可通行路径的任务会同时包含定位，感知以及决策几方面，现有的各方法较为独立。要利用摄像头识别门的图像区域，就需要使用到目标检测的方法。目标检测是计算机视觉领域的核心问题之一，其核心任务就是要找出图像中所有的感兴趣目标，并将其类别和位置确定下来。也是由于在各种环境中，目标物体有着不同的外观、形状以及状态，再加上光照、遮挡等因素的影响，目标检测一直是有挑战性的问题。

在未知室内环境，对于可通行路径的识别可以简化为无人机在一个房间中，找到通向另一房间的路径，也可以说是要寻找到开启了的门。而要找到可以通行的门，首先要找到门在哪里。在室内环境，无人机飞行过程中，一般采用机载摄像头的方式进行识别与定位。寻找门在哪里，也就是在摄像头所拍摄的图像帧中，分辨出门的图像所在的区域，进而再确定在空间区域中，门所在的具体坐标。并且对于门的开启程度也需要进行计算。

专利文献CN114326821A公布了基于深度强化学习的无人机自主避障系统和方法该自主避障方法采用基于策略迭代的深度强化学习模型,以无人机单目摄像机拍摄的以原始的RGB图像为训练数据,无需复杂的点云等其他3D信息,通过完全卷积神经网络对原始RGB图形进行训练获得深度图像信息,再通过基于策略迭代的强化学习方法对图像进行分析预测,提前预判出无人机下一时刻的飞行动作,实现自主避障。

但是专利文献CN114326821A存在遇到虚假图像影响，导致无法正确辨认，从而导致避障动作错误的问题。

专利文献CN104765360A公开了一种基于图像识别的无人机自主飞行系统,是应用于由n个无人机和一个地面指挥中心构成的自主飞行任务中；其特征是包括:飞行通信模块、地面通信模块、输入模块、FFMPEG模块、视频显示模块、图像识别模块、指令生成模块和输出模块；飞行通信模块和地面通信模块均包括UDP5556端口与TCP5555端口。

但是专利文献CN104765360A存在不完全自主飞行的问题，需要地面指挥中心的存在。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于可通行路径判断的无人机飞行控制方法及系统。

根据本发明提供的一种基于可通行路径判断的无人机飞行控制方法，包括：

步骤S1：获取无人机通行方向的环境图像信息和无人机的IMU信息；

步骤S2：通过所述环境图像信息和IMU信息对无人机定位以及对环境进行同步建图，同时识别待通过目标的区域范围；

步骤S3：根据所述区域范围确定可通行路径，并判断无人机是否能够通过，若是，则控制无人机通行；若否，则重新确定可通行路径。

优选地，所述待通过目标包括室内门、隧道和山洞；

所述环境图像信息包括无人机通信前方的图像帧，所述IMU信息包括无人机本体的加速度与角速度。

优选地，所述识别待通过目标的区域范围包括如下子步骤：

步骤S2.1：建立深度学习模型；

步骤S2.2：利用标注程序对当前图像帧中进行标注，得到待通过目标边界框；

步骤S2.3：将所述待通过目标边界框以及coco数据集作为所述模型的训练数据，对所述模型进行训练，得到关于待通过目标的模型；

步骤S2.4：通过所述关于待通过目标的模型识别待通过目标的区域范围。

优选地，每隔一个预设时间就会接收图像信息，并存入本地存储空间中，用于在识别出待通过目标时进行的对比判断；所述预设时间包括1秒。

优选地，所述根据所述区域范围确定可通行路径包括如下子步骤：

步骤S3.1：通过位置判断模块将所述区域范围内的待通过目标的空间位置标注在建立的地图上；

步骤S3.2：通过飞行控制模块控制无人机飞行，得到不同角度的待通过目标的图像；

步骤S3.3：对比所述图像特征点，判断当前待通过目标的状态是否可通过状态，若是，则触发步骤S3.4；若否，则重新确定可通行路径；

步骤S3.4：通过待通过目标的特征点集合与无人机当前位置的距离，计算当前可通过的范围大小，判断当前范围是否满足无人机通行，若是，则发出决策指令，控制无人机通过；若否，则重新确定可通行路径。

根据本发明提供的一种基于可通行路径判断的无人机飞行控制系统，包括：

模块M1：获取无人机通行方向的环境图像信息和无人机的IMU信息；

模块M2：通过所述环境图像信息和IMU信息对无人机定位以及对环境进行同步建图，同时识别待通过目标的区域范围；

模块M3：根据所述区域范围确定可通行路径，并判断无人机是否能够通过，若是，则控制无人机通行；若否，则重新确定可通行路径。

优选地，所述待通过目标包括室内门、隧道和山洞；

所述环境图像信息包括无人机通信前方的图像帧，所述IMU信息包括无人机本体的加速度与角速度。

优选地，所述识别待通过目标的区域范围包括如下子模块：

模块M2.2：利用标注程序对当前图像帧中进行标注，得到待通过目标边界框；

模块M2.3：将所述待通过目标边界框以及coco数据集作为所述模型的训练数据，对所述模型进行训练，得到关于待通过目标的模型；

模块M2.4：通过所述关于待通过目标的模型识别待通过目标的区域范围。

优选地，每隔一个预设时间就会接收图像信息，并存入本地存储空间中，用于在识别出待通过目标时进行的对比判断；所述预设时间包括1秒。

优选地，所述根据所述区域范围确定可通行路径包括如下子模块：

模块M3.1：通过位置判断模块将所述区域范围内的待通过目标的空间位置标注在建立的地图上；

模块M3.2：通过飞行控制模块控制无人机飞行，得到不同角度的待通过目标的图像；

模块M3.3：对比所述图像特征点，判断当前待通过目标的状态是否可通过状态，若是，则触发模块M3.4；若否，则重新确定可通行路径；

模块M3.4：通过待通过目标的特征点集合与无人机当前位置的距离，计算当前可通过的范围大小，判断当前范围是否满足无人机通行，若是，则发出决策指令，控制无人机通过；若否，则重新确定可通行路径。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提出的方法能够于未知环境中供无人机快速找到通行路径，同时拥有较高的精度，同时能识别虚假的通行路径，避免采集到虚假信息时无人机飞行出现错误。

2.本发明提出的方法支持仅搭载摄像头进行识别，可以适应大部分的设备，减轻由于设备带来的局限性。

3.本发明提出的方法较为易用，无需复杂操作，可避免操作带来的失误，可以实现无人机于未知室内环境中的自主飞行、定位与识别。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的于未知环境中无人机判断可通行路径的方法的各模块间的数据交互示意图。

图2为本发明的工作流程示意图。

图3为本发明中预测模型的网络结构示意图。

图4为本发明中用来判断可通行路径尺寸范围的方法的示例图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明包括两个阶段，分别是信息采集阶段和路径搜索阶段。其中，信息采集阶段包括人机于未知环境中，通过传感器采集环境信息，利用IMU以及机载摄像头获取无人机的角速度、加速度以及图像信息，并对周围进行同步定位建图。路径搜索阶段包括无人机获取的图像信息传回ROS系统后，对该图像进行处理及识别路径，判断无人机是否能够通过，并通过传感器得到的信息对图像中的目标定位，找到具体的空间坐标，然后控制无人机通过该路径。

根据本发明提供的一种基于可通行路径判断的无人机飞行控制方法，如图1和图2所示，包括：

步骤S1：获取无人机通行方向的环境图像信息和无人机的IMU信息。该环境图像信息包括无人机通信前方的图像帧，该IMU信息包括无人机本体的加速度与角速度。采集信息的方式可以通过无人机的机载摄像头进行采集。

步骤S2：通过所述环境图像信息和IMU信息对无人机定位以及对环境进行同步建图，同时识别待通过目标的区域范围。所述待通过目标包括室内门、隧道和山洞。所述识别待通过目标的区域范围包括如下子步骤：

步骤S2.1：建立深度学习模型。

步骤S2.2：利用标注程序对当前图像帧中进行标注，得到待通过目标边界框。每隔一个预设时间就会接收图像信息，并存入本地存储空间中，用于在识别出待通过目标时进行的对比判断；所述预设时间包括1秒。

步骤S2.3：将所述待通过目标边界框以及coco数据集作为所述模型的训练数据，对所述模型进行训练，得到关于待通过目标的模型。

步骤S2.4：通过所述关于待通过目标的模型识别待通过目标的区域范围。

步骤S3：根据所述区域范围确定可通行路径，并判断无人机是否能够通过，若是，则控制无人机通行；若否，则重新确定可通行路径。所述根据所述区域范围确定可通行路径包括如下子步骤：

步骤S3.1：通过位置判断模块将所述区域范围内的待通过目标的空间位置标注在建立的地图上。

步骤S3.2：通过飞行控制模块控制无人机飞行，得到不同角度的待通过目标的图像。

步骤S3.3：对比所述图像特征点，判断当前待通过目标的状态是否可通过状态，若否，则重新确定可通行路径；若是，则通过待通过目标的特征点集合与无人机当前位置的距离，计算当前可通过的范围大小，判断当前范围是否满足无人机通行，若是，则发出决策指令，控制无人机通过；若否，则重新确定可通行路径。

进一步地，假设当前待通过的目标是室内门，结合附图3对本发明具体描述如下：

首先，无人机于未知环境中自主飞行，通过机载的摄像头和IMU进行信息采集，采集的信息分别为无人机前方的图像帧和无人机自身的加速度与角速度，并将这些参数通过ROS系统发布出来，格式类似为“/image_raw”，“/imu/data”。这些格式都是可以自定义，保证topic的名称清晰易懂，同时在发布时，/image_raw的消息格式就是以图像存储的矩阵格式发布，通过Rviz显示实时的图像信息。

然后，当采集到信息后，后端系统通过ROS系统订阅发布出来的图像与加速度、角速度到topic，利用这些数据进行SLAM同步定位建图。同时，这些采集到的信息还要供目标识别模块使用。在本例中，采用Mask rcnn算法进行目标识别，得到一个有关于目标的mask矩阵。该矩阵以0、1分别代表非目标和目标的像素，在本例中，识别函数为draw_mask()。本例中算法所需的预测模型是在Mask rcnn的网络下进行训练的，网络结构如图3所示，包括网络的各层基本连接情况。其中Convolutional backbone代表一系列卷积层，RPN代表区域候选网络，feature map代表特征图，RoIAlign layer代表算法中的一种区域特征聚集方式，Fixed size feature map代表锚框的特征图，Fully connected layers表示全连接层，经过该层得到锚框的回归坐标Box Regression以及分类标签Classification，Maskbranch表示算法输出Mask image的一个分支。利用标注程序对本文预设环境中采集到的训练图片进行标注，将目标bounding box标注出来，利用coco数据集进行训练，得到一个较为精确的关于目标门的模型，用于目标识别。而因为目标识别与图像采集的速度存在差异，所以会每隔1s接收图像信息，并存入本地存储空间中，方便在识别出目标门时进行对比判断。

接着，无人机飞行控制模块会控制无人机沿一定方向移动，寻找目标门。当采集到的图像中识别到目标门，则位置判断模块将目标门的空间位置标注在建立的地图上。通过飞行控制模块控制无人机飞行，得到不同角度的目标门的图像，通过对比两个图像在门的mask中的特征点的不同，判断门的开启关闭状态。在本例中，采用ORB特征点快速获取特征信息，当两张图像的特征点差距过大时，判断门为开启状态。

再接着，在无人机飞行决策模块中，当门为开启状态时，判断门的开启范围大小。门开启范围的特征点设为集合P，门边缘的特征点设为集合D。通过无人机的移动，通过图像信息可以得到当前位置与集合中点的深度信息，也就是与无人机之间的距离。根据集合P中点与无人机之间的距离，计算出集合P所占据的范围的空间大小，也就是门开启的范围的大小。计算过程如下所示：

结合图4，Image表示采集的图像。式中，L代表可通行范围的大小，L

最后，当计算出的范围大小适合无人机通过时，则发出决策指令，控制无人机穿越。

本发明还提供了一种基于可通行路径判断的无人机飞行控制系统，本领域技术人员可以通过执行所述基于可通行路径判断的无人机飞行控制方法的步骤流程实现所述基于可通行路径判断的无人机飞行控制系统，即可以将所述基于可通行路径判断的无人机飞行控制方法理解为所述基于可通行路径判断的无人机飞行控制系统的优选实施方式。

根据本发明提供的一种基于可通行路径判断的无人机飞行控制系统，包括：

模块M1：获取无人机通行方向的环境图像信息和无人机的IMU信息。所述环境图像信息包括无人机通信前方的图像帧，所述IMU信息包括无人机本体的加速度与角速度。

模块M2：通过所述环境图像信息和IMU信息对无人机定位以及对环境进行同步建图，同时识别待通过目标的区域范围。所述待通过目标包括室内门、隧道和山洞。所述识别待通过目标的区域范围包括如下子模块，其中每隔一个预设时间就会接收图像信息，并存入本地存储空间中，用于在识别出待通过目标时进行的对比判断；所述预设时间包括1秒：

模块M2.2：利用标注程序对当前图像帧中进行标注，得到待通过目标边界框。

模块M2.3：将所述待通过目标边界框以及coco数据集作为所述模型的训练数据，对所述模型进行训练，得到关于待通过目标的模型。

模块M2.4：通过所述关于待通过目标的模型识别待通过目标的区域范围。

模块M3：根据所述区域范围确定可通行路径，并判断无人机是否能够通过，若是，则控制无人机通行；若否，则重新确定可通行路径。所述根据所述区域范围确定可通行路径包括如下子模块：

模块M3.1：通过位置判断模块将所述区域范围内的待通过目标的空间位置标注在建立的地图上。

模块M3.2：通过飞行控制模块控制无人机飞行，得到不同角度的待通过目标的图像。

模块M3.3：对比所述图像特征点，判断当前待通过目标的状态是否可通过状态，若否，则重新确定可通行路径；若是，则通过待通过目标的特征点集合与无人机当前位置的距离，计算当前可通过的范围大小，判断当前范围是否满足无人机通行，若是，则发出决策指令，控制无人机通过；若否，则重新确定可通行路径。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。