一种无人机辅助降落方法及其系统

技术领域

本发明涉及无人机降落控制技术领域，具体涉及一种无人机辅助降落方法及其系统。

背景技术

目前，大部分无人机配备前视避障功能以保证飞行过程中的安全性，通常采用双目相机通过立体匹配得到稠密深度、或者计算稠密光流、视觉SLAM等方式判断出前方障碍物位置，并规划避障路径。而针对无人机超视距飞行时，当动力系统不足以支撑其返航或者定位系统工作异常等各种原因需要就地进行迫降时，由于无法获取机身下方和地面环境状况的信息，导致迫降到不理想的位置，并对机身和地面设施造成损坏的案例时有发生。

因此，现有的无人机迫降方法具有生成的降落位置不理想、安全性低的问题。

发明内容

有鉴于此，本发明提供一种无人机辅助降落方法及其系统，通过改进图像处理方法，解决了现有的无人机迫降方法具有生成的降落位置不理想、安全性低的问题。

为解决以上问题，本发明的技术方案为采用一种无人机辅助降落方法，包括：S1：获取双目摄像单元采集的无人机下方的双目图像；S2：对所述双目图像进行视差计算并生成视差图；S3：基于所述视差图进行前景点分割、图像开合处理和轮廓计算生成障碍物的真实面积和边界框；S4：基于所述边界框生成用于控制飞机移动的控制信号。

可选地，所述S2包括：对所述双目图像进行立体矫正；利用双目立体匹配算法处理所述双目图像，并以所述双目图像的左视图和/或右视图为基图进行匹配生成初始视差图；对所述初始视差图进行滤波去除噪点，生成包含有效深度像素的深度图；剔除所述包含有效深度像素的深度图中无法进行匹配的边缘区域，生成视差图。

可选地，所述S3包括：根据所述视差图计算平均深度，并定义动态兴趣框大小；对所述视差图进行直方图统计生成用于表征视差分布的直方图；根据像素比例分割所述视差图，生成包含前景深度的前景区域图像和包含背景深度的背景区域图像；将分割出的所述前景区域图像转换为二值图，并进行图像形态学开合处理，生成去噪后的障碍物图层；利用轮廓算法处理所述障碍物图层并生成所有的障碍物轮廓；提取面积最大的所述障碍物轮廓作为障碍物，计算所述障碍物的所述真实面积和所述边界框。

可选地，基于所述边界框生成用于控制飞机移动的控制信号包括：对所述障碍物进行面积和固态性判定；若

可选地，基于所述边界框生成用于控制飞机移动的控制信号还包括：对所述障碍物进行面积和固态性判定；若

可选地，在所述边界框与所述兴趣框的面积比未超过所述障碍物边界框面积比例阈值的情况下，通过计算将障碍物边界框移出兴趣框的距离反算出所述第一移动距离，包括：利用公式Δd＝max{x

可选地，在所述边界框与所述兴趣框的面积比超过所述障碍物边界框面积比例阈值的情况下，计算所述障碍物的重心，并通过计算将所述障碍物重心移出兴趣框的距离反算出所述第一移动距离，包括：利用公式

可选地，将所述第一移动距离转换为无人机坐标系下的第二移动距离并生成所述控制信号包括：利用公式

相应地，本发明提供，一种无人机辅助降落系统，包括：双目摄像单元，用于采集无人机下方的双目图像；图像处理单元，用于接收所述双目图像，对所述双目图像进行视差计算并生成视差图，基于所述视差图进行前景点分割、图像开合处理和轮廓计算生成障碍物的真实面积和边界框，并基于所述边界框生成用于控制飞机移动的控制信号；飞控单元，用于接收所述控制信号并控制所述无人机移动。

可选地，所述图像处理单元包括：相机驱动模块，用于驱动所述双目摄像单元并接收所述双目图像；图像矫正模块，用于对所述双目图像进行立体矫正；视差计算模块，用于利用双目立体匹配算法处理所述双目图像，并以所述双目图像的左视图和/或右视图为基图进行匹配生成初始视差图；视差滤波模块，用于对所述初始视差图进行滤波去除噪点，生成包含有效深度像素的深度图；有效视差后处理模块，用于剔除所述包含有效深度像素的深度图中无法进行匹配的边缘区域，生成视差图；直方图生成模块，用于根据所述视差图计算平均深度，定义动态兴趣框大小，并对所述视差图进行直方图统计生成用于表征视差分布的直方图；前后景判断模块，用于根据像素比例分割所述视差图，生成包含前景深度的前景区域图像和包含背景深度的背景区域图像；障碍物拟合模块，用于将分割出的所述前景区域图像转换为二值图，并进行图像形态学开合处理，生成去噪后的障碍物图层，利用轮廓算法处理所述障碍物图层并生成所有的障碍物轮廓，提取面积最大的所述障碍物轮廓作为障碍物，计算所述障碍物的所述真实面积和所述边界框；视觉制导模块，用于基于所述边界框生成用于控制飞机移动的控制信号。

本发明的首要改进之处为提供的无人机辅助降落方法，通过双目立体匹配得到视差图并处理、分割出包含障碍物的前景图像，结合图像形态学开合处理及轮廓算法获取障碍物的真实面积及边界框，从而根据边界框计算无人机需移动的距离及方向，实现了对无人机下方障碍物进行快速检测并计算避障方向和距离，能够在无人机紧急迫降时协助其安全、平稳地降落，解决了传统的无人机迫降方法具有的降落位置不理想、安全性低的问题。

附图说明

图1是本发明的无人机辅助降落方法的简化流程图；

图2是本发明的无人机辅助降落系统的简化模块连接图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步的详细说明。

如图1所示，一种无人机辅助降落方法，包括：S1：获取双目摄像单元采集的无人机下方的双目图像；S2：对所述双目图像进行视差计算并生成视差图；S3：基于所述视差图进行前景点分割、图像开合处理和轮廓计算生成障碍物的真实面积和边界框；S4：基于所述边界框生成用于控制飞机移动的控制信号。

进一步的，所述S2包括：

对所述双目图像进行立体矫正，包括对所述双目图像的左右图去畸变、极线校正、成像面共面、光轴平行等；

利用双目立体匹配算法处理所述双目图像，并以所述双目图像的左视图和/或右视图为基图进行匹配生成初始视差图D，包括：通过匹配左右图公共视野的像素点，计算出每个像素点的视差值，结合已知的双目摄像单元的焦距f和基线b计算出像素点的深度；

对所述初始视差图进行滤波去除噪点，生成包含有效深度像素的深度图，包括：基于所述立体矫正后的图像有效区域ROI和自定义的视差范围[d

剔除所述包含有效深度像素的深度图中无法进行匹配的边缘区域，生成视差图。包括：利用公式D

进一步的，所述S3包括：利用公式

利用公式h＝{F

根据像素比例分割所述视差图，生成包含前景深度depth

利用公式

利用轮廓算法处理所述障碍物图层并生成所有的障碍物轮廓C

选取符合面积、固态性、前背景差等条件中最大的轮廓作为主要障碍物

利用公式

利用公式

计算所述障碍物的所述真实面积

进一步的，基于所述边界框生成用于控制飞机移动的控制信号包括：对所述障碍物进行面积和固态性判定；若

更进一步的，基于所述边界框生成用于控制飞机移动的控制信号还包括：对所述障碍物进行面积和固态性判定；若

在所述边界框与所述兴趣框的面积比未超过所述障碍物边界框面积比例阈值的情况下，通过计算将障碍物边界框移出兴趣框的距离反算出所述第一移动距离，包括：利用公式Δd＝max{x

在所述边界框与所述兴趣框的面积比超过所述障碍物边界框面积比例阈值的情况下，计算所述障碍物的重心，并通过计算将所述障碍物重心移出兴趣框的距离反算出所述第一移动距离，包括：利用公式

更进一步的，将所述第一移动距离转换为无人机坐标系下的第二移动距离并生成所述控制信号包括：利用公式

本发明通过双目立体匹配得到视差图并处理、分割出包含障碍物的前景图像，结合图像形态学开合处理及轮廓算法获取障碍物的真实面积及边界框，从而根据边界框计算无人机需移动的距离及方向，实现了对无人机下方障碍物进行快速检测并计算避障方向和距离，能够在无人机紧急迫降时协助其安全、平稳地降落，解决了传统的无人机迫降方法具有的降落位置不理想、安全性低的问题。

相应的，如图2所示，本发明提供，一种无人机辅助降落系统，包括：双目摄像单元，用于采集无人机下方的双目图像；图像处理单元，用于接收所述双目图像，对所述双目图像进行视差计算并生成视差图，基于所述视差图进行前景点分割、图像开合处理和轮廓计算生成障碍物的真实面积和边界框，并基于所述边界框生成用于控制飞机移动的控制信号；飞控单元，用于接收所述控制信号并控制所述无人机移动。

进一步的，所述图像处理单元包括：相机驱动模块，用于驱动所述双目摄像单元并接收所述双目图像；图像矫正模块，用于对所述双目图像进行立体矫正；视差计算模块，用于利用双目立体匹配算法处理所述双目图像，并以所述双目图像的左视图和/或右视图为基图进行匹配生成初始视差图；视差滤波模块，用于对所述初始视差图进行滤波去除噪点，生成包含有效深度像素的深度图；有效视差后处理模块，用于剔除所述包含有效深度像素的深度图中无法进行匹配的边缘区域，生成视差图；直方图生成模块，用于根据所述视差图计算平均深度，定义动态兴趣框大小，并对所述视差图进行直方图统计生成用于表征视差分布的直方图；前后景判断模块，用于根据像素比例分割所述视差图，生成包含前景深度的前景区域图像和包含背景深度的背景区域图像；障碍物拟合模块，用于将分割出的所述前景区域图像转换为二值图，并进行图像形态学开合处理，生成去噪后的障碍物图层，利用轮廓算法处理所述障碍物图层并生成所有的障碍物轮廓，提取面积最大的所述障碍物轮廓作为障碍物，计算所述障碍物的所述真实面积和所述边界框；视觉制导模块，用于基于所述边界框生成用于控制飞机移动的控制信号。其中，所述图像处理单元还设置有由标准的飞控接口构成的串口，用于与所述飞控单元建立通信连接。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。