一种针对大型固定翼无人机自主着陆的跑道识别分割方法

技术领域

本发明涉及图像分割技术领域，特别是一种针对大型固定翼无人机自主着陆的跑道识别分割方法。

背景技术

大型固定翼无人机的起飞和着陆可以自主完成，但通常依赖GNSS和地面差分站提供的精确定位信息。在没有地面差分站或GNSS拒止环境下，无人机可以通过前视机载相机的观测数据，识别分割跑道，并根据跑道分割结果估计飞机与跑道的相对位置，进而完成自主降落。跑道识别任务存在识别目标距离远、环境干扰大等问题，如浓雾、昼夜变化等。跑道识别分割的精度对无人机的安全着陆至关重要。有的跑道识别方法基于霍夫变换检测跑道边线，可以比较准确的分割出跑道，但对图像质量要求较高，只能用于距离机场跑道较近的地方。还有的方法基于深度学习网络，经过充分训练的网络可以在较远出识别出跑道，但识别分割出的跑道轮廓很不精确。

发明内容

鉴于此，本发明提供一种针对大型固定翼无人机自主着陆的跑道识别分割方法，以解决上述技术问题。

本发明公开了一种针对大型固定翼无人机自主着陆的跑道识别分割方法，其包括：

将第一待分割图像输入深度学习网络中，得到一张与该第一待分割图像尺寸相同的单通道图像，基于预设阈值，从该单通道图像中提取面积最大的区域作为跑道在图像中的大致轮廓，继而得到第二待分割图像；

基于大致轮廓的质心和半径，并结合SVM的边界阈值确定更贴合真实跑道的像素轮廓。

进一步地，在所述单通道图像中，每个像素值在0到1之间，像素值表示对应像素是跑道的概率。

进一步地，所述基于预设阈值，从该单通道图像中提取面积最大的区域作为跑道在图像中的大致轮廓，包括：

将所述单通道图像中所有概率高于预设阈值的像素赋值255，其余像素赋值0，即得到一张二值图，像素值为255，表示该像素在跑道上，像素值为0，表示该像素不在跑道上；

从像素值为255的像素组成的多个连通区域中选择面积最大的连通区域，作为跑道在图像中的大致轮廓；将其他的连通区域的像素均赋值为0，即得到第二待分割图像。

进一步地，所述基于大致轮廓的质心和半径，并结合SVM的边界阈值确定更贴合真实跑道的像素轮廓，包括：

计算大致轮廓的质心和半径；其中，半径记为

在第二待分割图像上，基于大致轮廓的质心和半径，获取正样本和负样本；

分别得到正负样本后，用SVM算法对正负样本进行分类，得到正负样本分界点的像素值，为像素三通道阈值，利用得到的像素三通道阈值，对跑道轮廓附近区域的图像进行高通或低通滤波，得到更贴合真实跑道的像素轮廓。

进一步地，所述在第二待分割图像上，基于大致轮廓的质心和半径，获取正样本和负样本，包括：

在第二待分割图像上，找出以质心为圆心，

在第二待分割图像上，提取以质心为圆心，以

进一步地，还包括：若经过网络分割和SVM填充后，得到的第二待分割图像中的跑道的轮廓出现缺失或误识别，则需找出跑道的四条顶点，然后基于这四个顶点，通过以最大化得分函数为优化目标，划定

进一步地，所述找出跑道的四条顶点，然后基于这四个顶点，通过以最大化得分函数为优化目标，划定

确定跑道的大致轮廓的左上、右上、左下、右下四个点，并将其作为跑道的四个顶点的初值；

利用四个顶点的初值初始化跑道边线，即四个顶点依次连接，构成四边形，每一条边为边线；

以最大化得分函数为优化目标，以

进一步地，在所述得到对应的最优边线之前，还包括：

需要建立uv坐标系，即以第二待分割图像的左上顶点为原点，以第二待分割图像的每一行所在的方向为u轴，以第二待分割图像的每一列所在的方向为v轴。

进一步地，所述确定跑道的大致轮廓的左上、右上、左下、右下四个点的方法为：

遍历大致轮廓内的所有像素，行数加列数最大的，即u+v坐标值最大的像素为右下角，u+v坐标值最小的像素为左上角，u-v坐标值最大的像素为右上角，v-u坐标值最大的像素为左上角。

进一步地，所述以最大化得分函数为优化目标，以

对于左边线，以

对于右边线，以

对于上边线，以

对于下边线，以

所有最优边线，即四条最优边线组成的四边形即为真实跑道的轮廓。

由于采用了上述技术方案，本发明具有如下的优点：在无人机距离跑道较远、有雾干扰的情况下，本方法仍然能够快速且准确地识别出跑道并分割出跑道轮廓。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1(a)为本发明实施例的一个网络分割后的二值图的示意图；

图1(b)为本发明实施例的一个第二待分割二值图的示意图；

图2(a)为本发明实施例的跑道实际轮廓和深度学习网络输出结果存在较大差异的示意图；

图2(b)为本发明实施例的含有正负样本的跑道实际轮廓的示意图；

图2(c)为对图2(b)进行高通或低通滤波后的图像示意图；

图3为本发明实施例的轮廓结果可能出现缺失或误识别的结果示意图；

图4为本发明实施例的图像坐标系示意图；

图5(a)为本发明实施例的搜索得到的跑道角点初值示意图；

图5(b)为本发明实施例的利用四个角点的初值初始化跑道边线示意图；

图5(c)为本发明实施例的优化后的边线示意图；

图6(a)为本发明实施例的横边线的参数化定义示意图；

图6(b)为本发明实施例的纵边线的参数化定义示意图；

图7(a)为本发明实施例的左边线优化函数打分情况定义示意图；

图7(b)为本发明实施例的右边线优化函数打分情况定义示意图；

图7(c)为本发明实施例的上边线优化函数打分情况定义示意图；

图7(d)为本发明实施例的下边线优化函数打分情况定义示意图。

具体实施方式

结合附图和实施例对本发明作进一步说明，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

本发明提供了一种针对大型固定翼无人机自主着陆的跑道识别分割方法的实施例，其包括以下几个部分：

1.深度学习网络分割跑道的大致轮廓：

本发明采用mobilenet网络进行训练，并用tensorrt将网络部署在英伟达AGX嵌入式平台上。通过深度学习网络分割出跑道的大致区域。网络输出的结果是一张与拍摄图像尺寸相同的单通道图像，每个像素的数值在0到1之间，像素数值表示该像素是跑道的概率。设置阈值，提取出所有概率高于阈值的像素。得到一张二值图中像素数值为255，表示该像素在跑道上，像素数值为0，表示该像素不在跑道上，结果如图1(a)所示。二值图中数值为255的像素区域彼此连接，构成若干个独立的区域，每个区域都有可能是一个跑道。在网络训练比较充分的情况下，跑道真实位置对应的分割二值图的区域面积最大。因此，选择面积最大的区域作为跑道在图像中的大致轮廓，如图1(b)所示。

2. 基于网络分割结果和SVM方法的跑道图像区域填充：

在距离机场跑道较远的时候，深度学习网络即使经过了充分的训练，也无法准确地分割出图像上跑道的准确轮廓。如图2(a)所示，假设跑道的实际轮廓如梯形黑框所示，深度学习网络的输出结果为图2(a)中的灰色区域。通过该灰色区域难以确定跑道的四个角点。为了更准确地分割出跑道的轮廓，本发明使用一种基于SVM的边界阈值确定方法来细化图像轮廓。

如图2(b)所示，先确定正负样本。计算图像灰色区域的质心和半径，如图2(b)示例的灰色区域半径

3．跑道轮廓拟合：

经过网络分割和SVM填充后，得到的轮廓结果已经能很好的贴合跑道的真实轮廓。但在一些特殊场景下，比如大雾天气，观测相机拍摄到的跑道边界轮廓很不清晰，导致处理得到的轮廓结果可能出现缺失或误识别，假设分割结果如图3所示。

为了能更精确地找出跑道的四条边线及四个顶点，本发明采用一种简单快速的优化算法来优化跑道边线。

图像的像素坐标系如图4所示，左上角为原点，横向为列数，用坐标轴u轴表示，纵向为行数，用坐标轴v轴表示。首先找到轮廓左上、右上、左下、右下四个点，作为跑道四个顶点的优化初值。搜索四个顶点的方法为，遍历轮廓内的所有像素，行数加列数最大的，即u+v最大的像素为右下角，u+v最小的像素为左上角，u-v最大的像素为右上角，v-u最大的像素为左上角。

假设搜索得到的跑道角点初值如图5(a)中的四个黑色像素所示。利用四个角点的初值初始化跑道边线，如图5(b)所示。本发明的优化方法为了避免在边线斜率接近无穷大时对数值稳定的影响，将边线分为横边线和竖纵边线。横边线和竖纵边线的参数化定义分别如图6(a)和如图6(b)所示，其中，

需要说明的是，

基于上步得到的边线初值，划定

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。