一种基于语义分割的FOD检测方法及系统

技术领域

本公开涉及FOD检测相关技术领域，具体的说，是涉及一种基于语义分割的FOD检测方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

机场跑道异物(Foreign Object Debris)即可能损伤航空器的某种外来的物质、碎屑或物体，如金属零件、碎石块等。FOD在飞机的起飞和降落过程中将会造成巨大的安全隐患，不仅会造成巨大的经济损失，还会威胁旅客的生命安全。

发明人发现，当前FOD检测主要依靠人工巡检和捕获，这种方法耗时、低效且成本高。近年来，提出了一些FOD检测方法，但是，这些方法主要依赖于激光雷达、FMCW雷达等传感器，在对传感信息进行处理的时候需要人工设计特征提取器，这些检测方法且对空气和光照变化较为敏感，使得检测成本较高，并且检测准确度较低。

发明内容

本公开为了解决上述问题，提出了一种基于语义分割的FOD检测方法及系统，基于深度信息和灰度信息融合处理，提高了检测的准确度和精度。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了一种基于语义分割的FOD检测方法，包括如下步骤：

获取机场跑道的待检测图像，待检测图像包括深度图像和灰度图像H，提取图像中的深度信息和灰度信息；

将深度信息进行预处理，并利用预处理后得到的深度图像，基于灰度信息对灰度图像进行初步剪裁；

将经过处理后的深度图像和初步裁减后的灰度图像中的信息数据进行融合，对异物区域的信息进行增强；

将融合后的信息输入至改进的语义分割网络模型进行图像分割，实时地确定异物类型及位置。

一个或多个实施例提供了一种基于语义分割的FOD检测系统，包括：

数据获取模块，被配置为用于获取机场跑道的待检测图像，待检测图像包括深度图像和灰度图像H，提取图像中的深度信息和灰度信息；

初步裁减模块，被配置为用于将深度信息进行预处理，并利用预处理后得到的深度图像，基于灰度信息对灰度图像H进行初步剪裁；

融合模块，被配置为用于将经过处理后的深度图像和初步裁减后的灰度图像中的信息数据进行融合，对异物区域的信息进行增强；

图像分割模块，被配置为用于将融合后的信息输入至改进的语义分割网络模型进行图像分割，实时地确定异物类型及位置。

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。

与现有技术相比，本公开的有益效果为：

本公开的检测方法，通过结合深度信息对灰度图像进行裁减处理和通过融合处理将灰度信息通过深度信息进行增强，更能凸显异物所在区域，进行分割能够更能提高分割的准确性，从而能够提取图像中的异物，相比于目前的FOD检测方法，基于语义分割的FOD检测效率高，受环境影响小，更加可靠。

本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。

图1是本公开实施例1的检测方法流程图；

图2是本公开实施例1的对深度信息进行预处理的示意图；

图3是本公开实施例1的灰度图像初步裁减效果图；

图4是本公开实施例1的分割效果示意图；

图5是本公开实施例1的改进的语义分割网络模型CBAM-Deeplab V3+结构示意图；

图6是本公开实施例1的改进的语义分割网络模型中的ASPP-CBAM模块结构示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。

实施例1

在一个或多个实施方式公开的技术方案中，如图1-图6所示，一种基于语义分割的FOD检测方法，包括如下步骤：

步骤1、获取机场跑道的待检测图像，待检测图像包括深度图像和灰度图像H，分别提取图像中的深度信息和灰度信息；

步骤2、将深度信息进行预处理，并利用预处理后得到的深度图像，基于灰度信息对灰度图像H进行初步剪裁；

步骤3、将经过处理后的深度图像和初步裁减后的灰度图像中的信息数据进行融合，对异物区域的信息进行增强；

步骤4、将融合后的信息输入至改进的语义分割网络模型进行图像分割，实时地确定异物类型及位置。

本实施例的检测方法，通过结合深度信息对灰度图像进行裁减处理和通过融合处理将灰度信息通过深度信息进行增强，更能凸显异物所在区域，进行分割能够更能提高分割的准确性，从而能够提取图像中的异物，相比于目前的FOD检测方法，基于语义分割的FOD检测效率高，受环境影响小，更加可靠。

在一些实施例中，待检测图像可以采用车载线性扫描结构光相机采集，同时获得待检测区域的异物的灰度信息DC0(Data Channel0)和深度信息DC2(Data Channel2)。相机拍摄的待检测图像包括两种图像类型。一种为深度图像。一种为灰度图像。这两种图像同时获得。灰度图像是灰度信息的载体，深度图像中蕴含着深度信息，是深度信息的载体。

可选的，采集设备包括运载车和设置在运载车上的车载线性扫描结构光相机，一种具体的设置方式，可以设置在运载车的车尾，车载线性扫描结构光相机的镜头方向朝向运载车的两侧，可以实现运载车的移动过程中对道路进行检测。

本方案采用的高精度线扫描结构光相机具有毫米级分辨率，且受环境影响较小，可以被应用于FOD检测过程中，并发挥巨大作用。

可选的，深度信息包括实物到基准平面的距离；灰度信息包括图像中的像素值。

步骤2中，将深度信息进行预处理，图像示例如图2所示，具体的如下：

步骤21、设定虚拟基准平面，根据深度信息确定每个点与该基准平面的距离，以该距离为每个点的像素值构建得到深度图像。

深度信息包含异物的高度特征，具体的，设定距离相机设定距离的一个虚拟平面为基线，虚拟平面可以为水平面，即与地面平行。深度图像的每个点的像素为该像素点对应的实物与基线的距离。其中，设定距离可以为2米。

步骤22、对得到的深度图像应用Sobel算子提取图像中的边缘特征；

步骤23、将提取边缘后的深度图像利用高斯滤波降噪；

步骤24、将高斯滤波后的图像进行二值化处理，得到处理后的深度图像。

因为FOD大多体积较小，所以设置合适的阈值可以使得大部分异物对应的像素值为1，而非异物部分对应的像素值为1的比例较小。

步骤2中，利用深度信息对灰度图像H进行初步剪裁，具体的，可以采用移动窗口法对灰度图像进行初步剪裁，具体的，步骤如下：

步骤2-1设定移动窗口的大小，按照步长移动截取被处理后的深度图像；

步骤2-2计算窗口截取图像中的像素值的和，得到像素值的和最大的窗口为裁减窗口；

步骤2-3通过裁减窗口截取灰度图像H中相对应的区域，为裁减后的灰度图像。

一种具体的裁减方法，首先，用一个大小为W*H的移动窗口截取被处理后的深度图像，上下步长均为s。然后，统计每一个窗口中1的个数并记录，值为1的像素有较大可能为异物的实物对应的像素。最后，选取所有的窗口中1的个数较多的窗口，并用该窗口对应的灰度图像代替原始照片。裁减后的图像如图3所示，左边为初步裁减前的原始图像，右边为裁减后的图像。

FOD在图像中所占区域较小，所以直接将图像用于图像分割很难取得较好的效果。因此，我们采用了移动窗口法对灰度图像进行了初步剪裁，可以提高图像分割的效果。

步骤3中，为数据融合步骤，实现异物区域的数据增强，具体的，包括如下步骤：

步骤31、按照对灰度图像进行初步剪裁的裁减窗口，裁减处理后的深度图像，使得剪裁后的深度图像与剪裁后的灰度图像为同一片区域；

步骤32、将剪裁后的深度图像乘以放大系数w，然后加上偏置得到权重矩阵；偏置可以设定，设定值优选的可以为1。

步骤33、将权重矩阵与剪裁后的灰度图像对应位置相乘，得到异物区域数据增强后的融合数据，作为图像分割模型的输入数据。

将处理后的深度图像也进行一次剪裁，使得剪裁后的深度图像与剪裁后的灰度图像为同一片区域。深度图像中像素值为1的部分比值为0的部分更有可能是异物，是图像分割模型更需要关注的。因此，将剪裁后的深度图像乘以放大系数w，然后加上偏置1得到权重矩阵。最后，将权重矩阵与剪裁后的灰度图像对应位置相乘，得到图像分割模型的输入数据。这样，通过数据融合，将更有可能是异物的部分赋予了更多的权重，从而对异物区域进行了数据增强，使得后面的图像分割更加准确的得到异物的位置。

可选的，改进的语义分割网络模型具体的包括Deeplab V3+网络，Deeplab V3+网络的编码器的金字塔池化模块连接注意力模块，其中Deeplab V3+网络包括依次连接的编码器和解码器，编码器中包括金字塔池化模块ASPP。

本实施例中，语义分割采用的是一种在Deeplab V3+基础上改进的语义分割模型，由编码器和解码器组成，其中编码器部分骨干网络为Resnet101网络，用于提取图像的语义特征。解码器部分利用提取的语义特征，生成最终图像。为了使得编码器提取的特征更加显著，在编码器的金字塔池化模块后添加了一个CBAM注意力模块，形成了CBAM-Deeplab V3+，模型结构如图5所示，其中金字塔池化模块ASPP级联CBAM的ASPP-CBAM模块如图6所示。图像分割效果如图4所示。

可选的，通过改进的语义分割网络模型，进行语义分割的方法，包括如下步骤：

步骤41、将异物区域数据增强后的融合数据进行特征提取。

将异物区域数据增强后的融合数据输入至CBAM-Deeplab V3+骨干网络Resnet34。骨干网络对输入数据进行卷积、池化、全连接等运算，提取出输入数据的特征，作为编码器阶段的输出数据；

编码器是分割模型第一部分，可以采用基于任意分类卷积网络模型，用于提取特征。

步骤42将提取的特征输入至注意力模块，增加注意力权重，得到缩放后的新特征。

将编码器阶段输出数据的输入至CBAM注意力模块，作为CBAM注意力模块的输入数据，根据注意力系数得到缩放后的新特征。

CBAM注意力模块包括一个通道注意力模块和一个空间注意力模块。通道注意力模块将输入数据同时通过一个一个平均池化模块和一个最大池化模块，得到平均池化特征和最大池化特征。然后将这两个特征分别送入同一个多层感知机，将得到的两个值相加并将和送入sigmoid函数激活，得到通道注意力系数。空间注意力模块将在空间轴上对输入数据同时进行了平均池化和最大池化操作，得到一个最大池化特征描述和一个平均池化特征描述，随后将两个描述按照通道特征拼接在一起，经过一个7x7卷积和sigmoid函数后，得到空间注意力权重系数。最后，将注意力模块的输入数据依次乘以通道注意力系数和空间注意力系数，得到缩放后的新特征，作为CBAM注意力模块的输出数据。

步骤43、将特征提取的到的特征与缩放后的新特征进行融合联结，解码后得到分割后的数据。

具体的，对前两个阶段提取的特征送至解码器阶段。解码器部分可以同时融合编码器部分所提取出的低级特征和高级特征。其由两个双线性差值函数组成，一个双线性差值函数将CBAM注意力模块的输出进行双线性插值，另一个双线性差值函数对解码器骨干网络第二层得到的低级特征进行插值。因为低级特征维度较高，且语义信息更低阶，所以在双线性插值前使用一个1x1卷积进行降维。

本实施例中，通过将输入数据进行编码和解码，可以充分提取特征，实现更好地图像分割效果。

实施例2

基于实施例1，本实施例提供一种基于语义分割的FOD检测系统，包括：

数据获取模块，被配置为用于获取机场跑道的待检测图像，待检测图像包括深度图像和灰度图像H，提取图像中的深度信息和灰度信息；

初步裁减模块，被配置为用于将深度信息进行预处理，并利用预处理后得到的深度图像，基于灰度信息对灰度图像进行初步剪裁；

融合模块，被配置为用于将经过处理后的深度图像和初步裁减后的灰度图像中的信息数据进行融合，对异物区域的信息进行增强；

图像分割模块，被配置为用于将融合后的信息输入至改进的语义分割网络模型进行图像分割，实时地确定异物类型及位置。

实施例3

本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。

实施例4

本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。