一种地下目标分割方法及系统

技术领域

本发明涉及探地雷达地下目标检测识别技术，尤其涉及一种地下目标分割方法及系统。

背景技术

机场跑道的地下状况对跑道的健康有重要影响。对地下物体和缺陷(如管道、钢网、脱空等)的准确感知是机场日常维护中的一项重要工作。使用探地雷达(GPR)是一种有效的方法，更重要的是，它不需要损坏跑道表面。探地雷达主动向地下发射电磁信号，通过对反射信号的分析和处理，可以无损地感知地下状况。

基于预处理B扫描图像的GPR地下目标检测方法，预处理一般包括去噪、背景去除、增益调整等，然后在预处理图像上检测目标。随着深度学习的发展，深度卷积网络在计算机视觉领域取得了巨大的成功，并逐渐应用于预处理的B-scan图像处理。预处理后的B扫描图像，特别是增益调整后的图像，可以更好地表示目标的形状和纹理，但深度方向的相对强度信息被破坏。单独使用预处理后的B扫描图像无法满足复杂地下目标的检测需求。

发明内容

本发明的主要目的在于提出一种具有更好分割性能的地下目标分割方法，旨在解决现有技术中存在的上述问题，。

为实现上述目的，本发明提供一种地下目标分割方法，所述方法包括：

获取B-Scan原始数据和预处理后的B-Scan图像；

对所述B-Scan图像进行处理，得到第一多尺度特征图；

对所述B-Scan图像和所述B-Scan原始数据进行融合处理，利用所述B-Scan图像的位置信息指导所述B-Scan原始数据优化特征，得到第二多尺度特征图；

对所述第一多尺度特征图和所述第二多尺度特征图进行多模态融合，得到多模态融合系列特征图；

对所述第一多尺度特征图、所述第二多尺度特征图和所述多模态融合系列特征图进行多尺度融合，得到多尺度融合系列特征图；

聚合所述多尺度融合系列特征图，得到高阶特征图；

对所述高阶特征图、所述第一多尺度特征图和所述第二多尺度特征图进行多层次融合，得到多层次融合输出结果，对所述多层次融合输出结果进行处理得到分割结果。

在一些实施例中，所述对所述B-Scan图像进行处理，得到第一多尺度特征图的步骤包括：

通过五层卷积对所述B-Scan图像进行下采样处理，每层卷积依次输出特征图g

所述对所述B-Scan图像和所述B-Scan原始数据进行融合处理，利用所述B-Scan图像的位置信息指导所述B-Scan原始数据优化参数，得到第二多尺度特征图的步骤包括：

对所述B-Scan图像进行五层池化处理，得到多尺度池化特征图；

对所述B-Scan原始数据进行五层处理，每层处理的输入经Vgg块处理后的中间特征图与同一层的池化特征图融合并输出特征图作为下一层处理的输入，每层处理依次输出特征图s

在一些实施例中，所述多模态融合系列特征图为F

F

其中，4-fusion表示对四路不同特征图输入进行融合。

在一些实施例中，所述多尺度融合系列特征图为D

其中，3-fusion表示对三路不同特征图输入进行融合。

在一些实施例中，所述对所述高阶特征、所述第一多尺度特征图和所述第二多尺度特征图进行多层次融合，得到多层次融合输出结果的步骤包括：

所述高阶特征为δ

G

其中，k

在一些实施例中，所述每层处理的输入经Vgg块处理后的中间特征图与同一层的池化特征图融合并输出特征图作为下一层处理的输入的步骤中：

至少部分层的中间特征图

将所述中间特征图F依次经过池化、多层感知器MLP、逐元素重组后得到通道注意力

F

将所述池化特征图G经过卷积处理得到中间层

F

输出最终结果F’：

F’＝aF

在一些实施例中，所述将所述中间特征图F依次经过池化、多层感知器MLP、逐元素重组后得到通道注意力

将所述中间特征图F经过最大池化和平均池化后得到F

使用多层感知器MLP从F

在一些实施例中，所述每层处理的输入经Vgg块处理后的中间特征图与同一层的池化特征图融合并输出特征图作为下一层处理的输入的步骤中：

至少部分层的中间特征图

将所述中间特征图F经卷积扩展为

将F′

获得特征图

其中α初始值为0且可以被训练；

将G′

获得特征图

其中β初始值为0且可以被训练；

获得最终输出结果F’：

F’＝λF+γG

其中λ和γ为权重参数。

在一些实施例中，所述浅注意力模块用于第1层、第2层和第5层的中间特征图与对应池化特征图的融合；

所述深注意力模块用于第3层和第4层的中间特征图与对应池化特征图的融合。

此外，为实现上述目的，本发明还提供一种地下目标分割系统，所述系统包括用于实现前述任一项所述方法的模块。

本发明提出的地下目标分割方法及系统，将B-Scan图像处理的图像流(Imagestream)和B-Scan原始数据处理的原始数据流(Rawdatastream)通过多模态(multi-modal)融合模块获得更加丰富的目标特征；同时，将B-Scan图像作为辅助流与B-Scan原始数据进行融合，指导原始数据流优化特征；紧接着利用多尺度融合和多层次融合，进一步加强了B-Scan图像和B-Scan原始数据的特征利用，提升了分割性能。

此外，本发明通过在原始数据流和辅助流之间引入对应的多流注意力模块，即浅注意力模块和深注意力模块，以引导原始数据流进行特征学习，使得地下目标分割方法和系统可以充分利用原始数据的全局特征和B-Scan图像的局部纹理特征，对地下各种目标进行准确地分割。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中参考数字在附图的各个视图中代表相似的机构。

图1为本申请一些实施例方案涉及的地下目标分割方法的流程示意图；

图2为本申请一些实施例方案涉及的地下目标分割系统架构图；

图3为本申请一些实施例方案涉及的浅注意力模块架构示意图；

图4为本申请一些实施例方案涉及的深注意力模块架构图；

图5为本申请的三种典型地下目标的原始数据与预处理B-Scan图像的对比图。

图6为本申请中深注意力和浅注意力不同组合的检测结果对比图。

图7为本申请方法与目前流行的分割网络的检测图。

图8为本申请方法与目前流行的分割网络的检测结果对比图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、系统、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。

这些和其他特性、当前申请披露的功能、执行的方法、结构中相关元素的功能和部件的组合和生产经济性，在参照附图进行以下描述的考虑中可能会变得更加明显,所有这些形成本申请的一部分。然而，需要理解清楚的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当了解的是，这些图纸不是按比例绘制的。然而，应当明确理解的是，附图仅用于说明和描述的目的，并不意图限制本申请的范围。应当知晓的是，这些附图并不依照比例。

本申请中使用流程图说明根据本申请的实施例的系统所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。

本申请使用带有探地雷达的检测机器人对待检测区域进行地下目标检测。检测机器人沿直线运动进行检测任务时，探地雷达的天线发射器按预设间距将电磁波辐射到地面，然后接收器收集从地下物体或地层界面反射的信号，得到二维的B-Scan原始数据，通过对B-Scan原始数据进行滤波等信号处理操作，得到B-Scan图像，现有技术中通过对B-Scan图像进行分析处理，得到地下目标识别结果。

请参照图1，图1是根据本申请的一些实施例所示的一种地下目标分割方法的流程图，具体可以包括以下步骤S100-S700。

步骤S100，获取B-Scan原始数据和预处理后的B-Scan图像。

步骤S200，对所述B-Scan图像进行处理，得到第一多尺度特征图。

检测机器人对待检测地下区域的B-Scan原始数据，并获取B-Scan原始数据进行处理得到B-Scan图像。本实施例在获取到B-Scan图像后，将B-Scan图像输入到多层神经网络中进行特征提取，在每层神经网络输出不同尺度的特征图得到第一多尺度特征图。获得第一多尺度特征图的这一路可以称之为图像流。

步骤S300，对所述B-Scan图像和所述B-Scan原始数据进行融合处理，利用所述B-Scan图像的位置信息指导所述B-Scan原始数据优化特征，得到第二多尺度特征图。

由于雷达信号中的外来物体、反射杂波、噪声等都会对B-Scan原始数据中的目标表现产生很大的干扰，因此，本实施例使用经过预处理的B-Scan图像来帮助滤除噪声。

本实施例中，用于指导B-Scan原始数据的B-Scan图像这一路可以称之为辅助流，第二多尺度特征图这一路称之为原始数据流。在辅助流中，由于预处理操作导致全局比较信息“不正确”，因此，辅助流中的位置信息更为重要。而在原始数据流中，全局信息体现在通道中，而局部纹理信息不够明显，因此原始数据流需要强调通道信息的重要性，并借助辅助流进行特征优化。本实施例利用B-Scan图像的位置信息指导B-Scan原始数据优化特征，使得原始数据流在特征学习过程中逐渐关注目标区域。

步骤S400，对所述第一多尺度特征图和所述第二多尺度特征图进行多模态融合，得到多模态融合系列特征图。

本实施例中，图像流的第一多尺度特征图和原始数据流的第二多尺度特征图属于不同模态，因此，两者之间的融合为多模态融合。在多模态融合过程中，第一多尺度特征图中的至少部分特征图与第二多尺度特征图中的至少部分特征图发生融合得到多个特征图，即得到多模态融合系列特征图。

步骤S500，对所述第一多尺度特征图、所述第二多尺度特征图和所述多模态融合系列特征图进行多尺度融合，得到多尺度融合系列特征图。

本实施例中，第一多尺度特征图、第二多尺度特征图和多模态融合系列特征图具有多种尺度，因此，三者之间的融合为多尺度融合，融合之后得到多个特征图，即得到多尺度融合系列特征图。

步骤S600，聚合所述多尺度融合系列特征图，得到高阶特征图。

本实施例对多尺度融合系列特征图中的所有特征图进行聚合(Aggregate)处理，得到高阶特征图。

步骤S700，对所述高阶特征图、所述第一多尺度特征图和所述第二多尺度特征图进行多层次融合，得到多层次融合输出结果，对所述多层次融合输出结果进行处理得到分割结果。

本实施例中，将高阶特征图、第一多尺度特征图和第二多尺度特征图进行至少两次融合，即多层次融合。具体的，可以将高阶特征图、第一多尺度特征图中的部分特征图和第二多尺度特征图中的部分特征图进行融合，融合后得到的特征图再与第一多尺度特征图中其他部分特征图和第二多尺度特征图中其他部分特征图进行融合。

进一步地，在多层次融合过程中还可以对特征图进行其他处理。例如，在高阶特征图进行多层次融合前进行上采样处理，多层次融合的每层输出特征图经过上采样处理。

多层次融合最后输出的特征图中包含多通道的地下目标分割结果，通过处理将不同地下目标的分割结果在同一张图中进行显示，得到最终的分割结果。

通过以上步骤S100-S700，本实施例提供的地下目标分割方法将B-Scan图像所在的图像流和B-Scan原始数据所在的原始数据流进行多模态融合以获得更加丰富的目标特征；同时，将B-Scan图像作为辅助流与B-Scan原始数据进行融合，指导原始数据流优化特征；紧接着利用多尺度融合和多层次融合，进一步加强了B-Scan图像和B-Scan原始数据的特征利用，提升了分割性能。

图2是根据本申请的一些实施例所示的地下目标分割系统架构图，该地下目标分割系统可以执行本申请任一实施例的地下目标识别方法。下面结合图2对一些可选实施例进行说明。

在一些实施例中，步骤S200包括：

步骤S210，通过五层卷积对所述B-Scan图像进行下采样处理，每层卷积依次输出特征图g

步骤S300包括：

步骤S310，对所述B-Scan图像进行五层池化处理，得到多尺度池化特征图。

步骤S320，对所述B-Scan原始数据进行五层处理，每层处理的输入经Vgg块处理后的中间特征图与同一层的池化特征图融合并输出特征图作为下一层处理的输入，每层处理依次输出特征图s

本实施例中，对B-Scan图像进行五层池化处理，每层池化处理得到对应的池化特征图，即得到多尺度池化特征图。在原始数据流第一层处理中，B-Scan原始数据经过第一层的Vgg块处理后与第一层池化特征图融合得到第一层特征图s

在一些实施例中，所述多模态融合系列特征图为F

F

其中，4-fusion表示对四路不同特征图输入进行融合。

本实施例中，4-fusion融合模块用于图像流和原始数据流之间的融合。相邻层通过一个4-fusion模块融合不同流的相邻位置特征，得到F

在一些实施例中，所述多尺度融合系列特征图为D

其中，3-fusion表示对三路不同特征图输入进行融合。

本实施例中，为了获得不同层和不同位置的混合特征，使用了四个3-fusion模块，最终得到多尺度融合结果{D

在一些实施例中，所述对所述高阶特征、所述第一多尺度特征图和所述第二多尺度特征图进行多层次融合，得到多层次融合输出结果的步骤包括：

所述高阶特征为δ

G

其中，k

本实施例中，为了弥补下采样造成的空间细节损耗，采用了3-fusion模块来融合高阶特征和原始数据流、图像流中的低阶特征，concat是融合操作。

在一些实施例中，步骤S320中的所述每层处理的输入经Vgg块处理后的中间特征图与同一层的池化特征图融合并输出特征图作为下一层处理的输入中还具有：

至少部分层的中间特征图

将所述中间特征图F依次经过池化、多层感知器MLP、逐元素重组后得到通道注意力

F

将所述池化特征图G经过卷积处理得到中间层

F

输出最终结果F’：

F’＝aF

如图3所示，本实施例通过设计浅注意力(Shallow Attention)模块来将辅助流中的信息传递到原始数据流中，其中，图像流和原始数据流这两个流中获得的注意力图分别与原始数据流的输入特征图相乘，以自适应地进行特征细化。浅注意力模块是一个轻量级的模块，可以放置在多流融合架构中的每一层之间。浅注意力模块采用某一层的中间特征图F和同一层的池化特征图G作为输入，其中，中间特征图F为B-Scan原始数据的特征，池化特征图G为B-Scan图像的特征。浅注意力模块的目的是通过空间注意力机制和通道注意力机制来得到二维的空间注意力图

对于原始数据流，希望强调通道信息和生成通道注意力图的重要性，本实施例首先通过池化操作对空间信息进行压缩和聚合，得到通道信息的描述，然后使用多层感知器(Multi-Layer Perceptron，简称为MLP)提取描述的特征，最后通过逐元素重组操作得到通道注意力M

F

对于辅助流，重点是学习空间信息和产生空间注意力图。本实施例首先通过卷积运算得到中间层

F

F

进一步地，在一些实施例中，所述将所述中间特征图F依次经过池化、多层感知器MLP、逐元素重组后得到通道注意力

将所述中间特征图F经过最大池化和平均池化后得到F

使用多层感知器MLP从F

在一些实施例中，步骤S320中的所述每层处理的输入经Vgg块处理后的中间特征图与同一层的池化特征图融合并输出特征图作为下一层处理的输入中还具有：

至少部分层的中间特征图

将所述中间特征图F经卷积扩展为

将F′

获得特征图

其中α为尺度参数，其初始值为0且可以被训练；

将G′

获得特征图

其中β为尺度参数，其初始值为0且可以被训练；

获得最终输出结果F’：

F’＝λF+γG

其中λ和γ为权重参数。

由于仅使用浅注意力模块无法将更多的高维信息传递到原始数据流中，因此，如图4所示，本实施例设计了深注意力(Deep Attention)模块来传递高维信息。与浅注意力模块一样，通道信息和空间信息分别由原始数据流和辅助流提供，但深注意力模块中的参数数量较多，只能用于跨模态融合的深层结构。

深注意力模块同样采用中间特征图F和同一层的池化特征图G作为输入，但需要首先对深注意力模块的两个输入使用卷积处理进行扩展，得到

在原始数据流上，通过将F′

其中α为尺度参数，其初始值为0且可以被训练。由上面的式子可以看出，每个通道的F

对应于F

其中β为尺度参数，其初始值为0且可以被训练。G

F

F’＝λF+γG

其中λ和γ为权重参数，用于平衡三类特征的影响。

本实施例中深注意力模块的主要特点为：(1)空间信息和通道信息累积融合到原始数据流中，可以有效防止特征融合过程中的特征弱化和丢失；(2)建立了更高的通道间依赖(inter-channel dependencies)和位置间依赖(inter-position dependencies)。通过计算所有位置和空间关系的特征图来建立高依赖关系，提高分割性能。

本发明的地下目标分割方法具有以下实验效果。

具体实验过程如下：

采用14通道Raptor

实验集中在三个典型的地下目标：脱空(Void)、管道(Pipe)和钢网(Steelmesh)。这三个地下目标具有不同的特征。脱空在图像中显示为水平的黑色和白色条带，而在原始数据中的显示模糊。管道在原始数据和B扫描图像中清晰地显示为曲线。由于钢网的直径不同、埋深不同、分布不规则，图像中的表现较为杂乱。三个物体的视觉对比如图5所示，其中(a)为脱空，(b)为管道，(c)为钢网。可以看出，B扫描图像中存在很多干扰，这会导致分割错误。

该模型的实现使用PyTorch，并使用SGD算法进行了优化。训练时，学习率最初设置为5e-7，每20个epoch降低0.1倍。我们在epoch 23获得了最好的性能。为了定量评估我们网络的性能，我们使用了准确率(Precision)，召回率(Reca11)和F1-measure，这是目标分割的常用指标。

对注意力模块的影响和组合进行了广泛的消融实验，以分析它们对分割结果的影响。仅使用深注意力(DA)的实验是在第3层和第4层使用DA。考虑到不同数量的参数的影响，对于只使用浅注意力(SA)，实验进行了两种不同的SA组合，(1)SA1：SA只用在第1、2、5层，没有DA层；(2)SA2：网络的每一层都使用SA。

从图6中可以看出，使用多流注意力机制的5个组合方案的Fl-measure要高于没有多流注意力机制的组合方案机制。因此，本申请提出的多流注意机制可以有效提高分割性能。而使用DA和SA2可能会导致过度拟合并且性能稍低。虽然DA和SAl的方案组合在有些指标上不是最好的，但平均而言具有最佳的分割表现。

为了定量评估不同方法在不同类型目标上的综合性能，我们选择了5个流行的分割网络(U-Net、VGG16-seg、ResNet50-seg、DeepLab-v3，SegNet)作为基准。分割结果对比如图7所示，图7中(a)为原始数据，(b)为B-Scan图像，(c)为标注图像，(d)为本申请方法的分割结果，(e)为U-Net的分割结果，(f)为VGG16-seg的分割结果，(g)ResNet50-seg的分割结果，(h)为DeepLab-v3的分割结果，(i)为SegNet的分割结果。可以看出本申请的方法的分割结果更加精细准确。如图8所示，本申请的地下目标分割方法可以在所有三种类型的目标上达到最佳的分割结果，Fl-measure分别比其他算法在脱空、管道和钢网中的最高值高2.12％、4.75％和3.19％。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。