基于边缘感知注意力机制的空间目标分割网络及方法

技术领域

本发明涉及空间目标图像分割等计算机视觉技术领域，尤其涉及一种基于边缘感知注意力机制的空间目标分割网络及方法。

背景技术

空间目标分割技术主要任务是从星空背景中分割出空间目标以及目标部件信息，便于后续对目标信息（属性、功能与意图）进一步判读，因此空间目标分割是空间态势感知技术的一个基础性关键技术。目前，主流图像分割技术的分割对象为街景、汽车、飞机、舰船等，针对空间目标的专用分割方法在行业内依然是空白。相较于普通自然图像与高分辨率遥感图像，天基光学观测图像具有宽幅大场景、光照不均、边缘模糊、过曝光严重等数据特点，上述数据特点严重地干扰图像特征提取。因此设计专用的空间目标分割方法是一件亟待解决问题。

基于注意力机制的深度神经网络具有强大的全局特征提取能力，能够捕捉对当前预测任务更具辨识力的特征，目前在计算机视觉和自然语言处理等领域获得了极其广泛的应用，能够很好地应用于空间目标分割方法。

然而，现有空间目标分割方法主流是基于Non-Local注意力机制的图像分割算法，得益于注意力机制强大的全局特征提取能力，使其在自然图像与高分辨率遥感图像分割领域取得了优异的性能与广泛的应用。但受限于Non-Local注意力机制原理与空间图像宽幅大场景特点，直接将基于Non-Local注意力机制的图像分割算法用于空间目标图像分割任务存在以下难点：

第一，权重矩阵参数量大，占用显存过多导致GPU显存爆炸。注意力权重参数矩阵的空间复杂度为O(HW*HW)，即参数量与计算量与图像尺寸值HW平方成正比，因此Non-local注意力机制计算过程中存储代价大。

第二，应用范围受限。由于特征图尺寸大小限制，极大地限制了Non-local注意力机制在稠密预测任务（如语义分割任务）的网络特征提取阶段应用，Non-Local结构难以在空间目标图像这类较大尺度特征图中使用。

第三，权重参数矩阵难以压缩，难以实现网络参数轻量化，对服务器硬件要求较高。

发明内容

针对上述技术问题，本发明提供一种基于边缘感知注意力机制的空间目标分割网络及方法，用于至少部分解决上述技术问题。

基于此，本发明一方面提供一种基于边缘感知注意力机制的空间目标分割网络，空间目标分割网络以UNet网络为基础，包括编码网络层、译码网络层和n-1个边缘预测器，n为大于等于2的整数；编码网络层包括n层第一卷积层，n层第一卷积层之间串联；译码网络层包括n-1个边缘感知注意力机制结构、n-1个特征选择融合结构和一层第二卷积层，沿图像传输方向，n-1个边缘感知注意力机制结构与n-1个特征选择融合结构交替串联且与第二卷积层连接的是特征选择融合结构，第二卷积层连接与第n层第一卷积层；每一层级的第一卷积层的输出通过一个边缘预测器连接至相同层级的边缘感知注意力机制结构的输入，且每一层级的第一卷积层的输出直接连接至相同层级的特征选择融合结构的输入；其中，第一卷积层用于对空间目标图像进行卷积处理，以提取空间目标图像的第一特征图；边缘预测器用于根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息；特征选择融合结构用于选择性融合第一特征图中的边缘细节信息，得到第二特征图；边缘感知注意力机制结构用于基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构。

根据本发明的实施例，特征选择融合结构用于选择性融合第一特征图中的边缘细节信息包括：以第二卷积层或边缘感知注意力机制结构输出的第三特征图的高级语义特征为先验指导，经过卷积和激活处理生成特征权重图；将特征权重图与第一特征图进行点乘运算以对第一特征图中的边缘特征进行特征选择，将特征选择后的第一特征图与第三特征图融合，得到包含边缘细节信息的第二特征图。

根据本发明的实施例，边缘感知注意力机制结构用于基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构包括：根据边缘预测图确定目标边缘轮廓区域；根据目标边缘轮廓区域对第二特征图进行边缘特征采样，得到边缘特征；对边缘特征进行相关性计算，得到重构边缘特征；将重构边缘特征与边缘特征进行融合，得到融合边缘特征。

根据本发明的实施例，根据边缘预测图确定目标边缘轮廓区域包括：计算边缘预测图中各个像素点的置信概率；对各个像素点的置信概率按大小进行排序，根据置信概率偏大的前K个像素点确定目标边缘轮廓区域。

根据本发明的实施例，根据目标边缘轮廓区域对第二特征图进行边缘特征采样，得到边缘特征包括：根据

对第二特征图进行边缘特征采样，其中，

根据本发明的实施例，对边缘特征进行相关性计算，得到重构边缘特征包括：对边缘特征进行嵌入特征空间映射，得到第一嵌入特征、第二嵌入特征和第三嵌入特征；将第一嵌入特征和第二嵌入特征叉乘，得到相关性参数矩阵；对相关性参数矩阵标准化后与第三嵌入特征叉乘，得到重构边缘特征。

根据本发明的实施例，对边缘特征进行嵌入特征空间映射包括：根据

/>

对边缘特征进行嵌入特征空间映射，其中，

根据本发明的实施例，将重构边缘特征与边缘特征进行融合，得到融合边缘特征包括：根据

进行特征融合，其中，

根据本发明的实施例，空间目标分割网络的训练过程为：在空间目标分割网络的训练的前期，边缘感知注意力机制结构不参与训练，在空间目标分割网络的训练的后期，边缘感知注意力机制结构参与梯度反传与网络训练。

本发明第二方面提供一种基于边缘感知注意力机制的空间目标分割方法，空间目标分割方法基于上述空间目标分割网络实现，包括：将空间目标图像输入编码网络层进行卷积处理，以提取空间目标图像的第一特征图；通过边缘预测器根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息；通过特征选择融合结构选择性融合第一特征图中的边缘细节信息，得到第二特征图；通过边缘感知注意力机制结构基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构；基于边缘细节信息、相关性特征重构和空间目标图像的非边缘特征输出目标分割图像。

根据本发明实施例提供的基于边缘感知注意力机制的空间目标分割网络及方法，至少包括以下有益效果：

该空间目标分割网络以UNet主干网络为基础，UNet主干网络采用“编码器-译码器”结构，基于编码阶段浅层卷积具有海量边缘细节信息，通过嵌入编码网络层的目标边缘预测器提供边缘先验信息，在译码阶段卷积网络的多层级特征图中嵌入三个边缘感知注意力机制结构（Edge Aware Module，简称EAM），增强了网络特征提取能力，提高了特征（尤其目标边缘特征）的类别可分离性，显著地提升了太空目标边缘轮廓分割准确性。在解码阶段边缘细节重建过程中，利用特征选择融合结构（Features Selection & Fusion Module，简称FSFM结构）的特征选择融合能力，选择性地融合编码阶段浅层特征图中的边缘细节信息，抑制空间图像的光照不均、边缘模糊等影响，避免浅层特征融合对译码阶段边缘重构的噪声干扰。

进一步地，该空间目标分割网络设置为一个多任务学习网络，包括图像分割任务与边缘分割任务；在网络训练过程中，基于输入空间目标图像、目标分割图像真值以及目标边缘图像真值，同时开展对图像分割与边缘分割任务训练，在网络训练早期（小于epoch迭代次数50%）关闭EAM结构功能，EAM结构不参与梯度反传与网络训练；在网络训练中后期（大于等于epoch迭代次数50%），EAM结构参与梯度反传与网络训练，这样降低网络训练难度，增强参数训练稳定性，有利于网络快速收敛，提高网络训练学习效率。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了本发明实施例提供的基于边缘感知注意力机制的空间目标分割网络的结构图。

图2示意性示出了本发明实施例提供的特征选择融合模块的结构图。

图3示意性示出了本发明实施例提供的边缘感知注意力机制结构的结构图。

图4示意性示出了本发明实施例提供的基于边缘感知注意力机制的空间目标分割方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的子系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本发明的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。另外，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。

类似地，为了精简本发明并帮助理解各个公开方面中的一个或多个，在上面对本发明示例性实施例的描述中，本发明的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。

针对现有基于Non-local注意力机制的图像分割算法用于空间目标图像分割任务存在的问题，本发明方案首先提出了边缘感知注意力机制结构（Edge Aware Module，简称EAM）以及特征选择融合结构（Features Selection & Fusion Module，简称FSFM），实现了对目标边缘区域特征感知与相关性特征重构以及对浅层边缘细节特征的选择性特征融合；最后将EAM与FSFM结构分别嵌入主流的UNet分割网络中，增强网络特征提取能力与边缘特征类间可分离性，抑制空间目标图像的光照不均、边缘模糊等影响，可以提高空间目标边缘分割准确性；同时压缩了权重矩阵的参数量，实现了神经网络的轻量化。

图1示意性示出了本发明实施例提供的基于边缘感知注意力机制的空间目标分割网络的结构图。

如图1所示，空间目标分割网络以UNet网络为基础，包括编码网络层、译码网络层和n-1个边缘预测器，n为大于等于2的整数。

编码网络层包括n层第一卷积层，n层第一卷积层之间串联。

译码网络层包括n-1个边缘感知注意力机制结构、n-1个特征选择融合结构和一层第二卷积层，沿图像传输方向，n-1个边缘感知注意力机制结构与n-1个特征选择融合结构交替串联且与第二卷积层连接的是特征选择融合结构，第二卷积层连接与第n层第一卷积层。

每一层级的第一卷积层的输出通过一个边缘预测器连接至相同层级的边缘感知注意力机制结构的输入，且每一层级的第一卷积层的输出直接连接至相同层级的特征选择融合结构的输入。

在本发明实施例中，第一卷积层用于对空间目标图像进行卷积处理，以提取空间目标图像的第一特征图。

在本发明实施例中，边缘预测器用于根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息。

示例性地，以4层第一卷积层为例，4层第一卷积层依次记为Stage 1、Stage 2、Stage 3和Stage 4。空间目标分割网络中包含三组边缘预测器，分别连接于深度卷积层Stage 1、Stage 2、Stage 3层后，用于二值化目标边缘分割结果预测任务，一方面为后续边缘感知注意力机制结构提供边缘先验信息，另一方面与图像分割任务构成多任务学习，提高整个卷积网络性能。

记空间目标分割网络输入的空间目标图像为

也即

第

则第

则边缘分割任务的总损失函数为：

其中，参数

应当理解，图1所示的空间目标分割网络的第一卷积层的层数为4是示例性的，具体层数可以根基实际应用需求设置，本发明不做限制。

在本发明实施例中，特征选择融合结构用于选择性融合第二特征图中的边缘细节信息。

特征选择融合模块（FSFM）核心功能以译码阶段高级语义特征为先验，指导网络学习选择性地融合编码阶段特征图中边缘细节信息，抑制空间图像的光照不均、边缘模糊等影响，避免浅层特征融合对译码阶段边缘重构的噪声干扰。具体地，选择性融合第二特征图中的边缘细节信息可以包括：

以第二卷积层或边缘感知注意力机制结构输出的第三特征图的高级语义特征为先验指导，经过卷积和激活处理生成特征权重图。将特征权重图与第一特征图进行点乘运算以对第一特征图中的边缘特征进行特征选择，将特征选择后的第一特征图与第三特征图融合，得到边缘细节信息。

图2示意性示出了本发明实施例提供的特征选择融合模块的结构图。

如图2所示，FSFM以编码器（第一卷积层）第一特征图

其中，

在本发明实施例中，边缘感知注意力机制结构用于基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构。

边缘感知注意力机制模块（EAM）功能核心以边缘信息为先验，对边缘区域特征进行相关性特征重构，增大了边缘特征类间距离进而增强了类别可分离性，显著地提升了目标边缘轮廓分割准确性。具体地，对第二特征图中的边缘特征进行相关性特征重构可以包括：

根据边缘预测图确定目标边缘轮廓区域。根据目标边缘轮廓区域对第二特征图进行边缘特征采样，得到边缘特征。对边缘特征进行相关性计算，得到重构边缘特征。将重构边缘特征与边缘特征进行融合，得到融合边缘特征。

图3示意性示出了本发明实施例提供的边缘感知注意力机制结构的结构图。

如图3所示，EAM结构以解码器（特征选择融合结构）的第二特征图

首先，EAM结构将边缘预测图

然后，依据边缘预测图

对第二特征图进行边缘特征采样，其中，

进一步地，对边缘特征进行相关性计算，得到重构边缘特征可以包括对边缘特征进行嵌入特征空间映射，得到第一嵌入特征、第二嵌入特征和第三嵌入特征。将第一嵌入特征和第二嵌入特征叉乘，得到相关性参数矩阵。对相关性参数矩阵标准化后与第三嵌入特征叉乘，得到重构边缘特征。

可以根据

对边缘特征

将第二嵌入特征

最后，计算输出重构边缘特征

则EAM结构输出特征

基于EAM结构输出特征

需要说明的是，常规Non-local注意力机制权重参数矩阵的参数量为

一般地，（依据分割性能调节）边缘采样率

进一步地，空间目标分割网络训练可以基于Adam训练方法，配合学习率参数采用Warp up策略以及余弦指数衰减方法，实现空间目标分割网络多任务（图像分割任务与边缘分割任务）学习；相较于单任务学习，多任务学习能够取得更好的训练效果，网络模型具备更强的泛化能力。

空间目标分割网络的训练过程为：在空间目标分割网络的训练的前期，边缘感知注意力机制结构不参与训练，在空间目标分割网络的训练的后期，边缘感知注意力机制结构参与梯度反传与网络训练。

示例性地，在网络训练早期（小于epoch迭代次数50%）关闭EAM结构功能，EAM结构不参与网络训练；在网络训练中后期（大于等于epoch迭代次数50%），EAM结构参与梯度反传与网络训练，可以降低网络训练难度，增强参数训练稳定性，有利于网络快速收敛，提高网络训练学习效率。

记空间目标分割网络输入的空间目标图像为

空间目标分割网络输出的分割结果图为：

空间目标分割网络分割任务的损失函数为：

其中，

则空间目标分割网络的总损失函数为：

综上所述，空间目标分割网络采用边缘感知注意力机制模块，以目标边缘预测为先验信息，感知边缘区域特征并进行相关性特征重构，有效地提升了边缘特征的类别可分离性以及目标边缘轮廓分割的准确性，同时降低权重参数矩阵的参数量和计算量，压缩了中GPU显存占用量。采用特征选择融合模块指导网络有选择性地融合编码阶段特征图中边缘细节信息，抑制了浅层特征融合对译码阶段边缘重构的噪声干扰，改善了空间图像的光照不均、边缘模糊等因素对目标边缘分割性能的不利影响。采用多任务学习方法，将图像分割任务与目标边缘分割任务整合到分割网络同步学习训练，具有取得更好的训练效果，提高了网络模型的泛化能力。此外，相比于Non-local注意力结构，该空间目标分割网络极大地增强了对大尺寸特征图的适应性，可作为应对宽幅空间目标图像分割任务的专用分割方法。

基于同一发明构思，本发明实施例还提供一种基于边缘感知注意力机制的空间目标分割方法，该空间目标分割方法基于上述空间目标分割网络实现。

图4示意性示出了本发明实施例提供的基于边缘感知注意力机制的空间目标分割方法流程图。

如图4所示，该空间目标分割方法可以包括操作S401~操作S405。

在操作S401，将空间目标图像输入编码网络层进行卷积处理，以提取空间目标图像的第一特征图。

在操作S402，通过边缘预测器根据对应的第一卷积层提取的第一特征图生成边缘预测图，作为对应的边缘感知注意力机制结构提供边缘先验信息。

在操作S403，通过特征选择融合结构选择性融合第一特征图中的边缘细节信息，得到第二特征图。

在操作S404，通过所述边缘感知注意力机制结构基于边缘先验信息对第二特征图中的边缘特征进行相关性特征重构。

在操作S405，基于边缘细节信息、相关性特征重构和空间目标图像的非边缘特征输出目标分割图像。

需要说明的是，空间目标分割方法实施例部分的实施细节及带来的技术效果与空间目标分割网络实施例部分的实施细节及带来的技术效果对应，此处不再赘述。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。