基于多尺度跨层特征融合网络的伪装目标检测算法

本发明涉及计算机视觉领域，具体来说，涉及了基于多尺度跨层特征融合网络的伪装目标检测算法。

背景技术：

本部分的陈述仅仅是涉及到了与本发明相关的背景技术，并不必然构成现有技术。

基于多尺度跨层特征融合网络的伪装目标检测算法在计算机视觉领域中处于重要地位，用于检测或者分割嵌入在环境中的伪装物体。检测方法可以分为两大类：基于传统的方法和基于深度学习的方法，由于传统的方法依赖于手工特征，在复杂场景下分割伪装目标不景气。

近年来，基于深度学习的检测方法相继而出，并且检测性能得到提升。但是在真实的复杂场景下，比如一张图像中有多个大小不一的伪装目标，用现有的基于深度学习的检测方法往往会面临两个挑战：1)定位区域轮廓不清晰；2)分割的伪装目标不全。

设计有效的模型体系结构以获取更精确、更完整的检测目标是伪装目标检测任务的研究热点。卷积神经网络已经被证明对于二维图像信号处理是非常有效的。然而，对于多尺度跨层融合网络的方法巧妙的利用低层特征(有丰富的空间特征)与深层特征(有丰富的语义特征)结合以及跨层融合利用不同层次的互补信息可以解决上述的第一个挑战，利用不同扩张卷积率来不同程度的扩大感受野可以解决上述的第二个挑战。此外，如何利用浅层特征和深层特征的互补信息也是伪装目标检测的关键问题。

发明内容

为了缓解上述问题，在此发明中，我们提出了基于多尺度跨层特征融合网络的伪装目标检测算法。该算法由三个大模块组成，即BM模块(Boundary-guidance Module)、MSAM模块(Multi-scale Feature Aggregation Module)和MIAB(Multi-source InformationAggregation Block)。我们利用BM模块定位伪装对象的边界，因为伪装的物体在视觉上嵌入到它们的背景中，这使得伪装的物体和周围背景之间的边界不清晰，紧接着使主干网络ResNet50生成的高层特征输入到MSAM模块利用不同大小的卷积核来自适应地提取不同尺度的特征。然后得到的融合特征图输入到MIAB模块自适应的交替关注前景和背景特征。最后，我们以端到端的方式对整个网络进行训练，并取得了更好的定位性能。

本发明的技术方案是提供了基于多尺度跨层特征融合网络的伪装目标检测算法，该方法包括以下步骤：

1.利用BM(Boundary-guidance Module)模块定位伪装对象的边界，由于伪装的物体在视觉上嵌入到它们的背景中，这使得伪装的物体和周围背景之间的边界不清晰，因此BM模块起到了很大的作用；

1.1)首先，浅层的特征f

1.2)其次，进行加操作得到融合的特征，然后将融合后的特征进一步输入到3×3的卷积层中，得到f

2.利用MSAM(Multi-scale FeatureAggregation Module)模块从单个卷积层捕获多尺度特征，MSAM利用不同大小的卷积核来自适应地提取不同尺度的特征，然后进行跨层融合能够解决伪装目标尺度的变化的问题；

2.1)首先，由于深层中的高级特征保留了用于定位对象的语义信息，并且每个卷积层只能处理一个具体尺度的特征，所以把f

2.2)其次，MSAM有四个分支，对于一个输入特性f

2.3)最后，第二个分支到第四个分支通过残差连接后既能保留原始的特征也能得到融合后的特征，再通过级联操作紧接着有个1×1的卷积来降低通道数，然后与第一个分支进行加操作，该操作的通用公式如下式所示：

其中Conv表示上述所说的堆叠的卷积层，f

3.利用MIAB(Multi-source Information Aggregation Block)多元信息融合模块来进一步增强高分辨率特征图中的结构信息，并区分伪装物体的边缘与背景，然后，我们使用元素减法来反转背景特征，并使用元素加法来增强前景特征；

3.1)首先，MIAB多元信息融合模块有两个并行的分支，第一个分支比第二个分支的不同在于使用不同的池化操作来降低通道数以及减少网络参数，然后两个分支分别进行逐点卷(Point-wise-Conv)、归一化以及ReLU激活。

3.2)随后，两个分支进行加操作得到融合特征再进行Sigmoid用来分配不同的权重用α、β表示自适应的关注前景和背景特征。

3.3)最后，用融合的特征与α进行相乘使MIAB模块更多的关注前景，和β相乘使模块关注背景，我们让后两个MIAB模块关注边缘特征，然后输出粗糙的预测图，并监督它们前面的MIAB模块不断细化目标区域，最终得到P1预测图。

4.利用混合损失函数训练此模型，使用GT(GroundTruth)来监督每一层生成的预测图，并且逐步细化目标区域，用图中的P1作为最终的结果。

4.1)首先，我们用带权

4.2)其次，我们用带权的

4.3)最后，我们的损失函数定义为

其中，L

附图说明

图1网络流程框架图

图2MSAM模块

图3MIAB模块

具体实施方式

下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，此外，所叙述的实施例仅仅是本发明一部分实施例，而不是所有的实施例。基于本发明中的实施例，本研究方向普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。

本发明的流程图框架如图1所示，本发明是基于多尺度跨层特征融合网络的伪装目标检测算法，其具体操作说明如下：

1.利用BM(Boundary-guidance Module)模块定位伪装对象的边界，由于伪装的物体在视觉上嵌入到它们的背景中，这使得伪装的物体和周围背景之间的边界不清晰，因此BM模块起到了很大的作用；

1.1)首先，浅层的特征f

1.2)其次，进行加操作得到融合的特征，然后将融合后的特征进一步输入到3×3的卷积层中，得到f

2.利用MSAM(Multi-scale Feature Aggregation Module)模块从单个卷积层捕获多尺度特征，MSAM利用不同大小的卷积核来自适应地提取不同尺度的特征，然后进行跨层融合能够解决伪装目标尺度的变化的问题；

2.1)首先，由于深层中的高级特征保留了用于定位对象的语义信息，并且每个卷积层只能处理一个具体尺度的特征，所以把f

2.2)其次，MSAM有四个分支，对于一个输入特性f

2.3)最后，第二个分支到第四个分支通过残差连接后既能保留原始的特征也能得到融合后的特征，再通过级联操作紧接着有个1×1的卷积来降低通道数，然后与第一个分支进行加操作，该操作的通用公式如下式所示：

其中Conv表示上述所说的堆叠的卷积层，f

3.利用MIAB(Multi-source Information Aggregation Block)多元信息融合模块来进一步增强高分辨率特征图中的结构信息，并区分伪装物体的边缘与背景，然后，我们使用元素减法来反转背景特征，并使用元素加法来增强前景特征；

3.1)首先，MIAB多源信息融合模块有两个并行的分支，第一个分支比第二个分支的不同在于使用不同的池化操作来降低通道数以及减少网络参数，然后两个分支分别进行逐点卷(Point-wise-Conv)、归一化以及ReLU激活。

3.2)随后，两个分支进行加操作得到融合特征再进行Sigmoid用来分配不同的权重用α、β表示自适应的关注前景和背景特征。

3.3)最后，用融合的特征与α进行相乘使MIAB模块更多的关注前景，和β相乘使模块关注背景，我们让后两个MIAB模块关注边缘特征，然后输出粗糙的预测图，并监督它们前面的MIAB模块不断细化目标区域，最终得到P1预测图。

4.利用混合损失函数训练此模型，使用GT(Ground Truth)来监督每一层生成的预测图，并且逐步细化目标区域，用图中的P1作为最终的结果。

4.1)首先，我们用带权

4.2)其次，我们用带权的

4.3)最后，我们的损失函数定义为

其中，L

以上所述为本申请优选实施而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围内。