一种基于边界增强的显著性目标检测方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及一种基于边界增强的显著性目标检测方法及系统。

背景技术

显著目标检测的研究已有二十多年的历史。一共有三个非常重要的节点。显著性目标检测第一次发展浪潮源于1998年Itti的一篇文章，这篇开山之作模仿人类的注意力过程，自底向上利用底层特征来构建显著图；第二个节点是显著性检测融入了目标的概念变成了显著性目标的二值分割问题，更加的符合实际应用；卷积神经网络的横空出世激起了显著性目标检测的第三波热潮，卷积神经网络拥有极大的特征提取能力，可以获得更大的感受野，从而更好的检测到图像中的显著区域，也是现在主流的方法。目前，显著性检测领域已经产生了很大的理论和应用价值，但它的另一份价值是作为许多其他视觉任务的辅助，例如作为对象识别，图像编辑和语义分割等任务的预处理。

尺度变化是SOD任务的主要挑战之一。受下采样操作的限制，CNN很难处理这个问题。不同级别的特征层仅具有处理特定尺度的能力，不同分辨率的特征中蕴含的目标信息量是不同的。一种方式是在自上而下的路径中对每一层特征进行横向输出，上采样为统一分辨率后再进行融合，从而获得包含多尺度信息的输出，不过这种方法仅在每一层中使用单独的分辨率特征，不足以应付各种规模的问题。还有一种简单的策略是集成不同分辨率的特征层信息，但是这种融合方式容易造成信息冗余和噪声干扰。针对尺度变化问题的处理方式仍然有着可以进一步优化的空间。

特征提取过程中也会不断损失细节信息，像素级别的显著性方法得到的显著性目标的边界区域往往不太令人满意。为了获得精细的显著边界，除了多尺度特征融合的方法外还有很多创新的方法。一些方法使用递归的方式利用低级局部信息来细化高级特征，还有一些方法在显著性检测前使用超像素进行预处理提取边界或者在显著性预测图上使用CRF进行后处理来保持对象边界，这类方法需要额外的处理过程，效率比较低。至于损失函数的选择上，显著性目标检测常用的训练损失函数是二值交叉熵损失，但是二值交叉熵损失在判断边界像素时置信度较低，导致边界非常模糊，同时也无法保证显著区域的一致性。在边界信息提取的网络结构和损失函数的设计上有着许多提升的可能性。

发明内容

本发明的目的在于提供一种基于边界增强的显著性目标检测方法及系统，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种基于边界增强的显著性目标检测方法，包括以下步骤：

S1，从训练集图像中提取不同分辨率的抽象特征图，对抽象特征图进行多级融合得到多级融合特征图，对多级融合特征图进行处理得到包含多尺度信息的特征图；

S2，将得到的包含多尺度信息的特征图进行信息转化后进行拼接融合，得到包含边界信息的特征，同时利用每一级转换后的特征得到一个边界检测结果，再进一步拼接融合得到融合的边界检测结果；

S3，将包含多尺度信息的特征图进行多尺度信息提取后与包含边界信息的特征进行拼接得到显著性目标检测结果；

S4，利用显著目标检测结果、每一级边界检测结果，融合的边界检测结果以及对应的训练集训练显著性目标检测模型直至满足收敛条件，利用训练完成的显著性目标检测模型进行目标检测；

进一步的，步骤S1中卷积神经网络采用在ImageNet上训练完成的ResNet-50作为网络的主干，移除最后的池化层和全连接层，得到五个不同尺寸的特征图。

进一步的，采用在ImageNet上训练完成的ResNet-50作为网络的主干形成的网络结构包括多级特征聚合模块，多尺度信息提取模块和边界信息提取模块。

进一步的，通过上采样或池化保持尺寸一致，相互之间元素相加进行信息补充，再将信息得到补充后的特征进行聚合，得到五个不同尺寸的多级聚合特征图，可以提高特征的表达能力。

进一步的，使用不同空洞率的空洞卷积进行采样，通过不同的感受野获得不同尺度的信息，提高网络模型面对尺度变化目标的检测能力。

进一步的，在每一次的逐级融合特征过程中，在不同尺寸的特征上多次进行多尺度信息提取，进一步融合多尺度信息。

进一步的，使用逐级融合特征作为输入，对每一级特征进行边界检测，可以提取出目标的边界信息，进一步细化网络的显著性目标检测结果；

进一步的，训练过程使用损失函数，并在损失反向传播时进行参数调整。

进一步的，损失函数包括显著性目标检测损失和显著性边界检测损失，其中显著性目标检测损失用于指导显著性目标像素点的正确分类，显著性边界检测损失用于指导显著性目标边界区域像素点的正确分类。

进一步的，显著性目标检测的损失包括针对单个像素的交叉熵损失BCE和针对整个图像的一致性增强损失CEL，可以使得检测结果更加均匀高亮。

与现有技术相比，本发明具有以下有益的技术效果：

本发明一种基于边界增强的显著性目标检测方法，从训练集图像中提取不同分辨率的抽象特征图，对抽象特征图进行多级融合得到多级融合特征图，对多级融合特征图进行处理得到包含多尺度信息的特征图；以视觉显著性图像数据为输入，通过卷积神经网络对显著性目标区域进行预测，解决显著性目标检测任务中尺度变化和边界区域像素模糊的问题,通过使用不同分辨率的特征信息相互进行补充，进一步加强单一分辨率特征的表达能力；使用多尺度特征提取，从固定分辨率特征中提取不同尺度的信息，更好的解决目标尺度变化的问题；使用边界提取建模显著性边界，提取边界信息后进一步补充显著性目标特征信息，一定程度上解决边界像素不清晰的问题，得到最终的显著性目标预测,使用一种混合损失函数，从不同层面监督模型训练，以更加均匀高亮的突出显著性目标区域。

进一步的，采用多级特征聚合，使得不同尺度的特征相互聚合，增强固定尺度特征的表达能力。

进一步的，通过多尺度信息提取，从固定尺度的特征中提取出多尺度信息，增强网络模型对目标尺寸变化大的场景的检测能力。

进一步的，提取出显著性目标的边界信息后对显著性目标进行补充，进一步提升模型预测的质量。

进一步的，显著性目标检测的损失由二值交叉熵损失和一致性增强损失组成，尤其是一致性增强损失从整个图像层面进行监督，一方面可以使得损失函数更加侧重于前景，另一方面可以使得损失免受尺度变化的干扰，从而提高显著性目标检测效果。

附图说明

图1是本发明实施例中边界增强的显著性目标检测方法的实现流程图。

图2是本发明实施例中边界增强的显著性目标检测模型的网络结构图。

图3是本发明实施例中多级特征聚合模块内部结构图。

图4是本发明实施例中多尺度信息提取模块内部结构图。

图5是本发明实施例中边界信息提取模块内部结构图。

图6是本发明实施例中边界增强的显著性目标检测模型的检测效果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面结合附图对本发明做进一步详细描述：

如图1所示，一种基于边界增强的显著性目标检测方法，包括以下步骤；

S1，从训练集图像中提取不同分辨率的抽象特征图，对抽象特征图进行多级融合得到多级融合特征图，对多级融合特征图进行处理得到包含多尺度信息的特征图

S2，将得到的包含多尺度信息的特征图进行信息转化后进行拼接融合，得到包含边界信息的特征，同时利用每一级转换后的特征得到一个边界检测结果，再进一步拼接融合得到融合的边界检测结果；

S3，将包含多尺度信息的特征图进行多尺度信息提取后与包含边界信息的特征进行拼接得到显著性目标检测结果；

S4，利用显著目标检测结果、每一级边界检测结果，融合的边界检测结果以及对应的训练集训练显著性目标检测模型直至满足收敛条件，利用训练完成的显著性目标检测模型进行目标检测；

本申请采用公开数据作为数据集，将数据集分为训练集和测试集。

网络结构设计如图2所示，在特征提取阶段：卷积神经网络采用在ImageNet上训练完成的ResNet-50作为网络的主干，移除最后的池化层和全连接层，输入图像输入到主干网络经过五组卷积操作后提取到了五个不同级别的抽象特征图F1-F5，尺寸分别为输入的1/2、1/4、1/8、1/16、1/32，通道数分别为64、256、512、1024、2048，从F1到F5低级细节信息不断减少，高级语义信息逐渐增多。

多级特征聚合模块如图3所示，分为互补和聚合两个阶段，从F

式中：F′

第二阶段是特征聚合阶段S

式中：特征之间以逐元素相加的方式进行融合。与互补阶段相同，MF

反向逐级特征融合从顶层MF5，先对MF5进行多尺度信息提取，将包含多尺度信息的特征上采样为原尺寸的2倍，后面跟着一个1×1的卷积操作用来降低通道维度和特征MF4保持一致，可以将两个特征进行逐元素相加；另外在特征图元素相加之后，还附加了一个3×3的卷积操作用于进一步融合；这样按照此方式依次进行，最终不同尺度的多级聚合特征M1、M2、M3、M4、M5逐级融合完成，分别得到了四个逐级融合特征h1、h2、h3、h4。

多尺度信息提取模块如图4所示，具体来说，给定一个输入的特征h，在前向过程中，特征首先通过空洞率分别为2，4，8的空洞卷积提取出含有不同尺度信息的特征sh

式中：Conv

边界信息提取模块如图5所示，解码器中产生的4个逐级融合特征h

EF＝EdgeInfo(Concat(Up(eh

式中：EdgeInfo(·)表示边界特征聚合模块；EF表示聚合多级信息的显著性边界特征，可用于下一步和显著性目标特征进行融合。

训练过程中，使用反向传播策略优化网络的参数，使用损失函数帮助训练，训练过程中所使用的损失函数根据任务的不同一共分为两类：显著性边界检测损失和显著目标检测损失，训练过程中总的损失函数公式表示如下：

Loss＝L

式中：λ

由于边界像素的高度稀疏性，边界像素的数量和非边界像素的数量高度不平衡，因此使用平衡二叉熵损失来监督显著边界学习过程，可以解决像素不平衡的问题。平衡二叉熵损失公式表达如下：

式中：β是非边界像素数量占所有像素数量的比例。

显著性目标检测损失函数由两种侧重点不同的损失函数组合而成，包含针对单个像素点的二值交叉熵损失和针对前景区域的一致性增强损失，总的损失表示如下：

L

二值交叉熵损失在显著目标检测任务中是用的最多的损失函数，该损失是像素级别的损失，在所有像素上达到收敛，公式表示所示：

式中：P代表显著性目标预测图；p代表P中的一个像素点；G代表真值图；g代表G中的一个像素点；log(·)像素级别的对数操作。

一致性增强损失是一个图像级别的损失，一方面可以使得损失函数更加侧重于前景，另一方面可以使得损失免受尺度变化的干扰。一致性增强损失函数公式表达如下：

式中：P代表显著性目标预测图；p代表预测图中的像素点。

本发明一种基于边界增强的显著性目标检测方法，针对显著性数据集，该方法可以解决视觉场景中目标尺寸变化大，显著目标边界区域预测模糊和区域内部像素不均匀的问题。

在网络传输层中插入了多聚特征聚合模块，通过聚合相邻层不同分别率的特征信息来增强固定分辨率特征的表达能力。

在网络解码器的每一级中插入了多尺度信息提取模块，通过对每一级特征进行多尺度信息提取，增强网络面对目标尺寸变化较大的场景的能力。

基于逐级融合特征，使用边界提取模块检测显著性目标的边界，将边界特征与显著性目标特征进行融合，增强网络模型在边界区域的检测效果。

对显著性目标检测任务使用混合损失函数，从像素级和图像级两个层面进行监督，促进梯度的回传，加强模型收敛，进一步提升模型训练效果；

本申请在四组公开的显著检测数据集上取得了具有竞争性的Fmax和MAE结果，性能优于几种流行的显著性目标检测方法。

实施例

一种基于边界增强的显著性目标检测方法，包括以下步骤：

S1，采用四组公开显著性数据集作为实验数据集。具体工作流程如下：

(1.1)、采用最大的数据集的训练集部分作为模型的训练集，最大数据集的测试集和其他三种数据集都用作测试集；

(1.2)、图像数据集在输入到网络训练之前进行随机水平翻转来实现数据扩充。

S2，使用特征提取网络提取不同分辨率和不同通道数量的抽象特征图。具体工作流程如下：

(2.1)、移除ResNet50网络最后的池化层和全连接层，只保留其余的网络结构；

(2.2)、将步骤(1.2)处理后的数据以都以(N,C,H,W)的维度输入ResNet50特征提取网络中，得到五组不同分辨率和通道数的抽象特征图。

S3，使用多级特征聚合模块增强编码器提取出的特征的表达能力，如图所示。具体工作流程如下：

(3.1)、将(2.2)中提取出来的抽象特征图进行卷积处理改变通道数，将所有的特征的通道数保持一致；

(3.2)、使用(3.1)得到的特征相互之间进行补充，具体来说在相邻层之间，将低分辨率的特征上采样后和高分辨率特征进行元素融合，将高分辨率特征进行池化操作后和低分辨率特征进行元素融合，不同分辨率的特征之间相互补充；

(3.3)、将(3.2)中得到的相互补充后的特征进行聚合，具体来说对于每一级特征，若存在更高级特征则使用更高一级特征进行上采样后和其进行元素相加，若存在更低级特征则将更低一级特征进行池化后和其进行元素相加，对于(2.2)中的每一级特征得到一个对应的聚合后的特征，可以增强固定分辨率特征的表达能力。

S4，使用多尺度信息提取模块从固定特征中提取多尺度信息，增强网络对不同尺度目标的检测能力。具体工作流程如下：

(4.1)、自顶向下将(3.3)中提取出来的多级聚合特征并行输入到三个分支中，三个分支分别以2、4和8不同空洞率的卷积进行采样，使用一个残差操作将原特征和这些采样后的特征进行元素相加；

(4.2)、对(4.1)中提取到的包含多尺度信息的特征进行上采样，和(3.3)中对应的聚会特征进行元素相加，再经过一个3×3卷积得到逐级融合后的特征。

S5，使用边界信息提取模块从逐级融合特征中提取显著性边界信息，进一步补充显著性目标信息，增强网络的检测效果。具体工作流程如下：

(5.1)、将(4.2)中得到的特征进行信息转换得到包含边界信息的特征图；

(5.2)、将(5.1)中得到的特征经过1×1卷积降低通道维度为1，再经过上采样得到边界输出，将多个边界输出进行融合得到融合边界输出；

(5.3)、将(5.1)中的边界特征上采样后沿着通道进行拼接，再经过边界聚合模块进一步融合和改变通道数得到边界特征。

S6，将边界信息和目标信息进行融合，得到最终的显著性预测。具体工作流程如下：

(6.1)、对(4.2)中最后一个特征再次进行多尺度信息提取，因为是最底层，所以不需要和横向特征进行元素相加；

(6.2)、将(5.3)的边界特征和(6.1)中得到的特征沿通道进行拼接，再进一步卷积融合，经过通道变换和上采样得到最终的显著性预测图。

S7，采用上述得到的边界检测结果、目标检测结果以及对应的训练集图像训练目标检测模型：训练过程中使用二值交叉熵损失，一致性增强损失和平衡二值交叉熵损失来促进梯度回传，加强模型收敛，进一步提升训练效果。

S8，对于训练好的显著性目标检测模型，将测试图像作为输入，得到显著性目标检测的结果，如图6所示。具体工作流程如下：

(8.1)、对于步骤S7所述的显著性目标检测模型，将步骤(1.1)所述的测试集作为输入，得到显著性检测的结果；

(8.2)、对于步骤(8.1)所述的显著性目标检测模型的检测结果与实际显著性目标真值图进行对比，步骤(8.1)所述的显著性目标检测模型取得了极好的检测效果，在四种数据集上的Fmax、MAE和Em指标上表现都非常好，如图所示。