一种图像显著性检测方法、系统、终端及可读存储介质

技术领域

本发明属于图像处理领域，涉及一种图像显著性检测方法、系统、终端及可读存储介质。

背景技术

在当今信息时代，图像数据中存储了大量人们感兴趣的信息，人类视觉通过迅速扫描图像全局，获得自己感兴趣或是需要重点关注的目标区域，这也就是寻找注意力焦点的过程，之后对得到的目标区域投入更多的自我精力与资源，以获得更多想要关注的细节信息，这也从一方面抑制了无用信息的表达。而对于计算机来说，为了识别图像中的显著区域，从而引入了显著性检测这一概念，显著性检测是通过模拟人类的视觉选择注意力机制，建立一种可以使计算机拥有人类视觉注意选择能力的数学模型，由此来捕获各个场景中最重要、最有利用价值的目标区域，它是图像处理前的一项重要准备工作。

显著性检测算法是当前计算机视觉领域的研究热点之一。其中，在无监督显著性检测方法中，流型排序算法及其变种具有重要的研究价值和理论意义。标准的基于流型排序的显著性检测算法，首先将图像分割成超像素节点，之后从中提取特征以简便后续运算。由于临近节点可能有相似的显著性值，所以使用k-regular来利用空间关系，同时强制使图像四边的节点是联通的，最终形成一个闭环图。该算法将显著性检测建模为流型排序问题，并使用两阶段方案。在第一阶段，利用边界先验，将图像每一侧的节点作为标记的背景查询种子。根据每个标记的结果，基于节点与作为背景查询种子的相关性来计算节点的显著性，然后将得到的四个标记图进行整合生成显著图。在第二阶段，对第一阶段得到的显著图进行二值分割，并将其作为标记的前景种子，基于每个节点与前景查询种子的相关性来计算每个节点的显著性，得到最终的显著性图。传统的基于流型排序计算数据特征邻接关系矩阵的方法主要是通过人工设置对函数参数敏感的函数集来计算邻接关系矩阵上任意两个图像元素之间的相似度，构建的邻接关系矩阵与流型排序任务相互独立，相关超参数也通过经验指定，因此无法有效揭示从不同图像元素中提取的特征向量之间的潜在相关信息，准确率较低。

发明内容

本发明的目的在于针对上述现有技术中显著性检测方法准确率较低的问题，提供一种图像显著性检测方法、系统、终端及可读存储介质，能够明显提升显著图检测的准确性。

为了实现上述目的，本发明有如下的技术方案：

一种图像显著性检测方法，包括以下步骤：

第一阶段：将输入图像的每个超像素节点中提取出不同特征视图进行联合优化，具体的，分别将图像四条边上的节点作为标记的背景查询种子，求解每个特征视图对应的邻接关系矩阵W及其权重，得到融合邻接关系矩阵S，求解四个背景查询种子对应的四个流型排序向量f的最优解，将其进行归一化并取补码后进行融合，得到超像素节点排序值，完成初步的显著图求解；

第二阶段：将第一阶段生成的初步的显著图进行二值化之后作为前景查询向量，通过融合邻接关系矩阵S与流型排序算法相结合求解最终的显著图。

作为本发明图像显著性检测方法的一种优选方案，所述的第一阶段先将输入图像通过SLIC聚类分成n个超像素节点，然后从每个超像素节点中提取几种不同特征视图。

作为本发明图像显著性检测方法的一种优选方案，所述第一阶段的损失函数如下：

其中，X代表特征视图；d

作为本发明图像显著性检测方法的一种优选方案，所述第一阶段的联合优化指迭代优化，采用如下优化公式求解第一阶段每个节点的流型排序值：

其中，I为n*n的单位矩阵，其中n为输入图像的超像素节点个数；L

作为本发明图像显著性检测方法的一种优选方案，第一阶段四个流型排序向量f归一化并取补码后进行融合得到f′作为第二阶段的指标向量，流型排序算法的计算式如下：

f

式中，S为第一阶段的融合邻接关系矩阵，D是S的对角矩阵，f

作为本发明图像显著性检测方法的一种优选方案，所述第二阶段最终的显著图由最终流型排序值f

本发明还提供一种图像显著性检测系统，包括：

初步显著图求解模块，用于将输入图像的每个超像素节点中提取出不同特征视图进行联合优化，包括分别将图像四条边上的节点作为标记的背景查询种子，求解每个特征视图对应的邻接关系矩阵W及其权重，得到融合邻接关系矩阵S，求解四个背景查询种子对应的四个流型排序向量f的最优解，将其进行归一化并取补码后进行融合，得到超像素节点排序值，完成初步的显著图求解；

最终显著图求解模块，用于将初步的显著图进行二值化之后作为前景查询向量，通过融合邻接关系矩阵S与流型排序算法相结合求解最终的显著图。

本发明同时提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时实现所述图像显著性检测方法的步骤。

本发明同时提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述图像显著性检测方法的步骤。

相较于现有技术，本发明至少具有如下的有益效果：本发明使用了一种基于多视图图像数据的无监督学习方法计算某一特征空间下数据对应的邻接关系矩阵，解决了传统方法无法有效揭示不同图像元素中提取特征向量之间潜在相关信息的问题。此外，样本之间的相似性可能会通过不同的视图得到不同的体现，现有方法主要通过计算多个视图邻接矩阵的平均值来获得一致性邻接矩阵，这类方法没有考虑所有视图对应的邻接矩阵在不同任务或数据集上所起到的不同作用，因此，丰富的异构信息没有得到充分利用。本发明在图融合过程中对图进行动态加权，有效地减小了噪声图的不利影响，同时，在优化图的过程中根据多个特征视图与背景查询向量联合优化出每个节点的流型排序值。本发明采用了自适应多图融合与流型排序相结合的方法来提高显著性检测的准确率，同时将输入图像表达成超像素向量，再从中提取多个特征来进行后续计算，加快了显著性检测的运算速度。

附图说明

图1为本发明图像显著性检测方法的流程框架图；

图2为本发明实施例原始的输入图像；

图3为本发明实施例第一阶段输出的显著图；

图4为本发明实施例第二阶段输出的显著图；

图5为本发明实施例原始输入图像对应的真值图。

图6为本发明与其他现有算法在MSRA-1000数据集上对应的P-R曲线图；

图7为本发明与其他现有算法在SOD数据集上对应的P-R曲线图；

图8为本发明与其他现有算法在PASCAL-S数据集上对应的P-R曲线图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

参见图1，本发明图像显著性检测方法包括以下步骤：

以图2所示的对象为例进行说明。首先将如图2所示的输入图像通过简单线性迭代聚类(SLIC)分成n个超像素，然后从每个超像素节点中提取几种不同特征视图。第一阶段采用联合优化，分别将图像四条边上的节点作为标记的背景查询种子，根据每个标记结果，基于背景查询向量与线性图学习框架求解每个特征视图对应的邻接关系矩阵W及其权重、再通过优化方法利用多视图对应的W得到融合邻接关系矩阵S，并同时求解四个背景查询对应的四个流型排序向量f的最优解，之后将其进行归一化并取补码后进行融合得到最终的超像素节点排序值，由此可以完成第一阶段的显著图求解，初步的显著图如图3所示。其中的融合邻接关系矩阵S是通过学习一组权重参数以区分不同图W对融合结果的贡献得到的。第二阶段将第一阶段生成的显著图二值化后作为前景查询向量，通过融合的邻接关系矩阵S与流型排序算法相结合求解最终的显著图，最终的显著图如图4所示。

第一阶段的损失函数如下：

式中，X代表特征视图；W代表视图对应的邻接关系矩阵；S代表W融合后的融合邻接关系矩阵；d

联合迭代优化过程中，采用如下优化公式求解第一阶段每个节点的流型排序值：

其中，I为n*n的单位矩阵，其中n为输入图像的超像素节点个数；L

第一阶段四个流型排序向量f归一化并取补码后进行融合得到f′作为第二阶段的指标向量，并使用标准流型排序公式计算f

f

式中，S为第一阶段的融合邻接关系矩阵，D是S的对角矩阵，f

将最终流型排序值f

为了解决构建的邻接关系矩阵可能无法揭示从不同图像元素中提取的特征向量之间的本质相关性的问题，本发明使用了一种基于图像数据自表示的无监督学习方法来学习每个视图对应的邻接关系矩阵。除此之外，本发明在图融合过程中对图进行动态加权，有效地减小了噪声图的不利影响，同时在优化图的过程中根据多个特征视图与背景查询向量联合优化出每个节点的流型排序值，使得显著性检测的准确率得到了提升。本发明采用在第一阶段联合迭代求解的方式，来求解高质量的融合邻接关系矩阵，从而提升显著结果图的质量。对比参见图4与图5可以看到，本发明最终得到的显著图与真值图非常的接近。

表1是本发明基于自适应多图融合与流型排序的图像显著性检测方法在公开数据集上的部分对比实验结果。在表1中第一行是本发明的方法在不同数据集上的AUC结果值，第二行是算法GR：Graph-Regularized Saliency Detection With Convex-Hull-BasedCenter Prior在不同数据集上的AUC结果值，第三行是算法MR：Saliency Detection viaGraph-Based Manifold Ranking在不同数据集上的AUC结果值，第四行是算法WMR：Saliency detection via affinity graph learning and weighted manifold ranking在不同数据集上的AUC结果值。

表1

作为评估指标之一的AUC值被定义为ROC曲线下的面积，通过数值的形式可以更准确的判断算法性能。通常，AUC值越大，表明算法的效果越好。表1中展示了几种算法在3种数据集上的AUC值，可以看出本发明在几种数据集上的AUC值均高于其它算法。结合参见图6，图7与图8，在三种具有挑战性的数据集上，本发明与其他现有算法相比，在查全率同等的情况下有更高的查准率，而在查准率固定时，本发明的查全率效果更好。

综上，本发明的检测性能更佳，可以在有效抑制背景的同时尽可能多的检测出显著物体。

本发明还提供一种图像显著性检测系统，包括：

初步显著图求解模块，用于将输入图像的每个超像素节点中提取出不同特征视图进行联合优化，包括分别将图像四条边上的节点作为标记的背景查询种子，求解每个特征视图对应的邻接关系矩阵W及其权重，得到融合邻接关系矩阵S，求解四个背景查询种子对应的四个流型排序向量f的最优解，将其进行归一化并取补码后进行融合，得到超像素节点排序值，完成初步的显著图求解；

最终显著图求解模块，用于将初步的显著图进行二值化之后作为前景查询向量，通过融合邻接关系矩阵S与流型排序算法相结合求解最终的显著图。

本发明同时提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时实现所述图像显著性检测方法的步骤。

本发明同时提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述图像显著性检测方法的步骤。

所述的计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明的图像显著性检测方法。

所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，也可以是处理器、存储器。处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。存储器可用于存储计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现图像显著性检测系统的各种功能。

以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换，这些修改和替换也均属于权利要求书所涵盖的保护范围之内。