一种基于微调及自我评估的小样本分割方法及装置

技术领域

本发明涉及深度学习和计算机视觉技术领域，尤其涉及一种基于微调及自我评估的小样本分割方法及装置。

背景技术

随着深度学习的发展，卷积神经网络在语义分割任务方面取得了巨大进展。然而，训练这样的卷积神经网络需要大量密集标记的数据，而这些数据总是很难获得。尽管半监督学习可以缓解这个问题，但它仍然需要大量的弱标记或未标记数据。相反，依赖于强大的知识背景，人类可以通过观察有限的标记数据来轻松识别新的类别。受此启发，许多研究人员专注于如何使卷积神经网络在仅有少量标记数据的情况下识别新类别，该领域称为小样本学习。

小样本分割作为小样本学习在分割任务中的应用，专注于在仅有少量有标记数据的情况下，分割新类别的目标区域。现有的大多数小样本分割研究是基于元学习范式。现有方法通过有标签的支持图像获得类别原型，用于激活无标签的查询特征，然后通过解码器获取目标查询图像的分割结果。然而，由于系统的参数是在训练阶段获得的，因此系统将偏向于训练中使用的类别，而不是目标新类别，这导致系统对新类别的分割准确率较低。如果在训练结束后使用新类别的支持图像来微调系统，可以部分缓解这种问题，但这将使系统偏向支持图像而不是目标查询图像，尤其是当支持图像和查询图像之间存在很大差异时，系统将难以对目标查询图像做出高质量的分割。这就是现有方法中存在的问题。

发明内容

为缓解上述问题，本发明提出一种基于微调及自我评估的小样本分割方法及装置，该方法在小样本分割系统训练完成后，在新类别的目标查询图像上进一步优化系统参数，使系统更适应目标查询图像，从而获得更高质量的目标查询图像的分割结果。该发明将系统最终输出的概率图二值化为查询图像的伪标签，在微调过程中通过伪标签计算查询损失，以优化系统参数，这可以使系统参数偏向于目标查询图像。然而，由于伪标签存在误差，仅使用这种微调策略可能会导致误差累积，从而获得更差的分割结果。因此，我们创造性地提出了一种自我评估机制来找到使系统参数达到最优的微调轮次，并将该轮次的查询伪标签作为最终的分割结果，从而缓解误差积累。

本发明的技术方案如下：一种基于微调及自我评估的小样本分割方法，基于一种小样本分割系统实现；所述小样本分割系统包括编码模块、原型生成模块和特征激活模块，三者依次连接；

S1、将已有数据划分为支持集和查询集，采用传统元训练方式对小样本分割系统进行训练，得到训练好的初始小样本分割系统参数；

S2、分别输入有支持标签的支持图像和无标签的目标查询图像至所述编码模块中，分别获得支持特征和查询特征；支持特征和支持标签输入至所述原型生成模块获取支持原型；支持原型在所述特征激活模块中激活所述查询特征，得到小样本分割系统输出的查询概率图，经二值化后得到初始查询伪标签；

S3、依据所述初始查询伪标签和编码模块输出的查询特征，通过所述原型生成模块获取查询原型，所述支持原型和查询原型加权平均，获取总原型，通过总原型在特征激活模块中再次激活所述查询特征，更新查询概率图，经二值化后得到更新的查询伪标签；

S4、根据更新的查询伪标签和更新的查询概率图，计算损失，调整编码模块和特征激活模块的参数；

S5、多次重复所述S2、S3和S4过程，直至达到设定的调整次数；

S7，小样本分割系统在每轮调整后进行自我评估，查询原型通过特征激活模块激活支持特征，得到小样本分割系统输出的支持概率图，经二值化后得到支持伪标签，并与支持标签进行对比，根据小样本分割系统对支持图像的分割结果，确定小样本分割系统在哪一轮次达到最优，以该轮次的查询伪标签作为最终的查询图像分割结果。

所述编码模块用于提取图像特征，编码模块是在已有数据集上预训练的卷积神经网络，在步骤S1小样本分割系统训练过程，所述编码模块的参数固定，在小样本分割系统调整阶段，所述编码模块的参数进一步优化或调整。

所述原型生成模块不含有可训练的参数；原型生成模块通过对支持特征或查询特征进行掩码平均池化操作获取支持原型向量或查询原型向量，再对支持原型向量或查询原型向量进行扩张获取支持原型或查询原型；

p＝Exp(Map(f,m))，

其中，f为编码模块输出的支持特征或查询特征，m为支持标签或查询伪标签，Map()为掩码平均池化操作，Exp()为扩张操作，p为支持原型或查询原型。

所述特征激活模块包括可训练的卷积神经网络，卷积神经网络参数在小样本分割系统的训练和调整阶段均被优化；特征激活模块的输入为支持原型和查询特征，或查询原型和支持特征，输出为查询概率图或支持概率图。

所述损失为查询伪标签和查询概率图的交叉熵损失，通过自适应矩估计优化算法调整编码模块和特征激活模块的参数；所述交叉熵损失如下：

其中L为损失值，BCE()为二元交叉熵损失，

所述小样本分割系统对支持图像的分割结果具体如下：计算支持伪标签和支持标签的交并比；

其中IoU为交并比，TP表示支持伪标签和支持标签同为前景的像素数量，FN表示支持伪标签为背景、支持标签为前景的像素数量，FP表示支持伪标签为前景、支持标签为背景的像素数量。

一种基于微调及自我评估的小样本分割装置，包括：

图像采集设备，用于获取支持图像和查询图像；

存储器，用于存储支持图像、支持标签、查询图像、查询伪标签，分割结果以及小样本分割系统参数；

处理器，用于读取支持图像、支持标签、查询图像及查询伪标签，执行对应的计算机程序；当所述计算机程序被执行时，所述处理器用于：

载入初始小样本分割系统参数；

将有标签的支持图像和无标签的目标查询图像分别输入至所述编码模块中，获得支持特征和查询特征，根据支持特征和支持标签，通过所述原型生成模块获取支持原型，利用支持原型在所述特征激活模块激活查询特征，得到系统输出的查询概率图，经二值化后得到初始查询伪标签，并传输至存储器中；

依据所述初始查询伪标签和查询特征，通过所述原型生成模块获取查询原型，再将所述支持原型和查询原型加权平均，获取总原型，利用总原型在特征激活模块再次激活所述查询特征，从而更新查询概率图，经二值化后得到更新的查询伪标签，并传输至存储器中；

根据所述更新的查询伪标签和查询概率图，计算损失，调整编码模块和特征激活模块的参数；

多次重复调整编码模块和特征激活模块的参数，直至达到设定的调整次数；

小样本分割系统在每轮调整后进行自我评估，利用查询原型通过特征激活模块激活支持特征，得到小样本分割系统输出的支持概率图，经二值化后得到支持伪标签，并与支持标签进行对比，得到小样本分割系统对支持图像的分割结果，存储于存储器中，确定小样本分割系统达到最优的调整轮次，该轮次的查询伪标签作为最终的查询图像分割结果，并传输至存储器中。

本发明的有益效果：

1、本发明使用查询数据本身来微调系统，使系统更适应目标查询图像，缓解了现有系统存在的偏向训练中使用的类别或者支持图像的问题，可以提高系统对目标查询图像的分割精度。

2、本发明设计的自我评估方法可以评估系统在微调过程的哪一轮是最优的，可以防止微调过程中的误差积累导致结果精度降低的问题。

3、本发明相比于现有方法更加高效，能够更快速地适应新类别，微调过程仅需现有方法1％左右的时间成本和算力成本。

4、本发明使用初始查询伪标签和查询特征获取查询原型，并使其参与查询特征的激活，这样的自我激活方案能够缓解支持图像与查询图像差异较大时导致支持原型无法准确激活查询特征的问题，进一步提升系统对目标查询图像的分割精度。

附图说明

图1为本发明一种基于微调及自我评估的小样本分割方法的总流程图；

图2为本发明中查询伪标签和支持伪标签生成过程示意图；

图3为一种基于微调及自我评估的小样本分割装置示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，本发明公开了一种基于微调及自我评估的小样本分割系统，具体步骤如下：

S1，构建小样本分割系统，主要包含三个模块，具体如下：

1)编码模块：用于提取图像特征，该模块是在ImageNet1K数据集上预训练的卷积神经网络，并且在系统训练中不再进一步优化，即参数在系统训练过程中保持不变，但在系统微调阶段可以被进一步优化与微调；

2)原型生成模块：该模块不含有可训练的参数，该模块通过对编码模块获得的支持特征或查询特征进行掩码平均池化操作来获取支持或查询原型向量，再对支持或查询原型向量进行扩张获取支持或查询原型张量，该原型张量即为最终获得的原型，该过程用公式表示如下：

p＝Exp(Map(f,m))，

其中f为编码模块输出的支持或查询特征，m为支持标签或查询伪标签，Map()为掩码平均池化操作，Exp()为扩张操作，p即为支持或查询原型张量。

3)特征激活模块：该模块包含可训练的卷积神经网络，网络参数在训练和微调阶段都可以被优化，该模块的输入为支持原型张量和查询特征，或查询原型张量和支持特征，输出为相应的查询概率图或支持概率图。

S2，将已有数据划分为支持集和查询集，采用传统元训练方式对系统进行训练，得到训练好的初始系统参数。

S3，将有标签的支持图像和无标签的目标查询图像分别输入至所述编码模块中，获得支持特征和查询特征；然后根据支持特征和支持标签，通过所述原型生成模块获取支持原型；利用支持原型在所述特征激活模块激活查询特征，得到系统输出的查询概率图，经二值化后得到初始查询伪标签。

S4，依据所述初始查询伪标签和查询特征，通过所述原型生成模块获取查询原型；再将所述支持原型和查询原型加权平均，获取总原型，利用总原型在特征激活模块再次激活所述查询特征，从而更新查询概率图，经二值化后得到更新的查询伪标签。

S5，根据所述更新的查询伪标签和查询概率图，计算查询伪标签和查询概率图的交叉熵损失，并使用自适应矩估计优化算法，微调编码模块和特征激活模块的参数。损失用公式表示如下：

其中L为损失值，BCE()为二元交叉熵损失，

S6，对于所述微调后的编码模块和特征激活模块的参数，多次重复所述S3、S4和S5过程，实现系统的多次微调，直至达到设定的微调次数。

S7，系统在每轮微调后进行自我评估，利用查询原型通过特征激活模块激活支持特征，可得到系统输出的支持概率图，经二值化后得到支持伪标签，并与支持标签进行对比，评估系统对支持图像的分割结果，从而确定系统在哪一微调轮次达到最优，则将该轮次的查询伪标签作为最终的查询图像分割结果，具体的评估方式为：计算支持伪标签和支持标签的交并比，计算方法用公式表示为：

其中IoU为交并比，TP表示支持伪标签和支持标签同为前景的像素数量，FN表示支持伪标签为背景、支持标签为前景的像素数量，FP表示支持伪标签为前景、支持标签为背景的像素数量。

如图3所示，一种基于微调及自我评估的小样本分割装置，包括：

图像采集设备，用于获取支持图像和查询图像；

存储器，用于存储支持图像、支持标签、查询图像、查询伪标签，分割结果以及小样本分割系统参数；

处理器，用于读取支持图像、支持标签、查询图像及查询伪标签，执行对应的计算机程序；当所述计算机程序被执行时，所述处理器用于：

将初始系统参数载入系统中；

将有标签的支持图像和无标签的目标查询图像分别输入至所述编码模块中，获得支持特征和查询特征；然后根据支持特征和支持标签，通过所述原型生成模块获取支持原型；利用支持原型在所述特征激活模块激活查询特征，得到系统输出的查询概率图，经二值化后得到初始查询伪标签，并传输至存储器中；

依据所述初始查询伪标签和查询特征，通过所述原型生成模块获取查询原型；再将所述支持原型和查询原型加权平均，获取总原型，利用总原型在特征激活模块再次激活所述查询特征，从而更新查询概率图，经二值化后得到更新的查询伪标签，并传输至存储器中；

根据所述更新的查询伪标签和查询概率图，计算损失，从而微调编码模块和特征激活模块的参数；

对于所述微调后的编码模块和特征激活模块的参数，多次重复所述上述过程，实现系统的多次微调，直至达到设定的微调次数；

系统在每轮微调后进行自我评估，利用查询原型通过特征激活模块激活支持特征，可得到系统输出的支持概率图，经二值化后得到支持伪标签，并与支持标签进行对比，评估系统对支持图像的分割结果，从而确定系统在哪一微调轮次达到最优，则将该轮次的查询伪标签作为最终的查询图像分割结果，并传输至存储器中。

实验结果分析

本实施例在PASCAL-5

从表中可以看出，对于仅有一张支持图像的情况，PASCAL-5

参与对比的五种方案来源如下：

方案1：武汉工程大学.一种小样本语义分割方法及装置:CN202210436471.1[P].2022-05-24.

方案2：北京工业大学.基于记忆力机制的跨域小样本图像语义分割方法:CN202210707799.2[P].2022-11-18.

方案3：Z.Tian,H.Zhao,M.Shu,Z.Yang,R.Li,and J.Jia,“Prior Guided FeatureEnrichment Network for Few-Shot Segmentation”,IEEE Trans.PatternAnal.Mach.Intell.,vol.44,no.2,pp.1050--1065,Feb.2022.

方案4：J.Min,D.Kang,and M.Cho,“Hypercorrelation squeeze for few-shotsegmentation,”Proc.Int.Conf.Comput.Vis.(ICCV),2021,pp.6941--6952.

方案5：F.Qi,P.Wenjie,T.Yu-Wing,and T.Chi-Keung,“Self-Support Few-ShotSemantic Segmentation,”Proc.Eur.Conf.Comput.Vis.(ECCV),2022.

表1PASCAL-5

表2COCO-20

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。