一种基于关系网络的少样本图像分类方法

技术领域

本发明属于图像分类技术领域，尤其是涉及一种基于关系网络的少样本图像分类方法。

背景技术

近年来，目标分类作为计算机视觉领域中一个重要的分支，受到广大来自工业界和学术界研究者的关注。受益于深度学习技术的快速发展，有监督的目标分类任务取得了很大的进展，但同时，这种监督条件下的训练方法存在一些限制，即在有监督分类中，每个类都需要足够的带有标签的训练样本。然而，在实际应用中，每个类可能没有足够的训练样本，标注图片数据需要一定的专业知识且往往会花费大量的人力。

少样本图像分类的目标是学习一种关于图像分类机器学习模型，使得其在学习了一定类别的大量数据的图像分类任务后，对于新的图像类别，只需要少量的样本就能进行快速分类的方法。少样本图像分类方法已经成为机器学习领域中一个快速发展的方向，并已经在医学影像、卫星图片和一些稀有物种的分类问题上获得一定成果。

目前最新进展的少样本图像分类方法，不再用一个单一的特征向量对整张图像进行全局的特征表示，而是学习基于局部特征符的特征表示，这种特征表示尽可能地保留了各个局部信息。该推导方法的流程为：输入一张图像，模型在第一阶段推导出图像多个局部特征向量，用一个局部特征向量集合来表示；在第二阶段使用各种基于度量学习的方法来衡量查询图像和由少量样本所组成的支持图像之间的距离。例如，2019年收录于国际计算机视觉与模式识别会议(The Conference on Computer Vision and PatternRecognition)上的文章《Revisiting Local Descriptor based Image-to-Class Measurefor Few-shot Learning》提出的DN4模型，使用一种基于朴素贝叶斯最近邻的度量方法来聚合查询图像各个局部特征表示的与支持图像集的相似度度量值。2019年国际计算机视觉与模式识别会议(The Conference on Computer Vision and Pattern Recognition)上收录的《Dense classification and implanting for few-shot learning》提出了一种稠密分类的方法，对于图像各个局部特征表示进行分类预测并将它们的预测值进行平均得到整个图像的分类预测结果。2020年国际计算机视觉与模式识别会议(The Conference onComputer Vision and Pattern Recognition)上收录的《DeepEMD:Few-Shot ImageClassification with Differentiable Earth Mover’s Distance》文章提出将图像拆分成多个图块，引入一种推土机距离作为图块间的距离度量方法，计算查询图像和支持图像的各个图块之间的最佳匹配代价来表示两者之间的相似度。

少样本图像分类除了使用图像的局部特征表示之外，近年来的一些最新工作往往也涉及到子空间学习方法。例如，2019年国际机器学习大会(Internation Conference onMachine Learning)上的一篇名为《Tapnet:Neural network augmented with task-adaptive projection for few-shot learning》的文章提出的TapNet模型学习特定于任务的子空间投影，并使用基于子空间映射后查询图像特征及支持图像特征之间的距离投影进行分类。2020年国际计算机视觉与模式识别会议(The Conference on Computer Visionand Pattern Recognition)上，一篇名为《Adaptive subspaces for few-shot learning》的文章提出了一种基于每个类中的几个少学习特定于类的子空间，并使用查询图像到各个类子空间的投影的距离进行分类。

发明内容

本发明提供了一种基于关系网络的少样本图像分类方法，可以理解为对查询图像的局部特征集合与支持图像的局部特征集合建立一个双向附属的关系网络，着重考虑查询图像和支持图像的局部特征之间的深层关联性，从而实现更好的少样本图像分类。

一种基于关系网络的少样本图像分类方法，包括以下步骤：

(1)构建深层神经网络模型，使查询图像和支持图像在进行前向推导时，得到局部特征集合表示；

(2)构建查询图像的局部特征集合q和支持图像所有类的局部特征集合S的双向附属关系网络；

(3)利用双向附属关系网络的图中心性计算查询图像和各支持图像之间的关联程度；

(4)训练时，将少样本训练数据集划分成多个少样本图像分类任务，对于每个少样本分类任务中的查询图像和支持图像集，重复步骤(2)-(3)，

根据与各个支持图像的类别之间的关联性计算少样本图像分类的概率，使用负对数似然函数作为损失函数进行深层神经网络模型的参数训练；

(5)测试时，对于每一个少样本分类任务中的查询图像和支持图像集，按照步骤(2)-(3)，计算查询图像集中的图像分类成各个支持图像所属的类别的概率，选取概率最大的类作为图像的分类预测。

本发明所提出的基于关系网络的少样本图像分类方法，是一种新颖的根据关系网络中心性进行分类的算法。相比之前的方法，本方法考虑了关系网络中查询图像特征与支持图像局部特征之间的深层的双向关联性，而不仅仅是简单地单向使用查询图像的局部特征在支持图像集中找最接近的局部特征，或是单独对每个局部特征进行概率预测。

步骤(1)的具体过程为：

使用预训练的深层神经网络模型提取查询图像输入x的深层视觉特征θ∈R

使用同一个深层神经网络模型提取来自类c第k张支持图像输入

步骤(2)的具体过程如下：

(2-1)首先构建支持图像集中所有类的局部特征集合S：

其中，N是一个少样本分类任务中所有类的数量；

(2-2)对于查询图像的任一局部特征q∈q，计算它到集合S中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，

(2-3)将(2-2)中每个q∈q与每个s∈S之间的关系使用矩阵形式表示：

P

其中，P

(2-4)对于支持图像的任一局部特征s∈S，计算它到集合q中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，

(2-5)将(2-4)中每个s∈S与每个q∈q之间的关系使用矩阵形式表示：

P

其中，P

(2-6)构建双向附属关系网络，节点和节点间的连接矩阵可以表示为

其中，连接矩阵P的大小为(NM+M)×(NM+M)；局部特征集S中的节点与局部特征集S中的节点互相之间没有连接，局部特征集q中的节点与局部特征集q中的节点互相之间没有连接，使用零矩阵表示；局部特征集q中的节点连接到局部特征集S的有向连接边上的权值反映在子矩阵P

步骤(3)的具体过程为：

(3-1)对于步骤(2)构建的双向附属关系网络，计算该图网络的Katz中心性：

x

其中，I是大小为(NM+M)×(NM+M)的单位矩阵，e是长度为NM+M的每个元素均为1的列向量；计算得到的Katz中心性向量x

(3-2)根据Katz中心性向量x

其中，

步骤(4)的具体过程为：

(4-1)数据准备过程中，对于N类每个类有K个样本的少样本分类任务，将训练数据集随机采样成E个少样本任务组成的集合

网络训练过程中，每一个少样本任务包括N×K个支持图像集

(4-2)训练过程中，对于每一个少样本任务中的图像

其中，δ(y

步骤(5)的具体过程为：

(5-1)测试数据准备过程中，将测试数据集按照类似步骤(4-1)随机采样成E′个少样本测试任务组成的集合

其中，D

(5-2)测试预测阶段，对于每一个少样本任务中的图像

(5-3)测试评估阶段，如果步骤(5-3)中计算得到的

本发明所提出的基于关系网络的少样本图像分类方法，具有少样本图像分类方法的所有优点，并且充分考虑了查询图像的局部特征与支持图像集的局部特征的深层关系，使得基于局部特征分类的少样本分类方法的准确率大大提高。

本发明还构建了一种基于关系网络的少样本图像分类系统，包括计算机系统，所述计算机系统包括：

视觉特征模块，利用卷积神经网络，捕捉输入图像的深度视觉特征；

关系网络模块，基于局部视觉特征构建双向附属关系网络；

分类预测模块，利用关系网络的图网络中心性进行少样本图像分类；

分类生成模块，用于在模型分类完毕之后，对外输出分类结果。

与现有技术相比，本发明具有以下有益效果：

1、本发明提出的双向附属关系网络算法，通过挖掘查询图像的局部特征与支持图像集的局部特征的深层关系，提高基于局部特征分类的少样本图像分类方法的准确性。

2、本发明通过大量实验证明，展示了优于其他基准线算法的模型性能。从实验证明了模型的优越性。

附图说明

图1为本发明方法的整体框架示意图；

图2位本发明系统的具体模块流程示意图；

图3位本发明实施例中可视化一组少样本分类任务局部特征的中心性的热度图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明的主模型分为视觉特征模块、关系网络模块、分类预测模块，并将最后的概率预测用于整个模块的优化过程。具体步骤如下：

(a)视觉特征模块为少样本图像分类训练过程中学习输入图像x的深度视觉特征θ,基本步骤如下：

(a-1)少样本图像分类任务中的第i个任务中的查询图像首先裁剪缩放为84×84大小的图像x

(a-2)对于查询图像x

(a-3)对来自支持集中类别为c的第k张支持的图像输入

(b)关系网络模块根据图像的局部特征构建双向的附属关系网络，挖掘局部特征之间的关联性，基本步骤如下：

(b-1)构建支持图像集中所有类的局部特征集合S：

其中，N是一个少样本分类任务中的支持图像集的类别数。

(b-2)对于查询图像局部特征集q中的每一局部特征q，计算它到集合S中的每个局部特征的随机游走概率函数：

其中exp(·)表示指数函数，

(b-3)将步骤(b-2)中每个q∈q与每个s∈S之间的关系使用矩阵形式表示：

P

其中，P

(b-4)对于支持图像局部特征集S的每一局部特征s，计算它到集合q中的每个局部特征的随机游走概率函数：

其中，exp(·)表示指数函数，

(b-5)将步骤(b-4)中每个s∈S与每个q∈q之间的关系使用矩阵形式表示：

P

其中，P

(b-6)构建双向附属关系网络，网络由NM+M个局部特征节点组成，节点和节点间的连接矩阵可以表示为

其中，连接矩阵P的大小为(NM+M)×(NM+M)；局部特征集S中的节点与局部特征集S中的节点互相之间没有连接，局部特征集q中的节点与局部特征集q中的节点互相之间没有连接，使用零矩阵表示；局部特征集q中的节点连接到局部特征集S的有向连接边上的权值反映在子矩阵P

(c)分类预测模块为少样本图像分类过程提供分类概率计算功能，基本步骤如下：

(c-1)对于步骤(b-6)构建的双向附属关系网络，计算该图网络的Katz中心性(其中Katz中心性的衰减可调节参数为α)：

X

其中I是大小为(NM+M)×(NM+M)的单位矩阵，e是长度为NM+M的每个元素均为1的列向量。计算得到的Katz中心性向量x

(c-2)根据关系图网络的Katz中心性向量x

其中，

基于关系网络的少样本图像分类方法的训练步骤如下：

1.关于N类K支持样本的少样本图像分类任务，以随机采样的方式在标准分类训练数据集中初始化E个少样本任务组成的训练数据集

2.选取一个少样本任务中的图像

3.使用基于负对数似然函数来最大化分类概率，具体的损失函数L的计算公式为：

其中，δ(y

4.采用梯度下降法重复上述第2-3步骤，训练视觉特征模块的参数。

基于关系网络的少样本图像分类方法的样本分类步骤如下：

1.对于输入查询图像x

2.将各类别的概率进行排序，选择支持图像集中分类概率最高的类作为该查询图像的预测类。

如图2所示，一种基于关系网络的少样本分类系统，共分为四大模块，分别是视觉特征模块，关系网络模块，分类预测模块，以及分类生成模块。

下面将上述方法应用于下列实施例中，以体现本发明的技术效果，实施例中具体步骤不再赘述。

本实施例在两个大型公开数据集miniImageNet，tieredImageNet上与其他目前最前沿的少样本图像分类方法进行对比。miniImageNet是少样本图像分类任务中最著名的评估数据集，包含来自大规模图像数据集ImageNet中随机选择的100个类别，每个类别600张图像；在miniImageNet上，64个类别用来训练少样本分类神经网络，16个类用来交叉验证网络的鲁棒性，20个类用来评估网络的泛化能力。tieredImageNet同miniImageNet一样，也是大规模图像数据集ImageNet的一个子集，同miniImageNet相比，它包含了更广泛的类别；其中来自20个大类的351个自类用于训练，来自6个大类的97个子类用于交叉验证，来自8个大类的160个子类的图片用于测试；在tieredImageNet这个具有挑战性的数据集中，训练、交叉验证、测试集之间的信息重叠部分非常小。本实施例的评判指标为在测试集中随机采样10000个N类每个类K个样本下的少样本分类任务(包括N＝5,K＝1和N＝5,K＝5两种情况)的平均分类准确率，总共比较了在视觉特征模块中分别使用两大少样本分类主流神经网络(Conv4和ResNet12)下5个目前主流的少样本图像分类算法，整体对比结果如表1和表2所示。

表1视觉特征模块中以Conv4为骨架网络的分类结果(N＝5)

表2视觉特征模块中以ResNet12为骨架网络的分类结果(N＝5)

从表1和表2可以看出，本发明提出的基于关系网络的少样本图像分类框架，在各大评判指标下均获得最优效果，充分展示了本发明算法的优越性。

为了进一步说明本发明所提出的算法的确是通过根据关系网络的中心性进行分类，即越处于关系网络中心的局部视觉特征所属的类越有可能是正确的查询图像的类别，本发明可视化了一组少样本分类任务局部特征的中心性的热度图，结果见图3。可以看到查询图像的正确预测类别的局部特征往往有较高的热度图。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。