一种基于全局和局部特征关联分析的少样本图像分类方法

技术领域

本文件涉及图像分类领域，尤其涉及一种基于全局和局部特征关联分析的少样本图像分类方法。

背景技术

近年来，深度学习在计算视觉领域中发挥了重要作用，但深度学习模型通常需要大量数据训练，人类却只需要少量样本就能够物体识别，因此研究人员开始进行少样本学习技术的研究，即训练一个具有良好泛化能力的模型，使其在很少样本的情况下能够处理分类任务。

相关技术中，现有少样本学习技术基于局部特征的度量学习法，通过度量支撑图像样本和查询图像样本之间的局部特征，实现少样本分类中的语义特征对齐，但上述技术方案存在以下缺陷：局部特征可能包含于背景相关局部特征，这些背景相关局部特征包含一定噪声干扰信息，会对分类结果产生负面影响。

综合以上该技术领域发展状况分析，现有的技术中缺少剔除背景相关局部特征带来负面影响的方案。

发明内容

本发明的目的在于提供一种基于全局和局部特征关联分析的少样本图像分类方法，旨在解决现有技术中的上述问题。

根据本公开实施例的第一方面，提供一种少样本图像模型的建立方法，包括：

步骤1，初始化卷积神经网络模型参数，将包含查询集图像和支撑集图像的少样本训练任务输入到卷积神经网络模型中，得到查询集和支撑集中每张训练图像的原始全局特征和原始局部特征集；

步骤2，分别计算查询集和支撑集中各类训练图像的原始全局特征和原始局部特征集的相关系数；

步骤3，使用自适应阈值法将原始局部特征集里的局部特征划分为背景相关局部特征和类相关局部特征，使用自定义缩放函数调整背景相关局部特征和类相关局部特征的相关系数；通过注意力公式对相关系数进行调整，得到注意力权重矩阵并根据注意力权重矩阵对原始局部特征集赋予权重，得到含有少量背景信息的局部特征集；

步骤4，对各类图像对应的含有少量背景信息的局部特征集进行多尺度平均池化和拼接，得到最终查询图像局部特征集和最终支撑图像局部特征集；

步骤5，计算最终查询图像局部特征集和最终支撑图像局部特征集的相似度得分，将各相似度得分输入多层感知机得到相似概率分数，依次利用softmax函数和交叉熵损失函数计算损失，并更新卷积神经网络模型参数；

步骤6，使用多个少样本训练任务重复执行步骤1至步骤5，保留分类效果最好的卷积神经网络模型的参数，得到少样本图像分类模型；

步骤7，使用少样本图像分类模型对新查询集图像进行分类。

本发明实施例提供的技术方案包括以下有益效果：在少样本图像分类模型建立的过程中，将原始局部特征包含的特征分为背景相关特征和类相关特征，调整计算不同类局部特征的重要程度，减少了背景相关局部特征对分类结果的负面影响，多次训练使少样本图像分类模型的建立更加准确。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的少样本图像分类模型的建立方法的流程图；

图2是本发明实施例的少样本图像分类模型框架的示意图；

图3是本发明实施例的特征划分及自定义缩放的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

方法实施例

根据本发明实施例，提供了一种少样本图像分类模型的建立方法，图1是本发明实施例的少样本图像分类模型的建立方法的流程图，如图1所示，根据本发明实施例的少样本图像分类模型的建立方法具体包括：

在步骤S110中，初始化卷积神经网络模型参数，将包含查询集图像和支撑集图像的少样本训练任务输入到卷积神经网络模型中，得到各自对应的原始全局特征和原始局部特征集。具体包括：

将查询集图像和支撑集图像输入到卷积神经网络中，使用卷积神经网络提取图像的特征张量，将特征张量并行经过卷积层、激活函数及最大池化层处理，得到每张图像对应的原始全局特征和原始局部特征集，其中，原始局部特征集包括多个局部特征。

在步骤S120中，分别计算查询集和支撑集中各类训练图像的原始全局特征和原始局部特征集的相关系数。具体包括：

分别计算查询集和支撑集中各类训练图像的原始全局特征和原始局部特征集的相关系数。使用公式1计算相关系数：

式中，

在步骤S130中，使用自适应阈值法将原始局部特征集里的局部特征划分为背景相关局部特征和类相关局部特征，使用自定义缩放函数调整背景相关局部特征和类相关局部特征的相关系数；通过注意力公式对相关系数进行调整，得到注意力权重矩阵并根据注意力权重矩阵对原始局部特征集赋予权重，得到含有少量背景信息的局部特征集。具体包括：

使用公式2定义阈值表达式，使用公式3调整背景相关特征和类相关特征计算的重要程度，使用公式4的注意力公式得到注意力权重矩阵，根据注意力权重矩阵对对应训练图像的局部特征集赋予权重，得到含有少量背景信息的局部特征集，含有少量背景信息的局部特征集的样本特征如公式5所示：

式中，∈表示定义的阈值，

在步骤S140中，对各类图像对应的含有少量背景信息的局部特征集进行多尺度平均池化和拼接，得到最终查询图像局部特征集和最终支撑图像局部特征集。具体包括：

分别将查询图像和支撑图像对应的含有少量背景信息的局部特征集输入到多个不同维度的平均池化层中，在不同维度的平均池化层进行平均池化处理，得到不同维度池化后特征集；将不同维度池化后特征集和含有少量背景信息的局部特征集组合，得到各自对应的最终查询图像局部特征集和最终支撑图像局部特征集，使用公式6获得池化后特征集：

式中，将含有少量背景信息的局部特征集

在步骤S150中，计算最终查询图像局部特征集与最终支撑图像局部特征集的相似度得分，将查询图像局部特征集的相似度得分输入多层感知机得到最终相似分数，再利用softmax函数得到相似概率；使用交叉熵损失及梯度下降算法更新卷积神经网络模型的网络参数。具体包括：

计算最终查询图像局部特征集和最终支撑图像局部特征集的相似度得分，将各相似度得分输入多层感知机自适应学习相似度得分的重要性，得到最终相似分数。使用公式7、公式8、公式9计算相似度得分，使用公式10得到相似概率：

P＝softmax(MLP(R))公式10；

式中，cos( )表示余弦函数，topk( )表示选取，sum( )表示相加余弦相似度得分；R表示相似度得分，

在本实施例中计算最终查询图像局部特征集与最终支撑图像局部特征集的相似度得分；针对最终查询集图像局部特征集的每个局部特征，在最终支撑图像局部特征集中选取p个相似度得分最高的局部特征，并将选取出来的得分相加作为该查询图像局部特征的相似度得分。

在步骤S160中，使用多个训练任务重复执行步骤S110至步骤S150，保留分类效果最好的卷积神经网络模型的参数，得到建立好的少样本图像分类模型。

在步骤S170中，使用少样本图像分类模型对新查询集图像进行分类。

综上所述，针对现状存在的问题，本次发明一种基于全局和局部特征关联分析的少样本图像分类方法，在少样本图像分类模型建立的过程中，将原始局部特征集包含的局部特征分为背景相关局部特征和类相关局部特征，调整各局部特征的重要程度，更新相关系数矩阵得到含有少量背景信息的局部特征集，减少了背景相关特征对分类结果造成的的负面影响；将含有少量背景信息的局部特征集输入不同维度平均池化层并得到多个不同尺度的池化后局部特征集，再将池化后局部特征集合含有少量背景信息的局部特征集进行拼接得到最终局部特征集，提高了特征表达能力，获得了丰富的局部特征集；使用多组训练任务训练卷积神经网络模型，使少样本图像分类模型的建立更加准确。

结合以下附图，对本发明实施例的上述技术方案进行举例说明。

图2是本发明实施例的少样本图像分类模型框架的示意图，如图2所示，展示了少样本图像分类模型的建立过程，包括通过查询集图像及其对应的一组支撑集图像完成一次卷积神经网络的训练，区分每张图像对应的背景相关局部特征和类相关局部特征并调整各自计算的重要程度，更新计算权重得到注意力区分权重矩阵，计算最终查询图像局部特征集和最终支撑图像相似度得分，得到相似概率的过程。图3是本发明实施例的特征划分及自定义缩放的示意图，如图3所示，展示了使用自适应阈值法区分背景相关局部特征集和类相关局部特征集，以及使用自定义缩放函数调整相关系数的具体细节。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。