图像分类方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像分类方法、装置、设备及存储介质。

背景技术

图像分类是指根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法，在现有技术中，图像分类可以通过大量图像样本的训练，以实现找到图像之间的区别特征，进而实现较好的测试图像的分类，但是此种方法会受到训练样本数量的影响，在面对小样本图像的图像分类问题时，训练样本数据中分类标记信息较少，导致有效训练样本难以获取，导致图像分类结果不准确。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是相关技术。

发明内容

本发明的主要目的在于提供一种图像分类方法、装置、设备及存储介质，旨在解决现有技术中小样本图像分类缺少有效标记训练样本，导致图像分类结果不准确的技术问题。

为实现上述目的，本发明提供了一种图像分类方法，所述方法包括以下步骤：

在接收到图像分类请求时，根据所述图像分类请求确定待分类图像；

对所述待分类图像进行图像划分，获得支持集图像与查询集图像；

将所述支持集图像与所述查询集图像通过预设图像分类模型进行图像分类，获得图像类别信息。

可选地，所述将所述支持集图像与所述查询集图像通过预设图像分类模型进行图像分类，获得图像类别信息，包括：

获取所述支持集图像对应的目标支持集类别中心与所述查询集图像对应的查询集类别中心；

根据所述目标支持集类别中心与所述查询集类别中心确定余弦相似度；

将所述余弦相似度通过预设概率预测模型进行概率预测，获得概率预测结果；

根据所述概率预测结果确定图像类别信息。

可选地，所述获取所述支持集图像对应的目标支持集类别中心与所述查询集图像对应的查询集类别中心，包括：

确定待输入支持集图像的类别数量与图像数量；

根据所述类别数量与所述图像数量提取所述支持集图像中的目标支持集图像；

将所述目标支持集图像通过预设特征提取模型进行特征提取，获得目标支持集特征图像；

通过预设中心计算模型确定所述目标支持集特征图像的目标支持集类别中心；

将所述查询集图像通过预设特征提取模型进行特征提取，获得查询集特征图像；

通过预设中心计算模型确定所述查询集特征图像的查询集类别中心。

可选地，所述通过预设中心计算模型确定所述目标支持集特征图像的目标支持集类别中心，包括：

根据所述类别数量与所述目标支持集特征图像通过预设中心计算模型确定初始支持集类别中心；

基于所述类别数量与所述初始支持集类别中心确定类间原形；

根据所述类间原形与目标权重信息更新所述初始支持集类别中心，获得目标支持集类别中心。

可选地，所述根据所述类间原形与目标权重信息更新所述初始支持集类别中心，获得目标支持集类别中心之前，还包括：

获取初始权重，并根据预设阈值确定目标增益值；

根据所述目标增益值与预设权重更新策略生成标准差参数；

基于所述初始权重与所述标准差参数生成权重映射表；

根据所述类间原形从所述权重映射表中查询对应的目标权重信息。

可选地，所述将所述余弦相似度通过预设概率预测模型进行概率预测，获得概率预测结果，包括：

获取类别标签，并根据所述类别标签提取所述余弦相似度中对应的目标余弦相似度；

通过预设概率预测模型对目标余弦相似度进行概率预测，获得概率预测结果。

可选地，所述将所述支持集图像与所述查询集图像通过预设图像分类模型进行图像分类，获得图像类别信息之前，还包括：

获取训练集图像样本，并根据所述训练集图像样本确定第一训练集图像样本与第二训练集图像样本；

将所述第一训练集图像样本与所述第二训练集图像样本通过初始神经网络模型进行模型训练，获得预设图像分类模型。

此外，为实现上述目的，本发明还提出一种图像分类装置，所述图像分类装置包括：

分类请求模块，用于在接收到图像分类请求时，根据所述图像分类请求确定待分类图像；

图像划分模块，用于对所述待分类图像进行图像划分，获得支持集图像与查询集图像；

图像分类模块，用于将所述支持集图像与所述查询集图像通过预设图像分类模型进行图像分类，获得图像类别信息。

此外，为实现上述目的，本发明还提出一种图像分类设备，所述图像分类设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像分类程序，所述图像分类程序配置为实现如上文所述的图像分类方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像分类程序，所述图像分类程序被处理器执行时实现如上文所述的图像分类方法的步骤。

本发明公开了一种图像分类方法，所述图像分类方法包括：在接收到图像分类请求时，根据所述图像分类请求确定待分类图像；对所述待分类图像进行图像划分，获得支持集图像与查询集图像；将所述支持集图像与所述查询集图像通过预设图像分类模型进行图像分类，获得图像类别信息，与现有技术中通过大量训练样本以实现模型训练相比，本发明通过将待分类图像分为支持集与查询集，根据支持集与查询集通过预设图像分类模型得到图像分类结果，并将其互相验证，以提高图像分类结果准确率，避免了现有技术中小样本图像分类缺少有效标记训练样本，导致图像分类结果不准确的技术问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的图像分类设备的结构示意图；

图2为本发明图像分类方法第一实施例的流程示意图；

图3为本发明图像分类方法一实施例的模型训练流程示意图；

图4为本发明图像分类方法第二实施例的流程示意图；

图5为本发明图像分类装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像分类设备结构示意图。

如图1所示，该图像分类设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对图像分类设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像分类程序。

在图1所示的图像分类设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明图像分类设备中的处理器1001、存储器1005可以设置在图像分类设备中，所述图像分类设备通过处理器1001调用存储器1005中存储的图像分类程序，并执行本发明实施例提供的图像分类方法。

本发明实施例提供了一种图像分类方法，参照图2，图2为本发明一种图像分类方法第一实施例的流程示意图。

本实施例中，所述图像分类方法包括以下步骤：

步骤S10：在接收到图像分类请求时，根据所述图像分类请求确定待分类图像。

需要说明的是，本实施例方法的执行主体可以是具有图像传输与数据处理的图像分类设备，其中，图像分类设备可以是电脑、服务器以及控制计算机等设备，还可以是其他具有相同或者相似功能的设备，本实施例对此不做具体限制，在本实施例以及下述实施例中，将会以服务器为例进行说明。

可以理解的是，图像分类请求是指用户输入的用于进行图像分类的操作指令，其中，图像分类请求中包括需要进行图像分类的待分类图像。

步骤S20：对所述待分类图像进行图像划分，获得支持集图像与查询集图像。

应当理解的是，支持及图像与查询集图像是通过将待分类图像按照预设比例进行划分的图像，其中预设比例可以是7:3，本实施例对此不做具体限制。

在具体实现中，在进行图像分类时，待分类图像可以按照情景任务的形式进行图像分类，在一个分类任务中，待分类图像可能包括多张图像且包括多个图像类别。

步骤S30：将所述支持集图像与所述查询集图像通过预设图像分类模型进行图像分类，获得图像类别信息。

应当理解的是，预设图像分类模型用于根据支持集图像与查询集图像进行图像类别的划分，其中，预设图像分类模型可以是预先训练好的神经网络模型。

在具体实现中，在进行图像分类时，可以采用多次模型验证(episodes)的方式进行图像分类，即将待分类图像分为支持集与查询集，根据支持集与查询集通过预设图像分类模型得到图像分类结果，并将其对应的分类结果互相验证，以提高图像分类结果的准确性。

进一步地，为了获得预设图像分类模型还需要预先进行模型训练，即所述步骤S30之前，还包括：

获取训练集图像样本，并根据所述训练集图像样本确定第一训练集图像样本与第二训练集图像样本；

将所述第一训练集图像样本与所述第二训练集图像样本通过初始神经网络模型进行模型训练，获得预设图像分类模型。

应当理解的是，第一训练集图像样本用于确定预测得到的类别中心，即第一训练集图像样本可以为支持集图像样本；第二训练集图像样本用于确定真实类别中心，即第二训练集图像样本可以为查询集图像样本。

在具体实现中，在训练神经网络模型时，可以采用多次模型验证(episodes)的方式进行神经网络的训练，其中，主要是通过将训练集图像样本按照预设比例划分为第一训练集图像样本与第二训练集图像样本，通过将所述第一训练集图像样本与所述第二训练集图像样本通过初始神经网络模型进行模型训练，获得预设图像分类模型。

在具体实现中，参考图3，图3为模型训练流程图，以episodes的训练模式进行神经网络的训练。将用于训练的图像划分为支持集和查询集；将每个任务支持集的每个类别选出k个图像输入特征提取网络得到特征图；将图像特征映射到特征空间并计算类别质心，再计算出类间原形；通过神经网络不断学习更新权重，用每次学习到的权重更新类别质心；计算相似度得到预测值，寻找最大的预测值对应的类别标签。

本实施例公开了一种图像分类方法，所述图像分类方法包括：在接收到图像分类请求时，根据所述图像分类请求确定待分类图像；对所述待分类图像进行图像划分，获得支持集图像与查询集图像；将所述支持集图像与所述查询集图像通过预设图像分类模型进行图像分类，获得图像类别信息，本实施例通过将待分类图像分为支持集与查询集，根据支持集与查询集通过预设图像分类模型得到图像分类结果，并将其互相验证，以提高图像分类结果准确率，避免了现有技术中小样本图像分类缺少有效标记训练样本，导致图像分类结果不准确的技术问题。

参考图4，图4为本发明一种图像分类方法第二实施例的流程示意图。

基于上述第一实施例，在本实施例中，所述步骤S30，包括：

步骤S301：获取所述支持集图像对应的目标支持集类别中心与所述查询集图像对应的查询集类别中心。

需要说明的是，目标支持集类别中心是指输入至预设图像分类模型的支持集映射在特征空间中的预测类别中心位置；查询集类别中心是指查询集映射在特征空间中的实际类别中心位置。

进一步地，为了获得预测得到的目标支持集类别中心位置与实际的查询集类别中心位置，所述步骤S301，包括：

确定待输入支持集图像的类别数量与图像数量；

根据所述类别数量与所述图像数量提取所述支持集图像中的目标支持集图像；

将所述目标支持集图像通过预设特征提取模型进行特征提取，获得目标支持集特征图像；

通过预设中心计算模型确定所述目标支持集特征图像的目标支持集类别中心；

将所述查询集图像通过预设特征提取模型进行特征提取，获得查询集特征图像；

通过预设中心计算模型确定所述查询集特征图像的查询集类别中心。

可以理解的是，待输入支持集图像的类别数量与图像数量用于确定episode分类模式的参数信息，其中，每个episode分类模型的设置为N-way K-shot，即N个类别，每个类别都有K个图像，例如：类别数量为5，图像数量为10，则需要从支持集中确定5个类别，每个类别都有10个，一共50张支持集图像。

此外，目标支持集图像是指根据设置好的类别数量与图像数量选定的支持集图像。

需要说明的是，预设特征提取模型可以是基于transformer的特征提取网络模型，还可以是其他具有相同或者相似功能的网络模型，本实施例对此不做具体限制。

此外，预设中心计算模型用于确定图像在特征空间中的中心位置，其中，预设中心计算模型可以是通过torch.mean()算法的模型，本实施例对此不做具体限制。

在具体实现中，通过先确定支持集图像，并基于N-way K-shot的情景训练模式，将支持集图像输入至特征提取网络中，获得支持集特征图像，再通过torch.mean()的方法分别找到支持集样本类别在特征空间中的中心位置，其中，由于可能目标支持集图像存在多个类别，因此在进行中心位置映射时，可以找到每个类别对应的目标类别中心位置，同理，还可以将查询集图像通过特征提取并确定在特征空间中的类别中心位置。

进一步地，通过预设中心计算模型获得的支持集类别中心位置，还需要进一步地进行修正，所述通过预设中心计算模型确定所述目标支持集特征图像的目标支持集类别中心，包括：

根据所述类别数量与所述目标支持集特征图像通过预设中心计算模型确定初始支持集类别中心；

基于所述类别数量与所述初始支持集类别中心确定类间原形；

根据所述类间原形与目标权重信息更新所述初始支持集类别中心，获得目标支持集类别中心。

值得说明的是，根据所述类别数量与目标支持集特征图像获取类别中心位置的公式为：

其中，S

可以理解的是，类间原型是指每个类别之间的共同特征，其中，在本实施例中，获取目标支持集图像对应类别的类间原型的公式为：

其中，

应当说明的是，由于类间原型是不同类别中心的共同特征，且在不同的类别中心的比例或者贡献不同，因此，可以通过N个初始类别中心的基础上添加目标权重信息乘以对应的类间质心的值，以更新N个初始类别中心，更新所述初始类别中心的公式为：

其中，c表示更新后的类别中心，即目标类别中心，W表示的是权重，

在具体实现中，通过设定类别数量N与图像数量K确定目标支持集图像，再根据目标支持集图像计算图像的类别中心，然后找到这N个中心具有的共同属性，得到类别之间的公共特征，即类间原型，由于类间原型在N个类别中的“贡献”不同，就在N个类中心的基础上添加权重乘以类间质心的值，以更新N个类别中心，获得目标支持集类别中心，即预测的类别中心。

此外，通过预测目标支持集图像的目标支持集类别中心，可以使不同类别间的距离增大，更有利于分类。

进一步地，为了获得目标权重信息，所述根据所述类间原形与目标权重信息更新所述初始支持集类别中心，获得目标支持集类别中心的步骤之前，还包括：

获取初始权重，并根据预设阈值确定目标增益值；

根据所述目标增益值与预设权重更新策略生成标准差参数；

基于所述初始权重与所述标准差参数生成权重映射表；

根据所述类间原形从所述权重映射表中查询对应的目标权重信息。

需要说明的是，目标权重信息的参数初始化服从正态分布N(0,std

其中，std是标准差，gain表示增益值，fan_mode表示通过神经网络的训练更新权重时的模式，包括但是不限于根据前向传播更新和反向传播更新，本实施例对此不做具体限制。

可以理解的是，权重增益值的获取公式为：

其中，gain的参数a在使用ReLU激活函数时为0。

步骤S302：根据所述目标支持集类别中心与所述查询集类别中心确定余弦相似度。

可以理解的是，余弦相似度是指支持集图像对应的目标支持集类别中心与查询集图像对应的查询集类别中心在特征空间中的余弦接近程度，选取相似度最大的作为查询样本最接近的类别，获取余弦相似度的公式为：

其中，A表示目标支持集图像对应的目标支持集类别中心，B表示查询集图像对应的查询集类别中心。

在具体实现中，余弦相似度向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量，余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，类别也就越相似，且余弦相似度更注重类别中心的方向上的变化，相比于现有技术而言，效果更好。

步骤S303：将所述余弦相似度通过预设概率预测模型进行概率预测，获得概率预测结果。

需要说明的是，概率预测结果是指支持集图像类别与查询集图像类别相同的概率，概率最大的值对应标签即为查询样本的类别。

进一步地，所述步骤S303，包括：

获取类别标签，并根据所述类别标签提取所述余弦相似度中对应的目标余弦相似度；

通过预设概率预测模型对目标余弦相似度进行概率预测，获得概率预测结果。

可以理解的是，类别标签是指查询集样本中图像的类别。

此外，概率预测模型可以是基于softmax函数的概率预测模型，其中，概率预测的公式为：

其中，e

步骤S304：根据所述概率预测结果确定图像类别信息。

在具体实现中，计算更新后的N个类别中心与查询样本的余弦相似度，选取相似度最大的作为查询样本最接近的类别，概率最大的值对应标签即为查询样本的准确类别。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像分类程序，所述图像分类程序被处理器执行时实现如上文所述的图像分类方法的步骤。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参照图5，图5为本发明图像分类装置第一实施例的结构框图。

如图5所示，本发明实施例提出的图像分类装置包括：

分类请求模块10，用于在接收到图像分类请求时，根据所述图像分类请求确定待分类图像。

图像划分模块20，用于对所述待分类图像进行图像划分，获得支持集图像与查询集图像。

图像分类模块30，用于将所述支持集图像与所述查询集图像通过预设图像分类模型进行图像分类，获得图像类别信息。

本实施例公开了一种图像分类方法，所述图像分类方法包括：在接收到图像分类请求时，根据所述图像分类请求确定待分类图像；对所述待分类图像进行图像划分，获得支持集图像与查询集图像；将所述支持集图像与所述查询集图像通过预设图像分类模型进行图像分类，获得图像类别信息，本实施例通过将待分类图像分为支持集与查询集，根据支持集与查询集通过预设图像分类模型得到图像分类结果，并将其互相验证，以提高图像分类结果准确率，避免了现有技术中小样本图像分类缺少有效标记训练样本，导致图像分类结果不准确的技术问题。

在一实施例中，所述图像分类模块30，还用于获取所述支持集图像对应的目标支持集类别中心与所述查询集图像对应的查询集类别中心；根据所述目标支持集类别中心与所述查询集类别中心确定余弦相似度；将所述余弦相似度通过预设概率预测模型进行概率预测，获得概率预测结果；根据所述概率预测结果确定图像类别信息。

在一实施例中，所述图像分类模块30，还用于确定待输入支持集图像的类别数量与图像数量；根据所述类别数量与所述图像数量提取所述支持集图像中的目标支持集图像；将所述目标支持集图像通过预设特征提取模型进行特征提取，获得目标支持集特征图像；通过预设中心计算模型确定所述目标支持集特征图像的目标支持集类别中心；将所述查询集图像通过预设特征提取模型进行特征提取，获得查询集特征图像；通过预设中心计算模型确定所述查询集特征图像的查询集类别中心。

在一实施例中，所述图像分类模块30，还用于根据所述类别数量与所述目标支持集特征图像通过预设中心计算模型确定初始类别中心；基于所述类别数量与所述初始类别中心确定类间原形；根据所述类间原形与目标权重信息更新所述初始类别中心，获得目标类别中心。

在一实施例中，所述图像分类模块30，还用于获取初始权重，并根据预设阈值确定目标增益值；根据所述目标增益值与预设权重更新策略生成标准差参数；基于所述初始权重与所述标准差参数生成权重映射表；根据所述类间原形从所述权重映射表中查询对应的目标权重信息。

在一实施例中，所述图像分类模块30，还用于获取类别标签，并根据所述类别标签提取所述余弦相似度中对应的目标余弦相似度；通过预设概率预测模型对目标余弦相似度进行概率预测，获得概率预测结果。

在一实施例中，所述图像分类模块30，还用于获取训练集图像样本，并根据所述训练集图像样本确定第一训练集图像样本与第二训练集图像样本；将所述第一训练集图像样本与所述第二训练集图像样本通过初始神经网络模型进行模型训练，获得预设图像分类模型。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的图像分类方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。