一种基于类间关系的图像分类方法、装置、存储介质及终端

技术领域

本发明涉及机器学习技术领域，特别涉及一种基于类间关系的图像分类方法、装置、存储介质及终端。

背景技术

域自适应(Domain Adaptation)是迁移学习的一种，在机器学习中，当源域和目标域数据分布不同，但是两者的任务相同时，可以使用域自适应，将源域数据训练的精度较高的模型运用到数据较少的目标域中。

在现有的域自适应技术中，是闭集域自适应技术，难以将源域中的未知类别样本挑选出来进行模型训练，从而导致了负向迁移。负向迁移指的是算法将源域的图像分布与目标域的未知类别图像分布进行错误对齐导致的负面影响。由于这种负面影响，我们的模型效果就可能会下降，从而使得最终训练的模型对未知类别样本特征没有更高的判别力，无法高效识别出未知类别的图片。

发明内容

本申请实施例提供了一种基于类间关系的图像分类方法、装置、存储介质及终端。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

第一方面，本申请实施例提供了一种基于类间关系的图像分类方法，方法包括：

获取待识别目标图像；

将待识别目标图像输入预先训练的图像分类模型中；其中，预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的；

输出待识别目标图像对应的多个类别概率值，并将多个类别概率值中最大类别概率对应的类别确定为待识别目标图像的最终类别。

可选的，获取待识别目标图像之前，还包括：

构建图像分类模型，图像分类模型包括特征提取器以及C+K类分类器，C为已知图像类别的类别数量，K为未知图像类别的类别数量；

获取根据域自适应技术预先确定的源域图像数据和目标域图像数据；

将源域图像数据和目标域图像数据分别输入特征提取器中进行特征提取，生成源域图像特征和目标域图像特征；

将源域图像特征输入C+K类分类器中进行训练，生成预训练分类器；

根据目标域图像特征对目标域图像数据进行类间关系分离处理，生成已知图像类别样本和未知图像类别样本；

根据已知图像类别样本和未知图像类别样本生成预先训练的图像分类模型。

可选的，根据目标域图像特征对目标域图像数据进行类间关系分离处理，生成已知图像类别样本和未知图像类别样本，包括：

确定源域图像数据中每个已知图像类别，并计算每个已知图像类别的软标签原型；

将目标域图像特征输入C+K类分类器，得到目标域图像数据中每个图像样本的目标已知类别概率和目标已知类别；

根据每个图像样本的目标已知类别，并结合每个已知图像类别的软标签原型确定目标域图像数据中每个图像样本的软标签预测标识；

根据目标域图像数据中每个图像样本的目标已知类别概率和与其对应的软标签预测标识计算目标域图像数据中每个图像样本的目标距离；

根据目标域图像数据中每个图像样本的目标距离将目标域图像数据划分为已知图像类别样本和未知图像类别样本。

可选的，根据目标域图像数据中每个图像样本的目标距离将目标域图像数据划分为已知图像类别样本和未知图像类别样本，包括：

将目标域图像数据中每个图像样本的目标距离输入预设高斯均匀混合模型中，输出目标域图像数据中每个图像样本的目标未知概率；

根据每个图像样本的目标未知概率划分出大于预设概率的图像样本，得到目标域图像数据中未知图像类别样本；

根据每个图像样本的目标未知概率划分出小于等于预设概率的图像样本，得到目标域图像数据中已知图像类别样本。

可选的，根据已知图像类别样本和未知图像类别样本生成预先训练的图像分类模型，包括：

根据目标域图像数据中已知图像类别样本对预训练分类器进行域自适应训练；

根据目标域图像数据中未知图像类别样本对预训练分类器的K类进行自训练，以使图像分类模型能够识别未知类别的图像；

当训练后的输出参数符合预设参数时，生成预先训练的图像分类模型。

可选的，图像分类模型还包括域分辨器；

根据目标域图像数据中已知图像类别样本对预训练分类器进行域自适应训练，包括：

将目标域图像数据中已知图像类别样本的样本特征和源域已知样本特征输入域分辨器，并采用二元交叉熵损失进行对抗训练，以使特征提取器提取出域不变特征；

利用信息熵损失，并结合目标域图像数据中已知图像类别样本的样本特征和源域已知样本特征对特征提取器以及分类器进行训练。

可选的，根据目标域图像数据中未知图像类别样本对预训练分类器的K类进行自训练，包括：

将目标域图像特征再次输入C+K类分类器，输出K个未知类别的概率；

将K个未知类别的概率中最大概率值对应的未知类别确定为伪标签；

根据目标域图像数据中未知图像类别样本的样本特征、伪标签，并结合交叉熵损失函数对特征提取器以及分类器进行监督训练。

第二方面，本申请实施例提供了一种基于类间关系的图像分类装置，装置包括：

图像获取模块，用于获取待识别目标图像；

图像输入模块，用于将待识别目标图像输入预先训练的图像分类模型中；其中，预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的；

图中最终类别输出模块，输出待识别目标图像对应的多个类别概率值，并将多个类别概率值中最大类别概率对应的类别确定为待识别目标图像的最终类别。

第三方面，本申请实施例提供一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中，存储器存储有计算机程序，计算机程序适于由处理器加载并执行上述的方法步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，基于类间关系的图像分类装置首先获取待识别目标图像，然后将待识别目标图像输入预先训练的图像分类模型中；预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的，最后输出待识别目标图像对应的多个类别概率值，根据多个类别概率值确定待识别目标图像的最终类别。由于本申请充分利用了类间关系，能够有效的将未知类别图像从目标域图像数据中分离出来，解决了负向迁移问题，使域自适应技术在开集条件下也能工作，使得未知类别样本特征更具判别力，能高效地识别未知类别的图片。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请实施例提供的一种基于类间关系的图像分类方法的流程示意图；

图2是本申请实施例提供了一种图像分类模型训练方法的流程示意图；

图3是本申请实施例提供的一种对目标域样本进行类间关系分离处理的流程示意图；

图4是本申请实施例提供的一种域自适应训练流程示意图；

图5是本申请实施例提供的一种自训练过程示意图；

图6是本申请实施例提供的一种图像分类模型整体训练流程示意图；

图7是本申请实施例提供的一种基于类间关系的图像分类装置的结构示意图；

图8是本申请实施例提供的一种终端的结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请提供了一种基于类间关系的图像分类方法、装置、存储介质及终端，以解决上述相关技术问题中存在的问题。本申请提供的技术方案中，由于本申请充分利用了类间关系，能够有效的将未知类别图像从目标域图像数据中分离出来，解决了负向迁移问题，使域自适应技术在开集条件下也能工作，使得未知类别样本特征更具判别力，能高效地识别未知类别的图片，下面采用示例性的实施例进行详细说明。

下面将结合附图1-附图6，对本申请实施例提供的基于类间关系的图像分类方法进行详细介绍。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的基于类间关系的图像分类装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。

请参见图1，为本申请实施例提供了一种基于类间关系的图像分类方法的流程示意图。如图1所示，本申请实施例的方法可以包括以下步骤：

S101，获取待识别目标图像；

其中，待识别目标图像是用来测试预先训练的图像分类模型性能的图像，或者预先训练的图像分类模型应用在分类场景时接收到的图像。

通常，当待识别目标图像是用来测试预先训练的图像分类模型性能的图像时，待识别目标图像可以是从测试样本中获取的，也可以是从用户终端里获取到的图像，还可以是从云端下载到的图像。当待识别目标图像是预先训练的图像分类模型应用在分类应用场景时获取到的图像时，待识别的图像可以是通过图像采集设备实时采集的图像。

在一种可能的实现方式中，当图像分类模型训练完成后，并将训练完成的图像分类模型部署在实际应用场景时，物体传感器或者物体监测算法当检测到有物体进入摄像头监视区域后，触发图像采集摄像的拍照功能采集进入监视区域的目标图像，最后将目标图像确定为待识别目标图像。

在另一种可能的实现方式中，当图像分类模型训练后，需要检测训练完成的图像分类模型的的分类性能时，用户通过用户终端从样本测试集或者本地图库或者云端下载任何一个携带物体的图像，将该图像确定为待识别目标图像。

S102，将待识别目标图像输入预先训练的图像分类模型中；

其中，预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的；

在本申请实施例中，在生成预先训练的图像分类模型时，首先构建图像分类模型，图像分类模型包括特征提取器以及C+K类分类器，C为已知图像类别的类别数量，K为未知图像类别的类别数量，然后获取根据域自适应技术预先确定的源域图像数据和目标域图像数据，并将源域图像数据和目标域图像数据分别输入特征提取器中进行特征提取，生成源域图像特征和目标域图像特征，其次将源域图像特征输入C+K类分类器中进行训练，生成预训练分类器，并根据目标域图像特征对目标域图像数据进行类间关系分离处理，生成已知图像类别样本和未知图像类别样本，最后根据已知图像类别样本和未知图像类别样本生成预先训练的图像分类模型。

在一种可能的实现方式中，在确定出待识别目标图像后，可以将待识别目标图像输入到预先训练的图像分类模型中进行类别识别。

S103，输出待识别目标图像对应的多个类别概率值，并将多个类别概率值中最大类别概率对应的类别确定为待识别目标图像的最终类别。

在一种可能的实现方式中，在经过模型处理后，可输出待识别目标图像对应的多个类别概率值，多个类别概率值分别是该图像中目标对象属于模型中多个预设类别的可信值，将最大可信值的类别可以确定为待识别目标图像的最终类别。

在本申请实施例中，基于类间关系的图像分类装置首先获取待识别目标图像，然后将待识别目标图像输入预先训练的图像分类模型中；预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的，最后输出待识别目标图像对应的多个类别概率值，根据多个类别概率值确定待识别目标图像的最终类别。由于本申请充分利用了类间关系，能够有效的将未知类别图像从目标域图像数据中分离出来，解决了负向迁移问题，使域自适应技术在开集条件下也能工作，使得未知类别样本特征更具判别力，能高效地识别未知类别的图片。

请参见图2，为本申请实施例提供了一种图像分类模型训练方法的流程示意图。如图2所示，本申请实施例的方法可以包括以下步骤：

S201，构建图像分类模型；

其中，图像分类模型包括特征提取器以及C+K类分类器，C为已知图像类别的类别数量，K为未知图像类别的类别数量。

S202，获取根据域自适应技术预先确定的源域图像数据和目标域图像数据；

其中，域自适应(Domain Adaptation)是迁移学习的一种，在机器学习中，源域图像数据和目标域图像数据是需要提前确定的。即获取根据域自适应技术预先确定的源域图像数据和目标域图像数据。

S203，将源域图像数据和目标域图像数据分别输入特征提取器中进行特征提取，生成源域图像特征和目标域图像特征；

在本申请实施例中，在进行特征提取时，首先分别在源域图像数据和目标域图像数据中进行随机采样构成多批源域图像和多批目标域图像，然后将每批源域图像进行图像缩放、随机裁剪以及水平翻转，得到多批目标源域图像，最后将每批目标源域图像和每批目标域图像按批次输入卷积神经网络，得到源域图像特征和目标域图像特征。

例如特征提取器进行特征提取的步骤如下：

A1.图像输入：分别从源域

A2.预处理步骤：对图像进行增广处理：将源域图像缩放至256*256，并随机裁剪至224*224，最后进行随机水平翻转

A3.卷积神经网络抽取特征：将图像按批次输入卷积神经网络F

S204，将源域图像特征输入C+K类分类器中进行训练，生成预训练分类器；

在一种可能的实现方式中，在对分类器进行训练时，训练的过程如下：

A1.将步骤S203所得特征输入分类器G

A2.为了使后续对未知类建模更加安全高效，同时使用虚拟类损失进行训练：

其中，ω

S205，根据目标域图像特征对目标域图像数据进行类间关系分离处理，生成已知图像类别样本和未知图像类别样本；

在本申请实施例中，在根据目标域图像特征对目标域图像数据进行类间关系分离处理，生成已知图像类别样本和未知图像类别样本时，首先确定源域图像数据中每个已知图像类别，并计算每个已知图像类别的软标签原型，然后将目标域图像特征输入C+K类分类器，得到目标域图像数据中每个图像样本的目标已知类别概率和目标已知类别，再根据每个图像样本的目标已知类别，并结合每个已知图像类别的软标签原型确定目标域图像数据中每个图像样本的软标签预测标识，其次根据目标域图像数据中每个图像样本的目标已知类别概率和与其对应的软标签预测标识计算目标域图像数据中每个图像样本的目标距离，最后根据目标域图像数据中每个图像样本的目标距离将目标域图像数据划分为已知图像类别样本和未知图像类别样本。

具体的，在根据目标域图像数据中每个图像样本的目标距离将目标域图像数据划分为已知图像类别样本和未知图像类别样本时，首先将目标域图像数据中每个图像样本的目标距离输入预设高斯均匀混合模型中，输出目标域图像数据中每个图像样本的未知样本的目标未知概率，然后根据每个图像样本的目标未知概率划分出大于预设概率的图像样本，得到目标域图像数据中未知图像类别样本，最后根据每个图像样本的目标未知概率划分出小于等于预设概率的图像样本，得到目标域图像数据中已知图像类别样本。

在一种可能的实现方式中，例如图3所示，图3是对目标域样本进行类间关系分离处理的流程示意图，具体步骤如下：

B1.挖掘源域中已知类别的类间关系：通过生成每个已知类的软标签原型

B2.目标域样本相似度度量：将目标域每个样本特征通过C+K类分类器G

B3.相似度归一化模块：将B2所得相似度距离s

其中高斯混合模型为：

其中

其中高斯均匀混合模型的超参使用EM算法优化：

B4.未知样本分离模块：将B3所得的高斯均匀混合模型所得概率P(s

S206，根据已知图像类别样本和未知图像类别样本生成预先训练的图像分类模型。

在本申请实施例中，在根据已知图像类别样本和未知图像类别样本生成预先训练的图像分类模型时，首先根据目标域图像数据中已知图像类别样本对预训练分类器进行域自适应训练，然后根据目标域图像数据中未知图像类别样本对预训练分类器的K类进行自训练，以使图像分类模型能够识别未知类别的图像，最后当训练后的输出参数符合预设参数时，生成预先训练的图像分类模型。

具体的，图像分类模型还包括域分辨器；在根据目标域图像数据中已知图像类别样本对预训练分类器进行域自适应训练时，首先将目标域图像数据中已知图像类别样本的样本特征和源域已知样本特征输入域分辨器，并采用二元交叉熵损失进行对抗训练，以使特征提取器提取出域不变特征；其次利用信息熵损失，并结合目标域图像数据中已知图像类别样本的样本特征和源域已知样本特征对特征提取器以及分类器进行训练。

例如图4所示，图4是本申请提供的一种域自适应训练流程示意图，已知样本域自适应过程有如下步骤：

C1.将源域已知样本和目标域已知样本特征输入域判别器G

通过将目标域中的已知样本与源域中的已知样本通过域判别器进行对抗训练，使得特征提取层能够提取域不变特征，减少域间差异，另外使用信息熵使得判断更加准确。这样的训练使得分类器能够在目标域也能准确分类已知类C类。另外在梯度回传过程中，将会在特征提取器层反转梯度，使得域判别器和特征提取层有相反的梯度实现对抗训练。

C2.为进一步使目标域已知样本离决定边界更远，同时利用信息熵损失通过已知样本特征对特征提取器与分类器进行训练

其中

具体的，在根据目标域图像数据中未知图像类别样本对预训练分类器的K类进行自训练时，首先将目标域图像特征再次输入C+K类分类器，输出K个未知类别的概率，然后将K个未知类别的概率中最大概率值对应的未知类别确定为伪标签，最后根据目标域图像数据中未知图像类别样本的样本特征、伪标签，并结合交叉熵损失函数对特征提取器以及分类器进行监督训练。

例如图5所示，图5是本申请提供的一种自训练过程示意图，未知样本的自训练过程有如下步骤：

D1.将目标域特征再次输入C+K类分类器，将其概率预测中的K个未知类别中最大的类别设为伪标签

D2.利用D1所得伪标签

通过本发明的方法，得到了一个高效地开集域自适应技术，能够有效的将目标域中的未知样本分离使得该算法能在开集的更贴近实际应用的场景下继续使用域自适应技术；另外通过建模K类未知类，使得对未知类样本的建模更具有判别性，使得算法对未知类分类更加准确。

例如图6所示，图6是本申请提供的一种图像分类模型整体训练流程示意图，包括：

特征提取模块：负责对输入图像进行特征提取，通过卷积神经网络提取。输入图像样本分为源域和目标域，其中源域样本有标签，目标域样本无标签。另外，源域仅包含已知类样本，目标域包含已知类和未知类样本。

分类器模块：负责对特征进行分类，需要将已知类准确分类，分为C类(C为已知类数量)，同时需要分类出未知类别。在其他方法中，会将未知类别作为一类分类，即一共C+1类分类，在本方法中会将未知类视为K类，分到K类任何一类中都为未知类，即一共C+K类分类器。该分类器模块利用源域已知类样本进行训练，通过交叉熵损失训练，使其在源域上能够准确分类已知类C类；另外该分类器为了更好建模未知类，在训练时加入了虚拟类损失，使得类间间距更大，能够安全的放置未知类。

未知\已知样本分离模块：负责对目标域中的未知\已知样本分离，通过分离未知\已知样本，可以在后续对未知\已知样本进行不同的训练过程，防止未知样本对域自适应造成的负面迁移。未知样本将在后续进行自训练，已知样本将在后续进行域自适应。

已知样本域自适训练方法：通过将目标域中的已知样本与源域中的已知样本通过域判别器进行对抗训练，使得特征提取层能够提取域不变特征，减少域间差异，另外使用信息熵使得判断更加准确。这样的训练使得分类器能够在目标域也能准确分类已知类C类。

未知样本自训练方法：通过对未知样本进行进一步的自训练，让C+K类分类器中的K类分类能够准确，使方法能在实际应用中遇到未知样本能够判别。

在本申请实施例中，基于类间关系的图像分类装置首先获取待识别目标图像，然后将待识别目标图像输入预先训练的图像分类模型中；预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的，最后输出待识别目标图像对应的多个类别概率值，根据多个类别概率值确定待识别目标图像的最终类别。由于本申请充分利用了类间关系，能够有效的将未知类别图像从目标域图像数据中分离出来，解决了负向迁移问题，使域自适应技术在开集条件下也能工作，使得未知类别样本特征更具判别力，能高效地识别未知类别的图片。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

请参见图7，其示出了本发明一个示例性实施例提供的基于类间关系的图像分类装置的结构示意图。该基于类间关系的图像分类装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该装置1包括图像获取模块10、图像输入模块20、图中最终类别输出模块30。

图像获取模块10，用于获取待识别目标图像；

图像输入模块20，用于将待识别目标图像输入预先训练的图像分类模型中；其中，预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的；

图中最终类别输出模块30，输出待识别目标图像对应的多个类别概率值，并将多个类别概率值中最大类别概率对应的类别确定为待识别目标图像的最终类别。

需要说明的是，上述实施例提供的基于类间关系的图像分类装置在执行基于类间关系的图像分类方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于类间关系的图像分类装置与基于类间关系的图像分类方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请实施例中，基于类间关系的图像分类装置首先获取待识别目标图像，然后将待识别目标图像输入预先训练的图像分类模型中；预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的，最后输出待识别目标图像对应的多个类别概率值，根据多个类别概率值确定待识别目标图像的最终类别。由于本申请充分利用了类间关系，能够有效的将未知类别图像从目标域图像数据中分离出来，解决了负向迁移问题，使域自适应技术在开集条件下也能工作，使得未知类别样本特征更具判别力，能高效地识别未知类别的图片。

本发明还提供一种计算机可读介质，其上存储有程序指令，该程序指令被处理器执行时实现上述各个方法实施例提供的基于类间关系的图像分类方法。本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各个方法实施例的基于类间关系的图像分类方法。

请参见图8，为本申请实施例提供了一种终端的结构示意图。如图8所示，终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行电子设备1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图8所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于类间关系的图像分类应用程序。

在图8所示的终端1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的基于类间关系的图像分类应用程序，并具体执行以下操作：

获取待识别目标图像；

将待识别目标图像输入预先训练的图像分类模型中；其中，预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的；

输出待识别目标图像对应的多个类别概率值，并将多个类别概率值中最大类别概率对应的类别确定为待识别目标图像的最终类别。

在一个实施例中，处理器1001在执行获取待识别目标图像之前时，还执行以下操作：

构建图像分类模型，图像分类模型包括特征提取器以及C+K类分类器，C为已知图像类别的类别数量，K为未知图像类别的类别数量；

获取根据域自适应技术预先确定的源域图像数据和目标域图像数据；

将源域图像数据和目标域图像数据分别输入特征提取器中进行特征提取，生成源域图像特征和目标域图像特征；

将源域图像特征输入C+K类分类器中进行训练，生成预训练分类器；

根据目标域图像特征对目标域图像数据进行类间关系分离处理，生成已知图像类别样本和未知图像类别样本；

根据已知图像类别样本和未知图像类别样本生成预先训练的图像分类模型。

在一个实施例中，处理器1001在执行根据目标域图像特征对目标域图像数据进行类间关系分离处理，生成已知图像类别样本和未知图像类别样本时，具体执行以下操作：

确定源域图像数据中每个已知图像类别，并计算每个已知图像类别的软标签原型；

将目标域图像特征输入C+K类分类器，得到目标域图像数据中每个图像样本的目标已知类别概率和目标已知类别；

根据每个图像样本的目标已知类别，并结合每个已知图像类别的软标签原型确定目标域图像数据中每个图像样本的软标签预测标识；

根据目标域图像数据中每个图像样本的目标已知类别概率和与其对应的软标签预测标识计算目标域图像数据中每个图像样本的目标距离；

根据目标域图像数据中每个图像样本的目标距离将目标域图像数据划分为已知图像类别样本和未知图像类别样本。

在一个实施例中，处理器1001在执行根据目标域图像数据中每个图像样本的目标距离将目标域图像数据划分为已知图像类别样本和未知图像类别样本时，具体执行以下操作：

将目标域图像数据中每个图像样本的目标距离输入预设高斯均匀混合模型中，输出目标域图像数据中每个图像样本的目标未知概率；

根据每个图像样本的目标未知概率划分出大于预设概率的图像样本，得到目标域图像数据中未知图像类别样本；

根据每个图像样本的目标未知概率划分出小于等于预设概率的图像样本，得到目标域图像数据中已知图像类别样本。

在一个实施例中，处理器1001在执行根据已知图像类别样本和未知图像类别样本生成预先训练的图像分类模型时，具体执行以下操作：

根据目标域图像数据中已知图像类别样本对预训练分类器进行域自适应训练；

根据目标域图像数据中未知图像类别样本对预训练分类器的K类进行自训练，以使图像分类模型能够识别未知类别的图像；

当训练后的输出参数符合预设参数时，生成预先训练的图像分类模型。

在一个实施例中，处理器1001在执行根据目标域图像数据中已知图像类别样本对预训练分类器进行域自适应训练时，具体执行以下操作：

将目标域图像数据中已知图像类别样本的样本特征和源域已知样本特征输入域分辨器，并采用二元交叉熵损失进行对抗训练，以使特征提取器提取出域不变特征；

利用信息熵损失，并结合目标域图像数据中已知图像类别样本的样本特征和源域已知样本特征对特征提取器以及分类器进行训练。

在一个实施例中，处理器1001在执行根据目标域图像数据中未知图像类别样本对预训练分类器的K类进行自训练时，具体执行以下操作：

将目标域图像特征再次输入C+K类分类器，输出K个未知类别的概率；

将K个未知类别的概率中最大概率值对应的未知类别确定为伪标签；

根据目标域图像数据中未知图像类别样本的样本特征、伪标签，并结合交叉熵损失函数对特征提取器以及分类器进行监督训练。

在本申请实施例中，基于类间关系的图像分类装置首先获取待识别目标图像，然后将待识别目标图像输入预先训练的图像分类模型中；预先训练的图像分类模型是根据已知图像类别样本和未知图像类别样本训练生成的，已知图像类别样本和未知图像类别样本是根据目标域图像特征对目标域图像数据进行类间关系分离处理生成的，最后输出待识别目标图像对应的多个类别概率值，根据多个类别概率值确定待识别目标图像的最终类别。由于本申请充分利用了类间关系，能够有效的将未知类别图像从目标域图像数据中分离出来，解决了负向迁移问题，使域自适应技术在开集条件下也能工作，使得未知类别样本特征更具判别力，能高效地识别未知类别的图片。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，基于类间关系的图像分类的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。