降低长尾图像标注代价的图像分类模型复用方法和系统

技术领域

本发明涉及一种降低长尾图像标注代价的图像分类模型复用方法和系统，属于机器学习技术领域和图像分类技术领域。

背景技术

图像分类任务中，为了得到好的分类效果，机器学习方法通常需要收集大量的图像并要求图像具有明确的概念标注。在自然世界中，图像概念往往呈现长尾分布，即少数图像概念类别频繁出现，而大量图像概念类别偶尔出现(“长尾图像”)。对于此类图像的分类任务，长尾图像的标注过程更依赖专家经验知识，难以及时有效响应开展，需耗费大量人力物力资源，显著提高了图像分类模型构建的成本。

“模型复用”通过复用相关的图像分类模型降低目标任务训练过程所需要的标注图像代价，近年来引起广泛的关注。然而，当目标任务长尾图像标注稀缺时，对图像分类模型复用的可靠性评估困难，严重影响了图像分类模型复用在长尾图像中的应用。因此亟需要发展能够使用大量无标注图像的分类模型复用方法，使得在长尾图像标注稀缺的情况下，能够提升图像分类模型复用的效果和最终图像分类模型构建的性能。

图像标注稀缺时，“半监督学习”通过使用大量未标注图像来提升图像分类模型的性能，在诸多方面得到了应用。然而，既有半监督学习方法对未标注图像的使用往往依赖于较强的分布假设，一般认为未标注图像中概念类别的频率相当。当面临拥有长尾图像的分类任务时，未标注图像概念类别比例可能严重失衡，基于既有半监督学习算法难以有效利用好未标注图像，性能不佳。

综合而言，为有效降低长尾图像分类任务的标注代价，亟需要发展能够使用大量无标注图像的新型半监督图像分类模型复用方法，提升图像分类模型复用和半监督学习的效果，最终提升图像分类模型的分类性能，有效减少标注代价。目前这方面的技术方案国内国际上还较少。

发明内容

发明目的：针对现有技术中存在的长尾图像分类性能不佳的问题与不足，本发明提供一种降低长尾图像标注代价的图像分类模型复用方法和系统。融合半监督学习和图像分类模型复用的优势，减少长尾图像的标注代价，提升图像分类模型的性能。具体而言，首先，通过复用相关模型赋予未标注图像以初始伪标注，在此基础上，借助相关模型进行半监督学习使用未标注图像，根据在标注图像上的性能效果将误差通过高阶梯度反向传播到相关模型，优化模型复用策略，提高模型复用的效果和最终提升模型的分类性能。

技术方案：一种降低长尾图像标注代价的图像分类模型复用方法，具体包括：

1)通过复用策略使用候选模型组赋予未标注图像伪标注；

2)结合图像伪标注，利用标注图像进行半监督学习图像分类模型，提升模型图像分类性能；

3)使用标注图像对模型进行性能评估，利用二阶梯度将性能提升方向反向传播到模型组，优化模型复用策略，提高效果；

4)重复上述3个环节直到图像伪标注不再变化，达到收敛，得到图像分类模型，可以用于图像的分类操作。

所述未标注图像的伪标注获得的步骤为：

取得未标注图像

所述2)中，将通过候选模型组得到的伪标注图像集合

所述3)中，优化模型复用的步骤为：

使用半监督学习得到的图像分类模型h在标注图像上进行性能评估，基于对比分类模型的输出h(x

一种降低长尾图像标注代价的图像分类模型复用系统，包括：

伪标注模块：通过复用策略使用候选模型组赋予未标注图像伪标注；

图像分类模型学习模块：结合图像伪标注，利用标注图像进行半监督学习图像分类模型；

优化模型复用模块：使用标注图像对模型进行性能评估，利用二阶梯度将性能提升方向反向传播到模型组，优化模型复用策略；

循环模块：依次重复执行伪标注模块、图像分类模型学习模块和优化模型复用模块，直到图像伪标注不再变化，达到收敛，得到图像分类模型。

所述系统的实现过程和方法相同，不再赘述。

一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的降低长尾图像标注代价的图像分类模型复用方法。

一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的降低长尾图像标注代价的图像分类模型复用方法的计算机程序。

附图说明

图1是本发明方法流程图；

图2是通过复用策略获取伪标注的流程图

图3是通过伪标注利用未标注图像的半监督学习流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，降低长尾图像标注代价的图像分类模型复用方法的流程图。步骤1为开始动作。

步骤2通过候选模型组

取得未标注图像

步骤3中使用伪标注图像集合

步骤4利用标注图像集合D

其中评估函数L采用经典的交叉熵损失函数。然后通过链式法则求得E

通过二阶梯度

步骤5判断模型h是否收敛，当模型h在图像集合D

图2是图1中步骤2的具体工作流程。

由步骤20开始执行。

在步骤21中，获取未标注图像集合

在步骤23中，初始化一个复用策略模型g，其函数输入为图像样本x，输出为一个用于复用的K维向量

在步骤24中，利用策略函数g获取未标注图像集合D

图3是图1中步骤3的具体工作流程。

由步骤30开始执行.

在步骤31中获取半监督学习所需的图像集合D

在步骤32中，采用经典的交叉熵分类损失函数L计算目标模型h在图像集合D

然后通过计算梯度用误差L

一种降低长尾图像标注代价的图像分类模型复用系统，包括：

伪标注模块：通过复用策略使用候选模型组赋予未标注图像伪标注；

图像分类模型学习模块：结合图像伪标注，利用标注图像进行半监督学习图像分类模型；

优化模型复用模块：使用标注图像对模型进行性能评估，利用二阶梯度将性能提升方向反向传播到模型组，优化模型复用策略；

循环模块：依次重复执行伪标注模块、图像分类模型学习模块和优化模型复用模块，直到图像伪标注不再变化，达到收敛，得到图像分类模型。

显然，本领域的技术人员应该明白，上述的本发明实施例的降低长尾图像标注代价的图像分类模型复用方法各步骤或降低长尾图像标注代价的图像分类模型复用系统各模块可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

本发明用于解决长尾图像标注稀缺时传统机器学习方法性能不足的问题，提出了一种图像分类模型复用方法。一方面通过挖掘未标注图像，提高模型复用时对模型组性能的评估能力，提高历史模型的利用效率；一方面通过复用模型组来利用未标注图像，降低方法对图像标注的依赖，提高对未标注图像的利用效率。为了进一步说明技术的有效性，表1给出了长尾图像上的实验结果验证。

本发明采用图像分类基准数据集对本发明的有效性进行验证。实验对动物7种性状存在性做分类。对于每个分类设置，实验先对不同栖息地的动物样本进行收集后，分别建立4个栖息地：平原、山地、溪流和森林中基于大量标注图像学习的模型，构建模型组。然后实验在任意栖息地所有样本中随机采样图像集合D

表1分类精度结果(数值越大，性能越优)

/>