模型训练方法、图像分类方法、装置、电子设备及介质

技术领域

本发明涉及图像分类领域，特别涉及一种模型训练方法、图像分类方法、装置、电子设备及介质。

背景技术

为整治社交领域中的低质量内容(如整治色情、恐怖图像)，一般可使用分类模型对线上的低质内容图像进行分类，并根据分类结果进行后续处理。然而，分类模型能够可靠分类一些类别边界性较强、特征较为明显的图像，却难以分类另一些边界性模糊、特征并不显著的图像(即困难图像)，进而对存在对困难图像的拦截能力较差的缺陷。

相关技术中，为提升分类模型对困难图像的分类效果，通常需收集大量困难图像对分类模型进行优化。然而，困难图像难以收集，这对分类模型的优化带来了困难。

发明内容

本发明的目的是提供一种模型训练方法、图像分类方法、装置、电子设备及介质，可根据分类模型从测试集中筛选出的初始困难图像的分类值，进一步从线上筛选各类别对应的线上困难图像，从而利用这些困难图像优化分类模型，以提升分类模型性能。

为解决上述技术问题，本发明提供一种模型训练方法，包括：

利用预训练的分类模型确定测试集中的各张图像对应的类别及分类值，并将各所述类别中分类值低于第一预设值的图像标注为初始困难图像；

根据各所述初始困难图像的分类值，利用所述分类模型从线上筛选各所述类别对应的线上困难图像；

将所述初始困难图像和所述线上困难图像整合为困难图像，并利用所述困难图像对所述分类模型进行训练。

可选地，所述根据各所述初始困难图像的分类值，利用所述分类模型从线上筛选各所述类别对应的线上困难图像，包括：

利用各所述初始困难图像的分类值确定各所述类别对应的困难分类值区间；

利用所述分类模型确定线上的各张线上图像对应的类别及分类值；

当确定所述线上图像的分类值位于对应类别的困难分类值区间时，将所述线上图像标注为所述线上困难图像。

可选地，所述利用所述困难图像对所述分类模型进行训练，包括：

接收对所述困难图像的人工标注数据，并利用所述人工标注数据为所述困难图像设置类别标签；

利用所述困难图像及对应的类别标签对所述分类模型进行训练。

可选地，所述利用所述困难图像及对应的类别标签对所述分类模型进行训练，包括：

利用所述困难图像及对应的类别标签对所述分类模型进行第一预设轮次的迭代训练；

利用所述困难图像及对应的类别标签对所述分类模型进行第二预设轮次的迭代训练，并在进行所述第二预设轮次的迭代训练过程中，将所述分类模型在每轮迭代中为所述困难图像确定的类别顺序写入所述困难图像对应的类别集合中；

利用所述类别集合中数量最多的类别对所述困难图像的类别标签进行更新；

利用所述困难图像及对应的更新后的类别标签对所述分类模型进行第三预设轮次的迭代训练。

可选地，所述将所述分类模型在每轮迭代中为所述困难图像确定的类别顺序写入所述困难图像对应的类别集合中，包括：

将所述分类模型在每轮迭代中为所述困难图像确定的、分类值大于第二预设值的类别顺序写入所述困难图像对应的类别集合中。

本发明还提供一种图像分类方法，包括：

获取待分类的线上图像；

利用分类模型确定所述线上图像在各类别中对应的分类值；所述分类模型利用如上所述的模型训练方法训练得到；

将分类值最高的类别确定为所述线上图像的目标类别，以根据所述目标类别对所述线上图像进行低质量内容处理。

本发明还提供一种模型训练装置，包括：

初始困难图像筛选模块，用于利用预训练的分类模型确定测试集中的各张图像对应的类别及分类值，并将各所述类别中分类值低于第一预设值的图像标注为初始困难图像；

线上困难图像筛选模块，用于根据各所述初始困难图像的分类值，利用所述分类模型从线上筛选各所述类别对应的线上困难图像；

训练模块，用于将所述初始困难图像和所述线上困难图像整合为困难图像，并利用所述困难图像对所述分类模型进行训练。

本发明还提供一种图像分类装置，包括：

获取模块，用于获取待分类的线上图像；

分类模型模块，用于利用分类模型确定所述线上图像在各类别中对应的分类值；所述分类模型利用如上所述的模型训练方法训练得到；

类别确定模块，用于将分类值最高的类别确定为所述线上图像的目标类别，以根据所述目标类别对所述线上图像进行低质量内容处理。

本发明还提供一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的模型训练方法和/或图像分类方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上所述的模型训练方法和/或图像分类方法。

本发明提供了一种模型训练方法，包括：利用预训练的分类模型确定测试集中的各张图像对应的类别及分类值，并将各所述类别中分类值低于第一预设值的图像标注为初始困难图像；根据各所述初始困难图像的分类值，利用所述分类模型从线上筛选各所述类别对应的线上困难图像；将所述初始困难图像和所述线上困难图像整合为困难图像，并利用所述困难图像对所述分类模型进行训练。

可见，本发明首先可基于分类模型的初始分类能力筛选初始困难图像及对应的分类值，即可利用预训练的分类模型确定测试集中的各张图像对应的类别及分类值，并将各类别中分类值低于第一预设值的图像标注为初始困难图像，其中分类值反映了分类模型对图像的分类能力，而分类值低于第一预设值则意味着分类模型对该图像的分类能力较差；随后，本发明可根据各初始困难图像的分类值，利用分类模型从线上筛选各类别对应的线上困难图像，即可从线上筛选出分类模型同样难以分类的线上困难图像，从而能够降低对困难图像的收集难度，并可提升困难图像数量；最后，本发明可将初始困难图像和线上困难图像整合为困难图像，并利用困难图像对分类模型进行训练，从而可提升分类模型对困难图像的分类性能。本发明还提供一种模型训练装置、电子设备及计算机可读存储介质，具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的一种模型训练方法的流程图；

图2为本发明实施例所提供的一种图像分类方法的流程图；

图3为本发明实施例所提供的一种难样本挖掘的流程图；

图4为本发明实施例所提供的一种模型微调训练的流程图；

图5为本发明实施例所提供的一种模型训练装置的结构框图；

图6为本发明实施例所提供的一种图像分类装置的结构框图；

图7为本发明实施例所提供的一种电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为整治社交领域中的低质内容(如整治色情、恐怖图像)，一般可使用分类模型对线上的低质内容图像进行分类，并根据分类结果进行后续处理。然而，分类模型能够可靠分类一些类别边界性较强、特征较为明显的图像，却难以分类另一些边界性模糊、特征并不显著的图像(即困难图像)，进而对存在对困难图像的拦截能力较差的缺陷。相关技术中，为提升分类模型对困难图像的分类效果，通常需收集大量困难图像对分类模型进行优化。然而，困难图像难以收集，这对分类模型的优化带来了困难。有鉴于此，可根据分类模型从测试集中筛选出的初始困难图像的分类值，进一步从线上筛选各类别对应的线上困难图像，从而利用这些困难图像优化分类模型，以提升分类模型性能。

需要说明的是，本发明实施例并不限定执行本方法的硬件设备，例如可以为个人电脑、服务器等，可根据实际应用需求进行设置。

请参考图1，图1为本发明实施例所提供的一种模型训练方法的流程图，该方法可以包括：

S100、利用预训练的分类模型确定测试集中的各张图像对应的类别及分类值，并将各类别中分类值低于第一预设值的图像标注为初始困难图像。

在本发明实施例中，分类模型在完成初始训练之后，需使用该模型对测试集中的各张图像进行测试分类，以根据分类结果确定分类模型的分类能力。显然，这一测试将直接暴露分类模型的分类薄弱方面。具体的，分类模型将确定图像在各类别中对应的分类值，并将分类值最高的类别作为图像最终对应的类别，其中分类值反映了图像属于对应类别的概率。对于困难图像而言，由于分类模型无法有效区分其类别，因此无论分类正确与否，分类模型为困难图像生成的最高分类值均仅具有较低的数值。也正因如此，本发明实施例可在确定分类模型完成对测试集中各张图像的分类之后，将各类别中分类值低于第一预设值的图像标注为初始困难图像，从而完成对初始困难图像的收集。

需要说明的是，本发明实施例并不限定具体的分类模型，可根据实际应用需求进行选择。本发明实施例也不限定具体的类别，例如可以包含正常、色情、恐怖等。本发明实施例也不限定测试集中包含的图像的具体图像内容及数量，可根据实际应用需求进行选择。本发明实施例也不限定上述第一预设值的具体数值，可根据实际应用需求进行设定，并可尽量设置较低值。

此处应当指出的是，测试集中的图像在被分类模型分类之后，该图像将处于分类值最高的类别，但这一类别不一定是该图像的真实类别。换句话说，初始困难图像既包括分类模型分类正确但分类值较低的图像，也包括分类模型分类错误且分类值较低的图像。

S200、根据各初始困难图像的分类值，利用分类模型从线上筛选各类别对应的线上困难图像。

由于各初始困难图像的分类值反映了预训练的分类模型的初始分类能力，因此本发明实施例根据各初始困难图像的分类值从线上(如从指定网站中)筛选各类别对应的线上困难图像，即可基于分类模型的初始分类能力从线上筛选出该模型同样难以分类的线上困难图像，从而能够有效丰富困难图像的数量及内容。

同样应当指出的是，线上困难图像同样既包括分类正确但分类值较低的图像，也包括分类错误且分类值较低的图像。换句话说，本步骤仅筛选与初始困难图像的类别(由模型确定)相同且分类值接近的线上困难图像，而不关心线上困难图像的真实类别。

需要说明的是，本发明实施例并不限定根据各初始困难图像的分类值，利用分类模型从线上筛选各类别对应的线上困难图像，例如可根据线上图像的分类值与同类型初始困难图像的分类值间的差值是否小于预设值来确定该线上图像是否为线上困难图像；也可以根据同类型的各初始困难图像的分类值构建该类型对应的困难分类值区间，进而根据线上图像的分类值是否位于同类别的困难分类值区间中来确定该线上图像是否为线上困难图像。考虑到困难分类值区间反映了困难图像对应的分值分布情况，便于筛选，因此本发明实施例将采用构建该困难分类值区间的方式进行线上困难图像筛选。

基于此，根据各初始困难图像的分类值，利用分类模型从线上筛选各类别对应的线上困难图像，可以包括：

S201：利用各初始困难图像的分类值确定各类别对应的困难分类值区间；

S202：利用分类模型确定线上的各张线上图像对应的类别及分类值；

S203：当确定线上图像的分类值位于对应类别的困难分类值区间时，将线上图像标注为线上困难图像。

S300、将初始困难图像和线上困难图像整合为困难图像，并利用困难图像对分类模型进行训练。

在本步骤中，由于已收集到丰富的困难图像，因此本发明实施例可利用这些困难图像进一步对分类模型进行训练，以进一步优化分类模型对困难图像的分类能力。

可以理解的是，在完成对困难图像的收集之后，需对这些困难图像进行重新人工打标，以确定这些困难图像的真实类别，从而可利用困难图像及其真实类别对分类模型进行参数优化。

基于此，利用困难图像对分类模型进行训练，可以包括：

S301：接收对困难图像的人工标注数据，并利用人工标注数据为困难图像设置类别标签；

S302：利用困难图像及对应的类别标签对分类模型进行训练。

需要说明的是，本发明实施例并不限定具体的训练过程，可根据实际应用需求进行设定。一般的，可根据分类模型为困难图像确定的类别与该困难图像的真实类别间的差异，对分类模型进行参数优化，以提升分类模型的分类能力。

进一步，由于困难图像同样存在人工打标错误的情况，因此本发明实施例将基于分类模型优化后的分类能力，以众投的方式对存在打标错误的困难图像进行类别修正。具体的，本实施例首先将利用困难图像及对应的类别标签对分类模型进行第一预设轮次(如5轮，即第1至5轮)的迭代(epoch)训练，以使分类模型获得一组较为稳定的模型参数；随后，本实施例将利用困难图像及对应的类别标签对分类模型进行第二预设轮次(如5轮，即第6至10轮)的迭代训练，并在进行第二预设轮次的迭代训练过程中，将分类模型在每轮迭代中为困难图像确定的类别顺序写入困难图像对应的类别集合中。例如，对于类别A、类别B、类别C，则困难图像在第6至10轮对应的一种类别集合可以为{类别A、类别B、类别A、类别A、类别A}；随后，由于类别集合中数量最多的类别为困难图像的真实类别的概率较高，因此本实施例将利用类别集合中数量最多的类别对困难图像的类别标签进行更新，以完成类别修正，如在上述实例中，困难图像对应的人工类别标签为类别B，但其类别集合中类别A的数量最多，因此可将该困难图像的类别标签可更改为类别A；最后，本实施例将利用困难图像及对应的更新后的类别标签对分类模型进行第三预设轮次(即第11轮及之后的轮次)的迭代训练。

基于此，利用困难图像及对应的类别标签对分类模型进行训练，包括：

S3021：利用困难图像及对应的类别标签对分类模型进行第一预设轮次的迭代训练；

S3022：利用困难图像及对应的类别标签对分类模型进行第二预设轮次的迭代训练，并在进行第二预设轮次的迭代训练过程中，将分类模型在每轮迭代中为困难图像确定的类别顺序写入困难图像对应的类别集合中；

S3023：利用类别集合中数量最多的类别对困难图像的类别标签进行更新；

S3024：利用困难图像及对应的更新后的类别标签对分类模型进行第三预设轮次的迭代训练。

当然，为实现较好的修正效果，类别集合中的类别所对应的分类值均应当大于一个预设值(如0.95)。

基于此，将分类模型在每轮迭代中为困难图像确定的类别顺序写入困难图像对应的类别集合中，可以包括：

步骤10：将分类模型在每轮迭代中为困难图像确定的、分类值大于第二预设值的类别顺序写入困难图像对应的类别集合中。

基于上述实施例，本发明首先可基于分类模型的初始分类能力筛选初始困难图像及对应的分类值，即可利用预训练的分类模型确定测试集中的各张图像对应的类别及分类值，并将各类别中分类值低于第一预设值的图像标注为初始困难图像，其中分类值反映了分类模型对图像的分类能力，而分类值低于第一预设值则意味着分类模型对该图像的分类能力较差；随后，本发明可根据各初始困难图像的分类值，利用分类模型从线上筛选各类别对应的线上困难图像，即可从线上筛选出分类模型同样难以分类的线上困难图像，从而能够降低对困难图像的收集难度，并可提升困难图像数量；最后，本发明可将初始困难图像和线上困难图像整合为困难图像，并利用困难图像对分类模型进行训练，从而可提升分类模型对困难图像的分类性能。

基于上述实施例，下面对本发明实施例所提供的一种图像分类方法进行详细介绍。请参考图2，图2为本发明实施例所提供的一种图像分类方法的流程图，该方法所使用的分类模型已基于上述实施例所提供的模型训练方法进行了训练优化。本方法可以包括：

S400、获取待分类的线上图像；

S500、利用分类模型确定所述线上图像在各类别中对应的分类值；所述分类模型利用如上所述的模型训练方法训练得到；

S600、将分类值最高的类别确定为所述线上图像的目标类别，以根据所述目标类别对所述线上图像进行低质量内容处理。

由于本发明实施例中的分类模型已采用大量困难图像进行了优化，进而获得了较强的困难图像分类能力，因此本发明实施例可利用该模型对线上图像进行较为准确的检测，从而能够提升对线上图像进行低质量内容处理的可靠性。

需要说明的是，本发明实施例并不限定如何根据所述目标类别对所述线上图像进行低质量内容处理，例如对被判定为正常类别的线上图像可不做任何处理；而对于被判定为低质量图像(如色情、恐怖图像)的线上图像，可采取删除、屏蔽等方式进行处理。

基于上述实施例，下面基于具体的流程图对上述模型训练方法进行详细介绍。请参考图3和图4，图3为本发明实施例所提供的一种难样本挖掘的流程图，图4为本发明实施例所提供的一种模型微调训练的流程图。本方法可以包括以下步骤：

1、难样本挖掘：

1.1、基础模型获取。随机挑选一批线上数据集，让人工标注并质检后，得到训练集TrainDataSet1和测试集TestDataSet1，利用训练集训练出基础模型Model1；

1.2、难样本挖掘。采用1.1中得到的基础模型Model1过测试集TestDataSet1，得到样本的标签和得分，筛选预测错误样本及对应的得分分布scatter1、预测正确的样本但得分低的样本得分分布scatter2；

1.3、数据迭代。抽取线上一定数据，并过基础模型，输出带得分的数据集RandomData，根据1.2中得到的样本数据得分分布scatter1、scatter2，从RandomData中挑选符合对应得分数据集UnMarkData，然后进行人工标注，输出标注的数据集MarkData。

2、模型训练阶段：

2.1、网络设计。对网络的训练阶段设置分阶段策略，即稳定训练阶段、标签收集阶段和标签改变训练阶段；

2.2、稳定训练阶段。在网络训练轮数epoch<＝5时，先进行网络稳定训练，得到一个相对稳定的网络权重；

2.3、标签收集阶段。当训练轮数5

2.4、标签修正阶段。当训练轮数epoch>10时，对2.3中收集的标签集合采用众投机制，输出投票数多的标签作为样本的标签进行修正，修正完成后继续训练5轮，最终得到一个比较稳定的模型。

3、活动收益：

3.1、模型准召提升30％，应用在内容调性的场景中，日拦截低质case 3k+。

下面对本发明实施例提供的模型训练装置、电子设备及计算机可读存储介质进行介绍，下文描述的模型训练装置、电子设备及计算机可读存储介质与上文描述的模型训练方法可相互对应参照。

请参考图5，图5为本发明实施例所提供的一种模型训练装置的结构框图，该装置可以包括：

初始困难图像筛选模块501，用于利用预训练的分类模型确定测试集中的各张图像对应的类别及分类值，并将各类别中分类值低于第一预设值的图像标注为初始困难图像；

线上困难图像筛选模块502，用于根据各初始困难图像的分类值，利用分类模型从线上筛选各类别对应的线上困难图像；

训练模块503，用于将初始困难图像和线上困难图像整合为困难图像，并利用困难图像对分类模型进行训练。

可选地，线上困难图像筛选模块502，可以包括：

困难分类值区间确定子模块，用于利用各初始困难图像的分类值确定各类别对应的困难分类值区间；

线上分类子模块，用于利用分类模型确定线上的各张线上图像对应的类别及分类值；

线上困难图像筛选子模块，用于当确定线上图像的分类值位于对应类别的困难分类值区间时，将线上图像标注为线上困难图像。

可选地，训练模块503，可以包括：

标注子模块，用于接收对困难图像的人工标注数据，并利用人工标注数据为困难图像设置类别标签；

训练子模块，用于利用困难图像及对应的类别标签对分类模型进行训练。

可选地，训练子模块，具体用于：

利用困难图像及对应的类别标签对分类模型进行第一预设轮次的迭代训练；

利用困难图像及对应的类别标签对分类模型进行第二预设轮次的迭代训练，并在进行第二预设轮次的迭代训练过程中，将分类模型在每轮迭代中为困难图像确定的类别顺序写入困难图像对应的类别集合中；

利用类别集合中数量最多的类别对困难图像的类别标签进行更新；

利用困难图像及对应的更新后的类别标签对分类模型进行第三预设轮次的迭代训练。

可选地，训练子模块，具体用于：

将分类模型在每轮迭代中为困难图像确定的、分类值大于第二预设值的类别顺序写入困难图像对应的类别集合中。

请参考图6，图6为本发明实施例所提供的一种图像分类装置的结构框图，该装置可以包括：

获取模块601，用于获取待分类的线上图像；

分类模型模块602，用于利用分类模型确定所述线上图像在各类别中对应的分类值；所述分类模型利用如上所述的模型训练方法训练得到；

类别确定模块603，用于将分类值最高的类别确定为所述线上图像的目标类别，以根据所述目标类别对所述线上图像进行低质量内容处理。

请参考图7，图7为本发明实施例所提供的一种电子设备的结构框图，本发明实施例提供了一种电子设备70，包括处理器71和存储器72；其中，所述存储器72，用于保存计算机程序；所述处理器71，用于在执行所述计算机程序时执行前述实施例提供的模型训练方法、图像分类方法或同时实现上述模型训练方法及图像分类方法。

关于上述模型训练方法和图像分类方法的具体过程可以参考前述实施例中提供的相应内容，在此不再进行赘述。

并且，所述存储器72作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储方式可以是短暂存储或者永久存储。

另外，所述电子设备70还包括电源73、通信接口74、输入输出接口75和通信总线76；其中，所述电源73用于为所述电子设备70上的各硬件设备提供工作电压；所述通信接口74能够为所述电子设备70创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本发明技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口75，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的模型训练方法、图像分类方法或同时实现上述模型训练方法及图像分类方法的步骤。

由于计算机可读存储介质部分的实施例与模型训练方法部分和图像分类方法部分的实施例相互对应，因此存储介质部分的实施例请参见模型训练方法部分和图像分类方法部分的实施例的描述，这里不再赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种模型训练方法、图像分类方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。