目标分类的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种目标分类的方法和装置。

背景技术

目前通常采用深度学习模型进行数据分类。在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

深度学习模型需要大量的标记数据来实现合理的稳定性和精度，然而在实际工业中，标注正确的数据往往较难得到，存在的更多的是大量未标记的数据。在这种工业环境下，训练监督的深度学习方法时，常见的问题是缺乏标记的数据。

发明内容

有鉴于此，本发明实施例提供一种目标分类的方法和装置，能够在有限标签数据的情况下增加大量实际可用的伪标签数据，以改进训练处的模型的性能，提高分类模型的稳定性和精度。

为实现上述目的，根据本发明实施例的一个方面，提供了一种目标分类的方法，包括：

利用标记样本集进行模型训练，得到老师模型；所述标记样本集包括多个标记样本及其分类标签；

基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，得到伪标记样本集；

利用所述标记样本集和所述伪标记样本集，采用所述老师模型的网络结构进行模型训练，得到多分类模型；

基于所述多分类模型确定待分类目标的分类标签。

可选地，利用标记样本集进行模型训练，包括：利用所述标记样本集，基于贝叶斯算法进行模型训练。

可选地，基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，包括：基于所述老师模型，采用随机失活方法确定所述未标记样本集中每个未标记样本的分类标签和不确定度。

可选地，利用所述标记样本集和所述伪标记样本集进行模型训练，得到多分类模型，包括：

A、利用所述标记样本集和所述伪标记样本集进行模型训练，得到学生模型；

B、将所述标记样本集和所述未标记样本集分别输入所述学生模型，得到所述标记样本集的标注结果和所述未标记样本集的标注结果；根据所述标记样本集的标注结果和所述未标记样本集的标注结果确定所述学生模型的损失函数是否收敛；若是，则以所述学生模型作为所述多分类模型；否则跳转至步骤C；

C、调整所述学生模型的模型参数，然后迭代执行步骤B，直至所述学生模型的损失函数收敛，得到多分类模型。

根据本发明实施例的第二方面，提供一种目标分类的装置，包括：

老师模型训练单元，利用标记样本集进行模型训练，得到老师模型；所述标记样本集包括多个标记样本及其分类标签；

预测单元，基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，得到伪标记样本集；

学生模型训练单元，利用所述标记样本集和所述伪标记样本集，采用所述老师模型的网络结构进行模型训练，得到多分类模型；

分类单元，基于所述多分类模型确定待分类目标的分类标签。

可选地，所述老师模型训练单元利用标记样本集进行模型训练，包括：利用所述标记样本集，基于贝叶斯算法进行模型训练。

可选地，所述预测单元基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，包括：基于所述老师模型，采用随机失活方法确定所述未标记样本集中每个未标记样本的分类标签和不确定度。

可选地，所述学生模型训练单元利用所述标记样本集和所述伪标记样本集进行模型训练，得到多分类模型，包括：

A、利用所述标记样本集和所述伪标记样本集进行模型训练，得到学生模型；

B、将所述标记样本集和所述未标记样本集分别输入所述学生模型，得到所述标记样本集的标注结果和所述未标记样本集的标注结果；根据所述标记样本集的标注结果和所述未标记样本集的标注结果确定所述学生模型的损失函数是否收敛；若是，则以所述学生模型作为所述多分类模型；否则跳转至步骤C；

C、调整所述学生模型的模型参数，然后迭代执行步骤B，直至所述学生模型的损失函数收敛，得到多分类模型。

根据本发明实施例的第三方面，提供一种目标分类的电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。

根据本发明实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面提供的方法。

上述发明中的一个实施例具有如下优点或有益效果：通过采用利用标记样本集进行模型训练得到老师模型、基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度得到伪标记样本集的技术手段，能够达到在有限标签数据的情况下增加大量实际可用的伪标签数据以改进训练处的模型的性能、进而提高分类模型的稳定性和精度的有益效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的目标分类的方法的主要流程的示意图；

图2是根据本发明实施例的目标分类的装置的主要模块的示意图；

图3是本发明实施例可以应用于其中的示例性系统架构图；

图4是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

根据本发明实施例的一个方面，提供了一种目标分类的方法。

图1是根据本发明实施例的目标分类的方法的主要流程的示意图，如图1所示，目标分类的方法，包括：步骤S101、步骤S102、步骤S103和步骤S104。

步骤S101、利用标记样本集进行模型训练，得到老师模型；所述标记样本集包括多个标记样本及其分类标签；

多分类是指，样本中包含两个或更多个分类时进行分类。本发明中提及的样本，可以是图片样本，例如商品图片，也可以是文字样本，例如用户评论、售后咨询问题等。

在利用标记样本集训练老师模型时，本领域技术人员可以根据实际情况选择不同的算法，例如决策树算法、神经网络算法等。可选地，利用标记样本集进行模型训练，包括：利用所述标记样本集，基于贝叶斯算法(统计学的一种分类方法)进行模型训练。

步骤S102、基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，得到伪标记样本集。

不确定度表示教师模型输出的未标记样本的分类标签的可靠性的置信度。不确定度可以应用于指导学生模型进行学习训练。

可选地，基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，包括：基于所述老师模型，采用随机失活方法确定所述未标记样本集中每个未标记样本的分类标签和不确定度。随机失活(dropout)是对具有深度结构的人工神经网络进行优化的方法，在学习过程中通过将隐含层的部分权重或输出随机归零，降低节点间的相互依赖性从而实现神经网络的正则化，提高模型稳定性。

步骤S103、利用所述标记样本集和所述伪标记样本集，采用所述老师模型的网络结构进行模型训练，得到多分类模型。

在基于老师模型的网络结构训练学生模型时，可以通过对老师模型的网络结构进行微调得到学生模型。示例性地，基于100个标记样本训练得到老师模型之后，为了对500个包含未标记样本的测试集进行测试，可以逐层对老师模型的网络中每个节点的权重进行微调。当然，在基于老师模型的网络结构训练学生模型时，也可以不使用老师模型的网络的权重，而是使用相同的网络结构，例如多少层、每层多少节点这样的信息，然后使用随机生成的权重作为训练的起点。

可选地，利用所述标记样本集和所述伪标记样本集进行模型训练，得到多分类模型，包括：A、利用所述标记样本集和所述伪标记样本集进行模型训练，得到学生模型；B、将所述标记样本集和所述未标记样本集分别输入所述学生模型，得到所述标记样本集的标注结果和所述未标记样本集的标注结果；根据所述标记样本集的标注结果和所述未标记样本集的标注结果确定所述学生模型的损失函数是否收敛；若是，则以所述学生模型作为所述多分类模型；否则跳转至步骤C；C、调整所述学生模型的模型参数，然后迭代执行步骤B，直至所述学生模型的损失函数收敛，得到多分类模型。

模型参数是指训练过程中待确定的参数，例如模型包含多少层、每层包含多少个节点、或者模型网络中每个节点的权重等。

未标记样本集中含有大量被标记分类标签的样本，若以这些未被标记标签的样本直接进行模型训练，训练过程繁杂。本发明首先基于少量已标记分类标签的样本进行模型训练，得到老师模型。然后将老师模型迁移到未标记样本集，基于训练出的老师模型的网络结构训练学生模型，能够大大提高模型训练效率。

步骤S104、基于所述多分类模型确定待分类目标的分类标签。

以电商领域的内容检索或商品推荐场景为例。目前互联网电商的飞速发展下，电商平台每天都存在千万级别的商品及评论图片需要进行标签的分类及相关分析，若通过人工标记确定各个图片的分类标签，会耗费大量的人力财力，且在每日数据量级暴增的情况下，人工进行分类标注会存在一定的滞后性。本实施例中，可以以各个商品及评论图片作为待分类目标，利用本实施例训练出的多分类模型确定各个商品及评论图片的分类标签，如此能够克服由于人工标记分类标签而导致的各种不足，提高电商领域图像的内容检索效果以及系统的推荐效果。

以人工智能领域的模型训练场景为例。深度学习模型需要大量的标记数据来实现合理的稳定性和精度，然而实际应用过程中，标注正确的数据往往较难得到，存在更多的是大量未标记的数据。在这种环境下训练监督的深度学习方法时，常见的问题是缺乏标记的数据，如果依靠人工标注来提供训练数据，既耗时又昂贵。本实施例中，可以以各个未标记分类标签的样本作为待分类目标，在可用完全正确分类得图像的数据较少的情况下，通过老师-学生模型，不断地将预测可信度较高的目标转化为训练样本，进行不断地协同训练，在每次迭代训练过程中，都可以筛选出更多的目标作为训练样本，从而一定程度上增加了训练样本集规模。

本发明通过采用利用标记样本集进行模型训练得到老师模型、基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度得到伪标记样本集的技术手段，能够达到在有限标签数据的情况下增加大量实际可用的伪标签数据以改进训练处的模型的性能、进而提高分类模型的稳定性和精度的有益效果。

以下以对图像样本为例，对本发明实施例的方法进行示例性说明。本例提出一种基于学生-教师方法的不确定性诱导的半监督多分类学习方法，利用有限标记样本和大量未标记图像对多分类网络进行训练。假设已经给出了大量的未标记的图像样本D

1、老师模型

利用贝叶斯深度学习对老师模型F

平均分数向量包含每个标签类别的概率分数，即

对于预测确定性而言，网络通过分配更高的概率给真实类别，从而降低不确定性值。

2、学生模型

首先将F

ω＝exp[-αu]， (3)

其中α是一个正的超参数标量，而置信度映射ω∈[0,1]提供了由F

L

其中，L

本例的半监督损失函数鼓励模型丢弃由F

图像多分类的工业应用是一项具有挑战性的任务，尤其是在电商等平台每日图像数据千万量级暴增的情况下，现有的多分类模型的标注效果在工业界的应用效果很不理想，存在分类错误的情况，不仅影响用户在平台的图像检索效果，而且会影响平台从用户评论图像中全面获取用户的信息，影响了平台及用户的体验。本例的框架解决了图像在工业应用过程中出现的上述问题。可以在可用完全正确分类得图像的数据较少的情况下，通过老师-学生模型，不断地将预测可信度较高的待标注图像样本转化为训练样本，进行不断地协同训练，在每次迭代训练过程中，都可以筛选出更多的可用待标注图像作为训练样本，从而一定程度上增加了训练样本集规模，最终得到学生模型就可以对其他待标注样本进行分类标签的预测输出。

与完全监督方法相比，本例的半监督方法能够在有限标签数据的情况下增加大量实际可用的伪标签数据以改进训练处的模型的性能、进而提高分类模型的稳定性和精度，适用于不同形式的图像多分类问题，尤其适用于工业界对图像的多分类问题的解决。

根据本发明实施例的第二方面，提供一种实现上述方法的装置。

图2是根据本发明实施例的目标分类的装置的主要模块的示意图。如图2所示，目标分类的装置200包括：

老师模型训练单元201，利用标记样本集进行模型训练，得到老师模型；所述标记样本集包括多个标记样本及其分类标签；

预测单元202，基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，得到伪标记样本集；

学生模型训练单元203，利用所述标记样本集和所述伪标记样本集，采用所述老师模型的网络结构进行模型训练，得到多分类模型；

分类单元204，基于所述多分类模型确定待分类目标的分类标签。

可选地，所述老师模型训练单元利用标记样本集进行模型训练，包括：利用所述标记样本集，基于贝叶斯算法进行模型训练。

可选地，所述预测单元基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，包括：基于所述老师模型，采用随机失活方法确定所述未标记样本集中每个未标记样本的分类标签和不确定度。

可选地，所述学生模型训练单元利用所述标记样本集和所述伪标记样本集进行模型训练，得到多分类模型，包括：

A、利用所述标记样本集和所述伪标记样本集进行模型训练，得到学生模型；

B、将所述标记样本集和所述未标记样本集分别输入所述学生模型，得到所述标记样本集的标注结果和所述未标记样本集的标注结果；根据所述标记样本集的标注结果和所述未标记样本集的标注结果确定所述学生模型的损失函数是否收敛；若是，则以所述学生模型作为所述多分类模型；否则跳转至步骤C；

C、调整所述学生模型的模型参数，然后迭代执行步骤B，直至所述学生模型的损失函数收敛，得到多分类模型。

根据本发明实施例的第三方面，提供一种目标分类的电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例第一方面提供的方法。

根据本发明实施例的第四方面，提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例第一方面提供的方法。

图3示出了可以应用本发明实施例的目标分类的方法或目标分类的装置的示例性系统架构300。

如图3所示，系统架构300可以包括终端设备301、302、303，网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备301、302、303通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器305可以是提供各种服务的服务器，例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的目标分类的方法一般由服务器305执行，相应地，目标分类的装置一般设置于服务器305中。

应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图4，其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括：老师模型训练单元，利用标记样本集进行模型训练，得到老师模型；所述标记样本集包括多个标记样本及其分类标签；预测单元，基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，得到伪标记样本集；学生模型训练单元，利用所述标记样本集和所述伪标记样本集，采用所述老师模型的网络结构进行模型训练，得到多分类模型；分类单元，基于所述多分类模型确定待分类图片的分类标签。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，老师模型训练单元还可以被描述为“采用所述老师模型的网络结构进行模型训练的单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：利用标记样本集进行模型训练，得到老师模型；所述标记样本集包括多个标记样本及其分类标签；基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度，得到伪标记样本集；利用所述标记样本集和所述伪标记样本集，采用所述老师模型的网络结构进行模型训练，得到多分类模型；基于所述多分类模型确定待分类图片的分类标签。

根据本发明实施例的技术方案，通过采用利用标记样本集进行模型训练得到老师模型、基于所述老师模型确定未标记样本集中每个未标记样本的分类标签和不确定度得到伪标记样本集的技术手段，能够达到在有限标签数据的情况下增加大量实际可用的伪标签数据以改进训练处的模型的性能、进而提高分类模型的稳定性和精度的有益效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。