掌桥专利:专业的专利平台
掌桥专利
首页

数据处理方法、装置、电子设备及介质

文献发布时间:2024-04-18 20:00:50


数据处理方法、装置、电子设备及介质

技术领域

本申请涉及数据处理技术领域,尤其涉及数据处理方法、装置、电子设备及介质。

背景技术

增量学习的能力就是能够不断地处理现实世界中连续的信息流,在吸收新知识的同时保留甚至整合、优化旧知识的能力。目前,增量学习可以有多种方式,如基于回放的增量学习,通过保留部分旧任务数据,将增量学习转变成小数据集训练任务与新任务数据一起训练,保证旧任务指标不下降。然而,发明人在实践过程中发现,基于回放的增量学习的训练方式,随着模型的分类类别增加,所保留的旧任务数据也会增加,进而训练数据也会不断增多,与增量学习的本质相违背。

发明内容

本申请实施例提供了一种数据处理方法、装置、电子设备及介质,有助于在不依赖于大量旧任务数据的同时,提升基于增量学习训练得到的模型的模型性能。

一方面,本申请实施例公开了一种数据处理方法,所述方法包括:

获取第二分类模型,并对所述第二分类模型所对应的分类类别增加第一目标类别;所述第二分类模型是基于第一样本数据集合对第一分类模型进行训练得到的,所述第二分类模型对应的分类类别包括N个初始类别,所述N个初始类别不同于所述第一目标类别;所述第一样本数据集合包括所述N个初始类别下的多个第一样本数据;N为正整数;

获取每个初始类别下的第一样本数据对应的中心样本数据,每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,每个第一样本数据的第一全局特征是基于分类模型的编码器对所述每个第一样本数据进行特征编码得到的,每个初始类别的平均全局特征是指对应的多个第一样本数据的第一全局特征的平均特征;

获取第二样本数据集合,所述第二样本数据集合中包括多个第二样本数据,每个第二样本数据均属于所述第一目标类别;

基于所述多个第二样本数据以及所述N个初始类别对应的中心样本数据对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,并利用所述第三分类模型对输入的数据进行分类识别;所述第三分类模型对应的分类类别包括所述N个初始类别和所述第一目标类别。

一方面,本申请实施例公开了一种数据处理装置,所述装置包括:

获取单元,用于获取第二分类模型,并对所述第二分类模型所对应的分类类别增加第一目标类别;所述第二分类模型是基于第一样本数据集合对第一分类模型进行训练得到的,所述第二分类模型对应的分类类别包括N个初始类别,所述N个初始类别不同于所述第一目标类别;所述第一样本数据集合包括所述N个初始类别下的多个第一样本数据;N为正整数;

所述获取单元,还用于获取每个初始类别下的第一样本数据对应的中心样本数据,每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,每个第一样本数据的第一全局特征是基于分类模型的编码器对所述每个第一样本数据进行特征编码得到的,每个初始类别的平均全局特征是指对应的多个第一样本数据的第一全局特征的平均特征;

所述获取单元,还用于获取第二样本数据集合,所述第二样本数据集合中包括多个第二样本数据,每个第二样本数据均属于所述第一目标类别;

处理单元,用于基于所述多个第二样本数据以及所述N个初始类别对应的中心样本数据对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,并利用所述第三分类模型对输入的数据进行分类识别;所述第三分类模型对应的分类类别包括所述N个初始类别和所述第一目标类别。

一方面,本申请实施例提供了一种电子设备,电子设备包括处理器、存储器,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于执行如下步骤:

获取第二分类模型,并对所述第二分类模型所对应的分类类别增加第一目标类别;所述第二分类模型是基于第一样本数据集合对第一分类模型进行训练得到的,所述第二分类模型对应的分类类别包括N个初始类别,所述N个初始类别不同于所述第一目标类别;所述第一样本数据集合包括所述N个初始类别下的多个第一样本数据;N为正整数;

获取每个初始类别下的第一样本数据对应的中心样本数据,每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,每个第一样本数据的第一全局特征是基于分类模型的编码器对所述每个第一样本数据进行特征编码得到的,每个初始类别的平均全局特征是指对应的多个第一样本数据的第一全局特征的平均特征;

获取第二样本数据集合,所述第二样本数据集合中包括多个第二样本数据,每个第二样本数据均属于所述第一目标类别;

基于所述多个第二样本数据以及所述N个初始类别对应的中心样本数据对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,并利用所述第三分类模型对输入的数据进行分类识别;所述第三分类模型对应的分类类别包括所述N个初始类别和所述第一目标类别。

一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序指令,计算机程序指令被处理器执行时,用于执行如下步骤:

获取第二分类模型,并对所述第二分类模型所对应的分类类别增加第一目标类别;所述第二分类模型是基于第一样本数据集合对第一分类模型进行训练得到的,所述第二分类模型对应的分类类别包括N个初始类别,所述N个初始类别不同于所述第一目标类别;所述第一样本数据集合包括所述N个初始类别下的多个第一样本数据;N为正整数;

获取每个初始类别下的第一样本数据对应的中心样本数据,每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,每个第一样本数据的第一全局特征是基于分类模型的编码器对所述每个第一样本数据进行特征编码得到的,每个初始类别的平均全局特征是指对应的多个第一样本数据的第一全局特征的平均特征;

获取第二样本数据集合,所述第二样本数据集合中包括多个第二样本数据,每个第二样本数据均属于所述第一目标类别;

基于所述多个第二样本数据以及所述N个初始类别对应的中心样本数据对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,并利用所述第三分类模型对输入的数据进行分类识别;所述第三分类模型对应的分类类别包括所述N个初始类别和所述第一目标类别。

一方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令被处理器执行时可实现上述一方面提供的方法。

采用本申请实施例,能够在对分类类别增加第一目标类别的第二分类模型进行训练时,可以确定第二分类模型的每个分类类别(即N个初始类别)对应的中心样本数据,且每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,然后结合每个初始类别对应的中心样本数据以及属于增加的第一目标类别的第二样本数据集合中的第二样本数据,对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,也就是说,针对每个初始类别可以存储一个最能代表该初始类别的中心样本数据,利用每个初始类别对应的中心样本数据去对增加第一目标类别的分类模型进行训练,而不需要依赖于大量的旧任务(即基于得到第二分类模型之前的训练任务)的数据,使得新任务(即对增加第一目标类别的第二分类模型进行训练,得到第三分类模型的任务)能够得到有效训练,有助于在不依赖于大量旧任务数据的同时,提升基于增量学习训练得到的模型的模型性能。

附图说明

为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据处理方法的流程示意图;

图2是本申请实施例提供的一种数据处理方法的流程示意图;

图3是本申请实施例提供的一种数据处理方法的流程示意图;

图4是本申请实施例提供的一种分类模型的模型结构的效果示意图;

图5是本申请实施例提供的一种分类模型的结构示意图;

图6是本申请实施例提供的一种增量学习方法的流程示意图;

图7是本申请实施例提供的一种数据处理装置的结构示意图;

图8是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。

本申请实施例提出一种数据处理方案,能够在对分类类别增加第一目标类别的第二分类模型进行训练时,可以确定第二分类模型的每个分类类别(即N个初始类别)对应的中心样本数据,且每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,然后结合每个初始类别对应的中心样本数据以及属于增加的第一目标类别的第二样本数据集合中的第二样本数据,对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,也就是说,针对每个初始类别可以存储一个最能代表该初始类别的中心样本数据,利用每个初始类别对应的中心样本数据去对增加第一目标类别的分类模型进行训练,而不需要依赖于大量的旧任务(即基于得到第二分类模型之前的训练任务)的数据,使得新任务(即对增加第一目标类别的第二分类模型进行训练,得到第三分类模型的任务)能够得到有效训练,有助于在不依赖于大量旧任务数据的同时,提升基于增量学习训练得到的模型的模型性能。

需要进行说明的是,本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的,且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中,都可以显示提示信息,以提示用户当前正在搜集其相关数据,使得本申请仅仅在获取到用户对该提示信息发出的确认操作后,才开始执行获取用户相关数据的相关步骤,否则(即未获取到用户对该提示信息发出的确认操作),结束获取用户相关数据的相关步骤,即不获取用户的相关数据。

本申请的技术方案可运用在电子设备中。该电子设备可以是终端,也可以是服务器,或者也可以是用于进行数据处理的其他设备,本申请不做限定。可选的,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信等基础云计算服务的云服务器。终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。

可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。

基于上述的描述,本申请实施例提出一种数据处理方法。请参见图1,图1是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由上述的电子设备执行。该数据处理方法可以包括以下步骤。

S101、获取第二分类模型,并对第二分类模型所对应的分类类别增加第一目标类别;第二分类模型是基于第一样本数据集合对第一分类模型进行训练得到的,第二分类模型对应的分类类别包括N个初始类别,N个初始类别不同于第一目标类别;第一样本数据集合包括N个初始类别下的多个第一样本数据;N为正整数。

其中,该第二分类模型可以为在第一分类模型的基础上进行训练得到的分类模型。可以理解的是,该第二分类模型可以是对基础分类模型进行全量的训练得到的,也可以是基于训练后的基础分类模型进行过一次或多个增量学习得到的。也就是说,该第一分类模型可以为基础分类模型,即可以是未经过训练的分类模型,该第一分类模型也可以是对基础分类模型进行过一次或多次训练任务的分类模型,此处不做限制。可以理解的是,基础分类模型可以为未经过训练的分类模型,基础分类模型所对应的分类类别可以称为基础类别,也就是说,若第一分类模型为基础分类模型,则N个初始类别也就是基础分类模型对应的基础类别。

可以理解的是,得到第二分类模型之前的训练任务可以称为针对第二分类模型的旧任务,如针对第二分类模型来说,旧任务可以为基于第一分类模型训练得到第二分类模型的任务,在第二分类模型的基础上通过增量学习的方式进行模型训练可以称为针对第二分类模型的新任务。可以理解的是,为了便于描述,可将基于全量的样本数据对基础分类模型训练的任务称为第0个任务,将对训练后的基础分类模型进行第一次增量学习的训练任务称为第1个任务,以此类推,对基于一次增量学习后的分类模型再次进行增量学习的训练任务,可以称为第2个任务。

可以理解的是,该第一样本数据集合可以为用于训练得到第二分类模型所需的样本数据。该第一样本数据也可以称为针对第二分类模型的旧任务的样本数据的集合。在第一样本数据集合中可以包括多个第一样本数据,每个初始类别下的第一样本数据的数量的可以为一个或者多个。

进一步可以理解的是,该第二分类模型可以是对基础分类模型进行全量的训练得到的,第一样本数据集合可以为针对基础分类模型的全量的样本数据,例如,设置基础分类模型对应的分类类别为N个初始类别:{类别0、类别1、类别2、类别3、类别4},进而可以基于N个初始类别下的每个第一样本数据对为基础分类模型的第一分类模型进行迭代训练,得到第二分类模型。

若该第二分类模型是基于训练后的基础分类模型进行过一次或多个增量学习得到的,则该第一样本数据集合中可以包括训练基础分类模型的样本数据集合,以及每次进行增量学习所获取的样本数据集合。例如,基础分类模型对应的分类类别包括{类别0、类别1、类别2、类别3、类别4},进而可以获取属于类别0、类别1、类别2、类别3、类别4的样本数据所组成的样本数据集合1,并利用样本数据集合1对基础分类模型进行训练,得到分类模型1;然后再在分类模型1的基础上通过增量学习的方式得到第二分类模型,即可以对分类模型1对应的分类类别增加类别5,并获取属于类别5的样本数据所组成的样本数据集合2,并利用样本数据集合2对分类模型1进行训练,得到第二分类模型。可以理解的是,上述的第一样本数据集合可以包括样本数据集合1、样本数据集合2,类别0、类别1...类别5均可以称为第二分类模型对应的分类类别,即上述的N个初始类别,在第一样本数据集合中,每个初始类别下均有一个或多个样本数据,即样本数据集合1中可以有类别0-4中每个类别下的样本数据,样本数据集合2中可以有类别5下的样本数据。

可以理解的是,第一样本数据集合中,每个第一样本数据可以关联有对应的样本标签,每个第一样本数据关联的样本标签可以用于指示第一样本数据所属的初始类别。

其中,可以理解的是,该第一目标类别可以为对第二分类模型进行增量学习所需增加的目标类别,目标类别可以用于指示对分类模型进行增量学习所需要增加的类别,也称增量类别。对第二分类模型的分类类别增加的第一目标类别的数量可以为一个,也可以为多个,此处不做限制。对第二分类模型所对应的分类类别增加第一目标类别可以为调整第二分类模型中用于指示分类类别的参数,使得在对增加分类类别的第二分类模型进行训练后,能够对N个初始类别以及增加的第一目标类别进行分类识别。例如,N个初始类别包括:类别0、类别1、类别2、类别3、类别4、类别5,增加的第一目标类别为类别6,增加的第一目标类别和每个初始类别均不同。

可以理解的是,此处的第一分类模型和第二分类模型均可以称为分类模型,第一分类模型和第二分类模型的模型结构可以相同,但由于进行了增量训练的原因,其中的模型参数可以不同。

在一个实施例中,分类模型中可以包括编码器和分类层,其中,编码器可以用于基于输入的数据进行特征编码,得到对应的全局特征。该分类层可以用于对编码器编码得到的全局特征进行分类识别处理得到分类识别结果,也称全连接层。可选的,分类模型中还可以包括解码器,该解码器可以用于对编码器编码得到的全局特征进行解码处理得到对应的解码数据。

S102、获取每个初始类别下的第一样本数据对应的中心样本数据,每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,每个第一样本数据的第一全局特征是基于分类模型的编码器对每个第一样本数据进行特征编码得到的,每个初始类别的平均全局特征是指对应的第一样本数据的第一全局特征的平均特征。

其中,中心样本数据可以为任一初始类别下对应的第一全局特征与该任一初始类别的平均全局特征距离最近的第一样本数据。

在一个实施例中,若该第二分类模型是对基础分类模型进行全量的训练得到的,即第一分类模型为基础分类模型,则每个第一样本数据的第一全局特征是基于最后一次迭代训练时的第一分类模型的编码器对第一样本数据进行特征编码得到的全局特征,进而可以基于每个初始类别下的第一样本数据对应的第一全局特征确定每个初始类别的平均全局特征。

若该第二分类模型是基于训练后的基础分类模型进行过一次或多个增量学习得到的,则每个第一样本数据的第一全局特征可以是基于基础分类模型在最后一次迭代训练时编码器对每个基础类别下的第一样本数据进行特征编码得到的全局特征,或者也可以是在对训练后的基础分类模型进行增量学习时编码器对每个增加的目标类别的第一样本数据进行特征编码得到的全局特征。例如,第一样本数据集合中包括用于对基础分类模型进行训练的样本数据集合1,和对训练好的基础分类模型(如称为分类模型1)通过增量学习的方式进行训练以得到第一分类模型所需的样本数据集合2,对第一分类模型通过增量学习的方式进行训练以得到第二分类模型所需的样本数据集合3。其中,样本数据集合1中包括类别0-4下的样本数据,样本数据集合2中包括类别5下的样本数据,样本数据集合3中包括类别6下的样本数据。那么,第一样本数据集合中类别0-4下的第一样本数据的第一全局特征是基于最后一次迭代训练时的基础分类模型的编码器对类别0-4下的每个第一样本数据进行特征编码得到的,第一样本数据集合类别5下的第一样本数据的第一全局特征是基于最后一次迭代训练时的分类模型1的编码器对类别5下的每个第一样本数据进行特征编码得到的,第一样本数据集合中类别6下的第一样本数据的第一全局特征是基于最后一次迭代训练时第一分类模型的编码器对类别6下的每个第一样本数据进行特征编码得到的。基于此,可以确定第一样本数据集合中每个初始类别下的第一样本数据的第一全局特征,进而基于每个初始类别下的第一样本数据的第一全局特征的平均特征确定每个初始类别的平均全局特征。

具体的,获取每个初始类别下的第一样本数据对应的中心样本数据,可以包括以下步骤:获取每个初始类别下的第一样本数据的第一全局特征,并基于每个初始类别下的第一样本数据的第一全局特征的平均特征,确定每个初始类别的平均全局特征;计算每个第一样本数据的第一全局特征与所属初始类别的平均全局特征之间的特征距离;将每个初始类别下的第一样本数据中对应的特征距离最小的第一样本数据,确定为每个初始类别对应的中心样本数据。

其中,每个初始类别的平均全局特征可以为每个初始类别下的第一样本数据的第一全局特征的平均特征。计算特征距离可以为计算第一全局特征与平均全局特征之间的欧式距离、曼哈顿距离等等,此处不做限制。例如,类别1下有多个第一样本数据,如样本1、2、3...9,从而可以获取样本1、2、3...9分别对应的第一全局特征,并基于样本1、2、3...9分别对应的第一全局特征的平均特征确定类别1对应的平均全局特征,然后分别计算样本1、2、3...9分别对应的第一全局特征与类别1对应的平均全局特征之间的特征距离,若样本3的第一全局特征与类别1对应的平均全局特征之间的特征距离最小,则可以将样本3确定为类别1对应的中心样本数据。

S103、获取第二样本数据集合,第二样本数据集合中包括多个第二样本数据,每个第二样本数据均属于第一目标类别。

其中,该第二样本数据集合可以为用于对第二分类模型通过增量学习的方式进行训练的样本数据集合。可以理解的是,第二样本数据集合中的多个第二样本数据均属于第一目标类别。可以理解的是,每个第二样本数据均可以关联有对应的样本标签,每个第二样本数据关联的样本标签可以用于指示第二样本数据所属的第一目标类别。

S104、基于多个第二样本数据以及N个初始类别对应的中心样本数据对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,并利用第三分类模型对输入的数据进行分类识别;第三分类模型对应的分类类别包括N个初始类别和第一目标类别。

其中,该第三分类模型可以为对第二分类模型通过增量学习的方式进行训练得到的分类模型。该第三根类模型对应的分类类别可以包括N个初始类别和第一目标类别。

在一些实施例中,基于多个第二样本数据以及N个初始类别对应的中心样本数据对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,可以包括:通过增加分类类别的第二分类模型中的编码器对每个初始类别对应的中心样本数据和每个第二样本数据进行特征编码处理,得到针对增加分类类别的第二分类模型的目标训练特征;通过增加分类类别的第二分类模型对每个目标训练特征分别进行分类识别处理,得到每个目标训练特征对应的分类识别结果;基于每个目标训练特征对应的分类识别结果对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型。

其中,该目标训练特征可以为用于训练增加分类类别的第二分类模型的训练特征。可以理解的是,该目标训练特征可以包括基于第二样本数据进行特征编码处理得到的第二全局特征,以及基于对中心样本数据进行特征编码处理得到的全局特征进行随机采样处理得到的中心采样特征。

可以理解的是,对每个目标训练特征分别进行分类识别处理可以基于第二分类模型中的分类层进行分类识别处理,该分类层也可以称为全连接层,其中可以包括softmax层(一种逻辑函数)。可以理解的是,每个目标训练特征对应的分类识别结果可以包括目标训练特征所对应的样本数据(即中心样本数据或第二样本数据)属于每个分类类别(即N个初始类别和第一目标类别)的识别概率。

可以理解的是,每个目标训练特征所对应的样本数据均关联有对应的样本标签。在一个目标训练特征所对应的样本数据为中心样本数据时,对应的样本标签可以用于指示中心样本数据所属的初始类别;在一个目标训练特征所对应的样本数据为第二样本数据时,对应的样本标签可以用于指示所属的第一目标类别。

可以理解的是,基于每个目标训练特征所对应的样本数据关联的样本标签可以确定针对每个分类类别(即N个初始类别和第一目标类别)的标签概率。若对应的样本数据属于某个分类类别,则针对每个分类类别(即N个初始类别和第一目标类别)的标签概率中,所属的某个分类类别的标签概率为1,其他的分类类别的标签概率为0。

可以理解的是,基于每个目标训练特征对应的分类识别结果对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,可以为基于每个目标训练特征对应的分类识别结果所指示的针对每个分类类别的识别概率,和每个目标训练特征对应的样本数据关联的样本标签所指示的针对每个分类类别的标签概率之间的差异确定第一参考信息,然后基于第一参考信息对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型。该第一参考信息可以基于损失函数进行计算,如该损失函数可以为交叉熵损失函数。可以理解的是,随着训练的进行,每个训练特征对应的分类识别结果逐渐趋近于每个目标训练特征对应的样本数据关联的样本标签,即第一参考信息逐渐减小,在第一参考信息收敛时,可以将迭代训练后的增加分类类别的第二分类模型确定为第三分类模型。

可以理解的是,上述通过增量学习的方式对第一分类模型进行训练得到第二分类模型的方法,可以参照此处通过增量学习的方式对第二分类模型进行训练得到第三分类模型的过程,可以理解的是,后续还可以在第三分类模型的基础上通过该方法对第三分类模型进行增量学习,从而可以使得训练得到的分类模型能够对更多分类类别进行识别,且能够在不依赖于大量旧任务数据的同时,提升通过增量学习的方式训练的到的分类模型的模型性能。

可以理解的是,该第三分类模型可以对输入的数据进行特征编码,然后利用编码得到的全局特征进行分类识别。例如,该第三分类模型可以用于对输入的图像数据进行关键部位识别,如识别脸部、手肘、膝盖等关键部位,则可以利用第三分类模型中的编码器对输入的图像数据进行特征编码,得到对应的图像全局特征,然后利用第三分类模型中的分类层确定分类识别结果,该分类识别结果中可以包括图像数据属于每个关键部位的概率,从而最大概率所对应的关键部位即为基于第三分类模型识别到的关键部位。

在一个实施例中,第一样本数据和第二样本数据均为对象的关键部位的图像数据;第三分类模型中包括编码器和分类层,第三分类模型对应的分类类别包括输入的图像数据所属的关键部位的部位类别;那么,利用第三分类模型对输入的数据进行分类识别,可以包括以下步骤:获取待处理图像数据,基于第三分类模型中的编码器编码得到待处理图像数据的图像全局特征;通过第三分类模型中的分类层对图像全局特征进行分类识别处理,得到待处理图像数据对应的部位识别结果,部位识别结果用于指示待处理图像数据所属的关键部位的部位类别。

其中,待处理图像数据可以为等待识别对应的关键部位的图像数据。图像全局特征可以为第三分类模型中的编码器对待处理图像数据进行特征编码得到的特征。可以理解的是,部位识别结果可以用于指示待处理图像数据所属的关键部位的部位类别。可选的,该部位识别结果可以表示为针对每个关键部位的部位类别的概率,从而可以将概率最大的部位类别所对应的关键部位确定为识别到的待处理图像数据所属的关键部位。

可以理解的是,每个分类模型(如第三分类模型、第二分类模型以及第一分类模型)由于进行了训练的原因,分类模型的模型参数可以不同,但是其模型结构可以相同,如都包括编码器和分类层,每个分类模型中的编码器可以不同,每个分类模型中的分类层的参数也可以不同。

可以理解的是,该第三分类模型还可以用于通过编码器对输入的数据进行特征编码,然后通过编码得到的全局特征与其他基于相同方式得到的全局特征进行特征比对。例如,在一些身份验证场景中,可以通过第三分类模型中的编码器对预先采集的到的用户的参考部位图像(如脸部、眼睛、嘴唇等等)进行特征编码,得到参考图像全局特征,并对参考图像全局特征进行存储。在用户需要进行身份验证时,可以获取用户的待验证部位图像(如脸部、眼睛、嘴唇等等),并对通过第三分类模型中的编码器对待验证部位图像进行特征编码,得到待验证图像全局特征,然后通过待验证图像全局特征与参考图像全局特征进行特征比对,得到特征比对结果。若特征比对结果指示待验证图像全局特征与参考图像全局特征之间的相似度达到一定阈值,则可以确定对用户的身份验证通过,反之,若特征比对结果指示待验证图像全局特征与参考图像全局特征之间的相似度未达到一定阈值,则可以确定对用户的身份验证不通过。

可以理解的是,在分类模型的基础上进行增量学习的次数以及增加的分类类别是基于实际需求确定的,每次进行增量学习的过程均可以参照上述步骤,其中第二分类模型即为待进行增量学习的分类模型,第三分类模型即为已经完成增量学习的分类模型,在需要对一个分类模型进行增量学习时,则可以将该分类模型作为第二分类模型,并通过上述步骤确定增量训练所得到的分类模型。例如,分类模型1对应的分类类别为类别0-类别4,若需要对分类模型1进行增量学习,则可以将分类模型1作为上述第二分类模型,并通过上述步骤的训练,可以得到分类模型2,该分类模型2对应的分类类别为类别0-类别5(即在原本对应的分类类别的基础上增加了类别5)。进一步的,若需要对分类模型2进行增量学习,则可以将分类模型2作为第二分类模型,并通过上述步骤的训练,可以得到分类模型3,该分类模型3对应的分类类别为类别0-类别6(即在原本对应的分类类别的基础上增加了类别6),以此类推,若有需求,还可以对分类模型3继续进行增量学习,此处不做赘述。

请参见图2,图2是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由上述的电子设备执行。该数据处理方法可以包括以下步骤。

S201、获取第二分类模型,并对第二分类模型所对应的分类类别增加第一目标类别;第二分类模型是基于第一样本数据集合对第一分类模型进行训练得到的,第二分类模型对应的分类类别包括N个初始类别,N个初始类别不同于第一目标类别;第一样本数据集合包括N个初始类别下的多个第一样本数据;N为正整数。

S202、获取每个初始类别下的第一样本数据对应的中心样本数据,每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,每个第一样本数据的第一全局特征是基于分类模型的编码器对每个第一样本数据进行特征编码得到的,每个初始类别的平均全局特征是指对应的第一样本数据的第一全局特征的平均特征。

S203、获取第二样本数据集合,第二样本数据集合中包括多个第二样本数据,每个第二样本数据均属于第一目标类别。

步骤S201-S203可以参照上述步骤S101-S103的相关描述,此处不做赘述。

S204、通过增加分类类别的第二分类模型的编码器编码得到每个初始类别对应的中心样本数据的中心全局特征,并基于每个中心全局特征进行随机采样处理,得到每个中心全局特征对应的中心采样特征。

其中,可以理解的是,该中心全局特征可以为增加分类类别的第二分类模型中的编码器对中心样本数据进行特征编码得到的特征。中心全局特征对应的中心采样特征可以为基于中心全局特征的一定波动范围内进行随机采样处理得到的特征。可选的,一个中心采样特征可以为基于一定的特征方差对中心全局特征进行随机采样得到的,该特征方差可以基于旧任务(即基于第一分类模型训练得到第二分类模型的任务)所对应的特征方差计算得到的。可选的,该此处的一定特征方差可以为一个预设的数值,也可以为基于每个第一样本数据的第一全局特征进行确定的,此处不做限制。

例如,中心采样特征可以参照以下公式(公式1)进行确定。

其中,old

具体的,基于每个中心全局特征进行随机采样处理,得到每个中心全局特征对应的中心采样特征,可以包括以下步骤:获取N个初始类别对应的目标平均特征方差;目标平均特征方差是N个初始类别下的第一样本数据的第一全局特征对应的平均特征方差;基于目标平均特征方差对每个中心全局特征进行随机采样处理,得到每个中心全局特征的中心采样特征;每个中心全局特征的中心采样特征的数量为一个或多个。

可以理解的是,基于目标平均特征方差对每个中心全局特征进行随机采样处理,得到每个中心全局特征的中心采样特征的方法可以参照上述描述,此处不做赘述,也就是说上述的一定的特征方差也可以为该目标平均特征方差。

其中,该第一平均特征方差也可以称为上述的旧任务(如基于第一分类模型训练得到第二分类模型的任务)所对应的多个分类类别(即N个初始类别)下的第一全局特征的平均特征方差。

可以理解的是,若第二分类模型可以是对基础分类模型进行全量的训练得到的,则该N个初始类别可以为基础分类模型所对应的基础类别,则确定N个初始类别对应的目标平均特征方差的方法可以包括:基于每个基础类别下的第一样本数据的第一全局特征确定N个初始类别对应的平均特征方差,并将N个初始类别对应的平均特征方差确定为目标平均特征方差。

可以理解的是,若第二分类模型是基于训练后的基础分类模型进行过一次或多个增量学习得到的,则可以基于基础分类模型所对应的基础类别下的第一样本数据的第一全局特征的平均特征方差,以及对进行全量训练后的基础分类模型进行增量学习时所增加的目标类别下的第一样本数据的第一全局特征的平均特征方差,确定目标平均特征方差。

在一个实施例中,第一分类模型是通过基础样本数据集合对基础分类模型进行训练得到的,第二分类模型是对分类类别增加了第二目标类别的第一分类模型进行训练得到的;基础分类模型对应的分类类别包括M个基础类别,N个初始类别包括M个基础类别和第二目标类别,M为小于N的正整数;基础样本数据集合中的样本数据以及用于对增加分类类别的第一分类模型进行训练的样本数据均为第一样本数据;那么,获取N个初始类别对应的目标平均特征方差,可以包括以下步骤:基于每个基础类别下的第一样本数据的第一全局特征确定M个基础类别对应的平均特征方差,并基于每个初始类别下的第一样本数据的第一全局特征确定N个初始类别对应的平均特征方差;基于M个基础类别对应的平均特征方差和N个初始类别对应的平均特征方差确定目标平均特征方差。

可以理解的是,在计算目标平均特征方差时,可以结合每次进行训练时针对每个分类类别的平均特征方差,由此可以保留更多旧任务的知识的同时,学习到更新的任务的知识,提升训练得到的分类模型的模型性能。可以理解的是,该第一分类模型是对基础分类模型进行全量的训练得到的,也可以是基于训练后的基础分类模型进行过一次或多个增量学习得到的,此处不做限制。

可以理解的是,该第二目标类别可以为对第一分类模型进行增量学习所需增加的目标类别。第一分类模型是通过基础样本数据集合对基础分类模型进行训练得到的,可以是指,第一分类模型可以为基于通过基础样本数据集合对基础分类模型进行全量的训练得到的,也可以为对进行全量训练后的基础分类模型进行增量学习得到的,此处不做限制。

可以理解的是,M个基础类别对应的平均特征方差,可以理解为每个基础类别对应的特征方差的平均值;N个初始类别对应的平均特征方差,可以理解为每个初始类别对饮的的特征方差的平均值。

基于M个基础类别对应的平均特征方差和N个初始类别对应的平均特征方差确定目标平均特征方差,可以为基于M个基础类别对应的平均特征方差以及N个初始类别对应的平均特征方差求平均值,得到目标平均特征方差。

例如,确定中心采样特征的方法可以参照以下公式(公式2)进行表示。

其中,

S205、通过增加分类类别的第二分类模型的编码器编码得到每个第二样本数据的第二全局特征。

其中,该第二全局特征可以为第一样本数据所编码得到的特征。

S206、将每个中心全局特征对应的中心采样特征和每个第二样本数据的第二全局特征确定为针对增加分类类别的第二分类模型的目标训练特征。

其中,可以理解的是,该目标训练特征可以为用于对增加分类类别的第二分类模型进行训练的特征。

S207、通过增加分类类别的第二分类模型对每个目标训练特征分别进行分类识别处理,得到每个目标训练特征对应的分类识别结果。

其中,可以理解的是,该分类识别结果可以用于指示目标训练特征对应的分类类别。该分类识别结果可以包括针对增加分类类别的第二分类模型所对应的每个分类类别(即N个初始类别和第一目标类别)的识别概率信息。

S208、基于每个目标训练特征对应的分类识别结果对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,并利用第三分类模型对输入的数据进行分类识别;第三分类模型对应的分类类别包括N个初始类别和第一目标类别。

其中,基于每个目标训练特征对应的分类识别结果对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,可以通过每个目标训练特征对应的分类识别结果以及每个目标训练特征对应的样本数据所关联的样本标签对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型。

具体的,任一目标训练特征对应的分类识别结果包括针对N个初始类别和第一目标类别的识别概率信息;每个中心样本数据均关联有用于指示所属初始类别的样本标签,每个第二样本数据均关联有用于指示属于第一目标类别的样本标签;那么,基于每个目标训练特征对应的分类识别结果对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,可以包括以下步骤:基于每个目标训练特征对应的分类识别结果中针对N个初始类别和第一目标类别的识别概率信息,与每个目标训练特征对应样本数据关联的样本标签之间的差异确定第一参考信息;基于第一参考信息对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型。

请参见图3,图3是本申请实施例提供的一种数据处理方法的流程示意图。该方法可以由上述的电子设备执行。该数据处理方法可以包括以下步骤。

S301、获取第二分类模型,并对第二分类模型所对应的分类类别增加第一目标类别;第二分类模型是基于第一样本数据集合对第一分类模型进行训练得到的,第二分类模型对应的分类类别包括N个初始类别,N个初始类别不同于第一目标类别;第一样本数据集合包括N个初始类别下的多个第一样本数据;N为正整数。

其中,可以理解的是,每个分类模型(如第一分类模型、第二分类模型等)中可以包括上述的编码器和分类层,还可以包括解码器,从而可以在对分类模型进行训练的过程中,通过解码器作为辅助训练,解码器和分类层共享同一个编码器,在进行分类识别的训练任务进行训练的同时,进行编解码训练任务,使得训练后的分类模型的编码器所编码得到的全局特征除了具有分类能力,也具有全局建模能力,使得编码器进行特征编码的能力不会随着增量学习过程的旧任务数据的减少而消失,提升了分类模型中的编码器的编码能力。可以理解的是,在基于解码数据以及样本数据对分类模型进行训练时,不依赖于样本数据所关联的样本标签,则对分类模型的训练可以称为自监督训练方式。

例如,请参见图4,图4是本申请实施例提供的一种分类模型的模型结构的效果示意图。如图4所示,分类模型中可以包括编码器401、解码器402以及分类层403。解码器402和分类层403共享同一个编码器401,也就是说,基于编码器401可以对输入的样本数据进行特征编码,得到输入的样本数据对应的全局特征,然后编码器401对全局特征进行解码处理得到解码数据,并基于解码数据以及样本数据对分类模型进行训练的同时,可以通过分类层对全局特征进行分类识别处理得到对应的分类识别结果,并基于分类识别结果和对应的样本标签对分类模型进行训练。

S302、获取每个初始类别下的第一样本数据对应的中心样本数据,每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,每个第一样本数据的第一全局特征是基于分类模型的编码器对每个第一样本数据进行特征编码得到的,每个初始类别的平均全局特征是指对应的第一样本数据的第一全局特征的平均特征。

S303、获取第二样本数据集合,第二样本数据集合中包括多个第二样本数据,每个第二样本数据均属于第一目标类别。

可以理解的是,步骤S302步骤-S303可以参照上述步骤S102-S103,此处不做赘述。

S304、通过增加分类类别的第二分类模型中的编码器对每个初始类别对应的中心样本数据和每个第二样本数据进行特征编码处理,得到针对增加分类类别的第二分类模型的目标训练特征。

可以理解的是,步骤S304可以包括以下步骤:通过增加分类类别的第二分类模型的编码器编码得到每个初始类别对应的中心样本数据的中心全局特征,并基于每个中心全局特征进行随机采样处理,得到每个中心全局特征对应的中心采样特征;通过增加分类类别的第二分类模型的编码器编码得到每个第二样本数据的第二全局特征;将每个中心全局特征对应的中心采样特征和每个第二样本数据的第二全局特征确定为针对增加分类类别的第二分类模型的目标训练特征。

其中,可以理解的是,该步骤的相关描述可以参照上述相关描述,此处不做赘述。

S305、通过增加分类类别的第二分类模型中的分类层对每个目标训练特征进行分类识别处理,得到每个目标训练特征对应的分类识别结果,并基于每个目标训练特征对应的分类识别结果和每个目标训练特征对应样本数据关联的样本标签之间的差异确定第一参考信息。

其中,确定第一参考信息的方法可以参照上述相关描述。

具体的,任一目标训练特征对应的分类识别结果包括针对N个初始类别和第一目标类别的识别概率信息;每个中心样本数据均关联有用于指示所属初始类别的样本标签,每个第二样本数据均关联有用于指示属于第一目标类别的样本标签;那么,基于每个目标训练特征对应的分类识别结果和每个目标训练特征对应样本数据关联的样本标签之间的差异确定第一参考信息,可以包括以下步骤:基于每个目标训练特征对应的分类识别结果中针对N个初始类别和第一目标类别的识别概率信息,与每个目标训练特征对应样本数据关联的样本标签之间的差异确定第一参考信息。

参照上述描述,该第一参考信息可以基于损失函数进行计算,如该损失函数可以为交叉熵损失函数。可以理解的是,随着训练的进行,每个训练特征对应的分类识别结果逐渐趋近于每个目标训练特征对应的样本数据关联的样本标签,即第一参考信息逐渐减小,在第一参考信息收敛时,可以将迭代训练的增加分类类别的第二分类模型确定为第三分类模型。

S306、通过增加分类类别的第二分类模型中的解码器对每个中心样本数据的中心全局特征以及每个第二样本数据的第二全局特征进行解码处理,得到每个中心样本数据和每个第二样本数据的解码数据,并基于解码得到的每个解码数据与对应的样本数据之间的相似性确定第二参考信息。

其中,可以理解的是,该解码数据可以为通过解码器对基于编码器得到的全局特征(即此处的中心全局特征和第二全局特征)进行解码处理得到的数据,相当于通过解码器将基于编码器得到的全局特征还原为样本数据所对应的数据类型,该数据类型可以为图像数据类型、文本数据类型等等。例如,样本数据为图像数据,则对基于编码器得到的全局特征进行解码处理,可以为将目标训练特征还原为图像数据。

可以理解的是,该第二参考信息可以为用于对增加分类类别的第二分类模型进行训练的信息,也可以称为损失值。该第二参考信息可以基于损失函数进行确定,如可以MSEloss(一种损失函数)。可以理解的是,解码数据与对应的样本数据之间的相似性越大,则第二参考信息的值越小,解码数据与对应的样本数据之间的相似性越小,则第二参考信息的值越大。

S307、基于第一参考信息和第二参考信息对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,并利用第三分类模型对输入的数据进行分类识别;第三分类模型对应的分类类别包括N个初始类别和第一目标类别。

可以理解的是,基于第一参考信息和第二参考信息对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,可以为基于第一参考信息和第二参考信息同时对增加分类类别的第二分类模型进行迭代训练。随着模型训练的进行,所得到的第一参考信息和第二参考信息均逐渐减小,也就是说,每个目标训练特征对应的分类识别结果逐渐趋近于与每个目标训练特征对应的样本数据关联的样本标签,每个目标训练特征对应的解码数据与每个目标训练特征对应的样本数据之间越相近(即相似性越大),直至第一参考信息和第二参考信息均收敛。

例如,请参见图5,图5是本申请实施例提供的一种分类模型的结构示意图。如图5所示,基于上述描述,如图5所示的分类模型中可以包括编码器501、解码器502和分类层503。在一个基于分类模型进行增量学习的过程中,可以获取属于增加的目标类别的第二样本数据组成的第二样本数据集合504,以及每个初始类别对应的中心样本数据505。进而可以基于编码器501对每个中心样本数据进行特征编码处理,得到每个中心样本数据对应的中心全局特征506,并基于对应的特征方差对中心全局特征进行随机采样处理,得到每个中心全局特征对应的中心采样特征507,并且可以基于编码器501对每个第二样本数据进行特征编码处理得到每个第二样本数据对应的第二全局特征508。然后可以通过分类层503对中心采样特征507和每个第二样本数据对应的第二全局特征508进行分类识别处理得到对应的分类识别结果,并基于每个特征(即中心采样特征507以及第二全局特征508)分类识别结果以及对应的样本数据关联样本标签之间的差异确定对应的第一参考信息。同时,可以基于解码器502对每个中心样本数据对应的中心全局特征506以及每个第二样本数据对应的第二全局特征508进行解码处理,得到对应的解码数据,并基于解码数据以及对应的样本数据之间的相似性确定第二参考信息。进而可以基于第一参考信息和第二参考信息进行迭代训练,得到增量学习后的分类模型,增量学习的后的分类模型能够基于初始类别和目标类别进行分类识别。可以理解的是,在对该分类模型进行训练时,可以通过最后一次迭代训练时目标类别下的每个样本数据的全局特征的平均特征,确定目标类别对应的中心样本数据509,并对目标类别对应的中心样本数据进行保存,以便于后续可以基于该目标类别的中心样本数据,以及之前所保存的初始类别的中心样本数据进行新的增量学习任务。

例如,请参见图6,图6是本申请实施例提供的一种增量学习方法的流程示意图。如图6所示,首先可以对基础分类模型进行训练,得到分类模型1(步骤S601)。如基础分类模型对应的分类类别可以为类别0-4,则通过类别0-4下的样本数据对基础分类模型进行全量的训练,训练好的分类模型即可以为分类模型1。并且,在对基础分类模型进行训练的过程中,可以记录最后一次迭代训练时类别0-4下的每个样本数据的全局特征,并通过类别0-4中每个类别下的样本数据的全局特征的平均特征确定每个类别对应的平均全局特征,然后遍历每个类别下的样本数据的全局特征,选取每个类别下全局特征与平均全局特征之间的距离(如欧式距离)最小的样本数据作为每个类别的中心样本数据。然后在训练得到分类模型1后,可以在分类模型1的基础上进行增量学习,即可以对分类模型1对应的分类类别增加目标类别(步骤S602),具体可以对分类模型1中的分类层进行分类类别的增加,例如,分类模型1所对应的分类类别为类别0-4(即5个分类类别),则可以对分类类别增加类别5之后,对应的分类类别的维度为6。可以理解的是,分类模型的编码器和解码器可以加载分类模型1的模型参数。

进一步的,在对分类模型1进行增量学习时,可以获取属于新增的目标类别的样本数据(如上述的第二样本数据),并且获取针对分类模型1的每个分类类别对应的中心样本数据(步骤S603)。其中,每个分类类别对应的中心样本数据的数量可以为一个。进而可以通过编码器对每个中心样本数据进行特征编码得到每个中心样本数据对应的中心全局特征,并基于特征方差对中心全局特征进行随机采样处理,得到每个中心全局特征对应的中心采样特征(步骤S604);通过编码器对目标类别对应的样本数据进行特征编码得到目标类别对应各个样本数据的全局特征(步骤S605);进而可以将每个中心全局特征对应的中心采样特征以及目标类别对应各个样本数据的全局特征输入到分类层进行训练(步骤S606),具体可以通过每个中心全局特征对应的中心采样特征以及目标类别对应各个样本数据的全局特征以及对应的样本数据的样本标签计算第一参考信息,然后基于第一参考信息对增加分类类别的分类模型1进行训练,该第一参考信息可以基于交叉熵损失函数进行确定。同时,可以将每个中心样本数据对应的中心全局特征和目标类别对应各个样本数据的全局特征输入到解码器进行训练(步骤S607)。具体的,可以通过解码器确定每个中心样本数据对应的中心全局特征和目标类别对应各个样本数据的全局特征对应的解码数据,进而基于解码数据以及对应的样本数据之间的相似性确定第二参考信息,然后基于第二参考信息对增加分类类别的分类模型1进行训练,该第二参考信息可以基于MSEloss(一种损失函数)进行确定。由此可以实现对分类模型1的增量学习,对分类模型1进行增量学习后得到的分类模型可以为分类模型2,若需要对分类模型2进行增量学习,则可以重复执行步骤S602-S607。例如,若需要最终训练得到的分类模型能够对类别0-9进行分类识别,类别0-4为基础分类模型对应的分类类别,则可以每次增量训练增加一个类别,直至训练得到的分类模型对应的分类类别为类别0-9。

请参见图7,图7是本申请实施例提供的一种数据处理装置的结构示意图。可选的,该数据处理装置可以设置于上述电子设备中。如图7所示,本实施例中所描述的数据处理装置可以包括:

获取单元701,用于获取第二分类模型,并对所述第二分类模型所对应的分类类别增加第一目标类别;所述第二分类模型是基于第一样本数据集合对第一分类模型进行训练得到的,所述第二分类模型对应的分类类别包括N个初始类别,所述N个初始类别不同于所述第一目标类别;所述第一样本数据集合包括所述N个初始类别下的多个第一样本数据;N为正整数;

所述获取单元701,还用于获取每个初始类别下的第一样本数据对应的中心样本数据,每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,每个第一样本数据的第一全局特征是基于分类模型的编码器对所述每个第一样本数据进行特征编码得到的,每个初始类别的平均全局特征是指对应的多个第一样本数据的第一全局特征的平均特征;

所述获取单元701,还用于获取第二样本数据集合,所述第二样本数据集合中包括多个第二样本数据,每个第二样本数据均属于所述第一目标类别;

处理单元702,用于基于所述多个第二样本数据以及所述N个初始类别对应的中心样本数据对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,并利用所述第三分类模型对输入的数据进行分类识别;所述第三分类模型对应的分类类别包括所述N个初始类别和所述第一目标类别。

在一种实现方式中,所述处理单元702,具体用于:

通过增加分类类别的第二分类模型的编码器编码得到所述每个初始类别对应的中心样本数据的中心全局特征,并基于每个中心全局特征进行随机采样处理,得到所述每个中心全局特征对应的中心采样特征;

通过增加分类类别的第二分类模型的编码器编码得到所述每个第二样本数据的第二全局特征;

将所述每个中心全局特征对应的中心采样特征和所述每个第二样本数据的第二全局特征确定为针对增加分类类别的第二分类模型的目标训练特征;

通过增加分类类别的第二分类模型对每个目标训练特征分别进行分类识别处理,得到所述每个目标训练特征对应的分类识别结果;

基于所述每个目标训练特征对应的分类识别结果对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型。

在一种实现方式中,所述处理单元702,具体用于:

获取所述N个初始类别对应的目标平均特征方差;所述目标平均特征方差是所述N个初始类别下的第一样本数据的第一全局特征对应的平均特征方差;

基于所述目标平均特征方差对所述每个中心全局特征进行随机采样处理,得到所述每个中心全局特征的中心采样特征;所述每个中心全局特征的中心采样特征的数量为一个或多个。

在一种实现方式中,所述第一分类模型是通过基础样本数据集合对基础分类模型进行训练得到的,所述第二分类模型是对分类类别增加了第二目标类别的第一分类模型进行训练得到的;所述基础分类模型对应的分类类别包括M个基础类别,所述N个初始类别包括所述M个基础类别和所述第二目标类别,M为小于N的正整数;所述基础样本数据集合中的样本数据以及用于对增加分类类别的第一分类模型进行训练的样本数据均为所述第一样本数据;所述处理单元702,具体用于:

基于每个基础类别下的第一样本数据的第一全局特征确定所述M个基础类别对应的平均特征方差,并基于所述每个初始类别下的第一样本数据的第一全局特征确定所述N个初始类别对应的平均特征方差;

基于所述M个基础类别对应的平均特征方差和所述N个初始类别对应的平均特征方差确定所述目标平均特征方差。

在一种实现方式中,任一目标训练特征对应的分类识别结果包括针对所述N个初始类别和所述第一目标类别的识别概率信息;所述每个中心样本数据均关联有用于指示所属初始类别的样本标签,所述每个第二样本数据均关联有用于指示属于所述第一目标类别的样本标签;所述处理单元702,具体用于:

基于所述每个目标训练特征对应的分类识别结果中针对所述N个初始类别和所述第一目标类别的识别概率信息,与所述每个目标训练特征对应样本数据关联的样本标签之间的差异确定第一参考信息;

基于所述第一参考信息对增加分类类别的第二分类模型进行迭代训练,得到所述第三分类模型。

在一种实现方式中,所述第二分类模型中还包括解码器和分类层;所述每个中心样本数据均关联有用于指示所属初始类别的样本标签,所述每个第二样本数据均关联有用于指示属于所述第一目标类别的样本标签;所述处理单元702,具体用于:

通过增加分类类别的第二分类模型中的编码器对所述每个初始类别对应的中心样本数据和所述每个第二样本数据进行特征编码处理,得到针对增加分类类别的第二分类模型的目标训练特征;

通过增加分类类别的第二分类模型中的分类层对所述每个目标训练特征进行分类识别处理,得到所述每个目标训练特征对应的分类识别结果,并基于所述每个目标训练特征对应的分类识别结果和所述每个目标训练特征对应样本数据关联的样本标签之间的差异确定第一参考信息;

通过增加分类类别的第二分类模型中的解码器对所述每个中心样本数据的中心全局特征以及每个第二样本数据的第二全局特征进行解码处理,得到所述每个中心样本数据和所述每个第二样本数据的解码数据,并基于解码得到的每个解码数据与对应的样本数据之间的相似性确定第二参考信息;

基于所述第一参考信息和所述第二参考信息对增加分类类别的第二分类模型进行迭代训练,得到所述第三分类模型。

在一种实现方式中,所述处理单元702,具体用于:

获取所述每个初始类别下的第一样本数据的第一全局特征,并基于所述每个初始类别下的第一样本数据的第一全局特征的平均特征,确定所述每个初始类别的平均全局特征;

计算所述每个第一样本数据的第一全局特征与所属初始类别的平均全局特征之间的特征距离;

将所述每个初始类别下的第一样本数据中对应的特征距离最小的第一样本数据,确定为所述每个初始类别对应的中心样本数据。

在一种实现方式中,所述第一样本数据和所述第二样本数据均为对象的关键部位的图像数据;所述第三分类模型中包括编码器和分类层,所述第三分类模型对应的分类类别包括输入的图像数据所属的关键部位的部位类别;所述处理单元702,具体用于:

获取待处理图像数据,基于所述第三分类模型中的编码器编码得到所述待处理图像数据的图像全局特征;

通过所述第三分类模型中的分类层对所述图像全局特征进行分类识别处理,得到所述待处理图像数据对应的部位识别结果,所述部位识别结果用于指示所述待处理图像数据所属的关键部位的部位类别。

请参见图8,图8是本申请实施例提供的一种电子设备的结构示意图。本实施例中所描述的电子设备,包括:处理器801、存储器802。可选的,该电子设备还可包括网络接口或供电模块等结构。上述处理器801、存储器802之间可以交互数据。

上述处理器801可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述网络接口可以包括输入设备和/或输出设备,例如该输入设备是可以是控制面板、麦克风、接收器等,输出设备可以是显示屏、发送器等,此处不一一列举。

上述存储器802可以包括只读存储器和随机存取存储器,并向处理器801提供程序指令和数据。存储器802的一部分还可以包括非易失性随机存取存储器。其中,所述处理器801调用所述程序指令时用于执行:

获取第二分类模型,并对所述第二分类模型所对应的分类类别增加第一目标类别;所述第二分类模型是基于第一样本数据集合对第一分类模型进行训练得到的,所述第二分类模型对应的分类类别包括N个初始类别,所述N个初始类别不同于所述第一目标类别;所述第一样本数据集合包括所述N个初始类别下的多个第一样本数据;N为正整数;

获取每个初始类别下的第一样本数据对应的中心样本数据,每个中心样本数据是指对应的第一全局特征与所属的初始类别的平均全局特征之间的特征距离最小的第一样本数据,每个第一样本数据的第一全局特征是基于分类模型的编码器对所述每个第一样本数据进行特征编码得到的,每个初始类别的平均全局特征是指对应的多个第一样本数据的第一全局特征的平均特征;

获取第二样本数据集合,所述第二样本数据集合中包括多个第二样本数据,每个第二样本数据均属于所述第一目标类别;

基于所述多个第二样本数据以及所述N个初始类别对应的中心样本数据对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型,并利用所述第三分类模型对输入的数据进行分类识别;所述第三分类模型对应的分类类别包括所述N个初始类别和所述第一目标类别。

在一种实现方式中,所述处理器801,具体用于:

通过增加分类类别的第二分类模型的编码器编码得到所述每个初始类别对应的中心样本数据的中心全局特征,并基于每个中心全局特征进行随机采样处理,得到所述每个中心全局特征对应的中心采样特征;

通过增加分类类别的第二分类模型的编码器编码得到所述每个第二样本数据的第二全局特征;

将所述每个中心全局特征对应的中心采样特征和所述每个第二样本数据的第二全局特征确定为针对增加分类类别的第二分类模型的目标训练特征;

通过增加分类类别的第二分类模型对每个目标训练特征分别进行分类识别处理,得到所述每个目标训练特征对应的分类识别结果;

基于所述每个目标训练特征对应的分类识别结果对增加分类类别的第二分类模型进行迭代训练,得到第三分类模型。

在一种实现方式中,所述处理器801,具体用于:

获取所述N个初始类别对应的目标平均特征方差;所述目标平均特征方差是所述N个初始类别下的第一样本数据的第一全局特征对应的平均特征方差;

基于所述目标平均特征方差对所述每个中心全局特征进行随机采样处理,得到所述每个中心全局特征的中心采样特征;所述每个中心全局特征的中心采样特征的数量为一个或多个。

在一种实现方式中,所述第一分类模型是通过基础样本数据集合对基础分类模型进行训练得到的,所述第二分类模型是对分类类别增加了第二目标类别的第一分类模型进行训练得到的;所述基础分类模型对应的分类类别包括M个基础类别,所述N个初始类别包括所述M个基础类别和所述第二目标类别,M为小于N的正整数;所述基础样本数据集合中的样本数据以及用于对增加分类类别的第一分类模型进行训练的样本数据均为所述第一样本数据;所述处理器801,具体用于:

基于每个基础类别下的第一样本数据的第一全局特征确定所述M个基础类别对应的平均特征方差,并基于所述每个初始类别下的第一样本数据的第一全局特征确定所述N个初始类别对应的平均特征方差;

基于所述M个基础类别对应的平均特征方差和所述N个初始类别对应的平均特征方差确定所述目标平均特征方差。

在一种实现方式中,任一目标训练特征对应的分类识别结果包括针对所述N个初始类别和所述第一目标类别的识别概率信息;所述每个中心样本数据均关联有用于指示所属初始类别的样本标签,所述每个第二样本数据均关联有用于指示属于所述第一目标类别的样本标签;所述处理器801,具体用于:

基于所述每个目标训练特征对应的分类识别结果中针对所述N个初始类别和所述第一目标类别的识别概率信息,与所述每个目标训练特征对应样本数据关联的样本标签之间的差异确定第一参考信息;

基于所述第一参考信息对增加分类类别的第二分类模型进行迭代训练,得到所述第三分类模型。

在一种实现方式中,所述第二分类模型中还包括解码器和分类层;所述每个中心样本数据均关联有用于指示所属初始类别的样本标签,所述每个第二样本数据均关联有用于指示属于所述第一目标类别的样本标签;所述处理器801,具体用于:

通过增加分类类别的第二分类模型中的编码器对所述每个初始类别对应的中心样本数据和所述每个第二样本数据进行特征编码处理,得到针对增加分类类别的第二分类模型的目标训练特征;

通过增加分类类别的第二分类模型中的分类层对所述每个目标训练特征进行分类识别处理,得到所述每个目标训练特征对应的分类识别结果,并基于所述每个目标训练特征对应的分类识别结果和所述每个目标训练特征对应样本数据关联的样本标签之间的差异确定第一参考信息;

通过增加分类类别的第二分类模型中的解码器对所述每个中心样本数据的中心全局特征以及每个第二样本数据的第二全局特征进行解码处理,得到所述每个中心样本数据和所述每个第二样本数据的解码数据,并基于解码得到的每个解码数据与对应的样本数据之间的相似性确定第二参考信息;

基于所述第一参考信息和所述第二参考信息对增加分类类别的第二分类模型进行迭代训练,得到所述第三分类模型。

在一种实现方式中,所述处理器801,具体用于:

获取所述每个初始类别下的第一样本数据的第一全局特征,并基于所述每个初始类别下的第一样本数据的第一全局特征的平均特征,确定所述每个初始类别的平均全局特征;

计算所述每个第一样本数据的第一全局特征与所属初始类别的平均全局特征之间的特征距离;

将所述每个初始类别下的第一样本数据中对应的特征距离最小的第一样本数据,确定为所述每个初始类别对应的中心样本数据。

在一种实现方式中,所述第一样本数据和所述第二样本数据均为对象的关键部位的图像数据;所述第三分类模型中包括编码器和分类层,所述第三分类模型对应的分类类别包括输入的图像数据所属的关键部位的部位类别;所述处理器801,具体用于:

获取待处理图像数据,基于所述第三分类模型中的编码器编码得到所述待处理图像数据的图像全局特征;

通过所述第三分类模型中的分类层对所述图像全局特征进行分类识别处理,得到所述待处理图像数据对应的部位识别结果,所述部位识别结果用于指示所述待处理图像数据所属的关键部位的部位类别。

可选的,该程序指令被处理器执行时还可实现上述实施例中方法的其他步骤,这里不再赘述。

本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述方法,比如执行上述电子设备执行的方法,此处不赘述。

可选的,本申请涉及的存储介质如计算机可读存储介质可以是非易失性的,也可以是易失性的。

可选的,该计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。其中,本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。

本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令被处理器执行时可实现上述方法中的部分或全部步骤。例如,该计算机指令存储在计算机可读存储介质中。计算机设备(即上述的电子设备)的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法的实施例中所执行的步骤。例如,该计算机设备可以为终端,或者可以为服务器。

以上对本申请实施例所提供的一种数据处理方法、装置、电子设备及介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

相关技术
  • 基于半监督学习的联邦建模方法、设备及可读存储介质
  • 基于迁移学习的神经网络联邦建模方法、设备及存储介质
  • 基于迁移学习的联邦建模方法、设备及可读存储介质
  • 基于神经网络的联邦建模方法、设备及可读存储介质
  • 一种数据建模的方法、装置、电子设备及可读介质
  • 一种基于联邦学习的建模方法、装置、设备及介质
  • 基于联邦学习的建模方法及装置、设备、存储介质
技术分类

06120116545000