数据不平衡的协同训练方法、装置、电子设备及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及一种数据不平衡的协同训练方法、装置、电子设备及存储介质。

背景技术

相关技术中为了减少训练方之间的信息传递从而降低通信带宽的需求，提出了信息压缩、随机抛弃、根据信道条件调整传输量等方法。特别地，当所有训练方的数据特征空间与优化目标一致而仅数据ID不一致时，采用横向联邦学习方法。

相关技术中已有的训练同一机器学习模型的横向联邦学习算法中，通过将各个训练方在本地数据训练得到的梯度信息进行汇聚、加权合并、更新模型参数，实现了在数据不共享时逼近集中式机器学习的性能。虽然，已有的联邦学习能很好地解决训练方自由数据样本数量不平衡的问题，但是对于实际应用中常见的数据类别不平衡的问题，相关技术中的联邦学习算法的训练性能较低。

发明内容

有鉴于此，本公开提出了一种数据不平衡的协同训练方法、装置、电子设备及存储介质。

基于上述目的，本公开提供了一种数据不平衡的协同训练方法，包括：

确定共同模型和M个训练参与方；其中，M≥2；

获取输入数据；其中，所述输入数据，包括：训练集和模型输入参数，所述训练参与方，包括：私有数据集；所述训练集根据所述私有数据集确定；

按照预定排序方式对所述M个训练参与方进行排序；

利用所述输入数据对所述共同模型进行循环训练；其中，每轮训练中，利用所述M个训练参与方对所述共同模型进行训练以得到M个模型输出参数，按序依次将每个训练参与方的所述模型输出参数作为下一个训练参与方的所述模型输入参数，根据所述模型输入参数利用所述M个训练参与方对所述共同模型进行训练；所述模型输出参数，至少包括：模型权重参数；以及，

响应于所述共同模型满足预设终止条件，完成所述共同模型的协同训练。

可选的，所述确定共同模型和M个训练参与方，之后还包括：

在每个所述训练参与方处均对所述共同模型进行初始化。

可选的，所述预定排序方式，包括：

对每个所述训练参与方生成随机数，并根据所述随机数的大小对所述训练参与方从大至小进行排序。

可选的，所述利用所述输入数据对所述共同模型进行循环训练，进一步包括：

在首轮训练中，将根据所述共同模型确定的初始模型参数作为首轮的模型输入参数；

利用所述训练集和所述首轮的模型输入参数对所述共同模型进行训练以得到M个首轮的模型输出参数；

按序依次将每个训练参与方的所述首轮的模型输出参数传递至下一个训练参与方。

可选的，所述按序依次将每个训练参与方的所述首轮的模型输出参数传递至下一个训练参与方，进一步包括：

将每个训练参与方利用所述私有数据集对所述共同模型训练后得到的所述首轮的模型输出参数按序传递至下一个训练参与方；其中，将第M个训练参与方利用所述私有数据集对所述共同模型训练后得到的所述首轮的模型输出参数传递至第1个训练参与方。

可选的，所述利用所述输入数据对所述共同模型进行循环训练，进一步包括：

在第i轮训练中，将传递后的M个第i-1轮的模型输出参数分别作为所述M个训练参与方的第i轮的模型输入参数；

利用所述训练集和第i轮的模型输入参数对所述共同模型进行训练以得到M个第i轮的模型输出参数；

按序依次将每个训练参与方的所述第i轮的模型输出参数传递至下一个训练参与方。

基于同一发明构思，本公开还提供了一种数据不平衡的协同训练装置，包括：

确定模块，被配置为确定共同模型和M个训练参与方；其中，M≥2；

获取模块，被配置为获取输入数据；其中，所述输入数据，包括：训练集和模型输入参数，所述训练参与方，包括：私有数据集；所述训练集根据所述私有数据集确定；

排序模块，被配置为按照预定排序方式对所述M个训练参与方进行排序；

训练模块，被配置为利用所述输入数据对所述共同模型进行循环训练；其中，每轮训练中，利用所述M个训练参与方对所述共同模型进行训练以得到M个模型输出参数，按序依次将每个训练参与方的所述模型输出参数作为下一个训练参与方的所述模型输入参数，根据所述模型输入参数利用所述M个训练参与方对所述共同模型进行训练；所述模型输出参数，至少包括：模型权重参数；

执行模块，被配置为响应于所述共同模型满足预设终止条件，完成所述共同模型的协同训练。

可选的，所述装置进一步包括：

初始化模块，被配置为在每个所述训练参与方处均对所述共同模型进行初始化。

基于同一发明构思，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一项所述的数据不平衡的协同训练方法。

基于同一发明构思，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储电子装置的一组指令，该组指令用于使所述电子装置执行上述任意一项所述的数据不平衡的协同训练方法。

从上面所述可以看出，本公开提供的一种数据不平衡的协同训练方法、装置、电子设备及存储介质，包括：确定共同模型和M个训练参与方；其中，M≥2；获取输入数据；其中，所述输入数据，包括：训练集和模型输入参数，所述训练参与方，包括：私有数据集；所述训练集根据所述私有数据集确定；按照预定排序方式对所述M个训练参与方进行排序；利用所述输入数据对所述共同模型进行循环训练；其中，每轮训练中，利用所述M个训练参与方对所述共同模型进行训练以得到M个模型输出参数，按序依次将每个训练参与方的所述模型输出参数作为下一个训练参与方的所述模型输入参数，根据所述模型输入参数利用所述M个训练参与方对所述共同模型进行训练；所述模型输出参数，至少包括：模型权重参数；以及，响应于所述共同模型满足预设终止条件，完成所述共同模型的协同训练。本公开提供的方法针对实际应用中常见的数据样本类型不平衡问题，确定多个各自拥有私有数据集的训练参与方，全部训练参与方通过横向联邦学习训练同一个共同模型，考虑了多个训练参与方拥有的私有数据集不仅样本数量少从而不足以单独训练共同模型收敛，同时私有数据集之间的样本类型可能极端不平衡，不同的私有数据集中包含的数据类型存在不重合、不完整情况。同时多个参与方在进行联邦学习时无需第三方协调，可实现无中心化的联邦学习，通过多个训练参与方的模型输入参数传递共享，进行多方协同的循环训练，减少数据样本类型极端不平衡带来的性能下降，大大提高了训练机器学习模型时的性能。

附图说明

为了更清楚地说明本说明书一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例所提供的一种数据不平衡的协同训练的示例性方法的流程示意图。

图2为本公开实施例的一种数据不平衡的协同训练方法中示例性的循环训练算法的示意图。

图3为本公开实施例的FedAvg算法的准确度曲线的示意图。

图4为本公开实施例的FedAvg算法的损失曲线的示意图。

图5为本公开实施例的数据不平衡的协同训练方法的准确度曲线的示意图。

图6为本公开实施例的数据不平衡的协同训练方法的损失曲线的示意图。

图7为本公开实施例的一种数据不平衡的协同训练装置的结构示意图；

图8为本公开实施例的一种示例性电子设备的结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

部分名词在本公开中的解释：

训练参与方：训练参与方是指参与共同模型训练且拥有私有数据集的用户，其物理实体可以是单位、个人，也可以是服务器、网元；

私有数据集：私有数据集是指训练参与方拥有的不与其他训练参与方共享的数据集；

共同模型：共同模型是指所有训练参与方共同训练的同一个模型，即最终训练完成后所有训练参与方得到的同一个模型；

本地模型：本地模型是指在训练共同模型过程中，每个训练参与方保留的模型中间态，即每个训练参与方用私有数据集训练共同模型时，模型参数都会有更新，这个随训练过程而迭代更新参数的模型就是训练参与方的本地模型，是训练完成后的共同模型的中间状态。

如背景技术部分所述，随着大数据及人工智能技术的快速发展与大规模应用，数据安全及数据隐私的保护越来越受到重视。传统中心化的深度学习要求用户数据集中在一个数据中心，用户失去对自己数据的控制，而这部分数据也可能会被数据使用者滥用或推测更多的用户隐私信息。由Google提出的联邦学习(Federated Learning/FederatedMachine Learning)是一种新型机器学习框架，能有效帮助多参与方/多设备在不传递数据也不能反猜对方数据等数据隐私保护条件下，联合训练模型，解决了用户数据的隐私、位置、使用权等问题。联邦学习使得不同的数据拥有方在不共享数据的情况下进行协同训练，共享数据价值但不共享数据。

Google提出了联邦学习算法，使手机能够协作学习共享的预测模型，同时将所有训练数据保留在移动设备上，从而实现机器学习能力与数据存储于云端的需求解耦。联邦学习算法通过机器学习模型参数聚合实现参与方信息的交互，通常采用梯度信息加权平均方式的聚合。有研究表明，如果直接对参数空间进行加权平均，特别是Non-Convex的问题会得到任意坏的结果，如果让每一轮的各个客户端的起始参数值相同，算法效果能大幅度提高。

为了减少参与方之间的信息传递从而降低通信带宽的需求，提出了信息压缩、随机抛弃、根据信道条件调整传输量等方法，提高联邦学习的训练效率。

但申请人通过研究发现，相关技术中已有的训练同一机器学习模型的横向联邦学习算法中，通过将各个训练方在本地数据训练得到的梯度信息进行汇聚、加权合并、更新模型参数，实现了在数据不共享时逼近集中式机器学习的性能。虽然，已有的联邦学习能很好地解决训练方自由数据样本数量不平衡的问题，但是对于实际应用中常见的数据类别不平衡的问题，相关技术中的联邦学习算法的训练性能较低。

有鉴于此，本公开实施例提供了一种数据不平衡的协同训练方法、装置、电子设备及存储介质，所述方法包括：确定共同模型和M个训练参与方；其中，M≥2；获取输入数据；其中，所述输入数据，包括：训练集和模型输入参数，所述训练参与方，包括：私有数据集；所述训练集根据所述私有数据集确定；按照预定排序方式对所述M个训练参与方进行排序；利用所述输入数据对所述共同模型进行循环训练；其中，每轮训练中，利用所述M个训练参与方对所述共同模型进行训练以得到M个模型输出参数，按序依次将每个训练参与方的所述模型输出参数作为下一个训练参与方的所述模型输入参数，根据所述模型输入参数利用所述M个训练参与方对所述共同模型进行训练；所述模型输出参数，包括：模型权重参数；以及，响应于所述共同模型满足预设终止条件，完成所述共同模型的协同训练。

本公开实施例提供的一种数据不平衡的协同训练方法、装置、电子设备及存储介质，针对实际应用中常见的数据样本类型不平衡问题，确定多个各自拥有私有数据集的训练参与方，全部训练参与方通过横向联邦学习训练同一个共同模型，考虑了多个训练参与方拥有的私有数据集不仅样本数量少从而不足以单独训练共同模型收敛，同时私有数据集之间的样本类型可能极端不平衡，不同的私有数据集中包含的数据类型存在不重合、不完整情况。同时多个参与方在进行联邦学习时无需第三方协调，可实现无中心化的联邦学习，通过多个训练参与方的模型输入参数传递共享，进行多方协同的循环训练，减少数据样本类型极端不平衡带来的性能下降，大大提高了训练机器学习模型时的性能。

以下，通过具体的实施例进一步详细说明本公开的技术方案。

参考图1，因此本公开实施例提供的一种数据不平衡的协同训练方法，具体包括以下步骤：

S101：确定共同模型和M个训练参与方；其中，M≥2。

S102：获取输入数据；其中，所述输入数据，包括：训练集和模型输入参数，所述训练参与方，包括：私有数据集；所述训练集根据所述私有数据集确定。

S103：按照预定排序方式对所述M个训练参与方进行排序。

S104：利用所述输入数据对所述共同模型进行循环训练；其中，每轮训练中，利用所述M个训练参与方对所述共同模型进行训练以得到M个模型输出参数，按序依次将每个训练参与方的所述模型输出参数作为下一个训练参与方的所述模型输入参数，根据所述模型输入参数利用所述M个训练参与方对所述共同模型进行训练；所述模型输出参数，至少包括：模型权重参数。

S105：响应于所述共同模型满足预设终止条件，完成所述共同模型的协同训练。

针对于步骤S101，在一些实施例中，共同模型可以是任意一种机器学习模型，训练参与方可以为各自拥有私有数据集的参与方，能够在本地对共同模型进行训练。其中，训练参与方是指参与共同模型训练且拥有数据的用户，其物理实体可以是单位、个人，也可以是服务器或网元。

需要说明的是，各个训练参与方所拥有的私有数据集不能完全重合或完全不重合，例如，手写体识别应用场景中，训练参与方A只有数字0-4这5种数字的样本，而训练参与方B只有数字5-9这5种数字的样本，则说明训练参与方A和B之间的样本类型完全不重合。

针对于步骤S102，训练集是指训练参与方拥有的私有数据集，不与其他训练参与方共享。

在一些实施例中，在确定共同模型和M个训练参与方之后，可以在每个训练参与方处均对共同模型进行初始化。也就是说，M个训练参与方各自对共同模型进行初始化，其中，对共同模型的初始化通常是指对共同模型的参数进行初始化。例如，可以对共同模型的权重使用高斯分布进行随机化设置，具体的初始化方法可以为相关技术中任意一种已知的模型初始化方法。例如对于MLP、CNN、LSTM/GRU类型的模型可以用高斯分布随机数初始化模型参数。

针对于步骤S103，在一些实施例中，在获取输入数据之后，可以对每个训练参与方生成随机数；根据随机数的大小对训练参与方从大至小依次进行排序。也就是说，M个训练参与方在本地产生随机数，依据随机数的大小进行从大至小的排序。以3个训练参与方为例，训练参与方A产生的随机数为5，训练参与方B产生的随机数为10，训练参与方C产生的随机数为8，则训练参与方的排序结果为BCA。

针对于步骤S104，参考图2，在获取输入数据后，进一步利用输入数据对共同模型进行循环训练。具体地，在私有数据集上的模型训练，可以包括：M个训练参与方以获得的模型参数为起点，在本地数据上进行1轮模型训练，其中，模型参数可以为模型权重参数；然后，进行权重传递共享，包括：第m个训练参与方将更新后的模型参数(即模型权重参数)传递给第m+1个训练参与方(m＝1,2,3,…，M-1)，第M个训练参与方传递给第1个训练参与方，完成一轮权重传递。至此完成一次完整的本地训练与权重传递共享流程，可以重复进行上述本地训练与权重传递共享流程共M次，完成模型在全部数据集上的一次迭代更新。其中，模型输出参数为模型参数，可以包括模型权重参数和梯度参数等。而一个训练参与方的模型输入参数为上一个训练方传递而来的模型输出参数。

需要说明的是，可以进行至少一轮循环训练，每一轮循环训练中包括M次模型训练和M次参数传递过程。

如图2所示，在一些实施例中，输入各个训练参与方的私有数据集(即训练集){D

在一些实施例中，在首轮训练中，将根据所述共同模型确定的初始模型参数作为首轮的模型输入参数；利用所述训练集和所述首轮的模型输入参数对所述共同模型进行训练以得到M个首轮的模型输出参数；按序依次将每个训练参与方的所述首轮的模型输出参数传递至下一个训练参与方。

在一些实施例中，按序依次将每个训练参与方的所述首轮的模型输出参数传递至下一个训练参与方，具体是指将每个训练参与方利用自身的私有数据集对共同模型训练后得到的首轮的模型输出参数按序传递至下一个训练参与方。其中，将第M个训练参与方利用自身的私有数据集对共同模型训练后得到的首轮的模型输出参数传递至第1个训练参与方。

需要说明的是，参数传递过程中，各个模型输出参数是按照已经从大到小排列后的训练参与方的顺序进行传递的。例如，以3个训练参与方A、B、C为例，3个训练参与方按照前述中的随机数从大到小排列的顺序为ABC，则训练参与方ABC分别用各自的私有数据集和初始模型参数对共同模型进行训练，训练参与方A得到的模型输出参数为

在一些实施例中，在第i轮训练中，将传递后的M个第i-1轮的模型输出参数分别作为所述M个训练参与方的第i轮的模型输入参数；利用所述训练集和第i轮的模型输入参数对所述共同模型进行训练以得到M个第i轮的模型输出参数；按序依次将每个训练参与方的所述第i轮的模型输出参数传递至下一个训练参与方。

针对于步骤S105，训练终止条件可以为经检测后，共同模型达到预定的性能指标，也可以是达到了预定的训练次数。

为了进一步证明本公开提供的方法的效果，发明人进行了以下实验，进行效果验证。

使用CIFAR-10数据集为样本集，两个训练参与方中，训练参与方A拥有500张摩托车及500张猫咪的图片作为训练集Dataset1_cifar10，训练参与方B拥有500张青蛙及500张船的图片作为训练集Dataset2_cifar10。测试集Dataset_test_cifar10则各有这四类图片1000张。测试集与训练集数据不重叠。

作为性能对比两种参考算法分别为集中式机器学习算法与权重平均算法FedAvg,其中集中式机器学习算法拥有训练参与方A和B的所有训练数据作为训练集，FedAvg的数据样本配置与本公开方法相同。

三种对比的算法的优化算法为SGD,batch_size设置为64。

参考表1，三种方法在相同实验条件下的损失值，准确度值对比。

表1三种方法的损失值和准确度对比

参考图3、图4、图5、图6，由上述实验结果可见，当训练参与方的私有数据集的数据类型极端不平衡时，FedAvg算法性能较集中式机器学习下降明显。分类准确率下降10.0％，loss值增加0.135。而本公开所提供的方法的准确率和损失值几乎与集中式机器学习算法的准确率和损失值相同。从模型训练过程来看，FedAvg算法在训练过程中性能提升慢，波动大，模型性能不稳定，收敛性差。而本公开所提供的方法的训练过程虽小有波折，但总体趋势平稳，模型性能稳步提升，从性能上看，虽然训练模型的通信成本和时间成本较高，但模型的准确率和损失值非常逼近传统集中式机器学习。

本公开提供的方法至少具有以下优势：

数据安全：M个训练参与方各自拥有的私有数据样本不共享，保证了数据的安全；

机器学习模型的收敛性：克服数据不平衡带来的模型性能下降问题，模型性能逼近集中式机器学习的性能；

去中心化：M个训练参与方地位相同，无需第三方或中心处理单元。

从上面所述可以看出，本公开提供的一种数据不平衡的协同训练方法、装置、电子设备及存储介质，包括：确定共同模型和M个训练参与方；其中，M≥2；获取输入数据；其中，所述输入数据，包括：训练集和模型输入参数，所述训练参与方，包括：私有数据集；所述训练集根据所述私有数据集确定；按照预定排序方式对所述M个训练参与方进行排序；利用所述输入数据对所述共同模型进行循环训练；其中，每轮训练中，利用所述M个训练参与方对所述共同模型进行训练以得到M个模型输出参数，按序依次将每个训练参与方的所述模型输出参数作为下一个训练参与方的所述模型输入参数，根据所述模型输入参数利用所述M个训练参与方对所述共同模型进行训练；所述模型输出参数，至少包括：模型权重参数；以及，响应于所述共同模型满足预设终止条件，完成所述共同模型的协同训练。本公开提供的方法针对实际应用中常见的数据样本类型不平衡问题，确定多个各自拥有私有数据集的训练参与方，全部训练参与方通过横向联邦学习训练同一个共同模型，考虑了多个训练参与方拥有的私有数据集不仅样本数量少从而不足以单独训练共同模型收敛，同时私有数据集之间的样本类型可能极端不平衡，不同的私有数据集中包含的数据类型存在不重合、不完整情况。同时多个参与方在进行联邦学习时无需第三方协调，可实现无中心化的联邦学习，通过多个训练参与方的模型输入参数传递共享，进行多方协同的循环训练，减少数据样本类型极端不平衡带来的性能下降，大大提高了训练机器学习模型时的性能。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种数据不平衡的协同训练装置。

参考图7，所述数据不平衡的协同训练装置，包括：

确定模块，被配置为确定共同模型和M个训练参与方；其中，M≥2；

获取模块，被配置为获取输入数据；其中，所述输入数据，包括：训练集和模型输入参数，所述训练参与方，包括：私有数据集；所述训练集根据所述私有数据集确定；

排序模块，被配置为按照预定排序方式对所述M个训练参与方进行排序；

训练模块，被配置为利用所述输入数据对所述共同模型进行循环训练；其中，每轮训练中，利用所述M个训练参与方对所述共同模型进行训练以得到M个模型输出参数，按序依次将每个训练参与方的所述模型输出参数作为下一个训练参与方的所述模型输入参数，根据所述模型输入参数利用所述M个训练参与方对所述共同模型进行训练；所述模型输出参数，包括：模型权重参数；

执行模块，被配置为响应于所述共同模型满足预设终止条件，完成所述共同模型的协同训练。

在一些实施例中，所述装置进一步包括：初始化模块，被配置为在每个所述训练参与方处均对所述共同模型进行初始化。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的数据不平衡的协同训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的数据不平衡的协同训练方法。

图8示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器810、存储器820、输入/输出接口830、通信接口840和总线850。其中处理器810、存储器820、输入/输出接口830和通信接口840通过总线850实现彼此之间在设备内部的通信连接。

处理器810可以采用通用的CPU(CentralProcessing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器820可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器820可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器820中，并由处理器810来调用执行。

输入/输出接口830用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口840用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线850包括一通路，在设备的各个组件(例如处理器810、存储器820、输入/输出接口830和通信接口840)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器810、存储器820、输入/输出接口830、通信接口840以及总线850，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的数据不平衡的协同训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的数据不平衡的协同训练方法。

本实施例的非暂态计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的数据不平衡的协同训练方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

上述对本公开特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本公开难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本公开旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。