一种自适应聚合的联邦学习系统、方法、装置及存储介质

技术领域

本发明涉及联邦学习技术领域，尤其是一种自适应聚合的联邦学习系统、方法、装置及存储介质。

背景技术

近年来，随着大数据与深度学习的兴起，大量且多源异构的数据造成了数据的孤岛分布、数据隐私监管缺乏等问题，个人隐私和数据安全越发得到重视。同时，细粒度的数据孤岛也制衡数据服务的发展，其在实际应用过程中不仅难以避免敏感信息泄露的风险，而且降低了服务的精准度。近年来，利用联邦学习框架进行用户数据本地训练、模型参数全局优化，成为满足用户隐私保护和多源异构数据融合需求的有效解决方案之一。

传统的联邦学习框架采用同步聚合模式(Synchronous)，即每个训练轮次中，中央服务器将全局模型同步发送给多个客户机，多个客户机基于本地数据训练模型后将更新后的本地模型返回中央服务器，中央服务器等待所有客户机上传本地模型后再进行全局模型聚合更新。同步聚合模式在聚合时能够充分利用所有客户机的数据信息，保证全局模型能够高效地收敛，但由于同步聚合需等待所有客户机上传本地模型后才能进行全局模型聚合更新，因此当出现中央服务器端网络拥塞、某些客户机训练速度较慢等情况时，易导致全局模型更新低效的问题。

目前大多数联邦学习框架采用异步聚合模式(Asynchronous)，即中央服务器将全局模型异步发送给多个客户机，多个客户机基于本地数据训练模型后将更新后的本地模型返回中央服务器，中央服务器在规定的等待时间内等待客户机上传本地模型后，根据客户机从接收全局模型到返回更新后的本地模型的时间差来确定各个客户机上传的本地模型的权重，并进行全局模型的加权聚合更新。异步聚合模式无需等待所有客户机上传本地模型，并且能够根据本地模型的陈旧度来确定不同客户机的权重，保证了全局模型能够更高效地收敛。但是，在不同的场景下，不同的等待时间对聚合后全局模型的性能好坏有着直接的影响。同时，由于客户机的本地数据通常是粗粒度数据，即数量少，数据类别覆盖不足以及类别之间分配不平衡的数据，而目前的异步聚合模式隐含关于本地数据特征平均的假设，只关注客户机的时间异构性而不能更多地关注具有高质量数据的客户机，因此它不能根据现实情况下的数据特征区分客户机导致训练速度减速，模型性能下降和沟通成本提高。

因此，如何根据真实应用场景中客户机和本地模型的特征来自适应地计算聚合权重并选择合适聚合模式进行联邦学习训练以提高联邦学习的训练效率成为了亟需解决的问题。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种自适应聚合的联邦学习系统，该联邦学习系统可以自适应地计算聚合权重并选择合适的聚合模式进行联邦学习训练，提高了联邦学习的训练效率。

本发明实施例的另一个目的在于提供一种自适应聚合的联邦学习方法。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种自适应聚合的联邦学习系统，包括：

本地训练层，用于客户机在接收到中央服务器发送的全局模型后，基于本地数据进行模型训练并将更新后的本地模型返回至所述中央服务器；

特征感知层，用于获取各所述客户机的数据特征和所述本地模型的模型特征；

权重分配层，用于根据所述数据特征和所述模型特征计算得到各所述客户机在全局模型加权聚合时的归一化权重；

聚合更新层，用于根据所述归一化权重和预设的多个聚合模式对各所述客户机上传的所述本地模型进行加权聚合，计算当前聚合轮次所述全局模型的模型准确率，并将更新后的所述全局模型下发至参与聚合的各所述客户机；

信息预测层，用于根据当前聚合轮次的所述模型准确率和前一聚合轮次的所述模型准确率进行预测，得到对应各所述聚合模式的预测信息，所述预测信息包括各所述聚合模式下在预设时间内可以达到的第一模型准确率，以及达到预设的第二模型准确率所需的第一时间成本和第一通信成本；

策略选择层，用于根据所述中央服务器推送的所述预测信息和预先获取的用户需求从所述聚合模式中选取出第一聚合模式，并根据所述第一聚合模式进行正式的联邦学习训练。

进一步地，在本发明的一个实施例中，所述数据特征包括所述客户机的本地数据样本占当前聚合轮次所有客户机的本地数据样本的总和的比例，以及所述客户机的本地数据样本的数据丰富度，所述模型特征包括所述本地模型的模型陈旧度。

进一步地，在本发明的一个实施例中，所述归一化权重的计算公式为：

其中，

所述时间归一化权重的计算公式为：

TW

其中，TW

所述数据量归一化权重的计算公式为：

其中，n表示当前聚合轮次所有客户机的数据总量，n

所述数据丰富度归一化权重的计算公式为：

其中，IW

进一步地，在本发明的一个实施例中，所述聚合模式包括同步聚合模式和多个不同最长等待时间的异步聚合模式，其中，所述同步聚合模式为所述中央服务器在各所述客户机均上传对应的所述本地模型后进行全局模型加权聚合，所述异步聚合模式为所述中央服务器在预设的最长等待时间后根据接收到的所述本地模型进行全局模型加权聚合。

进一步地，在本发明的一个实施例中，所述预测信息通过以下步骤得到：

根据当前聚合轮次的所述模型准确率和前一聚合轮次的所述模型准确率确定准确率提升梯度；

确定当前聚合轮次的第二时间成本和第二通信成本；

根据所述准确率提升梯度、所述第二时间成本和所述预设时间预测得到所述第一模型准确率；

根据所述准确率提升梯度、所述第二时间成本以及所述第二模型准确率预测得到所述第一时间成本；

根据所述准确率提升梯度、所述第二通信成本以及所述第二模型准确率预测得到所述第一通信成本。

进一步地，在本发明的一个实施例中，所述信息预测层还用于：

根据所述预测信息确定若干个第二聚合模式，并通过中央服务器将所述第二聚合模式推送至所述策略选择层，所述第二聚合模式包括所述第一模型准确率最高的所述聚合模式、所述第一时间成本最低的所述聚合模式以及所述第一通信成本最低的所述聚合模式中的至少一种。

进一步地，在本发明的一个实施例中，所述聚合更新层还用于：

在所述策略选择层选取出第一聚合模式后，根据所述归一化权重和所述第一聚合模式对各所述客户机上传的所述本地模型进行加权聚合。

第二方面，本发明实施例提供了一种自适应聚合的联邦学习方法，包括以下步骤：

将初始的全局模型下发至各个客户机，使得各所述客户机在接收到所述全局模型后，基于本地数据进行模型训练并将更新后的本地模型返回至中央服务器；

获取各所述客户机的数据特征和所述本地模型的模型特征，并根据所述数据特征和所述模型特征计算得到各所述客户机在全局模型加权聚合时的归一化权重；

根据所述归一化权重和预设的多个聚合模式对各所述客户机上传的所述本地模型进行加权聚合，计算当前聚合轮次所述全局模型的模型准确率，并将更新后的所述全局模型下发至参与聚合的各所述客户机；

根据当前聚合轮次的所述模型准确率和前一聚合轮次的所述模型准确率进行预测，得到对应各所述聚合模式的预测信息；

根据所述预测信息和预先获取的用户需求从所述聚合模式中选取出第一聚合模式，并将所述第一聚合模式返回至所述中央服务器，使得所述中央服务器根据所述第一聚合模式进行正式的联邦学习训练。

第三方面，本发明实施例提供了一种自适应聚合的联邦学习装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的一种自适应聚合的联邦学习方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行上述的一种自适应聚合的联邦学习方法。

本发明的优点和有益效果将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到：

本发明实施例的联邦学习系统通过中央服务器下发全局模型至所有客户机，使得客户机基于本地数据训练本地模型后将更新后的本地模型返回至中央服务器，中央服务器根据客户机的数据特征及模型特征自适应地计算出各个客户机的归一化权重，然后采取不同的聚合模式进行全局模型的聚合更新，并预测不同聚合模式下在预设时间内可以达到的第一模型准确率以及达到预设的第二模型准确率所需的第一时间成本和第一通信成本，再对这些预测信息进行推送便于用户根据自身特定需求选择合适的聚合模式，然后根据该聚合模式进行正式的联邦学习训练。本发明实施例可以自适应地计算聚合权重并选择合适的聚合模式进行联邦学习训练，提高了联邦学习的训练效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面对本发明实施例中所需要使用的附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1为本发明实施例提供的一种自适应聚合的联邦学习系统的结构框图；

图2为本发明实施例提供的一种自适应聚合的联邦学习系统的预训练过程的示意图；

图3为本发明实施例提供的一种自适应聚合的联邦学习系统的正式训练过程的示意图；

图4为本发明实施例提供的一种自适应聚合的联邦学习系统的同步聚合模式的示意图；

图5为本发明实施例提供的一种自适应聚合的联邦学习系统的异步聚合模式的示意图；

图6为本发明实施例提供的一种自适应聚合的联邦学习方法的流程示意图；

图7为本发明实施例提供的一种自适应聚合的联邦学习装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，多个的含义是两个或两个以上，如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。此外，除非另有定义，本文所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。

参照图1，本发明实施例提供了一种自适应聚合的联邦学习系统，包括：

本地训练层，用于客户机在接收到中央服务器发送的全局模型后，基于本地数据进行模型训练并将更新后的本地模型返回至中央服务器；

特征感知层，用于获取各客户机的数据特征和本地模型的模型特征；

权重分配层，用于根据数据特征和模型特征计算得到各客户机在全局模型加权聚合时的归一化权重；

聚合更新层，用于根据归一化权重和预设的多个聚合模式对各客户机上传的本地模型进行加权聚合，计算当前聚合轮次全局模型的模型准确率，并将更新后的全局模型下发至参与聚合的各客户机；

信息预测层，用于根据当前聚合轮次的模型准确率和前一聚合轮次的模型准确率进行预测，得到对应各聚合模式的预测信息，预测信息包括各聚合模式下在预设时间内可以达到的第一模型准确率，以及达到预设的第二模型准确率所需的第一时间成本和第一通信成本；

策略选择层，用于根据中央服务器推送的预测信息和预先获取的用户需求从聚合模式中选取出第一聚合模式，并根据第一聚合模式进行正式的联邦学习训练。

本发明实施例的联邦学习系统在用于联邦学习训练时，先进行若干轮的本地模型训练和全局模型加权聚合作为预训练，而预训练的结果将作为后续选择聚合模式的依据。如图2所示为本发明实施例提供的一种自适应聚合的联邦学习系统的预训练过程的示意图，其中：

本地训练层用于客户机在接收到中央服务器发送的全局模型后，利用本地数据并基于一定的损失函数和优化器训练本地模型，然后将训练完毕的本地模型返回中央服务器。

特征感知层用于获取不同客户机的数据特征及其上传的本地模型特征，例如客户机的本地数据样本占当前聚合轮次所有客户机数据的比例、客户机本地数据样本的丰富度和本地模型的陈旧度，具体的获取方式为客户机在上传本地模型时同时上传本地训练层所用本地数据的各种信息以及接收到全局模型的聚合轮次。

权重分配层用于采用特定的权重分配方案，即根据特征感知层获取的不同特征，计算出各客户机在全局模型聚合时的归一化权重。

聚合更新层用于中央服务器将各客户机上传的本地模型加权聚合，计算当前聚合轮次全局模型的准确率，并将更新后的全局模型下放给参与聚合的各客户机。在预训练阶段，中央服务器将用多种聚合模式对上传的本地模型进行加权聚合，其中不同的聚合模式是指同步聚合模式和不同最长等待时间的异步聚合模式，不同聚合模式都采用上述权重分配方案。

信息预测层用于中央服务器根据当前聚合轮次和前一聚合轮次全局模型的准确率预测出不同聚合模式在一定时间内可以达到的模型准确率和达到一定准确率所需的时间成本和通信成本。具体为根据前后聚合轮次的准确率提升梯度来预测未来一定时间内可以达到的模型准确率，根据前后聚合轮次所消耗的时间成本和通信成本以及准确率的提升量来预测达到一定准确率所需的时间成本和通信成本。

如图3所示为本发明实施例提供的一种自适应聚合的联邦学习系统的正式训练过程的示意图，其中：

策略选择层用于服务使用者根据中央服务器推送的不同聚合模式的预测信息以及推荐的聚合模式，并参考自身的特定需求如需要较低的时间成本等，选择合适的聚合模式进行正式的联邦学习训练。在选定合适的聚合模式后，中央服务器会获取服务使用者选定的聚合模式信息，并在后续的联邦学习训练中使用该聚合模型进行全局模型的加权聚合更新。

本地训练层、特征感知层以及权重分配层在正式训练过程中的功能与其在预训练过程中的功能一致，相关步骤也一致。

聚合更新层在正式训练过程中的功能与其在预训练过程中的功能基本一致，区别在于，中央服务器在正式的联邦学习训练中只使用一种聚合模式进行全局模型的加权聚合更新，即前述步骤中服务使用者选定的聚合模式。

可以理解的是，本发明实施例的权重分配方案能够根据客户机数据和模型的多种特征进行计算，如客户机本地数据不同类别的样本分布、本地模型的陈旧度等；本发明实施例能够提供不同的聚合方式，中央服务器在联邦学习开始后能够进行一定时间的预训练，在预训练后预测不同聚合方式的特点如达到一定准确率所需的通信成本等，并将该预测信息推送给用户同时还可以推荐最高效的聚合模式，使得用户可根据自身特定需求灵活选择合适的聚合模式进行后续的联邦学习。本发明实施例具有以下优点：

1)权重分配方案关注更多特征，自适应能力强：本发明实施例所使用的权重分配方案能够根据各客户机的本地数据样本占当前聚合轮次所有客户机数据的比例，各客户机本地数据样本的丰富度，各客户机本地数据样本不同类别数据的分布比例以及本地模型的陈旧度来计算每个客户机的聚合权重，这样能够同时关注客户机的数据特征和本地模型的陈旧度，使得权重分配更加合理，自适应能力强，能够在不同场景下取得较好的效果。

2)具有多种聚合模式：不同于现有大多数技术方案只有一种聚合模式，本发明实施例具备了当前常用的同步聚合模式和异步聚合模式，可在不同场景下灵活使用。

3)能够进行预训练为用户提供最合适的聚合方案：本发明实施例在开始联邦学习后将使用不同的聚合模式进行预训练，同时预测不同聚合方式的特征信息例如达到一定准确率所需的时间成本等信息，然后将这些信息推送给用户并推荐相对高效的聚合模式，用户可根据自身需求灵活选择聚合模式，提高了联邦学习的训练效率。

进一步作为可选的实施方式，数据特征包括客户机的本地数据样本占当前聚合轮次所有客户机的本地数据样本的总和的比例，以及客户机的本地数据样本的数据丰富度，模型特征包括本地模型的模型陈旧度。

具体地，客户机的本地数据量越大，本地数据样本类别越丰富，本地数据样本的类别分布比例越均匀，由此训练的本地模型的性能越好，越有利于全局模型的收敛；本地模型的陈旧度是指客户机从接收到全局模型开始到完成本地模型的训练更新所消耗的时间，在异步聚合模式中，由于中央服务器在聚合更新全局模型时不必等待所有的客户机上传本地模型，因此某些训练速度过慢的客户机可能一直在未更新的全局模型上进行训练即陈旧度较大，这种情况下训练出的本地模型不利于全局模型的收敛，因此陈旧度较大的本地模型的聚合权重应该较低。

进一步作为可选的实施方式，归一化权重的计算公式为：

其中，

时间归一化权重的计算公式为：

TW

其中，TW

数据量归一化权重的计算公式为：

其中，n表示当前聚合轮次所有客户机的数据总量，n

数据丰富度归一化权重的计算公式为：

其中，IW

可以理解的是，时间归一化权重与本地模型的陈旧度有关，通过当前的聚合轮次和客户机接收到的全局模型所聚合的轮次计算得到；数据量归一化权重与本地数据样本所占的比例有关；数据丰富度归一化权重与本地数据样本中不同类别样本的分布情况有关。

进一步作为可选的实施方式，聚合模式包括同步聚合模式和多个不同最长等待时间的异步聚合模式，其中，同步聚合模式为中央服务器在各客户机均上传对应的本地模型后进行全局模型加权聚合，异步聚合模式为中央服务器在预设的最长等待时间后根据接收到的本地模型进行全局模型加权聚合。

如图4所示为本发明实施例提供的一种自适应聚合的联邦学习系统的同步聚合模式的示意图，可以理解的是，各客户机接收到中央服务器发送的全局模型后，基于本地数据开始训练模型，并在模型训练完毕将更新后的本地模型返回中央服务器；中央服务器需要等待所有的K个客户机均上传本地模型后才能进行全局模型聚合更新。

如图5所示为本发明实施例提供的一种自适应聚合的联邦学习系统的异步聚合模式的示意图，可以理解的是，各客户机接收到中央服务器发送的全局模型后，基于本地数据开始训练模型，并在模型训练完毕将更新后的本地模型返回中央服务器；中央服务器在规定的最长等待时间内等待客户机上传本地模型，达到最长等待时间T后将接收到的本地模型进行加权聚合更新，当前聚合轮次未上传的本地模型(如客户机2的本地模型)将在后续轮次参与加权聚合。应该认识到，在不同的场景下，异步聚合模式的最长等待时间T对全局模型准确率的提升具有关键性的影响，因此，本发明实施例将具有不同最长等待时间T的异步聚合模式视为不同的聚合模式。

进一步作为可选的实施方式，预测信息通过以下步骤得到：

根据当前聚合轮次的模型准确率和前一聚合轮次的模型准确率确定准确率提升梯度；

确定当前聚合轮次的第二时间成本和第二通信成本；

根据准确率提升梯度、第二时间成本和预设时间预测得到第一模型准确率；

根据准确率提升梯度、第二时间成本以及第二模型准确率预测得到第一时间成本；

根据准确率提升梯度、第二通信成本以及第二模型准确率预测得到第一通信成本。

具体地，模型准确率的具体计算公式为：

其中，acc表示模型准确率，FP表示实际为负样本但被判定为正样本的样本数，FN表示实际为正样本但被判定为负样本的样本数，TN表示实际为负样本同时被判定为负样本的样本数，TP表示实际为正样本同时被判定为正样本的样本数。

根据前后两个轮次的模型准确率的差值即可得到准确率提升梯度。

第二时间成本的具体计算公式为：

Tcost＝T

其中，Tcost表示第二时间成本，T

第二通信成本的具体计算公式为：

其中，Ncost表示通信成本，N

在一些可选的实施例中，根据准确率提升梯度和第二时间成本确定单位时间内的准确率提升值，然后乘以预设时间即可得到第一模型准确率，而第二模型准确率除以该准确率提升值即可得到第一时间成本；同理可以计算单位通信成本的准确率提升值从而确定第一通信成本。

进一步作为可选的实施方式，信息预测层还用于：

根据预测信息确定若干个第二聚合模式，并通过中央服务器将第二聚合模式推送至策略选择层，第二聚合模式包括第一模型准确率最高的聚合模式、第一时间成本最低的聚合模式以及第一通信成本最低的聚合模式中的至少一种。

具体地，在完成联邦学习预训练后，中央服务器将信息预测层记录的不同聚合模式的预测信息推送给服务使用者，并推荐若干个聚合模式，如第一模型准确率最高的聚合模式、第一时间成本最低的聚合模式以及第一通信成本最低的聚合模式，也可以综合考虑准确率、时间成本和通信成本来确定推荐的聚合模式。

进一步作为可选的实施方式，聚合更新层还用于：

在策略选择层选取出第一聚合模式后，根据归一化权重和第一聚合模式对各客户机上传的本地模型进行加权聚合。

以上对本发明实施例的系统结构和训练过程进行了说明。下面对本发明实施例的相对于现有技术的优点进行说明。

现有技术中，虽然部分联邦学习框架的聚合模式可以根据某些特定的规则或者目标确定不同客户机的聚合权重，但是大多数技术方案都比较局限，仅仅根据某个规则例如最小化目标函数、客户机的本地样本比例来设计其权重分配方案，导致技术方案的泛化性较差，自适应能力弱，无法全面地关注本地模型的特征，难以在特定场景之外的其余应用场景上取得较好的效果。同时这些方案也仅仅采用单一的聚合模式例如同步聚合。综上，现有技术方案的问题总结如下：

1)权重分配方案自适应能力弱；现有技术方案仅仅根据某个规则例如最小化目标函数、客户机的本地样本比例来设计其权重分配方案，因此无法同时关注客户机和本地模型的多种特征例如本地模型的陈旧度，客户机的数据样本量、客户机的数据样本分布比例等等，从而难以给拥有高质量本地模型的客户机分配更高的权重。

2)单一的聚合模式可能导致低效的聚合；现有大多数技术方案采用同步聚合的模式，即中央服务器需要等待所有客户机上传本地模型后才能进行全局模型的聚合更新。而当出现中央服务器端网络拥塞、某些客户机训练速度较慢等情况时，易导致全局模型更新低效的问题。

3)无法根据用户需求提供合适的聚合方案；现有技术方案只能提供同步聚合模式或固定最长等待时间的异步聚合模式，无法根据用户所处的真实场景为用户量身打造合适的聚合方案。当用户所处场景中所有客户机的训练速度相差不大时，同步聚合模式能够充分利用所有客户机的数据信息，保证全局模型更高效地收敛，此时选择同步聚合模式能够保证在短时间内获得性能更好的全局模型；当客户机的训练速度相差较大时，异步聚合模式能够避免落跑者问题，使得全局模型能够达到更佳的性能。

本发明实施例提供了一种自适应聚合且可选择聚合模式的联邦学习系统，其能够根据不同场景的特点自适应地分配客户机聚合的权重，并通过预训练为用户推荐不同的聚合模式，能够满足用户在不同场景下使用联邦学习框架的需求，提高了联邦学习的训练效率。具体来说：

1)本发明实施例具有自适应的权重分配方案。本发明的实施例中，在加权聚合更新全局模型时，设计了一种权重分配方案，该方案能够根据客户机的数据特征和上传的本地模型的陈旧度特征来自适应地分配各客户机参与聚合的权重。该权重分配方案能够同时关注多种特征，从而保证在不同的场景中都能合理地分配权重。

2)本发明实施例能够使用不同聚合模式进行预训练并得出不同聚合模式的信息。本发明的实施例中，在开始联邦学习的前几轮进行预训练，中央服务器可以通过预训练中全局模型的准确率变化，消耗的时间成本和通信成本等信息得到不同聚合模式的特征信息。

3)本发明实施例能够为用户推送不同聚合模式的信息并推荐聚合模式。本发明的实施例中，在完成预训练后，中央服务器能够为服用户推送能够反映不同聚合模式优劣的信息例如使用该模式能够在一定时间内达到的准确率、达到一定准确率所需的时间成本等，并且中央服务器还会为用户推荐相对高效的聚合模式。

4)用户能够根据自身需求选择合适的聚合模式。用户能够根据推送的信息并结合自身的实际需求如无法容忍较大的时间成本等，选择合适的聚合模式进行后续正式的联邦学习训练。

参照图6，本发明实施例提供了一种自适应聚合的联邦学习方法，包括以下步骤：

S101、将初始的全局模型下发至各个客户机，使得各客户机在接收到全局模型后，基于本地数据进行模型训练并将更新后的本地模型返回至中央服务器；

S102、获取各客户机的数据特征和本地模型的模型特征，并根据数据特征和模型特征计算得到各客户机在全局模型加权聚合时的归一化权重；

S103、根据归一化权重和预设的多个聚合模式对各客户机上传的本地模型进行加权聚合，计算当前聚合轮次全局模型的模型准确率，并将更新后的全局模型下发至参与聚合的各客户机；

S104、根据当前聚合轮次的模型准确率和前一聚合轮次的模型准确率进行预测，得到对应各聚合模式的预测信息；

S105、根据预测信息和预先获取的用户需求从聚合模式中选取出第一聚合模式，并将第一聚合模式返回至中央服务器，使得中央服务器根据第一聚合模式进行正式的联邦学习训练。

上述系统实施例中的内容均适用于本方法实施例中，本方法实施例所具体实现的功能与上述系统实施例相同，并且达到的有益效果与上述系统实施例所达到的有益效果也相同。

参照图7，本发明实施例提供了一种自适应聚合的联邦学习装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当上述至少一个程序被上述至少一个处理器执行时，使得上述至少一个处理器实现上述的一种自适应聚合的联邦学习方法。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，该处理器可执行的程序在由处理器执行时用于执行上述一种自适应聚合的联邦学习方法。

本发明实施例的一种计算机可读存储介质，可执行本发明方法实施例所提供的一种自适应聚合的联邦学习方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图4所示的方法。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或上述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印上述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得上述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。