基于联邦学习的模型训练方法、系统、设备和存储介质

技术领域

本申请涉及机器学习技术领域，尤其涉及一种基于联邦学习的模型训练方法、系统、设备和存储介质。

背景技术

传统的机器学习中，服务器直接收集客户端或者边缘端的私人数据到数据中心，再基于数据中心的数据进行模型训练。然而，这种方式会将私人敏感的数据暴露给数据中心，其存在隐私数据泄露的风险；同时，其面临着上传巨量数据时的传输成本问题，且这种中心化的训练方式对服务器的计算能力有着极高的要求。

鉴于此，相关技术中提出了联邦学习(federated learning)，其无需向外部环境发送，多方参与者在本地，通过中央服务器的协调共同训练一个强鲁棒性的模型。这种方式避免了数据的直接泄露且依旧能达到利用隐私数据进行模型训练的目的，是一种支持大规模参与者的分布式机器学习方式。

然而，通过相关技术中提供的联邦学习模型的训练方法，由于各客户端的数据独立产生，这使得客户端的本地数据分布与总体数据分布并不保持统一，各个客户端的本地数据也普遍是异构的，即数据呈现出非独立同分布(non-independent and identicallydistributed，Non-IID)的规律，从而影响模型的收敛速度甚至使模型无法收敛，降低了模型的准确率。

发明内容

本申请提供了一种基于联邦学习的模型训练方法、系统、设备和存储介质，可以解决相关技术中提供的基于联邦学习的模型训练方法存在数据异构导致模型的精确度和准确度较差的问题。

一方面，本申请实施例提供了基于联邦学习的模型训练方法，包括：

调用局部模型对本地数据进行处理，计算得到所述本地数据中每个类的数据分布，所述局部模型的特征提取层是服务器发送的全局模型的特征提取层；

将所述每个类的数据分布发送至所述服务器，使所述服务器根据所述每个类的数据分布计算得到全局数据中每个类的数据分布；

基于所述服务器发送的全局数据中每个类的数据分布进行信息迁移，计算得到信息迁移后的数据分布；

基于所述信息迁移后的数据分布计算得到信息迁移后的表征数据集；

根据信息迁移后的表征数据集训练所述局部模型的分类层；

其中，所述全局模型是所述服务器通过与其建立通信连接的终端发送的参数，基于联邦学习训练得到的机器学习模型；所述局部模型是所述终端通过所述服务器发送的参数，基于联邦学习训练得到的机器学习模型。

在一些实施例中，所述每个类的数据分布包括每个类的表征集的均值和协方差；

所述调用局部模型对本地数据进行处理，计算得到所述全局数据中每个类的数据分布，包括：

调用所述局部模型对所述本地数据进行处理，得到多个类的数据集；

对于所述多个类的数据集中任一类的数据集中的数据，通过所述全局模型的特征提取层生成其对应的表征，得到多个类的表征集；

计算得到所述多个类的表征集中每个类的表征集的均值和协方差。

在一些实施例中，所述信息迁移后的数据分布包括信息迁移后的尾部表征的估计分布，所述尾部表征是尾部类的表征，所述尾部类是对应的数据数量在所述多个类中排名在后预设位的类；

所述基于所述服务器发送的全局数据中每个类的数据分布进行信息迁移，计算得到信息迁移后的数据分布，包括：

根据所述全局数据分布以及尾部表征，确定与所述尾部类关联的头部类，所述头部类是对应的数据数量在所述多个类中排名在前预设位的类；

将与所述尾部类关联的头部类的数据分布迁移至所述尾部类，计算得到所述信息迁移后的尾部表征的估计分布。

在一些实施例中，所述基于所述信息迁移后的数据分布计算得到信息迁移后的表征数据集，包括：

获取信息迁移后的头部类的数据分布和尾部类的数据分布；

根据所述头部类的数据分布，基于高斯分布生成所述头部表征数据集；

根据所述尾部类的数据分布，基于高斯分布生成所述尾部表征数据集；

将所述头部表征数据集和所述尾部表征数据集的并集作为所述信息迁移后的表征数据集。

在一些实施例中，所述根据信息迁移后的表征数据集训练局部模型的分类层，包括：

获取信息迁移前的表征数据集；

将所述信息迁移前的表征数据集和所述信息迁移后的表征数据集的并集作为训练数据集；

根据所述训练数据集训练所述局部模型的分类层，得到局部分类层的参数。

在一些实施例中，所述根据所述训练数据集训练所述局部模型的分类层，包括：

从所述训练数据集中抽取得到采样数据集；

通过所述采样数据集以分类损失函数损失最小为目的对所述局部模型进行训练，计算得到所述局部模型的分类层。

在一些实施例中，所述服务器将基于联邦学习的机器学习模型的特征提取层发送至终端之前，还包括：

根据所述服务器发送的全局模型参数初始化本地的局部模型，得到初始化后的模型；

通过本地数据训练所述初始化后的模型，得到局部模型参数；

将所述局部模型参数发送至所述服务器，使所述服务器根据所述局部模型参数聚合得到更新后的全局模型参数；

重复上述步骤，直至全局模型收敛。

另一方面，本申请实施例提供了一种基于联邦学习的模型训练方法，包括：

将全局模型的特征提取层发送至K个终端，使所述K个终端中的每个终端将所述全局模型的特征提取层作为局部模型的特征提取层，调用所述局部模型对本地数据进行处理，计算得到每个类的数据分布，K为自然数，K≥2；

基于所述K个终端发送的每个类的数据分布计算得到全局数据中每个类的数据分布；

将所述全局数据中每个类的数据分布发送至所述K个终端，使每个终端基于所述全局数据中每个类的数据分布进行信息迁移，计算得到信息迁移后的数据分布；基于所述信息迁移后的数据分布计算得到信息迁移后的表征数据集；根据信息迁移后的表征数据集训练所述局部模型的分类层，计算得到局部分类层的参数；

基于所述全局模型的特征提取层和所述K个终端发送的局部分类层的参数计算得到全局模型的分类层；

其中，所述全局模型是所述服务器通过与其建立通信连接的终端发送的参数，基于联邦学习训练得到的机器学习模型；所述局部模型是终端通过所述服务器发送的参数和本地数据，基于联邦学习训练得到的机器学习模型。

在一些实施例中，所述终端中每个类的数据分布包括每个终端中每个类的表征集的均值和协方差；

所述全局数据中每个类的数据分布包括全局数据中每个类的表征集的均值和协方差；

所述基于所述K个终端发送的每个类的数据分布计算得到全局数据中每个类的数据分布，包括：

根据全局数据中每个类的数据数量、每个终端中每个类的数据数量以及每个终端中每个类的表征集的均值计算得到全局数据中每个类的表征集的均值；

根据全局数据中每个类的数据数量、每个终端中每个类的数据数量以及每个终端中每个类的表征集的均值和协方差计算得到全局数据中每个类的表征集的协方差。

在一些实施例中，所述基于所述全局模型的特征提取层和所述K个终端发送的局部分类层的参数计算得到全局模型的分类层，包括：

根据所述K个终端的局部分类层的参数、全局数据集和每个终端中的本地数据集计算得到所述全局模型的分类层。

在一些实施例中，所述将全局模型的特征提取层发送至K个终端之前，还包括：

向所述K个终端发送全局模型参数，使所述K个终端中的任一终端根据所述全局模型参数初始化本地的局部模型，得到初始化后的模型；通过本地数据训练所述初始化后的模型，得到局部模型参数；

根据所述K个终端发送的局部模型参数聚合得到更新后的全局模型参数；

重复上述步骤，直至所述全局模型收敛。

另一方面，本申请实施例提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令或程序，所述指令或程序由所述处理器加载并执行以实现如上任一所述的由终端执行的基于联邦学习的模型训练方法。

另一方面，本申请实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令或程序，所述指令或程序由所述处理器加载并执行以实现如上任一所述的由服务器执行的基于联邦学习的模型训练方法。

另一方面，本申请实施例提供了一种基于联邦学习的模型训练系统，所述系统包括服务器和K个终端，K为自然数，K≥2；

所述服务器包括如上所述的服务器，所述终端包括如上所述的终端。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上任一所述的基于联邦学习的模型训练方法。

本申请技术方案，至少包括如下优点：

通过训练得到的全局模型的特征提取层生成各个参与方的表征，基于参与方的表征重新训练分类层，从而降低了数据异构对模型的影响，有效地提高了模型的精度和准确度。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的基于联邦学习的模型训练系统的拓扑图；

图2是本申请一个示例性实施例提供的基于联邦学习的模型训练方法的流程图；

图3是本申请一个示例性实施例提供的基于联邦学习的模型训练方法的流程图；

图4是本申请一个示例性实施例提供的基于联邦学习的模型训练方法的流程图；

图5是本申请一个示例性的实施例提供的计算机设备的框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电气连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

参考图1，其示出了本申请一个示例性实施例提供的基于联邦学习的模型训练系统的拓扑图，如图1所示，该系统包括服务器110和与服务器110建立通信连接的K(K为自然数，K≥2)个终端(图1中以三个终端(移动终端121、个人计算机(personal computer，PC)122和车辆上配备的电子控制器(electronic control unit，ECU)123)与服务器110建立的系统做示例性说明，实际应用中可根据需求设置与服务器110建立通信连接的终端数量和终端类型)。其中：

服务器110，其用于向K个终端发送参数(例如，全局模型参数、全局模型的特征提取层和全局数据分布等)，接收K个终端发送的参数(例如，终端的本地数据中每个类的数据分布、表征数据集和局部分类层的参数等)，并通过K个终端发送的参数，基于联邦学习训练机器学习模型得到全局模型。

终端(K个终端中的任一终端)，其用于向服务器110发送参数(例如，终端的本地数据中每个类的数据分布、表征数据集和局部分类层的参数等)，接收服务器110发送的参数(例如，全局模型参数、全局模型的特征提取层和全局数据分布等)，并通过服务器110发送的参数和本地数据，基于联邦学习训练机器学习模型得到局部模型。

其中，全局模型和局部模型都包括各自的特征提取层和分类层，特征提取层用于提取数据的表征，分类层用于对表征进行分类，得到多个类的数据集。本申请实施例中，机器学习模型的训练分为两个阶段，在第一阶段，通过训练确定全局模型的特征提取层，在第二阶段，通过训练确定全局模型和局部模型的分类层，以下将对第一阶段的训练过程和第二阶段的训练过程进行详细说明。

其中，服务器110和终端之间无线通信可通过第三代移动通信(3rd generationmobile networks，3G)协议、长期演进(long term evolution，LTE)协议或第五代移动通信(5th generation mobile networks，5G)协议的移动网络，采用无线保真(Wireless-Fidelity，Wi-Fi)协议、紫蜂(Zigbee)协议的无线局域网络，近场通信(near fieldcommunication，NFC)技术或蓝牙(bluetooth)技术建立连接。

需要说明的是，本申请实施例中的K个终端为模型训练的参与方，实际中服务器110可与S(S为自然数，S＞K)个终端建立通信连接，从S个终端中选取K个终端作为参与方，本申请实施例中涉及的终端都是对机器学习模型进行训练的参与方。

本申请实例中涉及的数据可以是车辆数据，例如，该车辆数据可以是车辆的工况数据，车辆的操控数据，车辆所在的环境数据中的至少一种；该机器学习模型可以是用于推荐驾驶模式的模型，推荐行驶路段的模型，自动驾驶的模型或预测车辆的参数的模型(例如，预测传感器上的信号)。

以下，以三种示例性的机器学习模型对本申请实施例的应用场景做示例性说明：(1)使用车辆感知传感器的数据建立的车辆变道轨迹预测模型；(2)使用发动机催化器前后传感器的数据建立的催化器数字代理模型；(3)使用电池管理系统均衡电路板上负温度系数(negative temperature coefficient，NTC)传感器的数据建立的温升数字代理模型。

参考图2，其示出了本申请一个示例性实施例提供的基于联邦学习的模型训练方法的流程图，该方法可应用于图1实施例提供的系统中，图2中的终端可以是图1中的任一终端，该方法可作为上述中第一阶段的训练方法，如图2所示，该方法包括：

步骤201，服务器将全局模型参数发送至终端。

第一阶段的训练可包括Q(Q为自然数，Q≥2)轮训练(Q轮训练为全局训练的轮次)，以下以Q轮训练中的第q(q为自然数，1≤q≤Q)轮训练为例进行说明：服务器将第t轮训练的全局模型参数w

步骤202，终端根据全局模型参数初始化本地的局部模型，得到初始化后的模型。

以下，以K个终端中的第k(k为自然数，1＜k≤K)个终端(以下简称为“终端k”)为例进行说明：在第q轮训练中，终端k在接收到服务器发送的全局模型参数w

步骤203，终端通过本地数据训练初始化后的模型，计算得到局部模型参数。

终端k调用初始化后的模型对本地数据进行处理，得到输出结果，根据输出结果对初始化后的模型的参数进行更新，得到更新后的模型，再调用更新后的模型对本地数据进行处理，得到输出结果，重复上述步骤，直至P(P为自然数，P≥2)轮训练后(P轮训练为局部训练的轮次)，得到第q轮训练的局部模型参数w

步骤204，终端将局部模型参数发送至服务器。

终端k将局部模型参数w

步骤205，服务器根据局部模型参数聚合得到更新后的全局模型参数。

服务器根据K个终端发送的局部模型参数{w

如前述，相关技术中提供的联邦学习模型的训练方法，存在数据异构的问题，总体表现为：数据表征分布偏差，即各个终端的本地数据的表征分布不相同；数据标签分布偏差，即各个终端的本地数据的标签分布不相同；数据表征和数据标签存在对应偏差，其中，又包括相同标签不同表征以及相同表征不同标签这两种情况；以及，数据量倾斜和类不平衡，即终端的本地数据的数量不均衡和拥有的数据类别不均衡。在实际应用中，数据普遍呈现为长尾分布(即尾部类的数据分布较低)，实验证明，这种呈长尾分布的数据会影响模型的收敛速度，甚至使模型无法收敛。鉴于此，在第二阶段的训练中，通过服务器和K个终端之间共同训练模型的分类层以解决模型的数据异构的问题。

参考图3，其示出了本申请一个示例性实施例提供的基于联邦学习的模型训练方法的流程图，该方法可应用于图1实施例提供的系统中，该方法可由图1实施例中的任一终端执行，方法可以是上述中第二阶段的训练方法，该方法可在图2实施例后执行，如图3所示，该方法包括：

步骤301，调用局部模型对本地数据进行处理，计算得到本地数据中每个类的数据分布，局部模型的特征提取层是服务器发送的全局模型的特征提取层。

其中，每个类的数据分布可包括每个类的表征集的均值和协方差。示例性的，步骤301包括但不限于：服务器向K个终端发送全局模型的特征提取层(该全局模型是图2实施例中训练得到的)，任一终端将全局模型的特征提取层作为局部模型的特征提取层，调用局部模型对本地数据进行处理，得到多个类的数据集，对于多个类的数据集中任一类的数据集中的数据，通过全局模型的特征提取层生成其对应的表征，得到多个类的表征集，计算得到多个类的表征集中每个类的表征集的均值和协方差。

步骤302，将每个类的数据分布发送至服务器。

K个终端将各自计算得到的每个类的数据分布发送至服务器，服务器基于K个终端发送的每个类的数据分布计算得到全局数据中每个类的数据分布，将全局数据中每个类的数据分布发送至K个终端。

步骤303，基于服务器发送的全局数据中每个类的数据分布进行信息迁移，计算得到信息迁移后的数据分布。

由于模型的数据异构呈现为长尾分布，因此通过对头部类和尾部类进行信息迁移可以在一定程度上解决数据异构的问题，鉴于此，信息迁移后的数据分布可包括尾部表征的估计分布，其中，尾部表征是尾部类的表征，尾部类是对应的数据数量在多个类中排名在后预设位的类，与之对应的，头部表征是头部类的表征，头部类是对应的数据数量在多个类中排名在前预设位的类。

示例性的，步骤303包括但不限于：终端根据全局数据中每个类的数据分布以及尾部表征，确定与尾部类关联的头部类，将与尾部类关联的头部类的数据分布迁移至尾部类，计算得到信息迁移后的尾部表征的估计分布。

步骤304，基于信息迁移后的数据分布计算得到信息迁移后的表征数据集。

其中，信息迁移后的表征数据集包括尾部表征数据集和头部表征数据集。示例性的，步骤304包括但不限于：终端获取信息迁移后的头部类的数据分布和尾部类的数据分布，根据头部类的数据分布，基于高斯分布生成所述头部表征数据集，根据尾部类的数据分布，基于高斯分布生成尾部表征数据集，将头部表征数据集和尾部表征数据集的并集作为信息迁移后的表征数据集。

步骤305，根据信息迁移后的表征数据集训练局部模型的分类层。

示例性的，步骤305包括但不限于：终端获取信息迁移前的表征数据集，将信息迁移前的表征数据集和信息迁移后的表征数据集的并集作为训练数据集，根据训练数据集训练局部模型的分类层，计算得到局部分类层的参数，将局部分类层的参数发送至服务器，服务器基于全局模型的特征提取层和K个终端发送的局部分类层的参数计算得到全局模型的分类层。

其中，“根据训练数据集训练局部模型的分类层”包括但不限于：从训练数据集中抽取得到采样数据集；通过采样数据集以分类损失函数损失最小为目的对局部模型进行训练，计算得到局部模型的分类层。

综上所述，本申请实施例中，通过训练得到的全局模型的特征提取层生成各个参与方的表征，基于参与方的表征重新训练分类层，从而降低了数据异构对模型的影响，有效地提高了模型的精度和准确度。

参考图4，其示出了本申请一个示例性实施例提供的基于联邦学习的模型训练方法的流程图，该方法可应用于图1实施例提供的系统中，该方法可以是上述中第二阶段的训练方法，图4中的终端可以是图1中的任一终端，该方法可在图2实施例后执行，如图4所示，该方法包括：

步骤401，服务器将全局模型的特征提取层发送至K个终端。

本申请涉及的基于联邦学习的机器学习模型包括多个神经网络层，可将最后一层神经网络层作为模型的分类层

示例性的，服务器将全局模型的特征提取层

步骤402，终端调用局部模型对本地数据进行处理，计算得到本地数据中每个类的数据分布。

以下，以K个终端中的终端k为例进行说明：将终端k的本地数据记为数据集D

在调用局部模型对数据集D

示例性的，终端k可通过以下公式计算得到每个类c的表征集的均值μ

步骤403，终端将每个类的数据分布发送至服务器。

K个终端中的每个终端可通过步骤402中示例的方法计算得到本地数据中每个类的表征集的均值和协方差，将各自计算得到每个类的表征集的均值和协方差发送至服务器。

步骤404，服务器基于K个终端发送的每个类的数据分布计算得到全局数据中每个类的数据分布。

服务器根据K个终端中每个终端中每个类的表征集的均值和协方差(对于K个终端中的终端k，其任一类c的表征均值为μ

示例性的，服务器可通过以下公式计算得到全局数据中每个类c的表征集的均值μ

步骤405，服务器将全局数据中每个类的数据分布发送至K个终端。

示例性的，服务器将步骤404中计算得到的全局数据中每个类的数据分布发送至K个终端。

步骤406，终端基于全局数据中每个类的数据分布进行信息迁移，计算得到信息迁移后的数据分布。

其中，如上述，信息迁移后的数据分布可包括尾部表征的估计分布，以下，将尾部类记为C

示例性的，终端根据全局数据中每个类的数据分布以及尾部表征，确定与尾部类关联的头部类，将与尾部类关联的头部类的数据分布迁移至尾部类，计算得到信息迁移后的尾部表征的估计分布。

终端k接收服务器发送的全局数据中每个类的数据分布({μ

示例性的，终端k可通过以下公式确定与尾部类关联的头部类：

S

S

其中，δ

示例性的，终端k可通过以下公式计算得到信息迁移后的尾部表征的估计分布：

其中，u

步骤407，终端基于信息迁移后的数据分布计算得到信息迁移后的表征数据集。

示例性的，可将头部类的数据分布记为Ωh＝{(μ

根据头部类的数据分布，终端k基于高斯分布生成头部表征数据集：

根据尾部类的数据分布，终端k基于高斯分布生成尾部表征数据集：

进而得到信息迁移后的表征数据集

步骤408，终端根据信息迁移后的表征数据集训练局部模型的分类层，得到局部分类层的参数。

终端k获取在信息迁移前的表征数据集(即本地数据的表征数据集，记为

示例性的，以分类损失函数为交叉熵损失函数为例(该分类损失函数还可以是其他的分类损失函数，例如回归类型的损失函数)，终端k可通过以下公式训练局部分类层的参数

其中，l为交叉熵损失函数，E为交叉熵损失函数的均值，

步骤409，终端将局部分类层的参数发送至服务器。

K个终端中的每个终端可通过步骤408中示例的方法计算得到各自的局部分类层的参数，将各自计算得到的局部分类层的参数发送至服务器。

步骤410，基于全局模型的特征提取层和K个终端发送的局部分类层的参数计算得到全局模型的分类层。

示例性的，步骤410包括但不限于：根据全局数据中每个类的数据数量、每个终端中每个类的数据数量以及每个终端中每个类的表征集的均值计算得到全局数据中每个类的表征集的均值；根据全局数据中每个类的数据数量、每个终端中每个类的数据数量以及每个终端中每个类的表征集的均值和协方差计算得到全局数据中每个类的表征集的协方差。其中，可根据K个终端的局部分类层的参数、全局数据集和每个终端中的本地数据集计算得到全局模型的分类层，具体示例如下：

对于基于联邦学习的机器学习模型，其目训练目标为全局模型能够在每个终端上的损失函数最小，因此在步骤408的公式中

将全局分类层的参数

可选的，终端可根据全局模型的特征提取层和局部分类层的参数计算得到局部分类层。示例性的，如步骤410所述，终端k将局部分类层的参数

需要说明的是，本申请实施例中，K个终端中每个终端执行的步骤与终端k所执行的步骤相同，本申请实施例中以终端k为示例对每个终端所执行的步骤进行示例性说明。

参考图5，其示出了本申请一个示例性的实施例提供的计算机设备的框图，该计算机设备可以是图1实施例中的服务器110或任一终端。如图5所示，该计算机设备包括：处理器510以及存储器520。

处理器510可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。处理器810还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。

存储器520通过总线或其它方式与处理器510相连，存储器520中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器510加载并执行以实现如上任一实施例中提供的基于联邦学习的模型训练方法。存储器520可以为易失性存储器(volatile memory)，非易失性存储器(non-volatilememory)或者它们的组合。易失性存储器可以为随机存取存储器(random-access memory，RAM)，例如静态随机存取存储器(static random access memory，SRAM)，动态随机存取存储器(dynamic random access memory，DRAM)。非易失性存储器可以为只读存储器(readonly memory image，ROM)，例如可编程只读存储器(programmable read only memory，PROM)，可擦除可编程只读存储器(erasable programmable read only memory，EPROM)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)。非易失性存储器也可以为快闪存储器(flash memory)，磁存储器，例如磁带(magnetic tape)，软盘(floppy disk)，硬盘。非易失性存储器也可以为光盘。

本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述任一实施例所述的基于联邦学习的模型训练方法。

本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的基于联邦学习的模型训练方法。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请创造的保护范围之中。