一种鲁棒联邦学习模型的构建方法、系统、设备和介质

技术领域

本发明属于机器学习领域，涉及一种鲁棒联邦学习模型的构建方法、系统、设备和介质。

背景技术

最大相关熵准则MCC是一种用于非线性系统建模和参数估计的方法。与传统的最小二乘法不同，MCC利用了相关熵作为度量误差的准则。

在MCC中，相关熵是一种用于衡量观测数据和模型输出之间的相似性的度量。其包括数据的所有偶次矩，这意味着它比方差和协方差等二阶统计量更全面地捕捉了数据分布的信息。此外，通过从数据直接估计信息论量作为优化代价，MCC可以捕捉高阶统计特性，并在机器学习中提供潜在的显著性能改进。MCC的基本实现是最大化数据样本的相关熵，以获得最佳的模型参数估计，并通过最小化观测数据与模型输出之间的相关熵来优化模型参数。相关熵的计算考虑了数据的非线性特征，使得MCC在非线性系统建模和估计中表现出更好的性能。MCC在信号处理、模式识别、机器学习等领域都有广泛的应用。它对于处理具有非高斯分布、含有噪声和异常值的数据具有较好的鲁棒性，并且在非线性系统建模和参数估计中能够提供更准确的结果。

联邦学习是一种旨在保护隐私安全、破除数据孤岛的分布式学习方法。随着科学技术的不断发展，大量包含着宝贵的信息数据无时无刻不被产生和收集。传统的机器学习方法通常要求将数据集中到一个中央服务器进行模型训练。然而，这种集中式的方法难以保证隐私和安全问题。数据所有者不愿意将其数据完全公开或集中存储，因为这存在泄露敏感信息的风险。此外，数据的传输成本和带宽限制也给集中式模型训练带来了很大的挑战。为了克服这些问题，联邦学习作为一种新兴的机器学习方法应运而生。联邦学习的核心思想是在分布式环境中训练模型，同时保护数据隐私和安全性。与传统的集中式方法不同，联邦学习将计算推送到本地设备上，使得数据始终保持在本地。每个本地设备根据本地数据训练模型，并将模型的更新信息发送给中央服务器进行聚合。这种分布式的学习方法为数据隐私提供了强大的保护。原始数据不需要离开本地设备，只有模型的参数和更新信息进行传输。这有效地降低了数据泄露的风险。同时，联邦学习也能够解决数据传输成本和带宽限制的问题，因为只有模型参数的更新信息需要在网络上传输。

尽管联邦学习有着巨大的潜力，它也面临着一些挑战，其中一个关键挑战是鲁棒性问题。在联邦学习的背景下，可能存在恶意的参与方，这会导致恶意攻击或隐私泄露等问题。一种典型的攻击方式是拜占庭攻击。拜占庭攻击指的是一些设备被攻击者控制，他们提交恶意模型来干扰训练。其对联邦学习具有极高的破坏性，一个拜占庭设备足以使非鲁棒的聚合方法完全失效。因此，对安全和鲁棒的聚合方案的研究成为联邦学习的关键焦点之一。为了减轻拜占庭攻击的影响，研究者们提出了许多鲁棒聚合方法。然而，现有的鲁棒聚合方法大部分都假设恶意设备的数量是已知的，这在实际应用环境中并不现实。有些研究利用估计的恶意设备数量代替真实数量，但是这种方式下，对恶意设备数量的错误估计可能会对整体模型训练带来更加恶劣的影响。另外，尽管有些基于统计学的方法并不需要知道恶意设备的数量，例如几何均值、中位数等，但这些方法往往难以获得较高的准确率。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种鲁棒联邦学习模型的构建方法、系统、设备和介质。本发明鲁棒联邦学习模型不受恶意客户端数量的影响，鲁棒性好，具有稳定的收敛性和更快的收敛速度，计算效率高，准确率高。

为了达到上述目的，本发明采用以下技术方案予以实现：

第一方面，本发明公开了一种鲁棒联邦学习模型的构建方法，包括以下步骤：

初始化模型参数，并将模型参数下发给所有客户端；

从所有客户端中选取若干个客户端，利用本地数据集对选取的客户端的模型参数进行本地更新得到更新模型参数；

对更新模型参数进行基于最大相关熵准则的鲁棒聚合，利用不动点迭代法求解优化聚合结果直至聚合结果收敛得到相关熵聚合模型。

第二方面，根据本发明的方法，提出一种鲁棒联邦学习模型的构建系统，包括：参数下发模块、参数更新模块和聚合迭代模块；

参数下发模块：用于将初始化模型参数，并将模型参数下发给所有客户端；

参数更新模块：用于从所有客户端中选取若干个客户端，在选取的客户端上利用本地数据集对模型参数进行本地更新得到更新模型参数；

聚合迭代模块：用于对更新模型参数进行基于最大相关熵准则的鲁棒聚合，利用不动点迭代法求解优化聚合结果直至聚合结果收敛得到相关熵聚合模型。

第三方面，本发明提供一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；用于执行所述计算机程序时实现鲁棒联邦学习模型的构建方法的步骤。

第四方面，本发明提供一种存储介质，所述存储介质存储有计算机程序指令，所述计算机程序指令被处理器加载并运行时，所述处理器执行鲁棒联邦学习模型的构建方法。

与现有技术相比，本发明具有以下有益效果：

本发明方法初始化模型参数，并将模型参数下发给所有客户端，便于客户端利用本地数据集对模型参数进行本地更新。从所有客户端中选取若干个客户端，利用本地数据集对选取的客户端的模型参数进行本地更新得到更新模型参数，此过程不需要共享原始数据，只需要传递模型参数的更新，从而保护了客户端的隐私。对更新模型参数进行基于最大相关熵准则的鲁棒聚合，利用不动点迭代法求解优化聚合结果直至聚合结果收敛得到相关熵聚合模型，相比于其它鲁棒聚合方式，本发明不需要例如历史模型、攻击者数量等先验知识，避免了错误判断客户端是否诚实导致的模型训练失败，同时是一种在现实场景中简单可行的方案。与传统统计方法如中值和几何中值相比，本发明的统计特性赋予了它更强的鲁棒性。本发明使用不动点迭代方式计算求解最优目标，相比于通常使用的基于梯度的方法，不动点迭代法有着稳定的收敛性、更快的收敛速度且不依赖于迭代起始点，准确率高。

本发明系统包括参数下发模块、参数更新模块和聚合迭代模块。参数下发模块用于将初始化模型参数，并将模型参数下发给所有客户端。参数更新模块：用于从所有客户端中选取若干个客户端，在选取的客户端上利用本地数据集对模型参数进行本地更新得到更新模型参数，不需要共享原始数据，只需要传递模型参数的更新，从而保护了客户端的隐私。聚合迭代模块用于对更新模型参数进行基于最大相关熵准则的鲁棒聚合，利用不动点迭代法求解优化聚合结果直至聚合结果收敛得到相关熵聚合模型。本发明的各个模块相互配合，保证了本发明鲁棒联邦学习模型不受恶意客户端数量的影响，鲁棒性好，具有稳定的收敛性和更快的收敛速度，计算效率高，准确率高。

本发明提供的电子设备及存储介质也具有良好的鲁棒性，不受恶意客户端数量的影响，具有稳定的收敛性和更快的收敛速度，计算效率高，准确率高，能实现可针对任意数量的恶意客户端。

附图说明

图1为本发明的方法流程图；

图2为本发明的设备与中心服务器关系图；

图3为本发明的实例和其它聚合方法在噪声攻击下的表现对比图；

图4为本发明的模块结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

参见图1，一种鲁棒联邦学习模型的构建方法，包括以下步骤：

S1.初始化模型参数，并将模型参数下发给所有客户端；

客户端包括诚实客户端和恶意客户端。

S2.从所有客户端中选取若干个客户端，利用本地数据集对选取的客户端的模型参数进行本地更新得到更新模型参数；

在选取的客户端上利用本地数据对模型参数进行本地更新得到更新模型参数具体如下：

在选取的客户端上利用深度网络模型或者线性回归，按照

其中，i为第i个客户端，t为当前迭代轮数，

选取的客户端若为恶意客户端，则其会上传任意的向量来干扰模型训练，同时获取其它诚实客户端训练获得的参数，并通过这些参数强化恶意客户端的更新模型参数。

S3.对更新模型参数进行基于最大相关熵准则的鲁棒聚合，利用不动点迭代法求解优化聚合结果直至聚合结果收敛得到相关熵聚合模型。

具体如下：

确定聚合迭代的起始点和核大小；

结合核大小求出每个更新模型参数与迭代起始点的相关熵；

通过相关熵，利用不动点迭代进行一轮加权求解得到迭代结果；

计算本轮迭代结果与上轮迭代结果的二范数；

若二范数大于设定的阈值，则进行下一轮迭代，若若二范数小于或等于设定的阈值则结束迭代，输出本轮迭代结果作为相关熵聚合模型。

具体如下：

通过对初始参数进行平均求得确定聚合迭代的起始点，即：

其中，z

确定聚合迭代的核大小，计算公式如下：

其中median指的是求一组数据的中位数，

结合核大小求出每个更新模型参数与迭代起始点的相关熵，相关熵的求解公式为：

其中，β

通过相关熵，利用不动点迭代进行一轮加权求解得到迭代结果，加权求解公式为：

其中，z

计算本轮迭代结果与上轮迭代结果的二范数，二范数计算公式如下：

d＝‖z

其中，d为二范数；

若二范数大于设定的阈值，则进行下一轮迭代，若二范数小于或等于设定的阈值则结束迭代，输出本轮迭代结果作为相关熵聚合模型。

不动点迭代的公式获取方法如下：

获得每个客户端提交的参数

若第i个客户端是诚实客户端，则参数

若第i个客户端是恶意客户端，则参数

获取优化目标公式

其中，

最大化如下函数：

其中，M(z)为最大相关熵函数；

通过对z的求导，得到：

令上式等于0，得到优化目标的解，形式为:

其中z

其中，z

参见图1，在本发明的另一个可行的实施例中，以下根据情况适应性修改。初始化模型参数，并将模型参数下发给所有客户端，便于客户端利用本地数据集对模型参数进行本地更新。从所有客户端中选取若干个客户端，利用本地数据集对选取的客户端的模型参数进行本地更新得到更新模型参数，此过程不需要共享原始数据，只需要传递模型参数的更新，从而保护了客户端的隐私。同时，本发明鲁棒联邦学习模型可针对任意数量的恶意客户端。对更新模型参数进行基于最大相关熵准则的鲁棒聚合，利用不动点迭代法求解优化聚合结果直至聚合结果收敛得到相关熵聚合模型，相比于其它鲁棒聚合方式，本发明不需要例如历史模型、攻击者数量等先验知识，避免了错误判断客户端是否诚实导致的模型训练失败，同时是一种在现实场景中简单可行的方案。针对联邦学习的鲁棒性问题，利用核熵捕捉参数的所有偶数阶矩的特性，以测量其分布特征并计算中心值。与传统统计方法如中值和几何中值相比，这种统计特性赋予了它更强的鲁棒性。本发明使用不动点迭代方式计算求解最优目标，相比于通常使用的基于梯度的方法，不动点迭代法有着稳定的收敛性、更快的收敛速度且不依赖于迭代起始点，准确率高。

实施例一：

本实施例公开了一种鲁棒联邦学习模型的构建方法，具体如下：

本实施例采用了一个普遍使用的联邦学习框架，其中有n个设备，用索引i表示，每个设备都持有一个不同的本地数据集D

本地目标函数定义如下：

对于全局模型来说，联邦学习的目标为：

在此过程中，需要考虑存在拜占庭攻击者的情况。为了阻止成功训练，拜占庭攻击者向服务器提交任意精心编纂的向量，目的是阻止模型的正常训练。最强大的攻击者甚至可能获得其他诚实模型的参数知识，利用这些知识来制造恶意参数，增强攻击的破坏力。对于诚实参与者，他们的本地参数通过梯度更新

其中，

拜占庭攻击有着各种不同类型的形式，本发明不仅考虑编造异常离群点的拜占庭攻击，还能够有效的防御将恶意参数与诚实参数混合的高级攻击。这种拜占庭攻击在实际情况中往往能够欺骗鲁棒聚合方法，使其误认为这些恶意参数是有效的，从而导致训练准确性下降甚至模型训练完全失败。

鲁棒聚合的过程是为了减轻或消除恶意设备对联邦学习的负面影响。在联邦学习中，每个设备都会根据本地数据计算局部模型更新，并将其上传到中央服务器进行聚合。然而，恶意设备可能会提交虚假、扰乱或恶意的模型更新，试图破坏整个联邦学习过程。

为了对抗恶意攻击，鲁棒聚合采用了一系列机制和技术，例如去噪、异常值检测和剔除、聚合规则的设计等。这些方法旨在识别和过滤掉恶意设备的影响，确保只有诚实设备的贡献对模型的聚合起作用。通过鲁棒聚合，联邦学习可以在存在恶意攻击的环境中保持模型的准确性和可靠性。它可以有效地防止恶意设备的攻击和干扰，确保联邦学习的结果不受恶意行为的影响。通过使用鲁棒聚合方法，联邦学习可以更可靠地应用于实际场景，保护参与者的数据隐私，并提供高质量的模型训练结果。

最大相关熵准则即MCC优化准则是信息论学习ITL中常用的方法。信息论学习ITL是一种基于熵和散度的非参数自适应系统框架。由于相关熵是一种对异常值不敏感的局部相似性度量，因此它可以作为机器学习和信号处理的损失函数。在监督学习中，该问题可以形式化为最大化模型输出和期望响应之间的相关性。给定两个随机变量x∈R

其中，σ为聚合迭代的核大小。

最大相关熵准则的一般目标是最大化目标函数：

其中，x

下面对本实施例进行详细说明：

如图1所示，本实施例提供了一种鲁棒联邦学习模型的构建方法，包括以下步骤：

S1、中心服务器初始化模型参数，并将参数下发给各个客户端，总共m个客户端，客户端包括诚实客户端和恶意客户端。

在本实施例的该步骤周中，为了确保每个客户端都能正常进行训练，参数下发是交给所有客户端的。

S2、开始一轮迭代，中心服务器从总共任意个客户端中选取n个，将其作为本轮迭代聚合所使用的客户端；

在本发明的一种实施例中，n个客户端是随机选取的。n的值不大于客户端总数m，之后的步骤中对模型的训练和上传都是在这n个设备中进行的。

S3、在每个客户端上利用本地数据进行本地更新，将更新好的参数提交给中心服务器，此过程考虑受到拜占庭攻击的影响，提交给中心服务器的参数可能混合有一些恶意设备；

客户端的本地数据更新利用的是神经网络或者线性回归等模型，优化方法是梯度下降；对于第i个诚实客户端，本地数据集为D

在本发明的一种实施例中，n个设备中混入了未知数量的拜占庭攻击者；拜占庭攻击者总共数量不超过总共设备数量的一半，否则说明设备来源出现巨大问题，系统管理者应排查设备来源而不是依赖聚合保证鲁棒性；在选出的n个设备中，拜占庭攻击者的数量是未知的，因此需要攻击者数量信息的鲁棒防御方法在此不再适用。本发明提供的一种基于最大相关熵准则的鲁棒联邦学习模型和方法可以在此环境下进行鲁棒聚合并取得较好的效果。

S4、中心服务器通过客户端提交的模型参数进行基于最大相关熵准则的鲁棒聚合，优化目标为

其中，

在本发明的一种实施例中，由于最大相关熵准则MCC的解无法以闭式形式得到，一个难点在于通过哪种算法获得优化目标后确定全局最优解。常见的优化算法是梯度下降法。然而，基于梯度的方法依赖于步长，并且不能保证收敛。因此，考虑使用不动点迭代算法，这不仅允许任意选择初始点，还可以实现稳定的收敛。利用不动点迭代法求解优化目标，迭代公式为：

其中，z指的是需要求得的聚合结果；k指的是迭代轮数；p

具体步骤如下：

S41、中心服务器获得每个客户端提交的参数

若第i个客户端是诚实客户端，则此参数由诚实客户端对本轮初始参数的训练和更新给出；

若第i个客户端是恶意客户端，则此参数由恶意客户端进行任意编篡；

相关熵可写成如下形式：

从上述方程可以推断出，相关熵采用了直接从数据估计的信息论量，而不是依赖于典型的二阶统计量如方差和协方差作为优化成本。这些信息论量可以有效地捕捉数据的高阶统计特性，并在机器学习任务中潜在地导致显著的性能改进。由于相关熵是一种对数据相似性具有鲁棒性的度量，类似于中位数和几何中位数，它可以用于量化数据的分布并得到反映其分布特征的中心值。因此，参数集合的中心点应该与每个参数具有最大的相似性。受到MCC形式的启发，计算每个参数与中心点之间的相关熵之和作为整体相似性的度量。因此，定义中心点为优化目标式求得：

最大化如下函数：

其中，M(z)为最大相关熵函数；

为要求得的聚合目标，p

在本发明的一种实施例中，通过不动点迭代公式求解此优化目标。

为了得到目标函数最优解，通过对z的求导，得到：

令其等于0，得到优化目标的解，形式为:

其中z

其中，z

S42、中心服务器确定聚合迭代的起始点和核大小，即确定z

在本发明的一种实施例中，所述z

其中，z

需要说明的是，不动点迭代法并不依赖于起始点，所以可以使用其它的任意点作为起始点；在这里使用求平均的方式是为了下面方便约束聚合迭代的核大小σ；

在本发明的一种实施例中，所述σ通过如下方式给出：

其中median指的是求一组数据的中位数，

S43、对选中的m个客户端，求出其训练出的参数与迭代起始点的相关熵。

其中，β

在本发明的一种实施例中，迭代轮数是可以自行修改的，一轮的迭代已经能够取得较好的效果。

S44、通过m个相关熵，利用不动点迭代进行一轮加权求解。

其中，z

此迭代公式是通过不动点法获得的，可以视作是通过相关熵对参数进行加权处理。

S45、计算此轮迭代与上轮迭代产生结果的二范数

d＝‖z

其中，d为二范数；

设置阈值e，当d>e时，回到S43进行下轮迭代，当d<＝e时，结束迭代，输出迭代结果z

在本发明的一种实施例中，e可设置为10

S5、中心服务器将聚合结果下发给各个客户端直到模型收敛，否则转到步骤S2开始新一轮迭代。

图2给出了一种鲁棒联邦学习模型的构建方法的设备与中心服务器的关系图：

诚实设备和拜占庭设备可以同等地位地和中心服务器进行交互，中心服务器并不能简单区分两者，也不了解拜占庭设备的具体数量；基于最大相关熵准则的鲁棒聚合可以在这种没有拜占庭设备信息的情况下取得良好的效果。

图3是本说明书实例和其它聚合方法在噪声攻击下的表现对比图；噪声攻击在每个参数中添加0.3作为噪声干扰训练。图中显示了在噪声攻击下，对比现有的聚合方法，最大相关熵聚合在拜占庭设备比例小于40％的时候准确率始终明显高于其它聚合方法，表现出了更强的鲁棒性。

参见图4，根据上述方法，本发明还公开了一种鲁棒联邦学习模型的构建系统，包括：参数下发模块、参数更新模块和聚合迭代模块。

参数下发模块：用于将初始化模型参数，并将模型参数下发给所有客户端；

参数更新模块：用于从所有客户端中选取若干个客户端，在选取的客户端上利用本地数据集对模型参数进行本地更新得到更新模型参数；

聚合迭代模块：用于对更新模型参数进行基于最大相关熵准则的鲁棒聚合，利用不动点迭代法求解优化聚合结果直至聚合结果收敛得到相关熵聚合模型。

优选的，本发明系统包括参数下发模块、参数更新模块和聚合迭代模块。参数下发模块用于将初始化模型参数，并将模型参数下发给所有客户端，(补充效果)。参数更新模块：用于从所有客户端中选取若干个客户端，在选取的客户端上利用本地数据集对模型参数进行本地更新得到更新模型参数，不需要共享原始数据，只需要传递模型参数的更新，从而保护了客户端的隐私。聚合迭代模块用于对更新模型参数进行基于最大相关熵准则的鲁棒聚合，利用不动点迭代法求解优化聚合结果直至聚合结果收敛得到相关熵聚合模型，相比于其它鲁棒聚合方式，本发明不需要例如历史模型、攻击者数量等先验知识，避免了错误判断客户端是否诚实导致的模型训练失败，同时是一种在现实场景中简单可行的方案。本发明的各个模块相互配合，保证了本发明鲁棒联邦学习模型不受恶意客户端数量的影响，鲁棒性好，具有稳定的收敛性和更快的收敛速度，计算效率高，准确率高。

一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；用于执行所述计算机程序时实现鲁棒联邦学习模型的构建方法的步骤。

一种存储介质，所述存储介质存储有计算机程序指令，所述计算机程序指令被处理器加载并运行时，所述处理器执行鲁棒联邦学习模型的构建方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。