最小化联邦学习时间的参与方在线采样方法及设备

技术领域

本申请实施例涉及联邦学习领域，尤其涉及最小化联邦学习时间的参与方在线采样方法及设备。

背景技术

与传统的机器学习算法相比，联邦学习(FL，federated learning)存在两个主要挑战：首先，客户端之间具有不同的通信速率(称为系统异质性)，其次，客户端的数据样本往往服从非独立同分布规律(non-IID，non-identically independentlydistributions)，且这些数据分布通常不能代表总体数据分布(称为数据异质性)。

当客户端数量大且联邦服务器的通信带宽有限时，联邦学习算法通常在每轮(部分参与)中对一小部分客户端进行采样，例如随机均匀采样。虽然随机均匀采样方案能够保证每轮的模型更新对客户完全参与的模型是无偏的(unbiased)，但是由于存在数据异质性，聚合模型可能有很大的方差，因此，联邦学习需要更多的训练轮次来收敛到目标精度。此外，在系统异质场景下，若联邦学习训练过程中存在掉队者(通信或计算力低下的客户端)，该参与者需要更长时间完成本地训练或模型的上传，进而延长了联邦学习训练所花费的时间。

发明内容

本申请实施例提供了最小化联邦学习时间的参与方在线采样方法及设备，用于提升降低学习总时间以提升联邦学习效率。

本申请实施例第一方面提供一种最小化联邦学习时间的参与方在线采样方法，包括：

响应于采样策略确定指令，计算进行R轮联邦学习所需的学习总时间，并基于预设采样概率集合q确定学习总时间期望，所述采样概率集合q包括每个备选参与方的采样概率；

确定第一优化问题，所述第一优化问题用于求解在第一约束下第一函数的最小值，所述第一函数为所述学习总时间期望，所述第一约束包括第一收敛约束，所述第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度；

求解所述第一优化问题，得到目标采样概率集合q

基于所述目标采样概率集合q

在一种具体实现方式中，所述求解所述第一优化问题，得到目标采样概率集合q

将学习轮次R松弛为连续变量，并将所述第一函数近似为第二函数；

按照预设收敛上界调整所述第一收敛约束，获得第二收敛约束，所述第二收敛约束包括预设收敛上界不大于预设收敛精度；

将所述松弛为连续变量的R代入所述第二函数中，获得第三函数，并将所述松弛为连续变量的R代入所述第二收敛约束中，获得第三收敛约束；

确定第二优化问题，所述第二优化问题用于求解在第三约束下第三函数的最小值，所述第三约束包括第三收敛约束；

求解所述第二优化问题，得到目标采样概率集合q

在一种具体实现方式中，所述计算R轮联邦学习所需的学习总时间，包括：

从每轮联邦学习对应的多个参与方的本地学习时间中，确定每轮联邦学习的最长学习时间；

将所述每轮联邦学习的最长学习时间相加，获得所述学习总时间。

在一种具体实现方式中，所述确定学习总时间期望，包括:

根据以下公式计算所述学习总时间期望：

其中，

在一种具体实现方式中，所述将所述第一函数近似为第二函数，包括：

确定在第一情况以及第二情况下，与所述第一函数相等的近似函数；

将所近似函数确定为所述第二函数。

在一种具体实现方式中，所述第一情况包括每轮联邦学习中所述每个备选参与方的本地学习时间相等，所述第二情况包括每轮联邦学习对应的参与方集合中仅包括一个备选参与方，所述近似函数包括：

其中，所述

本申请实施例第二方面提供一种计算机设备，包括：

计算单元，用于响应于采样策略确定指令，计算进行R轮联邦学习所需的学习总时间，并基于预设采样概率集合q确定学习总时间期望，所述采样概率集合q包括每个备选参与方的采样概率；

确定单元，用于确定第一优化问题，所述第一优化问题用于求解在第一约束下第一函数的最小值，所述第一函数为所述学习总时间期望，所述第一约束包括第一收敛约束，所述第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度；

求解单元，用于求解所述第一优化问题，得到目标采样概率集合q

所述确定单元，还用于基于所述目标采样概率集合q

在一种具体实现方式中，所述求解单元，具体用于将学习轮次R松弛为连续变量，并将所述第一函数近似为第二函数；

按照预设收敛上界调整所述第一收敛约束，获得第二收敛约束，所述第二收敛约束包括预设收敛上界不大于预设收敛精度；

将所述松弛为连续变量的R代入所述第二函数中，获得第三函数，并将所述松弛为连续变量的R代入所述第二收敛约束中，获得第三收敛约束；

确定第二优化问题，所述第二优化问题用于求解在第三约束下第三函数的最小值，所述第三约束包括第三收敛约束；

求解所述第二优化问题，得到目标采样概率集合q

在一种具体实现方式中，所述计算单元，具体用于从每轮联邦学习对应的多个参与方的本地学习时间中，确定每轮联邦学习的最长学习时间；

将所述每轮联邦学习的最长学习时间相加，获得所述学习总时间。

在一种具体实现方式中，所述计算单元，具体用于根据以下公式计算所述学习总时间期望：

其中，

在一种具体实现方式中，所述求解单元，具体用于确定在第一情况以及第二情况下，与所述第一函数相等的近似函数；

将所近似函数确定为所述第二函数。

在一种具体实现方式中，所述第一情况包括每轮联邦学习中所述每个备选参与方的本地学习时间相等，所述第二情况包括每轮联邦学习对应的参与方集合中仅包括一个备选参与方，所述近似函数包括：

其中，所述

本申请实施例第三方面提供一种计算机设备，包括：

中央处理器，存储器以及输入输出接口；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行第一方面所述的方法。

本申请实施例第四方面提供一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面所述的方法。

本申请实施例第五方面提供一种计算机存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如第一方面所述的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：响应于采样策略确定指令，计算进行R轮联邦学习所需的学习总时间，并基于预设采样概率集合q确定学习总时间期望，采样概率集合q包括每个备选参与方的采样概率；确定第一优化问题，第一优化问题用于求解在第一约束下第一函数的最小值，第一函数为学习总时间期望，第一约束包括第一收敛约束，第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度；求解第一优化问题，得到目标采样概率集合q

附图说明

图1为本申请实施例公开的最小化联邦学习时间的参与方在线采样方法的一种流程示意图；

图2为本申请实施例公开的同步联邦学习算法的一种示意图；

图3为本申请实施例公开的确定参与方采样概率的一个流程示意图；

图4为本申请实施例公开的在线联邦学习方法的一种流程示意图；

图5为本申请实施例公开的计算机设备的一个结构示意图；

图6为本申请实施例公开的计算机设备的另一结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了最小化联邦学习时间的参与方在线采样方法及设备，用于提升降低学习总时间以提升联邦学习效率。

请参阅图1，本申请实施例提供一种最小化联邦学习时间的参与方在线采样方法，包括以下步骤：

101、响应于采样策略确定指令，计算进行R轮联邦学习所需的学习总时间，并基于预设采样概率集合q确定学习总时间期望，所述采样概率集合q包括每个备选参与方的采样概率。

考虑到在联邦学习跨设备异构性存在的场景下，也就是说每个备选参与方之间通信能力存在差异(系统异质性)的情况下，考虑到选择不同的备选参与方会对模型收敛产生的影响，在模型训练开始前，就确定每个备选参与方的采样概率，并在对应的采样概率下，选择参与每轮训练的备选参与方。因此，本申请实施例就提供了一种有助于提升模型训练效率的采样概率确定方法(或者说最小化联邦学习时间的参与方在线采样方法)。

考虑到最小化学习总时间的前提，建立学习总时间与采样概率之间的关系。或者说，建立因变量为学习总时间，且采样概率为自变量的表达式。具体的，建立学习总时间与采样概率之间的关系，可以通过建立因变量为学习总时间期望，且采样概率为自变量的表达式。

需要说明的是，采样策略确定指令可以是在首轮联邦学习之前发起的，也可以是在联邦学习过程中发起的，若是在联邦学习过程中发起的，则确定出来的(新的)目标采样概率集合q

在确定学习总时间期望(的表示式)后，通过确定学习总时间期望最小时的采样概率，便可以获得满足上述前提的目标采样概率集合。

102、确定第一优化问题，第一优化问题用于求解在第一约束下第一函数的最小值，第一函数为学习总时间期望，第一约束包括第一收敛约束，第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度。

在确定学习总时间期望(的表示式)后，就可以构建在当前场景下的优化问题，即第一优化问题。可以理解的是，为了求解出来的目标采样概率集合是有实用价值的，需要针对第一优化问题进行约束，比如，针对模型收敛的约束：全局损失期望与最小全局损失的差不大于预设收敛精度。第一收敛约束可以在确保全局损失期望收敛到最小值F

除上述收敛约束之外，第一约束还包括对不同参数的取值范围约束，比如

103、求解第一优化问题，得到目标采样概率集合q

可以理解的是，第一函数(即学习总时间期望)是预设采样概率集合q的函数，因此，求取学习总时间期望最小时对应的采样概率集合q，即目标采样概率集合q

104、基于目标采样概率集合q

在确定目标采样概率集合q

在一些具体实现方式中，在确定目标采样概率集合q

具体的，每轮训练被选中的参与方作为参与者使用本地数据进行本地模型更新，并将更新后的模型w

与现有的自适应客户端采样策略的优化目标相比(如减少训练轮数或提高单轮训练时间)，本发明使用的自适应采样策略能够最大程度上最小化联邦学习所需总时间，更符合现实中联邦学习的跨设备异质场景，可有效提升联邦学习效率。另外，在根据前述实施例方法获得学习参数(即目标采样概率集合)后，可以基于目标采样概率集合进行联邦学习，以同时解决跨设备联邦学习场景下，系统异质性和数据异质性的问题，大大提高了联邦学习的效率。

在一些具体实现方式中，前述步骤103具体可以通过以下方式实现：将学习轮次R松弛为连续变量，并将第一函数近似为第二函数；按照预设收敛上界调整第一收敛约束，获得第二收敛约束，第二收敛约束包括预设收敛上界不大于预设收敛精度；将松弛为连续变量的R代入第二函数中，获得第三函数，并将松弛为连续变量的R代入第二收敛约束中，获得第三收敛约束；确定第二优化问题，第二优化问题用于求解在第三约束下第三函数的最小值，第三约束包括第三收敛约束；求解第二优化问题，得到目标采样概率集合q

具体的，在获得第一优化问题后的步骤，就是确定如何求解第一优化问题。具体的，原始的学习轮次R是自然数，为非连续变量，为了更好的求解前述第一优化问题，需要做的操作之一，就是将学习轮次R松弛为连续变量。同时，求解优化问题的常规步骤，就是将确定复杂的函数近似为在部分情况下成立的近似函数，也就是将第一函数近似为第二函数。

在一些具体实现方式中，本步骤可以参照以下方式实现：确定在第一情况以及第二情况下，与第一函数相等的近似函数；将所近似函数确定为第二函数。具体的，第一情况和第二情况，可以由用户基于对前述第一优化问题的理解，以及技术积累确定，此处不作限制。

此外，不同的模型训练都有其对应的收敛上界，因此通过对任意客户端采样概率进行分析推导可以获得该联邦学习的收敛上界。然后，基于该收敛上界对第一收敛约束进行调整，以获得第二收敛约束。可以理解的是，模型的收敛上界视需求而定，可以是凸收敛上界或非凸收敛上界，此处不作限制。

具体的，全局损失期望

然后，在将R松弛为连续变量、第一函数近似为第二函数，第一收敛约束调整为第二收敛约束后，将松弛为连续变量的R代入第二函数中，获得最终的第三函数，并将松弛为连续变量的R代入第二收敛约束中，获得最终的第三收敛约束。

再然后，在进行上述步骤的近似、松弛、调整后，获得第二优化问题。由于步骤105中将松弛为连续变量的R代入了第三函数以及第三收敛约束中，所以第三函数以及第三收敛约束中不包含变量R。

最后，在确定第二优化问题后，在第三收敛约束下求解第三函数的最小值，便可以获得满足条件的目标采样概率集合q

下面在一个具体场景下，描述本申请实施例的最小化联邦学习时间的参与方在线采样方法。

S1在联邦学习跨设备异构性存在的场景下，即每个参与方之间数据样本服从非独立同分布规律(数据异质性)且参与方之间通信能力存在差异(系统异质性)，建立总学习时间和采样概率之间的关系：

1.1假设在第r轮训练中从N个备选参与方中使用采样概率

1.2对于同步联邦学习模型，因为每轮训练时间由掉队者(通信或计算力最低下的参与方，即每轮本地训练时间最长的参与方)所限制，因而单轮训练时间为

1.3最后，在确保全局损失期望

P

S2对任意参与方采样概率分析并推导出一个收敛上界(即预设收敛上界)。然后，基于该预设收敛上界，给出了原问题P

2.1全局损失期望

2.2计算具体的学习总时间期望

2.3最后将优化问题P

P

S3为了便于求解分析，进一步将优化问题P2转换为P3：

3.1首先，分析得出在最优解存在条件下，总有训练轮数(或者说学习轮次)R，因此将R松弛为连续变量，松弛后的

3.2为了提高问题的可处理性，通过求特殊情况下存在的近似解，来近似前述学习总时间期望。

情况一：每轮联邦学习中所述每个备选参与方的本地学习时间相等，即t

情况二：每轮联邦学习对应的参与方集合中仅包括一个备选参与方，即每轮联邦学习的K≡1，详见下述推导。

因此，基于上述情况一以及情况二，可以认为在普遍情况下

3.3最后，将问题P

P

S4通过解决P

4.1首先，联邦学习算法分别采用平均采样策略,q

具体的，在上述训练过程中，不同参与方的本地训练时间t

4.2定义

4.3在M的可行区间[t

4.5最后，通过比较在多组可行解M(∈

S5在确定目标采样概率集合q

具体的，训练方式可参照前述联邦学习的相关实施例，此处不再赘述。可以理解的是，本实施例还可以采用其他的联邦学习优化算法，如使用正则化本地目标函数来减少客户端本地模型的偏差，从而通过减少训练轮数和使用最优客户端采样策略进一步降低联邦学习总时间，此处不作限制。

需要说明的是，本申请实施例的所指的模拟训练的目的是为了获得未知参数

上述技术方案，使用了低成本实时更新采样策略(即通过更新采样概率来控制不同参与方被选中的可能性，进而改变采样策略)的方法，在模拟训练过程中估计设备的通信能力和本地数据样本的质量，从而能够进一步解决实际训练过程中跨设备异质性所带来的问题，并且有利于联邦学习应用到海量客户端。

请参阅图5，本申请实施例提供一种计算机设备，包括：

计算单元501，用于响应于采样策略确定指令，计算进行R轮联邦学习所需的学习总时间，并基于预设采样概率集合q确定学习总时间期望，采样概率集合q包括每个备选参与方的采样概率；

确定单元502，用于确定第一优化问题，第一优化问题用于求解在第一约束下第一函数的最小值，第一函数为学习总时间期望，第一约束包括第一收敛约束，第一收敛约束包括全局损失期望与最小全局损失的差不大于预设收敛精度；

求解单元503，用于求解第一优化问题，得到目标采样概率集合q

确定单元502，还用于基于目标采样概率集合q

在一种具体实现方式中，求解单元503，具体用于将学习轮次R松弛为连续变量，并将第一函数近似为第二函数；

按照预设收敛上界调整第一收敛约束，获得第二收敛约束，第二收敛约束包括预设收敛上界不大于预设收敛精度；

将松弛为连续变量的R代入第二函数中，获得第三函数，并将松弛为连续变量的R代入第二收敛约束中，获得第三收敛约束；

确定第二优化问题，第二优化问题用于求解在第三约束下第三函数的最小值，第三约束包括第三收敛约束；

求解第二优化问题，得到目标采样概率集合q

在一种具体实现方式中，计算单元501，具体用于从每轮联邦学习对应的多个参与方的本地学习时间中，确定每轮联邦学习的最长学习时间；

将每轮联邦学习的最长学习时间相加，获得学习总时间。

在一种具体实现方式中，计算单元501，具体用于根据以下公式计算学习总时间期望：

其中，

在一种具体实现方式中，求解单元503，具体用于确定在第一情况以及第二情况下，与第一函数相等的近似函数；

将所近似函数确定为第二函数。

在一种具体实现方式中，第一情况包括每轮联邦学习中每个备选参与方的本地学习时间相等，第二情况包括每轮联邦学习对应的参与方集合中仅包括一个备选参与方，近似函数包括：

其中，

图6是本申请实施例提供的一种计算机设备结构示意图，该计算机设备600可以包括一个或一个以上中央处理器(central processing units，CPU)601和存储器605，该存储器605中存储有一个或一个以上的应用程序或数据。

其中，存储器605可以是易失性存储或持久存储。存储在存储器605的程序可以包括一个或一个以上模块，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，中央处理器601可以设置为与存储器605通信，在计算机设备600上执行存储器605中的一系列指令操作。

计算机设备600还可以包括一个或一个以上电源602，一个或一个以上有线或无线网络接口603，一个或一个以上输入输出接口604，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。

该中央处理器601可以执行前述图1至图5所示实施例中计算机设备所执行的操作，具体此处不再赘述。

需要说明的是，虽然各实施例所涉及的流程图中各个步骤按照箭头的指示依次绘制，但除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例还提供一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如上述的最小化联邦学习时间的参与方在线采样方法。