一种抵御半诚实服务器推断攻击的差分隐私联邦建模方法及装置

技术领域

本发明涉及多方联合深度学习建模的隐私增强联邦学习技术领域，尤其涉及一种抵御半诚实服务器推断攻击的差分隐私联邦建模方法及装置。

背景技术

数据已成为信息流通、价值传递的基础性生产要素，如何在保护隐私的前提下，促进数据的流通共享是当前面临的一大挑战。联邦学习是一种新型的机器学习、深度学习模型训练范式，它将模型训练和数据存储保留在分布式网络的边缘，因其隐私保护的能力展示出其在诸多业务场景中的应用价值。它能够使得各参与方无须共享数据资源，即在数据不出本地的情况下进行联合，建立共享模型，有效解决数据隐私安全和数据孤岛问题。面向车联网的联邦学习具有减少通信开销，满足隐私保护的优势。对于隐私保护问题，目前在联邦学习中经常使用的是安全多方计算(SMC)、同态加密以及差分隐私(DP)。其中，在差分隐私中，数据通常是由可信第三方进行加噪声来实现隐私。在联邦学习中，服务器作为DP机制的可信任实现者，确保隐私输出。

车联网下的联邦学习一般由若干车辆和和中央服务器组成。其中车辆作为数据参与方，拥有自己的本地数据，比如人脸图片、GPS位置数据等，这些数据可能不足以训练模型或者所得模型不够准确。为了提升模型精准度，中央服务器可以进行跨车辆的数据协作建模。首先，中央服务器负责收集每个参与方上传的模型参数，并采用联邦聚合算法更新原模型。然后，中央服务器将更新后的模型分发给各参与方，准备下一轮的模型训练。这一过程会持续进行，直到模型达到收敛条件。

但是MIT的一项研究表明，隐私的训练数据可以通过共享的梯度来获取。而且，扮演协调角色的中央服务器可能是半诚实、半可信的，因此，中心服务器可能会窃取所有参与者的隐私数据。当前，常用的做法是采用局部差分隐私法对参数进行扰动。局部差分隐私模型是假定数据汇聚者不可信且具有任意背景知识，则在用户侧对数据进行扰动后发送给数据汇聚者，使得扰动结果似是而非，从而更好的确保用户信息不被泄露。差分隐私联邦学习增强了对半诚实中央服务器的推断攻击的抵御能力，但带来了模型精度下降的代价，因此，如何提高差分隐私联邦学习建模的精度是实际应用中需要考虑的问题。

发明内容

本发明提出一种抵御半诚实服务器推断攻击的差分隐私联邦建模方法及装置，用以解决或者至少部分解决现有技术中无法抵御推断攻击以及差分隐私带来模型精度不高的技术问题。

为了解决上述技术问题，本发明第一方面提供了一种抵御半诚实服务器推断攻击的差分隐私联邦建模方法，包括：

对全局模型进行初始化；

半诚实中央服务器按照预设概率选取若干数据参与方参与本轮联邦训练；

被选中的数据参与方对初始化后的全局模型进行下载，并将自身上一轮训练的局部模型与初始化后的全局模型进行弹性融合，得到弹性融合后的局部模型；

被选中的数据参与方利用本地数据对弹性融合后的局部模型进行本地私密训练，得到噪声扰动后的局部模型，然后发送至半诚实中央服务器；

半诚实中央服务器对噪声扰动后的局部模型进行聚合，得到扰动的全局模型。

在一种实施方式中，被选中的数据参与方将自身上一轮训练的局部模型与初始化后的全局模型进行弹性融合，通过下述公式实现：

其中，a是插值系数，取值为0到1之间，t表示训练的轮次，k表示数据参与方的编号，

在一种实施方式中，被选中的数据参与方利用本地数据对弹性融合后的局部模型进行本地私密训练，得到噪声扰动后的局部模型，包括：

基于本地数据计算局部模型参数的梯度下降更新量；

根据计算出的局部模型参数的梯度下降更新量更新弹性融合后的局部模型，得到梯度下降更新后的局部模型；

利用给定高斯分布对梯度下降更新后的本地模型参数添加随机值，得到噪声扰动后的局部模型。

在一种实施方式中，基于本地数据计算局部模型参数的梯度下降更新量，包括：

将本地数据划分为多个批次，并利用前向传播和损失函数计算预测损失

计算模型参数的梯度，根据选定的裁剪方式对参数梯度进行裁剪得到局部模型参数的梯度下降更新量：

其中，Δ

在一种实施方式中，根据计算出的局部模型参数的梯度下降更新量更新弹性融合后的局部模型，得到梯度下降更新后的局部模型，包括：

利用每一批次得到梯度下降更新量更新弹性融合后的局部模型，更新方式为：

其中，

在一种实施方式中，利用给定高斯分布对梯度下降更新后的本地模型参数添加随机值得到噪声扰动后的局部模型的实现方式为：

其中，σ

在一种实施方式中，半诚实中央服务器对噪声扰动后的局部模型进行聚合，得到扰动的全局模型的实现方式为：

其中，

在一种实施方式中，半诚实中央服务器对噪声扰动后的局部模型进行聚合的方式为联邦平均的方法。

基于同样的发明构思，本发明第二方面提供了一种抵御半诚实服务器推断攻击的差分隐私联邦建模系统，包括：

初始化模块，用于对全局模型进行初始化；

数据参与方选取模块，用于按照预设概率选取若干数据参与方参与本轮联邦训练；

弹性融合模块，用于对初始化后的全局模型进行下载，并将自身上一轮训练的局部模型与初始化后的全局模型进行弹性融合，得到弹性融合后的局部模型；

本地秘密训练模块，用于利用本地数据对弹性融合后的局部模型进行本地私密训练，得到噪声扰动后的局部模型，然后发送至半诚实中央服务器；

聚合模块，用于对噪声扰动后的局部模型进行聚合，得到扰动的全局模型。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明提供的一种抵御半诚实服务器推断攻击的差分隐私联邦建模方法，首先对全局模型进行初始化；然后由半诚实中央服务器按照预设概率选取若干数据参与方参与本轮联邦训练；接着被选中的数据参与方对全局模型进行下载，并将自身上一轮训练的局部模型与全局模型进行弹性融合，再利用本地数据对弹性融合后的局部模型进行本地私密训练，得到噪声扰动后的局部模型；最后通过半诚实中央服务器对噪声扰动后的局部模型进行聚合，得到扰动的全局模型。由于被选中的数据参与方将自身上一轮训练的局部模型与全局模型进行弹性融合，将得到的弹性融合模型作为初始化后的本地模型，降低了多轮迭代过程中噪声累积对模型精度的影响，能够有效提升全局模型的精度。并利用本地数据对弹性融合后的局部模型进行本地私密训练，得到噪声扰动后的局部模型，使得半诚实中央服务器无法有效推断出数据参与方的私有数据，提高了安全性，进而提高了抵御半城市服务器推断攻击的能力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中车联网中存在半诚实中央服务器的横向联邦学习系统架构；

图2为本发明实施中抵御半诚实服务器推断攻击的差分隐私联邦建模流程图。

具体实施方式

针对现有传统联邦学习无法抵御推断攻击以及差分隐私带来模型精度降低的不足，本发明提供了一种抵御半诚实服务器推断攻击的差分隐私联邦建模方法，不仅能够提高车联网环境下跨车辆联合建模过程中的鲁棒性，还能提升模型的精度。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例提供了一种抵御半诚实服务器推断攻击的差分隐私联邦建模方法，包括：

S1：对全局模型进行初始化；

S2：半诚实中央服务器按照预设概率选取若干数据参与方参与本轮联邦训练；

S3被选中的数据参与方对全局模型进行下载，并将自身上一轮训练的局部模型与全局模型进行弹性融合，得到弹性融合后的局部模型；

S4：被选中的数据参与方利用本地数据对弹性融合后的局部模型进行本地私密训练，得到噪声扰动后的局部模型，然后发送至半诚实中央服务器；

S5：半诚实中央服务器对噪声扰动后的局部模型进行聚合，得到扰动的全局模型。

具体来说，步骤S2～S5是迭代执行的，当满足预设迭代终止条件时终止。步骤S3被选中的数据参与方在将自身上一轮训练的局部模型与全局模型进行弹性融合，如果是第1轮，则自身上一轮训练的局部模型为初始的局部模型，全局模型为步骤S1的初始化后全局模型，如果不是第1轮，则自身上一轮训练的局部模型为本轮的上一轮训练的局部模型，全局模型为S5得到的上一轮的扰动的全局模型。

具体实施过程中，假设数据参与方的个数为n，第k个参与方的样本个数为m

所有参与方在中央服务器的协调下共同训练一个神经网络分类模型，模型参数表示为ω，第t轮训练的全局模型参数为ω

对半诚实中央服务器下发的全局模型进行弹性同步，即在第t轮被选定的n个参与方从中央服务器下载全局模型ω

具体应用时，本发明提供的方法可以用于车联网的环境，不仅能够提高车联网环境下跨车辆联合建模过程中的鲁棒性，还能提升模型的精度。

在一种实施方式中，被选中的数据参与方将自身上一轮训练的局部模型与全局模型进行弹性融合，通过下述公式实现：

其中，a是插值系数，取值为0到1之间，t表示训练的轮次，k表示数据参与方的编号，

具体来说，上述公式的意义是，将第k个数据参与方本轮的局部私密训练的初始化分类模型

在一种实施方式中，被选中的数据参与方利用本地数据对弹性融合后的局部模型进行本地私密训练，得到噪声扰动后的局部模型，包括：

基于本地数据计算局部模型参数的梯度下降更新量；

根据计算出的局部模型参数的梯度下降更新量更新弹性融合后的局部模型，得到梯度下降更新后的局部模型；

利用给定高斯分布对梯度下降更新后的本地模型参数添加随机值，得到噪声扰动后的局部模型。

具体来说，数据参与方进行局部私密训练主要包括模型参数的梯度下降更新、添加高斯噪声扰动两个操作，其中模型参数的梯度下降更新包括梯度下降更新量的计算和基于更新量进行模型更新。

在一种实施方式中，基于本地数据计算局部模型参数的梯度下降更新量，包括：

将本地数据划分为多个批次，并利用前向传播和损失函数计算预测损失

计算模型参数的梯度，根据选定的裁剪方式对参数梯度进行裁剪得到局部模型参数的梯度下降更新量：

其中，Δ

在一种实施方式中，根据计算出的局部模型参数的梯度下降更新量更新弹性融合后的局部模型，得到梯度下降更新后的局部模型，包括：

利用每一批次得到梯度下降更新量更新弹性融合后的局部模型，更新方式为：

其中，

更为一般地，每个数据参与方的学习率的更新机制为：

η

其中，η

在一种实施方式中，利用给定高斯分布对梯度下降更新后的本地模型参数添加随机值得到噪声扰动后的局部模型的实现方式为：

其中，σ

添加高斯噪声扰动，主要是利用给定高斯分布对所述梯度下降更新后的本地模型参数添加较小的随机值，得到扰动的局部模型。

在一种实施方式中，半诚实中央服务器对噪声扰动后的局部模型进行聚合，得到扰动的全局模型的实现方式为：

其中，

半诚实中央服务器聚合扰动的局部模型，指的是数据参与方将局部私密训练输出的局部扰动模型上传给所述半诚实中央服务器；半诚实中央服务器对所有参与方的局部扰动模型，采用某种聚合策略进行聚合，得到全局的扰动模型。

在一种实施方式中，半诚实中央服务器对噪声扰动后的局部模型进行聚合的方式为联邦平均的方法。

采用联邦平均进行聚合，则聚合公式(7)形式化为：

其中，

本发明的有益效果在于：

1、本发明的差分隐私联邦学习，通过对局部模型参数添加随机噪声，使得半诚实中央服务器无法有效推断出车辆用户的私有数据信息；

2、本发明令数据参与方对全局模型进行弹性更新，降低了多轮迭代过程中噪声累积对模型精度的影响，能够有效提升全局模型的精度。

以下结合说明书附图和具体优选的实施例对本发明做进一步描述，但并不因此而限制本发明的保护范围。

如图1所示，为一种半诚实中央服务器的横向联邦学习系统架构，包括一个半诚实的中央服务器和n个数据参与方。所有数据参与方利用自身的数据，进行本地模型训练，并将模型参数而不是隐私数据发送给半诚实中央服务器；半诚实中央服务器对局部模型进行聚合的同时，也存在对数据参与方的隐私数据具有潜在的推断攻击风险。如图2所示，为本发明实施中抵御半诚实服务器推断攻击的差分隐私联邦建模流程图。

针对该实例系统，具体的流程如下所示：

S1：全局模型初始化；

S2：半诚实中央服务器按照概率选取若干个数据参与方参与第t轮联邦训练；

S3：被选中的数据参与方下载全局模型，然后对局部模型进行弹性同步初始化；

S4：被选中的数据参与方进行本地私密训练，得到噪声扰动后的更新模型；

S5：半诚实中央服务器对扰动后的局部模型进行聚合，得到扰动后的全局模型；

S6：系统重复S2到S5直到满足迭代终止条件为止。

实施例二

基于与实施例一同样的发明构思，本实施例提供了一种抵御半诚实服务器推断攻击的差分隐私联邦建模装置，包括：

初始化模块，用于对全局模型进行初始化；

数据参与方选取模块，用于按照预设概率选取若干数据参与方参与本轮联邦训练；

弹性融合模块，用于对全局模型进行下载，并将自身上一轮训练的局部模型与全局模型进行弹性融合，得到弹性融合后的局部模型；

本地秘密训练模块，用于利用本地数据对弹性融合后的局部模型进行本地私密训练，得到噪声扰动后的局部模型，然后发送至半诚实中央服务器；

聚合模块，用于对噪声扰动后的局部模型进行聚合，得到扰动的全局模型。

由于本发明实施例二所介绍的装置，为实施本发明实施例一中抵御半诚实服务器推断攻击的差分隐私联邦建模方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置，都属于本发明所欲保护的范围。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。