面向跨设备场景的数据隐私保护联邦生成对抗网络训练方法及系统

技术领域

本发明涉及隐私保护联邦生成对抗网络领域，尤其涉及一种面向跨设备场景的数据隐私保护联邦生成对抗网络训练方法及系统。

背景技术

大多数现有的联邦学习方案都是基于充足和多样化的训练数据来构建高效的模型。然而，在现实环境中，现有的联邦学习方案很难收集足够的数据并训练全局模型。尤其是在跨设备场景中，数据持有者更喜欢在本地存储包含个人身份信息的数据，而不是共享这些数据。

生成对抗网络的出现为缓解数据短缺提供了一种有效的方法。然而现有方法主要集中在将多个生成对抗网络相互简单组合，这些方法可能会导致合成数据的可用性不足，无法保证用户隐私安全性等问题。此外，客户端可能存在泄漏生成器的风险，服务器也很难找到泄漏生成器的客户端。因此，需要一种新的系统来解决合成数据的可用性不足和隐私泄露挑战，实现高效、安全的隐私保护联邦生成对抗网络系统。

发明内容

本发明针对现有技术的不足，提供了一种面向跨设备场景的数据隐私保护联邦生成对抗网络训练方法及系统。

第一方面，本发明提供了一种面向跨设备场景的数据隐私保护联邦生成对抗网络训练方法，包括以下步骤：

S1、系统参数初始化：

服务器初始化全局模型参数；

服务器根据从先验分布中提取的随机向量生成合成数据；

服务器将合成数据发送给参与训练的雾节点和客户端；

S2、客户端生成梯度：

客户端通过合成数据和私有数据进行本地模型参数更新，对每个合成数据生成梯度；

基于梯度中元素的绝对值的大小，客户端获取相应梯度元素的下标并进行梯度裁剪以及压缩操作；

客户端将处理后的梯度上传给雾节点；

S3、雾节点聚合梯度：

雾节点将处理后的梯度使用差分隐私和量化压缩技术进行加密处理之后，得到压缩的梯度，并上传给服务器；

S4、服务器更新生成器模型参数：

服务器收到来自雾节点的梯度后，通过损失函数更新生成器模型参数，直到隐私预算达到阈值；

S5、服务器生成并发送合成数据给客户端；

S6、客户端进行投票；

S7、雾节点聚合投票，获得聚合结果并发送给服务器；

S8、服务器收到雾节点的聚合结果后，通过聚合投票结果删除低质量的合成数据。

在一些实施例中，步骤S2中，客户端生成梯度并对梯度进行裁剪以及压缩操作，具体为：

S21、客户端通过梯度元素的绝对值大小，选取相应梯度元素的下标；

S22、客户端通过阈值对相应梯度元素进行裁剪操作；

S23、客户端对裁剪后的梯度元素进行量化压缩。

更进一步，步骤S23中，客户端对裁剪后的梯度元素进行量化压缩，具体为：

S231、客户端计算梯度的无穷范数；

S232、客户端将梯度元素归一化；

S232、客户端通过梯度元素归一化获取梯度元素值为{1，0，-1}的概率。

在一些实施例中，步骤S3中，雾节点使用差分隐私和量化压缩技术进行加密处理操作，具体为：

S31、雾节点对梯度添加高斯噪声。

S32、雾节点通过阈值量化梯度元素值为{1，0，-1}。

在一些实施例中，步骤S6具体是：

收到服务器发送的合成数据后，客户端建立投票向量以及索引数组；

客户端通过计算本地私有数据和合成数据之间的pHash值之后，执行投票操作并获得投票结果；

客户端将投票结果发送雾节点。

第二方面，本发明提供了一种面向跨设备场景的数据隐私保护联邦生成对抗网络训练系统，包括雾节点、服务器和客户端。

所述雾节点，用于收到来自客户端发送压缩后的梯度后，进行差分隐私和量化操作，得到压缩的梯度，并上传给服务器；聚合投票，并将聚合结果发送给服务器。

所述服务器：用于初始化全局模型参数，根据从先验分布中提取的随机向量生成合成数据，将合成数据发送给参与训练的雾节点和客户端；收到来自雾节点的梯度之后更新生成器模型参数；收到雾节点的聚合结果之后，通过聚合投票结果删除低质量的合成数据。

所述客户端：用于通过合成数据和私有数据进行本地模型参数更新，对每个合成数据生成梯度；随后基于梯度中元素的绝对值的大小，获取相应梯度元素的下标并进行梯度裁剪以及压缩操作，将处理后的梯度上传给雾节点；收到服务器发送的合成数据后，建立投票向量以及索引数组；通过计算本地私有数据和合成数据之间的pHash值之后，执行投票操作并获得投票结果，将投票结果发送雾节点。

第三方面，本发明提供了一种面向跨设备场景的数据隐私保护联邦生成对抗网络训练设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述面向跨设备场景的数据隐私保护联邦生成对抗网络训练方法

第四方面，本发明提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述面向跨设备场景的数据隐私保护联邦生成对抗网络训练方法

本发明的有益效果为：

本发明采用了差分隐私技术来确保用户数据在训练过程中的隐私性和安全性。此外，本发明采用了一种知识转移方案，该方案通过用户的知识来选择潜在的高质量数据，以提高合成数据的效用。本发明实现了在跨设备场景中高效、安全的生成模型训练，并限制资源受限设备的权限，防止其泄漏或滥用生成器。

附图说明

图1为本发明系统的架构流程图。

图2为本发明的知识转移方案流程图。

具体实施方式

在本发明中存在三个实体，分别为客户端、雾节点和服务器。客户端负责在本地使用自己的私有数据集训练本地模型。雾节点用于数据收集、处理、存储并随后将处理后的数据发送到服务器。服务器可以生成数据，并且可以位于云上以接收来自雾节点的梯度，用于训练生成模型。将这段时间定义为一个训练周期。

结合图1和图2，本申请实施例以一个训练周期为例，面向跨设备场景的数据隐私保护联邦生成对抗网络训练方法，包括以下步骤：

1)系统参数初始化：

服务器初始化全局模型参数；

服务器根据从先验分布中提取的随机向量Z＝(z

服务器将合成数据发送给参与训练的雾节点和客户端。

2)每个客户端生成梯度：

客户端

客户端

基于梯度

并且客户端

其中

进一步，客户端

其中

3)雾节点聚合梯度：

雾节点FN

其中

然后FN

其中

4)服务器更新生成器模型参数：

服务器收到来自雾节点的梯度

其中

5)服务器生成并发送M个合成数据

6)每个客户端

每个客户端

服务器会建立投票索引IV，其中IV存储V的索引，以及

客户端

其中W代表

客户端执行投票操作，客户端

其他设置为1

然后客户端

7)雾节点FN

8)服务器收到雾节点的聚合结果后，聚合投票结果：

服务器从最小到最大排序V并更新IV。然后服务器删除低质量的合成数据，服务器需要对索引IV中低于阈值β

IV[0:(β

本申请实施例具有数据增强功能，差分隐私技术保护了客户端的隐私，同时，本申请实施例实现了在跨设备场景中高效、安全的生成模型训练，并限制资源受限设备的权限，防止其泄漏或滥用生成器。

本申请实施例还提供了面向跨设备场景的数据隐私保护联邦生成对抗网络训练设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现上述一种面向跨设备场景的数据隐私保护联邦生成对抗网络训练方法。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述一种面向跨设备场景的数据隐私保护联邦生成对抗网络训练方。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。

所述非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。所述易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本申请中的处理器可以包括一个或者多个处理核心。处理器通过运行或执行存储在存储器内的指令、程序、代码集或指令集，调用存储在存储器内的数据，执行本申请的各种功能和处理数据。处理器可以为特定用途集成电路(Application SpecificIntegratedCircuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgrammableLogicDevice，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上对本发明的具体实施例进行了描述。需要理解的是，以上所述仅为本发明的具体实施例，不用于限制本发明，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。