一种基于神经通路特征提取的垂直联邦下模型窃取防御方法

技术领域

本发明属于安全防御领域，具体涉及一种基于神经通路特征提取的垂直联邦下模型窃取防御方法。

背景技术

近年来，深度学习模型被广泛应用在各种现实任务中，并取得了良好的效果。与此同时，数据孤岛以及模型训练和应用过程中的隐私泄露成为目前阻碍人工智能技术发展的主要难题。为了解决这一问题，联邦学习作为一种高效的隐私保护手段应运而生。联邦学习是一种分布式的机器学习方法，即参与方对本地数据进行训练后将更新的参数上传至服务器，再由服务器进行聚合得到总体参数的学习方法，通过参与方的本地训练与参数传递，训练出一个无损的学习模型。

按照数据分布的不同情况，联邦学习大致可以分为三类：水平联邦学习、垂直联邦学习和联邦迁移学习。横向联邦学习指的是在不同数据集之间数据特征重叠较多而用户重叠较少的情况下，按照用户维度对数据集进行切分，并取出双方数据特征相同而用户不完全相同的那部分数据进行训练。纵向联邦学习指的是在不同数据集之间用户重叠较多而数据特征重叠较少的情况下，按照数据特征维度对数据集进行切分，并取出双方针对相同用户而数据特征不完全相同的那部分数据进行训练。联邦迁移学习指的是在多个数据集的用户与数据特征重叠都较少的情况下，不对数据进行切分，而是利用迁移学习来克服数据或标签不足的情况。

与传统机器学习技术相比，联邦学习不仅可以提高学习效率，还能解决数据孤岛问题，保护本地数据隐私。但联邦学习中也存在较多的安全隐患，在联邦学习中的受到的攻击威胁主要有三种：中毒攻击、对抗攻击以及隐私泄露。其中隐私泄露问题是联邦学习场景下最重要的问题，因为联邦学习涉及多个参与方的模型信息交互，在这个过程中，很容易遭到恶意攻击，对联邦学习的模型隐私安全造成巨大威胁。

在垂直联邦场景下，为了保护深度模型的隐私安全，提出的主要隐私保护技术包括安全多方计算、同态加密和差分隐私保护，安全多方计算和同态加密技术会大大增加计算的复杂度，时间成本和计算成本都会提高，同时对设备的计算力要求也较高，而差分隐私保护技术需要通过添加噪声的方式实现隐私安全保护，会对模型在原有任务上的准确率产生影响。

发明内容

为了提高在垂直联邦场景下边缘模型的信息安全性，防止边缘端模型在信息传递的过程中，被恶意攻击者窃取，本发明提出了一种基于神经通路特征提取的垂直联邦下模型窃取防御方法。

本发明的技术方案为：

一种基于神经通路特征提取的垂直联邦下模型窃取防御方法，包括以下步骤：

(1)将数据集中的每张样本平均分成两部分，组成样本集D

(2)依据样本集D

(3)服务端对边缘终端P

与现有技术相比，本发明具有的有益效果至少包括：

本发明提供的基于神经通路特征提取的垂直联邦下模型窃取防御方法，通过在训练的时候固定神经通道特征，并对损失函数进行加密上传，以防止被恶意攻击者窃取，垂直联邦场景下边缘模型的信息安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的基于神经通路特征提取的垂直联邦下模型窃取防御方法的流程图；

图2是本发明实施例提供的垂直联邦模型的训练示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

针对垂直联邦场景下边缘端模型在模型信息交互的过程中，易受到恶意攻击者的威胁，攻击者窃取边缘端的模型信息后，通过梯度和损失值的计算，来窃取边缘端的模型。为了防止此类窃取边缘端模型，本发明实施例提供了一种基于神经通路特征提取的垂直联邦下模型窃取防御方案，通过在边缘端模型的训练阶段加入神经通路特征提取步骤，通过固定激活神经元的方法对训练阶段的模型参数传递过程进行加密，使得在垂直联邦场景下不同的边缘端进行模型参数交换的过程中，有效的防御恶意参与方窃取深度模型的隐私信息，攻击者在不了解固定神经通路的前提下，即使窃取了边缘端模型的传递信息，也无法还原模型的训练过程，达到了保护模型信息，对抗模型窃取攻击的防御目的。

图1是本发明实施例提供的基于神经通路特征提取的垂直联邦下模型窃取防御方法的流程图。如图1所示，实施例提供的基于神经通路特征提取的垂直联邦下模型窃取防御方法包括以下步骤：

步骤1，数据集的划分和对齐。

实施例中，采用MNIST数据集、CIFAR-10数据集和ImageNet数据集。其中，MNIST数据集的训练集共十类，每类6000张样本，测试集十类，每类1000张样本；CIFAR-10数据集的训练集共十类，每类5000张样本，测试集十类，每类1000张样本；ImageNet数据集共1000类，每类包含1000张样本，从每类中随机抽取30％的图片作为测试集，其余图片作为训练集。

本发明中，在垂直联邦下采用两个边缘终端P

实施例中，对样本进行划分，获得样本集D

由于在垂直联邦场景下边缘终端P

步骤2，边缘终端利用各自的样本集训练各自的边缘模型，并掩码加密各自的损失函数后上传至服务端。

实施例中，依据样本集D

针对不同的数据集，两个边缘端都使用同样的模型结构进行训练，对于ImagNet数据集，使用ImageNet预训练的模型，训练设置统一的超参数：采用随机梯度下降(SGD)、adam优化器、学习率为η、正则化参数为λ、数据集

具体地，依据样本集D

其中，Θ

依据样本集D

loss

其中，loss

实施例中，以神经网络中输入层的任意一个神经元为起点，输出层中的任意一个神经元为终点，以数据的信息流动为方向，经过隐藏层中的若干神经元的连通路径，定义为神经通路。神经通路表示神经元之间的连接关系，当样本输入模型激活特定的神经元，这些激活态的神经元构成的通路称为激活神经通路。

固定神经通路时，边缘端模型训练过程中，每一轮的训练结束后，从步骤1中选取的数据集的测试集中随机选取样本作为样本输入到训练模型中，获取此时模型的最大激活神经通路：设N＝{n

训练时将由多个最大激活神经元的激活值组成的最大激活神经通道固定，即这部分神经元激活值不变，将各神经层中的k个神经元的激活值进行累积，构成通路损失函数。

步骤3，服务端对边缘终端P

本实施例中，服务端对边缘终端P

Loss＝loss

M

边缘终端P

针对垂直联邦场景下模型窃取攻击，实施例提供的基于神经通路特征提取的垂直联邦下模型窃取防御方法，通过在边缘端模型的训练过程中固定神经通路特征并加密，避免在边缘模型的梯度和损失信息传递过程中被恶意攻击者窃取，从而导致模型被窃取。从特征提取的角度对模型的信息进行加密保护，在提高模型训练效率的同时，保护模型的隐私安全。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。