面向成员推理攻击的基于参数共享的深度模型隐私保护方法和装置

技术领域

本发明计算机信息安全、人工智能安全领域，具体涉及一种面向成员推理攻击的基于参数共享的深度模型隐私保护方法和装置。

背景技术

深度学习(Deep Learning,DL)是机器学习的一个分支，它的灵感来自于人类大脑在处理数据时的工作方式。具体来说，DL基于样本数据，即训练数据，形成数学模型，并从样本数据中逐步提取更高层次的特征，在此基础上模型可以在没有人参与的情况下做出决策。由于其良好的性能，DL被广泛应用于图像分类、物体识别、图像分割、疾病预测等领域。

DL在向学术界和工业界渗透的同时，其爆炸式的增长和巨大的潜力也吸引了网络犯罪分子，这给DL社区带来了严重的安全问题。一般来说，模型可以公开访问，而训练数据以及训练数据的属性被认为是机密的信息。因此，通过模型提取训练样本和其相关信息违反了DL中的安全规定。成员推理攻击是一种最近受到了广泛关注的训练数据隐私攻击方法。在这种攻击中，攻击者可以根据受害者模型的预测进行恶意推理，由于样本来自原始训练数据集时，模型有更好的预测性能，攻击者可以使用推理模型来判断样本是否来自受害者模型的训练数据集。

为了应对成员推理攻击的挑战，目前数种防御方法已经被提出。差分隐私(DP)是一种针对隐私攻击的隐私保护机制，基于差分隐私的防御方法在模型训练过程中添加差分隐私噪声来阻止攻击。然而，尽管DP具有可证明的鲁棒性，但是DP的防御成本很难被控制到可接受的范围，因为模型的复杂性和数据的高维性，当添加的噪声太大，会造成模型较大的分类准确性损失。另一种防御方法是对抗正则化，该方法主要利用了生成式对抗网络的思想，其主要核心是将目标模型与攻击者的恶意推理模型进行对抗式训练。在这个博弈过程中，一方面可以提升目标模型对恶意推理模型的防御能力，一方面增强了恶意推理模型对目标模型的攻击性能。在训练结束后，目标模型具有较强的鲁棒性，即使是面对具有较强攻击能力的成员推理攻击依然可以达到较好的防御性能。但是这种防御方法具有一定的局限性，对抗式训练会造成较高的时间复杂度，另外，对抗式训练会降低目标模型对正常样本的预测能力，且因为训练模型时损失函数的改变，目标模型会在训练过程中难以收敛。

发明内容

针对上述存在的问题，本发明的目的是提供一种面向成员推理攻击的基于参数共享的深度模型隐私保护方法和装置，以保护数据样本的安全性。

本发明解决其技术问题所采用的技术方案是：

第一方面，实施例提供了一种面向成员推理攻击的基于参数共享的深度模型隐私保护方法，包括以下步骤：

构建用于根据图像样本进行目标识别的目标模型，并利用图像样本优化目标模型的网络参数；

优化结束后，针对目标模型的每层网络参数进行聚类处理，并将属于同一类的网络参数用所属的类簇的网络参数平均值替换后，再优化网络参数，得到参数共享的目标模型；

构建与目标模型结构相同的阴影模型，并利用训练图像样本优化阴影模型的网络参数；将训练图像样本输入至参数优化的阴影模型，将对应输出置信度的标签设置为1，将其他图像样本输入至参数优化的阴影模型，将对应输出置信度的标签设置为0，依据输出置信度及对应的标签构建新图像样本；

构建用于判别图像样本是否为目标模型成员样本的攻击模型，利用新图像样本优化攻击模型的模型参数；

利用参数共享的增强目标模型获得输入测试图像的预测置信度，并将预测置信度输入至参数优化的攻击模型，经计算获得攻击模型的预测结果，依据预测结果判断测试图像是否为目标模型的成员样本。

优选地，所述目标模型采用VGG-19，参数优化时，采用目标模型对图像样本的预测置信度和标签的交叉熵为损失函数。

优选地，对目标模型的每层网络参数进行聚类处理时，采用k-means聚类算法，且聚类的类别数k采用拐点法确定。

优选地，在对网络参数替换后的目标模型进行网络参数再优化时，所有梯度按簇的类别进行分组，同一类的梯度值相加后变成一个梯度值，乘以学习率，从而更新网络参数。

优选地，所述阴影模型采用VGG-19，参数优化时，采用目标模型对图像样本的预测置信度和标签的交叉熵为损失函数。

优选地，所述攻击模型采用多层感知机。

优选地，所述多层感知机包含128个神经元的隐藏层和一个包含64个神经元的隐藏层。

第二方面，实施例提供了一种面向成员推理攻击的基于参数共享的深度模型隐私保护装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，所述处理器执行计算机程序时实现上述面向成员推理攻击的基于参数共享的深度模型隐私保护方法。

上述实施例提供的面向成员推理攻击的基于参数共享的深度模型隐私保护方法和装置的有益效果主要表现在：1、通过参数共享技术，降低了目标模型的过拟合程度，且缓解了传统防御方法中梯度不稳定、训练不收敛的问题；2、通过参数共享技术不仅能达到较好的防御性能，且缓解了先前防御中模型收敛速度慢的问题。3、通过利用使攻击者误认为是目标模型的阴影模型，来构建新图像样本，并利用新图像样本更新攻击模型的参数，使得攻击模型能够准确分辨图像样本是否为训练目标模型的图像样本，依此可以对图像样本进行隐私保护。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是一实施例提供的深度模型隐私保护方法的流程图；

图2是一实施例提供的参数共享的框架图；

图3是一实施例提供的模型重训练架构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本发明的技术构思为：模型过拟合被认为是成员推理攻击的主要原因，每一个训练样本都可以对模型的预测产生影响，这种影响体现在模型的参数中，模型的参数记录了训练样本的相关信息，而预测结果又由模型参数计算得到。本发明通过共享参数的方法，降低了训练集样本对模型参数的影响，可以有效缓解目标模型的过拟合程度，使模型对成员样本与非成员样本的输出结果无显著差异，从而降低成员推理攻击性能，达到有效防御成员推理攻击的目的。基于上述原理，本发明在目标模型中的每个层进行参数共享操作，将参数进行聚类，同类的参数值设置为相同值，后重训练目标模型使目标模型收敛。

图1是一实施例提供的深度模型隐私保护方法的流程图。如图1所示，实施例提供的面向成员推理攻击的基于参数共享的深度模型隐私保护方法，包括以下步骤：

步骤1，建立目标模型并进行初始训练。

本发明选择CIFAR-100数据集作为目标模型数据集，该数据集共有60000张图片，一共分为100个类，每类包含600张图片，其中500张图片是训练图片，100张图片是测试图片，每张图片都是3通道(RGB)的彩色图像，每张图像大小相同，都为32*32大小。本发明从50000张训练样本里取10000张图片作为目标模型的训练集D

实施例中，以VGG-19为目标模型。VGG-19主要由16层卷积层和3层全连接层组成。

实施例中，设置模型训练参数。训练参数主要包含每次迭代训练时输入模型的图片个数batch，设置为32。训练次数epoch，设置为100。学习率lr，设置为0.001。优化方法采用adam优化器。目标函数设置为交叉熵函数。

步骤2，网络参数的共享处理，以得到参数共享的目标模型。

实施例中，利用k-means聚类算法实现参数共享。具体实施步骤为，以目标模型的层为单位，对每一层的参数进行k-means聚类算法，将同一个类的参数值设定为该类的参数平均值。

具体地，目标模型一共有N层，以层为单位，每一层都要进行参数共享，选取N

其中，C

实施例中，使用k-means聚类来识别训练过的网络每一层的共享权值，从而使属于同一类的所有权值共享相同的权值。权重不跨层共享，每次只对一个层内的权重进行k-means聚类。设第N

其中，c

网络参数替换后，对目标模型进行重训练，设置模型训练参数。训练参数主要包含每次迭代训练输入模型的图片个数batch，设置为32。训练次数epoch，设置为80。学习率lr，设置为0.0001。优化方法采用adam优化器，在参数更新期间，所有的梯度按簇的类别进行分组，同一类的梯度值相加后变成一个梯度值，乘以学习率，从而更新模型参数。目标函数设置为交叉熵函数。

步骤3，构建阴影模型。

首先构建阴影模型数据集；从CIFAR100数据集的训练集样本中随机抽取10000张图片，这10000张图片不能与目标模型的训练数据集重合，以此作为阴影模型的训练集

建立阴影模型；阴影模型的结构与目标模型的结构相同，均采用VGG19模型。阴影模型结构主要包含卷积层，池化层，全连接层等模型结构。卷积层提取样本特征，选用relu函数作为激活函数。设置池化层进行下采样，压缩卷积层中提取的特征，剔除冗余信息，减小模型的计算量，减小内存占用等。

训练阴影模型；设置模型训练参数。训练参数主要包含每次迭代训练输入模型的图片个数batch，设置为32。训练次数epoch，设置为100。学习率lr，设置为0.001。优化方法采用adam优化器。目标函数设置为交叉熵函数。

步骤4，建立攻击模型。

新图像样本的构建：将图像数据集

建立攻击模型：攻击模型采用一个多层感知机，由包含128个神经元的隐藏层和一个包含64个神经元的隐藏层组成

训练攻击模型：建立的新图像样本数据集以7:3的比例设置为训练集和测试集，用训练集训练攻击模型。设置模型训练参数。训练参数主要包含迭代训练时输入模型的图片个数batch。训练次数epoch。学习率lr。

步骤5，成员推理。

实施例中，将测试样本输入参数共享的目标模型，获取输出置信度，后将输出置信度输入参数优化的攻击模型，获取其输出结果。若预测结果为1，则该测试样本为成员样本。若预测结果为0，则该测试样本为非成员样本。

成员推理攻击是个二分类问题，二分类常用准确率、精确率、召回率作为评价指标，本发明以此作为成员推理攻击的性能评价指标。若性能越低，则说明防御效果越好。

准确率：

准确率表示输入的待测样本中，预测对的样本与预测样本总数的比值。式中，TP表示成员样本被预测为成员样本。FP表示非成员样本被预测为成员样本。FN表示成员样本被预测为非成员样本。TN表示非成员样本被预测为非成员样本。准确率越低，说明防御算法越好。

精确率：

精确率为预测样本为成员样本的预测中预测正确的比例。精确率越低，表明防御效果越好。

召回率：

召回率为被成功预测的成员样本与成员样本总数的比。召回率越低，表明防御效果越好。

实施例还提供了一种面向成员推理攻击的基于参数共享的深度模型隐私保护装置，包括存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序，所述处理器执行计算机程序时实现上述面向成员推理攻击的基于参数共享的深度模型隐私保护方法。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。