一种基于模型反演的隐私保护知识蒸馏方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于模型反演的隐私保护知识蒸馏方法。

背景技术

近年来，深度学习的快速发展催生了各种大模型的产生，这些模型通常依赖于大规模的数据集和较复杂的模型结构，能够取得较好的性能。然而，这些复杂模型难以被部署到计算资源受限的环境中。为了解决这个问题，知识蒸馏技术提出将大模型的知识传递给一个参数更少、结构更轻量的学生模型中，同时保持性能基本不下降。然而现存的大部分知识蒸馏方法都要依靠大量的原始训练数据，才能将教师模型的知识传递给学生模型，而出于例如隐私、产权等问题的考虑，在许多场景中人们往往无法获取原始训练数据。这便使得传统知识蒸馏技术无法实施。

因此，提供一种不依赖教师模型训练数据的知识蒸馏方法，对于隐私保护问题是尤为必要的。另一方面，一般模型反演方法所生成的训练数据往往特征分布单一，聚集在几个有限的模式周围，并不能捕捉实际训练数据的大部分特征的问题，无法有效用于下游学生模型的训练。通过模型反演技术从教师模型中提取出可用于训练的重构数据，再提供给下游的学生模型进行训练，完成知识蒸馏任务，利用对比学习的思想提升所生成训练数据的区分度和多样性，降低模式崩溃发生的可能性，从而提高下游知识蒸馏任务中学生模型的性能，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于模型反演的隐私保护知识蒸馏方法，可以达到降低模式崩溃发生的可能性，在不要求接触目标教师模型训练数据的条件下，提高下游知识蒸馏任务中学生模型的性能的效果。

为了实现上述目的，本发明采用如下技术方案：

一种基于模型反演的隐私保护知识蒸馏方法，包括以下步骤：

S1、采集一个物品图像分类预训练模型作为目标教师模型；

S2、利用S1中采集的目标教师模型训练一个样本鉴别器h(x)；样本鉴别器h(x)以教师模型根据不同样本所产生的特征输出作为输入，样本鉴别器h(x)将得到的特征输出进一步映射到高维向量空间；

S3、根据样本鉴别器h(x)的输出值，定义任意两个样本间的相似关系为距离；将一个数据集中所有的样本组合的平均距离定义为数据集的区分度；

S4、初始化样本库，用于存放所有已生成的图像数据反演样本，其中，所有已生成的图像数据样本视为负样本；

S5、初始化样本生成器，将样本生成器的参数赋予随机值；

S6、构建反演框架，对S5中的图像数据反演样本进行样本反演，得到当前批次的反演样本，并将其添加到样本库中；

S7、重复S5、S6，在所有批次的图像数据反演样本反演完成后，得到目标体量样本库。

上述的方法，可选的，S2中样本鉴别器h(x)用于将教师模型的特征输出进一步映射到高维空间用于不同样本相似度区分，将样本鉴别器h(x)置于教师模型f

其中，h(x)为样本鉴别器，f

上述的方法，可选的，S3中一组数据集中任意两个不相同样本间的距离d(x

其中，sim(x

上述的方法，可选的，用数据集中任意两个样本的平均距离Div(x)衡量数据集x中样本的多样性，将抽象的数据集多样性量化为具体的可优化指标，对于数据集S，有n个样本，则样本对有

上述的方法，可选的，S6中构建反演框架的具体内容为：

结合批量归一化、类先验、对抗蒸馏训练方法，形成反演框架，再将多样性指标配以一定权重加入反演框架形成混合框架。

上述的方法，可选的，反演框架M由所设计多样性指标与反演模型两部分构成，具体公式如下：

M＝α·Div(x)+β·Inv(x)

Inv(x)＝ζ·Bn(x)+η·Cls(x)+θ·adv(x)

式中，α和β为模型超参数，决定区分度模型与反演模型在整个框架内权重配比；Div(x)为数据集中任意两个样本的平均距离，表示样本的多样性指标，定义为区分度模型，Inv(x)代表反演模型，反演模型整合了正则化、类先验以及对抗蒸馏三种方法，分别由ζ、η、θ三个超参数决定各个部分在反演模型中的比重。

上述的方法，可选的，反演模型包括样本生成器、样本库、教师模型以及样本鉴别器；其中，

样本生成器，用于生成样本作为教师模型的输入部分；

样本库，用于存放经过迭代生成的反演样本。

上述的方法，可选的，S6中在模型反演阶段，不断地由生成器生成样本并由迭代器进行参数更新与网络优化，向样本库中添加反演样本，具体分为以下步骤：

(1)设定生成批次batches；

(2)在每一轮批次开始时，初始化生成器g参数θ

(3)每一轮迭代，先由生成器g生成一组样本，根据新生成的样本与从样本库采得的样本计算M，并由此计算各参数梯度、更新网络，步骤公式如下：

x＝g(z；θ

x

M＝α·Div(x)+β·Inv(x)

式中，x为生成器生成样本，x

(4)每一轮批次迭代结束时，将生成的较优反演样本添加到样本库中，最终在所有批次结束时，得到反演样本库，即完成模型反演过程。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于模型反演的隐私保护知识蒸馏方法，具有以下有益效果：本方法提出了一种有效增强生成数据区分度特征的模型反演框架，首先提出数据集多样性的定义，将多样性特征量化为可优化目标；接着将多样性目标函数引入模型反演框架，同时采用批量正则化、类先验、对抗蒸馏等模型反演技术，进一步提高生成样本的真实性和蒸馏模型的可靠性。该方法相较于一般的模型反演方法，大幅度提高了生成样本集(样本为图像)的多样性特征和真实性，用于下游知识蒸馏任务时，所训练的模型能够达到与教师模型持平的准确度，并且能够确保模型的泛化性能不受影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明公开的一种基于模型反演的隐私保护知识蒸馏方法流程图；

图2为本发明公开的S6中反演阶段流程图；

图3为本发明公开的与其他模型反演方法生成数据的对比图；

图4为本发明公开的完整模型反演过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

参照图1所示，一种基于模型反演的隐私保护知识蒸馏方法，包括以下步骤：

S1、采集一个物品图像分类预训练模型作为目标教师模型；

S2、利用S1中采集的目标教师模型训练一个样本鉴别器h(x)；样本鉴别器h(x)以教师模型根据不同样本所产生的特征输出作为输入，样本鉴别器h(x)将得到的特征输出进一步映射到高维向量空间，增加不同样本输出特征的区分度；

S3、根据样本鉴别器h(x)的输出值，定义任意两个样本间的相似关系为距离；将一个数据集中所有的样本组合的平均距离定义为数据集的区分度，从而将数据集的多样性量化为可优化指标；

S4、初始化样本库，用于存放所有已生成的图像数据反演样本，其中，所有已生成的图像数据样本视为负样本，目的是为了方便计算当前生成样本与所有已生成样本间的平均距离，从而得到与先前所有样本具有一定区分度的新样本；

S5、初始化样本生成器，将样本生成器的参数赋予随机值；样本生成器的作用是生成一批反演样本，用于输入到教师模型进行特征判别，再由样本鉴别器进行特征映射，用以计算与样本库中样本间的距离；

S6、构建反演框架，对S5中的图像数据反演样本进行样本反演，得到当前批次具有较高区分度的反演样本，并将其添加到样本库中；

S7、重复S5、S6，在所有批次的图像数据反演样本反演完成后，得到目标体量样本库。

具体的，S1中物品图像分类预训练模型的来源为：模型发布方采集物品图像数据，例如汽车、飞机、鹿等，也可能包含隐私信息等，并用上述采集的物品图像数据训练得到物品图像分类预训练模型。本方法的交互对象为该物品图像分类模型，本方法的隐私保护对象为该物品图像分类模型的训练数据。

进一步的，S2中样本鉴别器h(x)用于将教师模型的特征输出进一步映射到高维空间用于不同样本相似度区分，将样本鉴别器h(x)置于教师模型f

其中，h(x)为样本鉴别器，f

进一步的，S3中一组数据集中任意两个不相同样本间的距离d(x

其中，sim(x

进一步的，用数据集中任意两个样本的平均距离Div(x)衡量数据集x中样本的多样性，将抽象的数据集多样性量化为具体的可优化指标，对于数据集S，有n个样本，则样本对有

进一步的，S6中所谓“区分度”指的是“目标样本与样本库中已有样本的区别度”，也就是“目标样本与样本库中已有样本的差异性”。具体量化为，首先明确“两个样本之间的差异度”为样本距离计算公式，进而，可以两两计算目标样本与所有已有样本之间的差异度，再求平均(或累积，都等价的)，便是“目标样本与样本库中已有样本的差异性”。

进一步的，S6中构建反演框架的具体内容为：

结合批量归一化、类先验、对抗蒸馏训练方法，形成反演框架，再将多样性指标配以一定权重加入反演框架形成混合框架。

具体的，在反演模型中引入批量正则化的方法，

其中，l表示正则化层，u

具体的，在反演模型中引入类先验方法，

Cls(x)＝CE(f

其中，c为类别数，CE(·,·)表示交叉熵，计算公式为CE(p(x),q(x))＝-∑(p(x)*log(q(x)))，其中x表示所有的事件或类别，p(x)是真实概率分布中事件x发生的概率，q(x)是预测概率分布中事件x发生的概率。

具体的，在反演模型中引入对抗蒸馏方法，模型中对抗性损失计算公式如下：

Adv(x)＝-KL(f

其中，KL散度计算公式为KL(p||q)＝∑p(x)*log(p(x)/q(x))，p(x)和q(x)分别表示两个概率分布在观测值x处的概率；τ代表温度参数。

进一步的，反演框架M由所设计多样性指标与反演模型两部分构成，具体公式如下：

M＝α·Div(x)+β·Inv(x)

Inv(x)＝ζ·Bn(x)+η·Cls(x)+θ•adv(x)

式中，α和β为模型超参数，决定区分度模型与反演模型在整个框架内权重配比；Div(x)为数据集中任意两个样本的平均距离，表示样本的多样性指标，定义为区分度模型，Inv(x)代表反演模型，反演模型整合了正则化、类先验以及对抗蒸馏三种方法，分别由ζ、η、θ三个超参数决定各个部分在反演模型中的比重。

将每批次样本的生成过程视作对反演框架函数M进行优化，即max M或

具体的反演框架的作用是能够保证生成器所生成的样本是符合条件的反演样本，而多样性指标的作用是确保所生成的样本与已有样本具有一定区分度；在每轮迭代中，首先由生成器生成得到随机样本，根据当前阶段生成的样本与从样本库中采得的样本进行计算，得到混合指标，而后进行模型参数更新与网络优化，从而得到当前批次具有较高区分度的反演样本，并将其添加到样本库中。

进一步的，反演模型包括样本生成器、样本库、教师模型以及样本鉴别器；其中，

样本生成器，用于生成样本作为教师模型的输入部分；

样本库，用于存放经过迭代生成的反演样本，用于后续生成样本与已有样本进行相似度比较。

进一步的，参照图2所示，S6中在模型反演阶段，不断地由生成器生成样本并由迭代器进行参数更新与网络优化，向样本库中添加反演样本，具体分为以下步骤：

(1)设定生成批次batches；

(2)在每一轮批次开始时，初始化生成器g参数θ

(3)每一轮迭代，先由生成器g生成一组样本，根据新生成的样本与从样本库采得的样本计算M，并由此计算各参数梯度、更新网络，步骤公式如下：

x＝g(z；θ

x

M＝α·Div(x)+β·Inv(x)

式中，x为生成器生成样本，x

(4)每一轮批次迭代结束时，将生成的较优反演样本添加到样本库中，最终在所有批次结束时，得到具有一定多样性、离散程度较高的反演样本库，即完成模型反演过程。具体的，Div(X)值越大，即多样性越强、离散程度越高。

参见图3所示，为本发明公开的与其他模型反演方法(DeepInversion、DFQ)生成数据的对比图，从图中可以看出本发明所述方法所生成的图像样本具有更多视觉可见的语义信息，类别特征明显，能够被肉眼判断出生成样本的所属类别。因此，本发明所生成的样本也更加有利于下游知识蒸馏任务中学生模型的训练。

参见图4所示，本发明公开了完整模型反演过程示意图，具体实施流程如下：每次利用样本生成器与教师模型生成一批数据之后，与样本库中已有样本进行相似度计算，计算结果用于优化生成器参数，优化结束后，生成数据加入到样本库中。重复上述过程，直到获得目标体量的样本库，即可传递给学生模型进行训练。

在一个具体实施例中，一种基于对比学习的模型反演方法，该方法包括以下步骤：

模型的输入为一个已经完成预训练的教师网络，输出为一个反演样本库。

初始化样本库

初始化样本鉴别器h(·；θ

设定生成批次batches和迭代轮数iterations。

每批次开始时，初始化生成器g(·；θ

z＝N(0,1)

式中，N(0,1)表示标准正态分布。

在步骤(5)结束后，开始迭代生成反演样本；每次迭代开始时，先由生成器生成特定标签的随机样本，再从样本库中取出相同标签的样本进行目标函数计算，计算公式如下：

M＝α·Div(x)+β·Inv(x)

式中，α和β为模型超参数，决定区分度模型与反演模型在整个框架内权重配比；Div(x)为数据集中任意两个样本的平均距离，表示样本的多样性指标，定义为区分度模型，Inv(x)代表反演模型，反演模型整合了正则化、类先验以及对抗蒸馏三种方法，分别由ζ、η、θ三个超参数决定各个部分在反演模型中的比重。

具体地，

根据目标函数计算各参数梯度，更新网络，并进行下一轮迭代，更新公式如下：

式中，λ为步长，

当前所有迭代轮次结束时，得到合适的生成样本，并将其添加到样本库中，即B＝B∪x。

所有生成批次结束后，得到反演样本库B。

为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。