一种基于GAN的非限制性对抗样本生成方法和系统

技术领域

本发明涉及人工智能安全技术领域，具体地，涉及一种基于GAN的非限制性对抗样本生成方法和系统。

背景技术

近年来，对抗攻击对于深度学习的安全威胁也愈发严重，对抗攻击成为了人工智能安全研究的热点。对抗样本是指在原数据集中通过人工添加肉眼不可见或在经处理后不影响整体的肉眼可见的细微扰动所形成的样本，这类样本会导致训练好的模型以高置信度给出与原样本不同的分类输出。

对抗攻击按照攻击成本可以分为白盒攻击和黑盒攻击；白盒攻击是指攻击者完整获取目标模型，了解模型的结构以及每层的具体参数，可以控制模型的输入，甚至对输入数据进行比特级别的修改；黑盒攻击是指攻击者对目标模型的内部信息完全未知，把目标模型当做一个黑盒来处理，仅能控制模型的输入。黑盒攻击的一大分支就是基于决策边界的攻击。基于决策边界的攻击既不依赖于替代模型，也不需要置信度分数，它只需要来自黑盒分类器输出的类别标签就可以成功攻击。

根据攻击的目标，对抗性攻击也可以分为目标攻击和非目标攻击。前者旨在将网络误导为一个特定的类，而后者只最小化真实类的概率，而没有给网络输出分配一个特定类。与目标攻击相比，非目标攻击更容易实现，因为除了真实类，受害者模型的输出可以是任意的。

目前，对抗攻击已广泛应用于人工智能领域，如自动驾驶、人脸识别、图像分类等。图像分类是对抗攻击中非常活跃的研究领域，提出了多种对抗攻击算法，如FGSM、PGD、C&W算法等，它们都取得了不错的效果。在对抗攻击的方法中，基于决策边界的攻击更加符合真实世界的场景，因此更具研究价值，但它的攻击难度更大，且通常需要较多的查询次数。目前Boundary Attack和HSJA算法虽然已经显著提升了基于决策边界攻击的成功率和查询效率，但它们属于限制性对抗攻击，针对此类攻击目前已经提出了许多的防御方法，如对抗训练、图像增强、输入去噪等，这使得限制性对抗样本的攻击成功率仍然较低。

目前的现有技术公开了一种基于GAN的语义对抗样本生成方法，包括：S102.利用本地训练集预训练WGAN_GP神经网络模型，获得生成器和判别器；S104.初始化低维子流形空间的噪声数据；S106.经过所述生成器映射获得生成的图像对抗样本；S108.将所述图像对抗样本对目标分类器进行包含攻击项和语义项的对抗攻击；S110.判断所述目标分类器输出的图像分类是否为原始分类类别；如果不是，则输出语义对抗样本，如果是，则增加所述攻击项的权重参数，并更新所述噪声数据的初始值，迭代重复步骤S106～S110；现有技术中的方法直接更新图像空间意义上的对抗样本，基于限制性对抗攻击，存在样本需要大量查询的问题，对抗攻击的成功率和生成效率较低。

发明内容

本发明为克服上述现有技术中限制性对抗样本攻击成功率和生成效率较低的缺陷，提供一种基于GAN的非限制性对抗样本生成方法和系统，能够生成非限制性样本，在提高生成效率的同时提升对抗攻击的成功率。

为解决上述技术问题，本发明的技术方案如下：

一种基于GAN的非限制性对抗样本生成方法，包括以下步骤：

S1：获取初始输入图像和目标图像，并对初始输入图像进行预处理，获得预处理后的初始输入图像；

S2：将预处理后的初始输入图像输入预设的GAN神经网络模型中进行训练，获得优化后的GAN神经网络模型；

S3：利用编码器将预处理后的初始输入图像和目标图像编码到隐空间，获得初始输入图像的隐向量和目标图像的隐向量，并对初始输入图像的隐向量和目标图像的隐向量进行正则化；

S4：将正则化后的目标图像的隐向量作为对抗样本的隐向量的初始值，构建对抗样本相似度目标函数，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量；

S5：将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，获得对抗样本。

优选地，所述步骤S2中，所述预设的GAN神经网络模型具体为StyleGAN2神经网络模型，包括生成器网络G、判别器网络D和pSp编码器。

优选地，所述步骤S4中所构建的对抗样本相似度目标函数具体为：

用欧氏距离来衡量两个向量之间的相似程度，以使对抗样本被预测为目标类别的同时，使正则化后的初始输入图像的隐向量和对抗样本的隐向量之间的欧氏距离最小为目标，构建以下对抗样本相似度目标函数：

其中，d(w

优选地，所述对抗样本相似度目标函数中，

其中，

表示利用预设的分类模型判断对抗样本是否被预测为目标类别的函数，当/>

其中，y

优选地，所述步骤S4中，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量，具体方法为：

S4.1：在第t次迭代中，利用正则化后的初始输入图像的隐向量w

S4.2：采用蒙特卡洛方法来进行梯度方向估计，沿梯度方向迭代更新第t次迭代的步长ξ

S4.3：根据第t次迭代的扰动大小δ

S4.4：判断迭代次数t是否小于预设阈值T，当迭代次数t小于预设阈值T时，则重复步骤S4.1～S4.3，否则，输出欧氏距离最小的更新后的对抗样本的隐向量，作为待生成对抗样本的隐向量。

优选地，所述步骤S4.1中，利用正则化后的初始输入图像的隐向量w

利用正则化后的初始输入图像的隐向量w

其中，Bin Search()为二分搜索，θ为二分搜索的参数，

计算第t次迭代的扰动大小δ

其中，d为预处理后的初始输入图像的大小。

优选地，所述步骤S4.2中，采用蒙特卡洛方法来进行梯度方向估计，沿梯度方向迭代更新第t次迭代的步长ξ

采用蒙特卡洛方法来进行梯度方向估计，具体公式为：

其中，

沿梯度方向迭代更新第t次迭代的步长ξ

沿梯度方向迭代更新第t次迭代的步长ξ

优选地，所述步骤S4.3中，根据第t次迭代的扰动大小δ

根据第t次迭代的扰动大小δ

w

其中，g

计算第t次迭代更新后的对抗样本的隐向量

其中，d

优选地，所述步骤S5中，将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，获得对抗样本，具体方法为：

将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中的生成器网络G中，生成对抗样本，生成器网络G的目标函数具体为：

其中，G(w′

本发明还提供一种基于GAN的非限制性对抗样本生成系统，应用上述基于GAN的非限制性对抗样本生成方法，包括：

初始化单元：用于获取初始输入图像和目标图像，并对初始输入图像进行预处理，获得预处理后的初始输入图像；

模型训练单元：用于将预处理后的初始输入图像输入预设的GAN神经网络模型中进行训练，获得优化后的GAN神经网络模型；

隐向量编码单元：用于利用编码器将预处理后的初始输入图像和目标图像编码到隐空间，获得初始输入图像的隐向量和目标图像的隐向量，并对初始输入图像的隐向量和目标图像的隐向量进行正则化；

隐向量迭代单元：用于将正则化后的目标图像的隐向量作为对抗样本的隐向量的初始值，构建对抗样本相似度目标函数，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量；

对抗样本生成单元：用于将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，获得对抗样本。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供一种基于GAN的非限制性对抗样本生成方法和系统，该方法获取初始输入图像和目标图像，并对初始输入图像进行预处理，获得预处理后的初始输入图像；将预处理后的初始输入图像输入预设的GAN神经网络模型中进行训练，获得优化后的GAN神经网络模型；利用编码器将预处理后的初始输入图像和目标图像编码到隐空间，获得初始输入图像的隐向量和目标图像的隐向量，并对初始输入图像的隐向量和目标图像的隐向量进行正则化；将正则化后的目标图像的隐向量作为对抗样本的隐向量的初始值，构建对抗样本相似度目标函数，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量；将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，获得对抗样本；

与传统方法直接更新图像空间意义上的对抗样本不同，本发明利用更新隐空间的隐向量和生成器网络G来生成非限制性对抗样本；生成器网络G能很好地将低维子流形空间数据映射到图像空间，使得生成的图像对抗样本与原始图像样本尽可能相似，保留准确的语义信息，从而提高了对抗样本的攻击成功率；

另外，本发明利用隐空间的隐向量来生成对抗样本，在隐空间进行语义约束，保障了对抗样本的自然性，提高了非限制性对抗样本的生成效率；同时，利用GAN对数据分布的逼近能力，有效地保证了对抗样本的攻击能力，使得生成的对抗样本兼具较高的查询效率和攻击成功率。

附图说明

图1为实施例1所提供的一种基于GAN的非限制性对抗样本生成方法流程图。

图2为实施例2所提供的一种基于GAN的非限制性对抗样本生成方法流程图。

图3为实施例3所提供的一种基于GAN的非限制性对抗样本生成系统结构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，本实施例提供一种基于GAN的非限制性对抗样本生成方法，包括以下步骤：

S1：获取初始输入图像和目标图像，并对初始输入图像进行预处理，获得预处理后的初始输入图像；

S2：将预处理后的初始输入图像输入预设的GAN神经网络模型中进行训练，获得优化后的GAN神经网络模型；

S3：利用编码器将预处理后的初始输入图像和目标图像编码到隐空间，获得初始输入图像的隐向量和目标图像的隐向量，并对初始输入图像的隐向量和目标图像的隐向量进行正则化；

S4：将正则化后的目标图像的隐向量作为对抗样本的隐向量的初始值，构建对抗样本相似度目标函数，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量；

S5：将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，获得对抗样本。

在具体实施过程中，首先从公开的数据集中获取初始输入图像和目标图像，根据目标图像来确定所需要识别的目标类别；

对初始输入图像进行预处理，将初始输入图像进行调整大小和分辨率，并按一定比例划分为训练集和验证集；

将预处理后的初始输入图像输入预设的GAN神经网络模型中进行训练，获得优化后的GAN神经网络模型；

利用与GAN神经网络模型相对应的编码器，将预处理后的初始输入图像和目标图像编码到隐空间，在本实施例中，所述隐空间为w

将正则化后的目标图像的隐向量作为对抗样本的隐向量的初始值，构建对抗样本相似度目标函数，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量；

最后将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，利用生成器网络G生成对抗样本；

与传统方法直接更新图像空间意义上的对抗样本不同，本发明利用更新隐空间的隐向量和生成器网络G来生成非限制性对抗样本；生成器网络G能很好地将低维子流形空间数据映射到图像空间，使得生成的图像对抗样本与原始图像样本尽可能相似，保留准确的语义信息，从而提高了对抗样本的攻击成功率；

另外，本发明利用隐空间的隐向量来生成对抗样本，在隐空间进行语义约束，保障了对抗样本的自然性，提高了非限制性对抗样本的生成效率；同时，利用GAN对数据分布的逼近能力，有效地保证了对抗样本的攻击能力，使得生成的对抗样本兼具较高的查询效率和攻击成功率。

实施例2

如图2所示，本实施例提供一种基于GAN的非限制性对抗样本生成方法，包括以下步骤：

S1：获取初始输入图像和目标图像，并对初始输入图像进行预处理，获得预处理后的初始输入图像；

S2：将预处理后的初始输入图像输入预设的GAN神经网络模型中进行训练，获得优化后的GAN神经网络模型；

所述预设的GAN神经网络模型具体为StyleGAN2神经网络模型，包括生成器网络G、判别器网络D和pSp编码器；

S3：利用pSp编码器将预处理后的初始输入图像和目标图像编码到隐空间，获得初始输入图像的隐向量和目标图像的隐向量，并对初始输入图像的隐向量和目标图像的隐向量进行正则化；

S4：将正则化后的目标图像的隐向量作为对抗样本的隐向量的初始值，构建对抗样本相似度目标函数，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量；

S5：将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，获得对抗样本；

所述步骤S4中所构建的对抗样本相似度目标函数具体为：

用欧氏距离来衡量两个向量之间的相似程度，以使对抗样本被预测为目标类别的同时，使正则化后的初始输入图像的隐向量和对抗样本的隐向量之间的欧氏距离最小为目标，构建以下对抗样本相似度目标函数：

其中，d(w

所述对抗样本相似度目标函数中，

其中，

表示利用预设的分类模型判断对抗样本是否被预测为目标类别的函数，当/>

其中，y

所述步骤S4中，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量，具体方法为：

S4.1：在第t次迭代中，利用正则化后的初始输入图像的隐向量w

S4.2：采用蒙特卡洛方法来进行梯度方向估计，沿梯度方向迭代更新第t次迭代的步长ξ

S4.3：根据第t次迭代的扰动大小δ

S4.4：判断迭代次数t是否小于预设阈值T，当迭代次数t小于预设阈值T时，则重复步骤S4.1～S4.3，否则，输出欧氏距离最小的更新后的对抗样本的隐向量，作为待生成对抗样本的隐向量；

所述步骤S4.1中，利用正则化后的初始输入图像的隐向量w

利用正则化后的初始输入图像的隐向量w

其中，Bin Search()为二分搜索，θ为二分搜索的参数，

计算第t次迭代的扰动大小δ

其中，d为预处理后的初始输入图像的大小；

所述步骤S4.2中，采用蒙特卡洛方法来进行梯度方向估计，沿梯度方向迭代更新第t次迭代的步长ξ

采用蒙特卡洛方法来进行梯度方向估计，具体公式为：

其中，

沿梯度方向迭代更新第t次迭代的步长ξ

沿梯度方向迭代更新第t次迭代的步长ξ

所述步骤S4.3中，根据第t次迭代的扰动大小δ

根据第t次迭代的扰动大小δ

w

其中，g

计算第t次迭代更新后的对抗样本的隐向量

其中，d

所述步骤S5中，将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，获得对抗样本，具体方法为：

将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中的生成器网络G中，生成对抗样本，生成器网络G的目标函数具体为：

其中，G(w′

在具体实施过程中，首先从公开的数据集中获取初始输入图像和目标图像，根据目标图像来确定所需要识别的目标类别；

本实施例所使用的数据集为CelebA-HQ数据集，该数据集是一个有30000张人脸图像的面部图像数据集，其包含6217个名人身份；每一张图像的分辨率都是1024*1024，其中包括了每个名人的面部特征点、人脸属性等信息；

对获取的初始输入图像进行预处理，具体处理如下：将每幅初始输入图像大小调整为256*256，然后按4:1划分为训练集和验证集；

将预处理后的初始输入图像输入StyleGAN2神经网络模型中进行训练，获得优化后的StyleGAN2神经网络模型；

本实施例所使用的StyleGAN2神经网络模型是一个可用于生成人脸图像的生成式对抗网络，包括两个子网络：生成器网络G和判别器网络D，以及pSp编码器；在GAN训练过程中，生成器网络G负责生成伪造图像，判别器网络D负责区分生成器网络G生成的伪造图像和真实图像；StyleGAN2的架构结合了渐进式学习和风格迁移的思想，能够合成较高分辨率图像；

之后利用pSp编码器，将预处理后的初始输入图像和目标图像编码到隐空间，获得初始输入图像的隐向量和目标图像的隐向量，并对初始输入图像的隐向量和目标图像的隐向量进行正则化；

本实施例中的pSp编码器是为StyleGAN神经网络设计的编码器，通过该编码器将预处理后的初始输入图像和目标图像编码到StyleGAN2的w

将预处理后的初始输入图像x

在本实施例中还设置有pSp编码器的损失函数，pSp编码器的损失函数可以表示为：

L

L

L

L(x)＝λ

其中，L

L

L

L

L(x)为整个pSp编码器的总损失函数；

将正则化后的目标图像的隐向量w

用欧氏距离来衡量两个向量之间的相似程度，以使对抗样本被预测为目标类别的同时，使正则化后的初始输入图像的隐向量和对抗样本的隐向量之间的欧氏距离最小为目标，构建以下对抗样本相似度目标函数：

其中，d(w

所述对抗样本相似度目标函数中，

其中，

表示利用预设的分类模型判断对抗样本是否被预测为目标类别的函数，当/>

其中，y

在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量，具体为：

S4.1：在第t次迭代中，利用正则化后的初始输入图像的隐向量w

其中，Bin Search()为二分搜索，θ为二分搜索的参数，

并计算第t次迭代的扰动大小δ

其中，d为预处理后的初始输入图像的大小；

S4.2：采用蒙特卡洛方法来进行梯度方向估计，具体公式为：

其中，

沿梯度方向迭代更新第t次迭代的步长ξ

S4.3：根据第t次迭代的扰动大小δ

w

其中，g

计算第t次迭代更新后的对抗样本的隐向量

其中，d

S4.4：判断迭代次数t是否小于预设阈值T，当迭代次数t小于预设阈值T时，则重复步骤S4.1～S4.3，否则，输出欧氏距离最小的更新后的对抗样本的隐向量，作为待生成对抗样本的隐向量；

最后将待生成对抗样本的隐向量输入优化后的StyleGAN2神经网络模型中，利用生成器网络G生成对抗样本；

生成器网络G的目标函数具体为：

其中，G(w′

与传统方法直接更新图像空间意义上的对抗样本不同，本发明利用更新隐空间的隐向量和生成器网络G来生成非限制性对抗样本；生成器网络G能很好地将低维子流形空间数据映射到图像空间，使得生成的图像对抗样本与原始图像样本尽可能相似，保留准确的语义信息，从而提高了对抗样本的攻击成功率；

另外，本发明利用隐空间的隐向量来生成对抗样本，在隐空间进行语义约束，保障了对抗样本的自然性，提高了非限制性对抗样本的生成效率；同时，利用GAN对数据分布的逼近能力，有效地保证了对抗样本的攻击能力，使得生成的对抗样本兼具较高的查询效率和攻击成功率。

实施例3

如图3所示，本实施例提供一种基于GAN的非限制性对抗样本生成系统，应用实施例1或2中所述的基于GAN的非限制性对抗样本生成方法，包括：

初始化单元301：用于获取初始输入图像和目标图像，并对初始输入图像进行预处理，获得预处理后的初始输入图像；

模型训练单元302：用于将预处理后的初始输入图像输入预设的GAN神经网络模型中进行训练，获得优化后的GAN神经网络模型；

隐向量编码单元303：用于利用编码器将预处理后的初始输入图像和目标图像编码到隐空间，获得初始输入图像的隐向量和目标图像的隐向量，并对初始输入图像的隐向量和目标图像的隐向量进行正则化；

隐向量迭代单元304：用于将正则化后的目标图像的隐向量作为对抗样本的隐向量的初始值，构建对抗样本相似度目标函数，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量；

对抗样本生成单元305：用于将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，获得对抗样本。

在具体实施过程中，首先初始化单元301从公开的数据集中获取初始输入图像和目标图像，根据目标图像来确定所需要识别的目标类别，并对初始输入图像进行预处理，将初始输入图像进行调整大小和分辨率，并按一定比例划分为训练集和验证集；

模型训练单元302将预处理后的初始输入图像输入预设的GAN神经网络模型中进行训练，获得优化后的GAN神经网络模型；

隐向量编码单元303利用编码器，将预处理后的初始输入图像和目标图像编码到隐空间，在本实施例中，所述隐空间为w

隐向量迭代单元304将正则化后的目标图像的隐向量作为对抗样本的隐向量的初始值，构建对抗样本相似度目标函数，在隐空间利用正则化后的初始输入图像的隐向量迭代更新对抗样本的隐向量，获得待生成对抗样本的隐向量；

最后对抗样本生成单元305将待生成对抗样本的隐向量输入优化后的GAN神经网络模型中，利用生成器网络G生成对抗样本；

与传统方法直接更新图像空间意义上的对抗样本不同，本发明利用更新隐空间的隐向量和生成器网络G来生成非限制性对抗样本；生成器网络G能很好地将低维子流形空间数据映射到图像空间，使得生成的图像对抗样本与原始图像样本尽可能相似，保留准确的语义信息，从而提高了对抗样本的攻击成功率；

另外，本发明利用隐空间的隐向量来生成对抗样本，在隐空间进行语义约束，保障了对抗样本的自然性，提高了非限制性对抗样本的生成效率；同时，利用GAN对数据分布的逼近能力，有效地保证了对抗样本的攻击能力，使得生成的对抗样本兼具较高的查询效率和攻击成功率。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。