一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法

技术领域：

本发明公开了一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，涉及深度学习方法中的对抗样本攻击算法设计，属于人工智能安全领域。

背景技术：

对抗样本即通过在图像上精心添加一些人眼不可察觉的细微扰动，可以使得添加扰动后的图像被深度学习模型错误分类。例如，一张真实标签为熊猫的图片可以被深度学习模型正确分类，但是在添加上精心设计的扰动之后，在人的视觉看来新的图片与原图并无明显差异，但是却会被深度学习模型以高置信度错误分类为长臂猿，新的图片就是对抗样本。对抗样本也揭示了深度学习模型的脆弱性。最初，对抗样本是在图像分类任务中发现的。然而，目前主流的计算机视觉任务，如语义分割、目标检测以及目标跟踪等，都面临对抗样本的威胁。

对抗样本不仅仅局限在数字图像上，近些年的研究已经可以通过将类似于补丁的东西安放在实际物体上来生成对抗样本，使得对抗样本能够在现实世界出现。例如，在道路交通标志牌上安放对抗补丁，使得自动驾驶车辆在通过该标志牌时得到错误的指令，极易发生交通事故；在人脸上安放带有对抗补丁的伪装挂件，可以欺骗人脸识别系统，让监控设备无法识别身份。由此可见，对抗样本已经能够威胁到我们的日常生活，给各行业的安全工作带来隐患。研究对抗补丁的生成方法，可以深入理解对抗样本的产生原理与深度学习模型的潜在漏洞，有助于解决对抗样为深度学习模型带来的安全问题，真正提高模型的安全性与鲁棒性。

当前，生成对抗补丁的方法主要有以下几种：

GooglePatch：该攻击方法会生成一个与图像无关的补丁，将此补丁放置在图像中的某一位置，便能攻击深度学习模型，让其将目标图像分类为错误类别。生成对抗补丁的损失函数公式如下：

其中，

DPatch：DPatch同时攻击边界框回归器，以使得目标检测模型产生错误的定位。在无目标攻击中，为了让目标检测器无法检测到物体的位置，需要最大化真实类别和边界框回归器的损失，通过放置补丁，让模型将真实的目标判别为背景，公式如下：

其中，p

在有目标攻击中，目标检测器只能检测到补丁而忽略其它真正的目标。所以需要最小化补丁的类别损失与边界损失，目标类别是预定义的某一类别，公式如下：

其中，p

发明内容：

本发明的主要目的是：建立一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，能够相比现有方法生成更具隐蔽性的对抗补丁。针对现有方法生成的对抗补丁与周围环境反差较大，易于察觉的问题，本发明基于深度学习可解释性中的热力图与图像领域的风格迁移方法设计了多模型加权热力图定位方法与局部风格融合方法生成对抗补丁。本发明的主要任务是通过多模型加权热力图定位补丁最佳攻击位置，再获取目标位置的图像，用其风格与内容指导对抗补丁生成过程，最后生成更加隐蔽的对抗补丁。

本发明的主要步骤为：

步骤(1)：优选地，选用梯度无关的热力图与输入尺寸相同的深度学习模型构建多模型加权热力图定位方法；

步骤(2)：优选地，利用置信度加权方法生成加权热力图，并利用滑动窗口算法寻找加权热力图中贡献最大的区域最为最佳攻击区域；

步骤(3)：根据最佳攻击区域截取图像，获取其风格与内容特征，并将其作为生成对抗补丁的初始补丁；

步骤(4)：优选地，用余弦距离作为对抗补丁与原区域图像的风格特征与内容特征距离的度量标准，并构造损失函数；

步骤(5)：可选地，使用Adam优化算法对初始补丁进行迭代优化，直到补丁攻击成功。

各步骤包括以下具体实施过程：

步骤(1.1)选用Score-CAM方法做为热力图的生成方法，摆脱模型对于梯度的依赖。

步骤(1.2)选用k个对输入的图像数据尺寸要求相同的深度学习模型(如：AlexNet、VGG16、ResNet18等)对同一张图像进行分类，并利用Score-CAM方法生成k张相同尺寸的热力图A

步骤(2.1)根据图像分类为t的置信度

a

步骤(2.2)利用滑动窗口，从显著区域a

其中，h为对抗补丁的高，w为对抗补丁的宽，i和j的取值为[0，H-h]与[0，W-w]中的整数。

步骤(2.3)根据补丁最佳攻击位置的坐标，生成与图像相同尺寸(W×H)的掩膜mask，后续根据掩膜来组合对抗补丁和正常样本。

步骤(3.1)利用掩膜mask，截取原图像对应位置的局部图像，作为初始对抗补丁。

步骤(3.2)将模型中的部分特征池化层进行组合，作为特征抽取模型抽取图像的全局内容特征与局部风格特征。

步骤(4.1)根据Gram矩阵与余弦距离计算对抗补丁与局部风格图像的风格损失

其中G(x)表示为x的Gram矩阵，由任意向量之间的内积组成，用来表示特征之间的相关性大小，计算公式如下：

F(x)表示为x的特征，为特征抽取模型的输出。

步骤(4.2)将初始化的对抗补丁与背景图像结合，输入到深度学习模型中，得到分类损失

步骤(4.3)最后，将分类损失、风格损失、内容损失根据如下公式进行加权组合：

为最终的损失函数，λ

步骤(5.1)优选地，使用Adam优化算法优化

步骤(5.2)不断迭代优化，直到对抗样本成功被模型误分类，即停止优化，输出此时的对抗补丁。

本发明的优点包括：

本发明提出一种基于热力图与风格迁移的对抗补丁隐蔽性增强方法，与现有技术相比，其优点是：现有对抗补丁生成技术生成的对抗补丁与周围环境极不协调，非常容易被人类发现。此外，已有的改善对抗补丁隐蔽性的方法也只是让补丁具有一定语义信息，看起来更加自然，而没有实现与环境融合；本发明设计了多模型加权热力图方法与局部风格融合方法来生成更具隐蔽性且兼具攻击性的对抗补丁，提高对抗补丁的实际应用效果。

附图说明：

图1多模型加权热力图方法流程图。

图2局部风格融合方法流程图。

具体实施方式：

以下结合附图对本发明作进一步详细的说明。

如图1所示，首先，将原始图像输入到k个不同的模型进行正常分类，并通过深度学习的可解释性方法定位原始图像的显著特征，每个模型的输出为热力图与相应类别的分类置信度。其次，使用模型对原始图像的分类置信度作为每张热力图的权重，将得到的热力图以加权的方式进行组合。然后，需要从显著区域中定位对抗补丁的安放位置。利用滑动窗口，通过计算著区域中累计贡献最大的子区域，最后，并生成与图像相同大小的掩膜mask，掩膜标记位置即为对抗补丁的安放位置。

如图2所示，根据多模型加权热力图定位出对抗补丁的安放区域，截取该区域的原图像作为局部风格图像，剩余图像作为背景图像。将初始化的对抗补丁与背景图像结合，输入到深度学习模型中并得到分类损失，可以选用交叉熵函数进行计算。然后，对局部风格图像与对抗补丁进行特征抽取，根据Gram矩阵与余弦距离计算对抗补丁与局部风格图像的风格损失与内容损失。最后，将分类损失、风格损失、内容损失根据进行加权组合。通过优化算法迭代优化对抗补丁，生成能够与补丁安放环境相融合并具有攻击效果的对抗补丁，降低视觉上的可察觉性。

最后所应说明的是：本发明还可有其它多种应用场景，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明的保护范围。