一种针对多尺度对抗补丁的图像分类、装置、存储介质及设备

技术领域

本发明涉及一种针对多尺度对抗补丁的图像分类、装置、存储介质及设备，属于图像处理技术领域。

背景技术

随着深度学习理论的不断发展，特别是深度神经网络算法的巨大成功，人工智能在科技、产业和社会变革中展现了巨大的潜力，受到全球的广泛关注。以深度学习为代表的人工智能技术已逐步应用于各个行业，包括图像分类、目标检测、语音识别、自动驾驶以及人脸识别等，尤其在图像领域的应用最为深入，如自动驾驶中对交通标志图像的识别、人脸识别中对人脸图像的检测、以及场景识别中对各场景图片的分类等。

然而随着研究的不断深入，人们发现人工智能技术在带来便利的同时也带来了安全隐患。2014年Szegedy等人发现深度学习模型极易受到对抗样本的攻击。攻击者只需要在输入样本中添加微小的扰动，而这些扰动对于人类的肉眼而言是很难察觉的，但是却会使得深度学习模型做出错误的判断。这种在图像全局添加微小扰动攻击方式的出现，也引起了人们对于更多攻击方式的研究。之后人们发现这种添加微小扰动的攻击方式难以在物理世界中有效，基于此人们提出了一种更加鲁棒的攻击方式，对抗补丁，其通过在图像某一限定区域添加任意扰动，从而对深度学习模型的预测做出影响，相比较而言这种攻击方式更具备鲁棒性，在现实世界中也能保持一定的性能。然而，随着对抗攻击应用的越来越广泛，一部分人甚至用它来逃避一些监控设备实施违法犯罪活动，给社会安全带来了很大的挑战。

综上所述，现有技术中存在对抗补丁导致的图像分类精确度低的问题。

发明内容

本发明的目的在于提供一种针对多尺度对抗补丁的图像分类、装置、存储介质及设备，解决现有技术中存在的精确度低的问题。

为实现以上目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种针对多尺度对抗补丁的图像分类方法，包括：

获取输入图像；

对输入图像中的对抗补丁进行定位，得到对抗补丁的位置坐标；

对输入图像中的所述位置坐标进行掩码，得到掩码图像；

将掩码图像和输入图像分别输入到分类器和Softmax层连接组成的图像分类模型中，若输出的预测结果一致，则输出预测结果，完成图像分类；若输出的预测结果不一致，则对所述掩码图像进行图像修复得到修复图像，将所述修复图像和所述掩码图像分别输入到所述分类器中，得到两个logits向量，对两个logits向量进行加权求和后输入到所述Softmax层中，得到预测结果，完成图像分类。

结合第一方面，进一步的，所述对输入图像中的对抗补丁进行定位，得到对抗补丁的位置坐标，包括：

通过基于梯度的图像可视化方法得到所述输入图像的显著性图；

计算出所述显著性图的所有全局图像特征；

基于预设的特征参数对所有全局图像特征进行初步过滤，选出对抗补丁的候选区域；

基于预设的窗口大小对所述候选区域中的全局图像特征进行特征密度计算，将所述候选区域中特征密度最大的区域的中心坐标作为对抗补丁的位置坐标。

结合第一方面，进一步的，所述显著性图通过以下公式得到：

其中，M

结合第一方面，进一步的，所述对输入图像中的所述位置坐标进行掩码，得到掩码图像，包括：

将输入图像中的所述位置坐标周围预设尺寸的窗口内的像素值去除，得到掩码图像。

结合第一方面，进一步的，所述对所述掩码图像进行图像修复得到修复图像，通过基于生成对抗网络的图像修复方法进行。

第二方面，本发明还提供了一种针对多尺度对抗补丁的图像分类装置，包括：

图像获取模块，被配置为：获取输入图像；

对抗补丁定位模块，被配置为：对输入图像中的对抗补丁进行定位，得到对抗补丁的位置坐标；

掩码模块，被配置为：对输入图像中的所述位置坐标进行掩码，得到掩码图像；

图像分类模块，被配置为：将掩码图像和输入图像分别输入到分类器和Softmax层连接组成的图像分类模型中，若输出的预测结果一致，则输出预测结果，完成图像分类；若输出的预测结果不一致，则对所述掩码图像进行图像修复得到修复图像，将所述修复图像和所述掩码图像分别输入到所述分类器中，得到两个logits向量，对两个logits向量进行加权求和后输入到所述Softmax层中，得到预测结果，完成图像分类。

第三方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面任一项所述的针对多尺度对抗补丁的图像分类方法。

第三方面，本发明还提供了一种设备，包括：

存储器，用于存储指令；

处理器，用于执行所述指令，使得所述设备执行实现如第一方面任一项所述的针对多尺度对抗补丁的图像分类方法的操作。

与现有技术相比，本发明所达到的有益效果是：

本发明提供的一种针对多尺度对抗补丁的图像分类、装置、存储介质及设备，通过定位对抗补丁并对其进行掩码，然后和原始输入图像进行对比实现对于对抗图片的检测，针对包含对抗补丁的对抗图片进行修复，使得修复图像更多样且内容更丰富，结合掩码图像进行图像分类，提高分类的精确度；

针对多尺度对抗补丁，分别从攻击检测和鲁棒预测两个角度，实现对于多尺度对抗补丁的有效防御，有助于互联网时代下针对对抗补丁的防御任务。

附图说明

图1是本发明实施例提供的一种针对多尺度对抗补丁的图像分类方法的流程图之一；

图2是本发明实施例提供的一种针对多尺度对抗补丁的图像分类方法的流程图之二；

图3是本发明实施例提供的一种针对多尺度对抗补丁的图像分类方法的流程图之三。

具体实施方式

下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

实施例1

如图1所示，本发明提供了一种针对多尺度对抗补丁的图像分类方法，包括：

S1、获取输入图像。

S2、对输入图像中的对抗补丁进行定位，得到对抗补丁的位置坐标。

步骤S2为对抗补丁的定位过程，具体包括以下步骤：

S21、输入图像的可视化：

利用基于梯度的图像可视化方法得到输入图像的显著性图，显著性图可以由以下公式得到：

其中，M

基于得到的显著性图，首先通过对全局图像特征的计算，结合预先设定的特征参数，来对全局图像特征进行初步过滤，选出可能为对抗补丁所在位置的候选区域，并进一步结合预先的窗口大小，来对全局图像特征进行特征密度的计算，并将全局图像特征中密度最大的区域的中心坐标进行输出，此处即是对抗补丁所在位置，将其作为对抗补丁的位置坐标。

S3、对输入图像中的所述位置坐标进行掩码，得到掩码图像。

如图2中的Mask map步骤所示，根据步骤S2求得的对抗补丁的位置坐标，将其附近固定大小窗口内的像素值进行去除，从而使得对抗补丁不再影响图片的正常分类，得到掩码图像。

S4、将掩码图像和输入图像分别输入到分类器和Softmax层连接组成的图像分类模型中，若输出的预测结果一致，则输出预测结果，完成图像分类；若输出的预测结果不一致，则对所述掩码图像进行图像修复得到修复图像，将所述修复图像和所述掩码图像分别输入到所述分类器中，得到两个logits向量，对两个logits向量进行加权求和后输入到所述Softmax层中，得到预测结果，完成图像分类。

如图3所示，在步骤S4中，若输出的预测结果一致，则说明输入图像不包含对抗补丁，输出的预测结果是输入图像的真实类别；若输出的预测结果不一致，则说明输入图像中包含对抗补丁，是对抗图片，实现对于对抗图片的初步检测。

对于检测为对抗图片的输入图像，先对其掩码图像进行图像修复，此处采用基于生成对抗网络的图像修复方法进行修复，该方法可以使得修复图像更多样，且内容更丰富，然后将修复图像和掩码图像分别输入到分类器中，得到两个logits向量，对两个logits向量进行加权求和后输入到Softmax层中，得到预测结果，完成图像分类。

为验证本发明的实际效果，本发明采用实例证明本发明提供的丰富对多尺度对抗补丁的防御是有效的。针对ImageNet数据集的验证集，该数据集包含了共50000张图片，从中随机选取10000张生成对抗图片，对于对抗补丁选取7％之内任意尺寸。实验结果证实对于放置任意尺度对抗补丁的对抗图片，本发明提供的方法都可以实现有效的防御，并可以准确的对其类别进行检测。这证明本发明是有意义且能够提高分类精确度的。

实施例2

本发明实施例还提供了一种针对多尺度对抗补丁的图像分类装置，包括：

图像获取模块，被配置为：获取输入图像；

对抗补丁定位模块，被配置为：对输入图像中的对抗补丁进行定位，得到对抗补丁的位置坐标；

掩码模块，被配置为：对输入图像中的所述位置坐标进行掩码，得到掩码图像；

图像分类模块，被配置为：将掩码图像和输入图像分别输入到分类器和Softmax层连接组成的图像分类模型中，若输出的预测结果一致，则输出预测结果，完成图像分类；若输出的预测结果不一致，则对所述掩码图像进行图像修复得到修复图像，将所述修复图像和所述掩码图像分别输入到所述分类器中，得到两个logits向量，对两个logits向量进行加权求和后输入到所述Softmax层中，得到预测结果，完成图像分类。

实施例3

本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如实施例1提供的针对多尺度对抗补丁的图像分类方法：

获取输入图像；

对输入图像中的对抗补丁进行定位，得到对抗补丁的位置坐标；

对输入图像中的所述位置坐标进行掩码，得到掩码图像；

将掩码图像和输入图像分别输入到分类器和Softmax层连接组成的图像分类模型中，若输出的预测结果一致，则输出预测结果，完成图像分类；若输出的预测结果不一致，则对所述掩码图像进行图像修复得到修复图像，将所述修复图像和所述掩码图像分别输入到所述分类器中，得到两个logits向量，对两个logits向量进行加权求和后输入到所述Softmax层中，得到预测结果，完成图像分类。

实施例4

本发明提供了一种设备，包括：

存储器，用于存储指令；

处理器，用于执行所述指令，使得所述设备执行实现如实施例1提供的针对多尺度对抗补丁的图像分类方法的操作：

获取输入图像；

对输入图像中的对抗补丁进行定位，得到对抗补丁的位置坐标；

对输入图像中的所述位置坐标进行掩码，得到掩码图像；

将掩码图像和输入图像分别输入到分类器和Softmax层连接组成的图像分类模型中，若输出的预测结果一致，则输出预测结果，完成图像分类；若输出的预测结果不一致，则对所述掩码图像进行图像修复得到修复图像，将所述修复图像和所述掩码图像分别输入到所述分类器中，得到两个logits向量，对两个logits向量进行加权求和后输入到所述Softmax层中，得到预测结果，完成图像分类。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。