基于迁移性对抗攻击的深度哈希模型鲁棒性评估方法及装置

技术领域

本公开涉及模型评估技术领域，尤其涉及一种基于迁移性对抗攻击的深度哈希模型鲁棒性评估方法及装置。

背景技术

随着互联网数据的爆炸性增长，大规模视觉检索任务受到了广泛关注。深度哈希技术利用深度神经网络学习紧凑二进制编码，将高维数据映射到低维哈希空间中，从而对视觉大数据进行管理与分析，具有存储空间小、检索速度快等优势，成为解决大规模视觉检索问题的关键技术，被广泛应用于各种在线图像、视频搜索引擎中。然而随着深度哈希模型的广泛应用，其鲁棒性和安全性问题逐渐受到人们的关注。其中对抗攻击是深度哈希模型面临的主要安全性威胁之一。具体地对抗攻击是指通过对查询数据添加人眼不可见的对抗扰动后，对抗样本可以干扰检索系统返回错误的不相关图像。对抗样本的存在使得原本可靠的基于深度哈希的图像检索系统变得脆弱，从而降低了该系统的可靠性和准确性。该现象迫使研究者探索各种对抗攻击方法，以评估模型的鲁棒性和安全性风险，从而挖掘模型的鲁棒性“漏洞”，进而采取相对应防御措施提高模型的鲁棒性。

目前，面向深度哈希的对抗攻击方法主要采用白盒攻击手段，即假设攻击者已知模型的结构和参数，然而在实际应用中基于深度哈希模型的图像检索系统通常以黑盒形式进行部署，因此利用白盒攻击对深度哈希模型进行鲁棒性评估不够准确和可靠。在黑盒场景下，有目标对抗攻击期望目标模型返回特定类别，比如一些非法图片等，因此对目标黑盒模型进行有目标对抗攻击更具恶意性和挑战性。黑盒对抗攻击的实现方式主要分为两种，一种是基于查询的对抗攻击，通过对目标模型进行成千上万次的查询估计损失函数梯度，从而更新对抗样本，其不够灵活且增加了攻击成本和时间开销。与之对应，基于迁移性的对抗攻击，利用在白盒替代模型上生成对抗样本的迁移性直接攻击目标黑盒模型，具有较大的灵活性且无需访问目标模型，因而受到了广泛关注。然而目前面向深度哈希对抗样本的有目标迁移性较差，这将会过于乐观地评估模型鲁棒性，从而造成潜在的安全性风险。因此探索更强的有目标迁移性黑盒对抗攻击方法，以准确可靠地评估深度哈希模型的鲁棒性和安全性是一个亟待解决的问题。

目前面向深度哈希模型的有目标对抗攻击方法主要分为两阶段：第一阶段是锚点(即中心哈希码)生成阶段，为目标类别生成具有代表性语义信息的锚点；第二阶段是对抗样本生成阶段，在目标类别锚点指导下生成对抗样本，即拉近锚点和对抗样本哈希码之间的汉明距离，从而使得生成的对抗样本具有目标类别的代表性语义信息。因此从上述两阶段出发，其各自背景技术的缺陷总结如下。

(1)锚点生成阶段。

锚点指的是具有目标类别代表性语义信息的哈希码，其在汉明空间中与同类别样本哈希距离较近，与其他类别样本哈希码之间距离较远，从而能够检索出尽可能多的目标类别样本。目前的锚点生成方法主要分为两大类：一种是基于直接求解的方法，具体地直接求解构造出的目标函数的解析解；另一种是基于优化的方法，由于构造出得目标函数无法直接求解，因此采用优化的方式，逐步靠近目标函数最优解。基于优化的方法由于目标函数能够表示更为复杂的相似和不相似性信息，因此效果更优越。然而目前的基于优化的方法大都采用一个浅层网络拟合类别和锚点之间的函数关系，由于该网络参数不可避免地会无法同时取得每个类别的最优解，因此生成锚点的类别语义表达能力无法进一步提升。

(2)对抗样本生成阶段

目前的对抗样本生成方法可以大致分为两种，即基于迭代式的生成方法和基于生成式的生成方法。基于迭代式的生成方法为每一个干净样本迭代多次(一般2000次)生成对抗样本，不仅时间代价较高，而且这种方式生成的对抗样本容易对替代模型过拟合，从而无法迁移到目标模型中有较好的攻击效果。为了解决这个问题，基于生成式的生成方法被提出，其通常采用生成模型训练从干净样本到对应对抗样本的映射关系，从而在测试阶段通过输入干净样本，对抗样本可以被直接生成。并且该方法生成的对抗样本通常有较好的迁移性。然而目前的基于生成式的方法仍然面临着对替代模型过拟合的问题，从而限制了对抗样本的迁移性攻击能力。

发明内容

为解决目前面向深度哈希模型有目标对抗样本迁移性较差的问题，本发明公开了一种基于迁移性对抗攻击的深度哈希模型鲁棒性评估方法及装置，该方法通过缓解生成对抗样本在替代模型上的过拟合现象，提高其在目标模型上的迁移性攻击能力，从而更准确可靠地评估了深度哈希模型的鲁棒性和安全性。

本发明的技术方案，包括：

一种基于迁移性对抗攻击的深度哈希模型鲁棒性评估方法，包括：

利用标签提取器提取一数据类别的标签特征；

将所述标签特征上采样到一干净样本的图片维度之后，与所述干净样本拼接；

将拼接结果送入生成器，得到对抗样本；

基于所述对抗样本进行待评估的深度哈希模型的评估。

进一步地，所述标签提取器的网络结构包括：一个全连接层、四个转置卷积层和一个卷积层。

进一步地，所述生成器的网络结构包括：两个卷积层，六个残差块和两个转置卷积层。

进一步地，训练所述生成器的过程，包括：

标签提取器提取目标类别y

将所述对抗样本

获取训练所述生成器的总损失

进一步地，所述损失

进一步地，训练所述生成器的过程，包括：

标签提取器提取目标类别y

将所述对抗样本

获取训练所述生成器的总损失

进一步地，所述随机变换包括：缩放、平移或旋转变换。

进一步地，所述将所述对抗样本

设定一优化目标函数，所述优化目标函数用于拉近锚点与目标类别相关样本哈希码之间的汉明距离，并推远锚点与目标类别无关样本哈希码之间的汉明距离；

基于随机梯度下降法进行所述优化目标函数的迭代求解，以得到目标类别y

通过对所述优化目标z

进一步地，所述损失

一种基于迁移性对抗攻击的深度哈希模型鲁棒性评估装置，包括：

特征提取模块，用于利用标签提取器提取一数据类别的标签特征；

样本拼接模块，用于将所述标签特征上采样到一干净样本的图片维度之后，与所述干净样本拼接；

对抗生成模块，用于将拼接结果送入生成器，得到对抗样本；

模型评估模块，用于基于所述对抗样本进行待评估的深度哈希模型的评估。

与现有方法相比，本发明能够有效提升生成对抗样本在目标模型的迁移性攻击效果。具体而言，在锚点生成阶段本发明提出了一种新的锚点生成方法，其能够生成具有目前最优的目标类别语义表达能力的锚点。此外实验证明锚点语义表达能力越强，在其监督下生成的对抗样本迁移性越好，因此本发明提出的锚点生成方法也能促进对抗样本迁移性的提升。在对抗样本生成阶段，本发明提出一种基于多目标生成对抗网络的对抗样本生成方法，在训练完成后通过输入干净样本和目标类别，迁移性较好的有目标对抗样本可以被直接生成，因此生成对抗样本的效率较高。并且本发明提出了一种多输入变换机制，在此网络训练中，通过对生成的对抗样本添加多种和多次输入变换，明显提高了生成对抗样本的迁移性。此外，集成攻击方法在分类任务中被证明能够有效提升对抗样本的迁移性，然而由于深度分类模型和深度哈希模型之间的差异，其方法不能被直接应用于面向深度哈希模型的集成攻击任务中，因此本发明提出了一种针对深度哈希模型的集成攻击方法，实验证明在上述攻击单个替代模型的基础上进一步提升了对抗样本的迁移性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开实施例，并与说明书一起用于解释本公开的原理。

图1是TTA-GAN网络结构。

图2是TTA-GANens网络结构。

图3是深度哈希模型的对抗鲁棒性评估方法的流程图。

图4是多输入变换策略消融实验结果。

图5超参数M设置实验结果。

图6可视化结果。

具体实施方式

下面将结合附图详细地对示例性实施例进行描述说明。

本发明的方法分为两个阶段，在锚点生成阶段，本发明提出了一种新的锚点生成方法，具体地本发明将锚点本身建模为最优化问题的变量，然后采用经典的最优化算法-梯度下降法直接迭代更新锚点，增强了锚点的目标类别语义表达能力，进而提升了在其监督下生成的对抗样本的迁移性。在对抗样本生成阶段，本发明提出了一个新的基于生成式的对抗样本生成方法，具体地为了直接缓解对抗样本的过拟合问题，本发明提出了一种多输入变换机制，促使生成器生成的对抗样本经过多种和多次输入变换后仍然能够保持对抗性，从而提高其迁移性。最后，本发明进一步提出了一种针对深度哈希模型的集成攻击方法，在训练对抗样本过程中通过同时攻击多个替代模型，增加生成对抗样本稳定性和普适性，从而提高其在目标模型上的迁移性。本发明的最终目的在于通过模拟攻击者在现实世界中的黑盒攻击手段来评估深度哈希模型在实际应用中的鲁棒性和安全性，从而促进针对深度哈希模型防御方法的发展。

如图1所示，本发明提出的基于迁移性对抗攻击的深度哈希模型鲁棒性评估方法(Targeted Transferable Attack with Generative Adversarial Network,TTA-GAN)主要分为两个阶段。第一阶段是锚点生成阶段，本发明提出了基于优化的方法-迭代锚点优化(Iterative Anchor code Optimization,IAO)法，具体地本发明将锚点的生成过程建模为一个最优化问题，将锚点设置为最优化问题的变量，用于调整以最优化目标函数，然后采用经典的梯度下降法求解此问题。相比于之前训练一个网络的方法，该方法为每个类别优化其对应的锚点，使其能够获取到目标函数的最优解，因此能够更充分地学习到目标类别的代表性语义信息。第二阶段是对抗样本生成阶段，本发明提出了一个新的基于多目标生成对抗网络的对抗样本生成方法。首先生成器接收干净样本和目标类别作为输入，生成对应的对抗样本，接下来利用本发明提出的多输入变换机制对生成的对抗样本进行多种和多次输入变换，从而避免其过拟合到替代模型。然后判别器判断输入样本是干净样本还是生成的对抗样本，从而以对抗的方式促使生成器生成视觉质量较好的对抗样本。最后，如图2所示，为了同时攻击多个替代模型，本发明提出了一种针对深度哈希模型的联合攻击方法TTA-GANens，进一步提升了生成对抗样本的迁移性。

(一)背景知识：

给定一个对抗样本训练数据集

s.t.bi∈{-1，1}

其中

公式(2)表示生成锚点h

(二)迭代锚点优化法(IAO)：

为了拉近锚点与目标类别相关样本哈希码(正样本)之间的汉明距离，推远与目标类别无关样本哈希码(负样本)之间的汉明距离，本发明将该优化目标函数定义为一种加权三元组损失函数，公式表示如(4)所示。

其中

其中η为学习率，在迭代N次之后得到优化后

(三)基于多目标生成对抗网络的对抗样本生成方法：

如图1所示，通过输入目标类别

判别器

其中

为了保证生成的对抗样本能够包含目标类别

然而若直接对一个批次大小为B的数据进行M次变换，则批次大小将变为B×M，这将带来较大的显存资源消耗，因此为了节约资源，使得训练更加灵活，本发明提出了一种梯度聚合的方法，对每次变换的样本分别计算得到的梯度，然后进行累加反向传播继续更新生成器的参数，具体损失函数如公式(8)所示：

通过这种基于梯度聚合的方法，可以在保证较小的批大小的同时，利用每个批次样本的不同变换来消除对抗样本对替代模型的过拟合问题，在引入随机性的同时有效利用资源提高生成对抗样本的迁移性。

综上所述，本发明的总体损失函数可以被计作公式(9)：

其中

此多目标生成对抗网络的生成器采用了经典生成对抗网络StarGAN的网络结构，由两个卷积层，六个残差块和两个转置卷积层构成。判别器网络结构仍然采用stargan中判别器的网络结构，输出真假判别节点预测值。标签提取器由一个全连接层，四个转置卷积层，以及一个卷积层组成。

(四)集成攻击方法(TTA-GANens)：

受到分类模型的启发，本发明假设如果一个对抗样本能够在多个替代模型上都能检索出尽可能多的目标类别的图片，则该对抗样本将更容易迁移到其他目标模型上保持对抗性。由于本发明计算出锚点作为目标类别的代表性语义信息，因此本发明期望生成的对抗样本在多个替代模型上都能被预测为对应模型上的目标类别锚点，从而提高对抗样本在目标模型上的迁移能力。因此本发明提出以该优化目标指导对抗样本的生成，具体损失函数表示为公式(10)：

其中

(五)评估模型鲁棒性：

本发明的目的是训练一个生成模型，对于给定的查询样本和目标类别，该模型能够直接生成对应的迁移性较好的有目标对抗样本。因此在模型鲁棒性评估阶段，只需要保留标签提取器E和生成器

综上所述，本发明提出了一种新的锚点生成算法即迭代锚点优化算法IAO，其能生成具有目前最好的目标类别语义表达能力的锚点，并且实验证明了本发明的观点即锚点的语义表达能力越强，在其监督下生成的对抗样本迁移性越好，这一观点将对后来的工作具有一定的启发性。

本发明提出了一个新的基于多目标生成对抗网络的对抗样本生成方法，通过输入干净样本和目标类别，生成器将直接生成对应的有目标对抗样本。进一步为了消除对抗样本对替代模型的过拟合问题，本发明提出了一种多输入变换机制，促使生成的对抗样本经过多种和多次输入变换后仍然能够保持对抗性。大量实验证明该机制能够明显提升其在目标模型上的迁移性。

受到集成攻击思想的启发，本发明提出了一种针对深度哈希模型的集成攻击方法，即使得生成的对抗样本在多个替代模型上都具有对应的目标类别代表性语义信息，实验证明本发明的集成攻击方法进一步取得了比上述单模型攻击方法更优的迁移性攻击能力。

下文对本发明的效果进行验证。

数据集：本发明选择三个在深度哈希领域常用的数据集来验证本发明方法的有效性，其包含两个多标签数据集FLICKR-25K，NUS-WIDE和一个单标签数据集ImageNet。FLICKR-25K包含属于38个类别的共25,000张图片。本发明从所有图片中随机采样1,700张图片用作查询数据集，其他的数据组成数据库，此外从数据库中随机采样5,000张图片用作训练数据集，训练深度哈希模型和本发明的TTA-GAN模型。NUS-WIDE数据集包含属于81个类别的269,648张图像，本发明挑选来自21个最常用类别的195,834张图片用来训练和测试。具体地对21个类别中每个类别挑选100张图片用作查询数据集，其他的数据组成数据库，此外从数据库数据中每个类别挑选500张图片组成训练数据集。对ImageNet数据集，本发明从1000个类中随机采样100个类的数据，并用此100个类的所有图片组成数据库。从数据库中每个类别随机采样100张图片组成训练数据集，在ImageNet的验证集中每个类随机采样10张图片组成查询数据集。

目标模型：本发明采用了六种网络架构，分别为AlexNet,VGG11,ResNet50(RN50)，ResNet152(RN152)，Inception-v3(Inc-v3)和DenseNet161，用于测试不同具有不同网络结构的哈希模型之间的迁移性。本发明默认采用32比特的DPSH方法用于训练深度哈希模型，此外为了测试本发明的方法在不同深度哈希方法上的通用型，本发明也在四种其他的深度哈希方法，如HashNet、CSQ、DSDH和ADSH上做了迁移性效果的评估。

评价指标：本课题采用目标均值平均精度(targeted mean Average Precision,t-mAP)和均值平均精度(mean Average Precision,mAP)作为评价指标，其中t-mAP直接地反映出了添加上有目标对抗扰动的对抗样本检索出目标类别数据的能力。Anchor t-mAP表示用锚点检索数据库计算出来的t-mAP，Test t-mAP表示用对抗样本检索数据库得到的t-mAP。

实验结果：为了验证本发明的有效性，本发明比较了目前所有的面向深度哈希的有目标对抗攻击算法，包括P2P、DHTA、THA、ProS-GAN和TTA-GAN，评估了其生成对抗样本的迁移性攻击能力。在FLICKR-25K,NUS-WIDE和ImageNet数据集上的实验结果分别如表1、2和3所示。根据实验结果可以得出以下结论：(1)首先本发明的方法取得了最优的Anchor t-mAP效果(表中计作A.)，说明本发明的IAO算法生成的锚点具有最好的目标类别语义表达能力。(2)在保证扰动量相似的情况下(Per.)，本发明的方法相比于目前的SOTA(ProS-GAN)方法来说取得了较大的有目标迁移性提升。比如：在FLICKR-25K模型上，当从VGG11模型迁移到其他模型RN50，RN152，Inc-v3和DN161时，迁移性分别提升了7.18％，7.93％，8.97％和5.03％。并且在ImageNet数据集上，本发明的方法相比于在该数据集上的SOTA(NAG)方法，提升更加明显，这个结果充分证明了本发明提出的TTA-GAN方法优越的性能。(3)本发明提出的的集成攻击方法TTA-GANens能够在TTA-GAN方法的基础上进一步提升在目标模型上的迁移性，这证明了本发明提出的集成攻击方法的有效性。(4)从实验结果中本发明还能得到几个结论，首先虽然THA方法和ProS-GAN方法具有相近的Anchor t-mAP，但是这两种方法生成的对抗样本迁移性差距却较大，这表明基于生成式的方法比基于迭代式的方法更容易生成迁移性较好的对抗样本。

模型分析实验：为了验证本发明TTA-GAN不同模块对有目标迁移性的提升效果，本发明做了一系列消融分析实验。具体地，在该部分分析实验中，本发明采用在FLICKR-25K数据集上训练的以VGG11为网络结构的32比特DPSH哈希方法作为默认的替代模型设置。

(1)锚点生成方法的有效性：为了验证本发明提出的这种直接对锚点进行更新的模式的有效性，本发明做了在相同损失函数下比如

(2)锚点和对抗样本迁移性相关性关系分析实验：为了验证本发明关于锚点和迁移性相关性

为了验证本发明关于锚点和迁移性相关性的观点，即锚点语义表达能力越强，在其监督下生成的对抗样本迁移性越好，本发明做了在不同锚点监督下相同对抗样本生成方法的迁移性攻击效果比较实验，实验结果如表5所示。从中本发明可以得出以下结论：锚点的Anchor t-mAP越高，在其监督下生成的对抗样本迁移性越好。在ImageNet数据集中，当用本发明的IAO方法生成的锚点替换NAG方法随机从目标类别中采样的锚点来指导对抗样本的生成时，其迁移性效果取得了明显的提升。

(3)多输入变换策略分析实验：本发明提出一种对生成对抗网络生成的对抗样本进行输入

本发明提出一种对生成器生成的对抗样本进一步进行多输入变换的策略，为了验证该策略的有效性，本发明做了不加输入变化策略(TTA-GAN(No)),加一种输入变换策略(TTA-GAN(DI))，加两种输入变换策略(TTA-GAN(DI+RI))与ProS-GAN方法的比较实验。实验结果如图4所示。从图中可以得出(1)即使不加多输入变换策略，TTA-GAN(No)的迁移性效果仍然比ProS-GAN好，证明了本发明提出的多目标生成对抗网络以及IAO算法的优越性。(2)通过添加多输入变换策略，迁移性取得了较大的提升，并且TTA-GAN(DI+RI)的效果比TTA-GAN(DI)更好，说明了多种输入变换的必要性和有效性。

(4)超参数设置实验：为了设置多输入变换策略的超参数，即变换次数M，若M较大则

本发明做了不同变换次数M对迁移性效果影响的分析实验，实验结果如图5所示。从图中可以得到M＝3时效果已足够好，继续提高M对效果提升较为微弱，并且将会降低模型的训练效率，因此本方法中将M设置为3。

在其他哈希方法上的通用性：为了验证本发明的TTA-GAN方法在其他哈希方法上的迁移性攻击效果，本发明考虑了四种其他的哈希方法HashNet、CSQ、DSDH、ADSH，并测试了在这些哈希方法上跨网络结构的迁移性效果，实验结果如表6所示，从表中可以看出本发明的方法在任何哈希方法上都具有最优的迁移性攻击效果。

可视化结果：为了直观地展示添加对抗扰动前后对抗样本在目标模型上的检索结果差异，本发明提供了可是化结果，将其展示为图6。从图中可以看出，对于一张类别为“花朵(Flowers)”的干净样本，其在目标模型上能够正常检索出语义相关的类别为花朵的图片，然而通过将目标类别“动物(Animal)”和干净样本输入到TTA-GAN后，视觉上与原始样本无法区分的对抗样本被生成。其在输入到目标模型后能够错误地检索出目标类别为动物的图片，说明本发明在替代模型上生成的对抗样本能够成功攻击目标模型。

/>

表1在FLICKR-25K数据集上迁移性效果比较

表2在NUS-WIDE数据集上迁移性效果比较

/>

表3在ImageNet数据集上迁移性效果比较

表4不同锚点生成方法效果比较

表5不同锚点监督下对抗样本迁移性效果比较

/>

表6在其他深度哈希模型上迁移性效果比较

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开也并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。