一种渐进式多模态攻击方法

技术领域

本发明属于多模态大模型鲁棒评估技术领域，更为具体地讲，涉及一种渐进式多模态攻击方法。

背景技术

多模态大模型的鲁棒性是指在面对各种挑战和变化时，多模态大模型能够保持稳定性和适应性的能力。在这些挑战中，对抗攻击被认为是最具威胁且受到广泛研究的一种。现有的多模态大模型鲁棒性评估主要是设计针对多模态大模型的对抗扰动，探究多模态大模型在面对注入扰动的数据时性能下降的程度。

现有的大模型鲁棒性研究集中在单模态场景下，较少的工作会关注图像和文本两模态的大模型。现如今，包含更多的模态已经是大模型的发展趋势，研究更多模态场景下大模型的鲁棒性即评估多模态大模型鲁棒性具有意义和挑战性。

在进行多模态大模型鲁棒评估时，需要进行多模态攻击。而多模态攻击较为复杂，涉及到多种模态之间的交互与协同。现有的多模态攻击只局限于两模态攻击，较为有限，在添加更多模态的场景下，攻击设计的方式仍待进一步探究。

多模态攻击涉及到各个模态之间的攻击顺序和监督信息的选择，是一种较为复杂的研究问题，优化不当情况下，各个模态的攻击容易出现相互冲突。

发明内容

本发明的目的在于克服现有技术的不足，提供一种渐进式多模态攻击方法，以实现各种模态间渐近式的攻击，增强不同模态攻击间的交互，从而提升对多模态大模型攻击效果。

为实现上述发明目的，本发明渐进式多模态攻击方法，其特征在于，包括以下步骤：

(1)、三模态数据集构建

首先，对于视频文本数据集中的每一视频，提取音频和描述该视频的文本，同时选取视频的中间帧作为该视频的图像，从而得到该视频的图像、文本以及语音三模态数据，所有视频的三模态数据构成初步三模态数据集；

然后对初步的三模态数据集进行进一步的筛选处理：

1.1)、计算每个视频的图像与文本的余弦相似度，作为相似性分数：

v

其中，CosSim表示余弦相似度，f

1.2)、基于相似性分数v

1.3)、根据最终需要的三模态数据数目N，取降序排列后的初步三模态数据集的前N个三模态数据，从而获得大小为N的三模态数据集；

(2)、渐进式多模态攻击

在三模态数据集中选出一组三模态数据即图像I、文本T和音频A并构成一个队列M，并确定攻击步数step，然后进行以下步骤：

2.1)、如果攻击步数step大于0，则进行步骤2.2)，否则返回队列M，得到对齐攻击后的三模态数据，用于三模态大型模型的鲁棒性评估，其中，音频A需要恢复其长度为本来的长度length，得到最终的攻击音频A

A

2.2)、将队列M中第一个模态数据选出，然后进行对齐攻击：

如果第一个模态数据是图像I，则采用修改版的投影梯度下降即PGD作为攻击方式，攻击图像I和监督模态即文本T和音频A之间的对齐关系即余弦相似度，具体步骤为：

首先在图像I中加入随机的扰动η，得到初始迭代图像

然后，根据以下公式进行迭代：

其中：

其中，

如果第一个模态数据是文本T，采用单词删除攻击，通过计算文本和监督模态之间的相似度来衡量每个单词的重要性，通过删除重要的单词实现文本和监督模态之间对齐关系的破坏，具体步骤为：

首先将初始迭代文本

然后进行迭代：

首先进行分词操作：

其中，

然后进行删词操作：

其中，

然后找到余弦相似度和最小的文本

其中，j*为相应的序号，J表示文本T包含单词的数量；

最后，将文本

如果第一个模态数据是音频A，则采取修改版的投影梯度下降即PGD作为攻击方式作为攻击方式，破坏音频A和监督模态即图像I和文本T之间的对齐关系，具体步骤为：

首先在攻击前对音频A进行补零操作，长度为同一批次内的最大长度length，计算流程如下所示：

其中，ZeroPad表示补零操作，waveform为音频A的长度，η为随机的扰动；

然后根据进行迭代：

其中，

2.3)、迭代达到设定的次数后，得到图像

2.4)、攻击步数step减1，返回步骤2.1)。

本发明的目的是这样实现的。

本发明渐进式多模态攻击方法创新地设计了一种针对多模态场景下的对齐攻击方法，首先构建一个初步三模态数据集并根据的图像与文本的余弦相似度进行降序排列取前N个三模态数据获得用于攻击的三模态数据集。然后，对于一组三模态数据即图像I、文本T和音频A采用循环多次迭代对齐攻击，实现各种模态间渐近式的攻击，增强不同模态攻击间的交互，加强模态间的交互和对对齐关系的破坏，从而提升对多模态大模型攻击效果。

附图说明

图1是本发明渐进式多模态攻击方法一种具体实施方式的流程图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明渐进式多模态攻击方法一种具体实施方式的流程图。

在本实施例中，如图1所示，本发明渐进式多模态攻击方法包括以下步骤：

步骤S1：三模态数据集构建

首先，对于视频文本数据集中的每一视频，提取音频和描述该视频的文本，同时选取视频的中间帧作为该视频的图像，从而得到该视频的图像、文本以及语音三模态数据，所有视频的三模态数据构成初步三模态数据集。

在本实施例中，基于MSR-VTT(Microsoft Research Video to Text)视频文本数据集构建包括图像、文本和音频三模态数据集，该MSR-VTT视频数据集包括来自20个类别的10,000个视频片段。在本实施例中，利用FFmpeg工具提取视频中的音频模态数据，同时选取视频的中间帧作为图像数据，两者和MSR-VTT视频文本数据集中的文本描述初步构成的图像、文本以及语音的三模态数据集。

考虑到截取中间帧得到的图像存在信息损失，需要对对初步的三模态数据集进行进一步的筛选处理：

步骤S1.1：计算每个视频的图像与文本的余弦相似度，作为相似性分数：

v

其中，CosSim表示余弦相似度，f

步骤S1.2：基于相似性分数v

流程公式如下所示：

indices＝argsort(v

其中，argsort表示排序操作，reverse＝True意味着降序排列，返回得到索引indices。

步骤S1.3：根据最终需要的三模态数据数目N，取降序排列后的初步三模态数据集的前N个三模态数据，从而获得大小为N的三模态数据集。具体可表示为：

topN＝indices[0：N]，

其中，topN表示前N个索引，这样得到初步三模态数据集的前N个三模态数据。

步骤S2：渐进式多模态攻击

对齐关系是多模态模型优秀性能的关键，本发明设计了一种对齐攻击，能够破坏模态数据之间的对齐关系，以便于对多模态大模型的鲁棒性进行评估。

下面讲逐一进行介绍。

1、基础模态攻击方式

1.1、对于图像模态，采用修改版的PGD作为攻击方式，攻击图像和监督模态之间的对齐关系，即余弦相似度。计算流程如下所示：

其中I为待攻击的干净图像，η为随机的扰动公式，

1.2、对于文本模态，采用单词删除攻击，通过计算文本和监督模态之间的相似度来衡量每个单词的重要性，通过删除重要的单词实现文本和监督模态之间对齐关系的破坏。计算流程如下所示：

其中，T为待攻击的干净文本，的

其中，Delete为删词操作，Concat将单词恢复为文本。

其中，J表示文本包含单词的数量，index

1.3、对于音频模态，同样采取修改版的PGD作为攻击方式，破坏音频和监督模态之间的对齐关系。考虑到音频波形的长度不一，我们在攻击前会对波形进行补零操作，长度为同一批次内的最大长度。

首先在攻击前对音频A进行补零操作，长度为同一批次内的最大长度length，计算流程如下所示：

其中，ZeroPad表示补零操作，waveform为音频A的长度，η为随机的扰动。

然后进行迭代

其中，

达到设定的迭代次数后，得到最终的攻击音频A。其中，音频A需要恢复其长度为本来的长度length，即：

A

2、鲁棒性评估设定

本发明设计的对齐攻击旨在破坏模态间的对齐关系，其中涉及两个角色：受攻击的目标模态和作为监督信息的监督模态。角色根据参与的模态数量不同可以被划分为single和multi，通过组合可以得到如下四个基础的鲁棒性评估设定：

2.1、Single@Single

目标模态为单模态，监督模态也为单模态。具体的Single@Single设定可被细化为基础模态攻击方式。计算流程可统一为如下公式：

其中，M

2.2、Single@Multi

目标模态为单模态，监督模态为多模态。基于Single@Single设定，该设定引入了更多的监督模态，例如目标模态为图像，监督模态为文本和音频。计算流程可统一为如下公式：

其中，M

对于图像和音频模态而言，多监督模态即引入更多的监督模态进行梯度计算，具体计算如下公式：

其中，grad

对于文本模态而言，多监督模态即引入更多的监督模态进行重要性分数计算，具体计算如下公式：

其中，score

2.3、Multi@Single

目标模态为多个模态，监督模态为单个模态。基于Single@Single设定，该设定引入了更多的目标模态，计算流程如下公式：

其中，M

2.4、Multi@Multi

目标模态为多个模态，监督模态为多个模态。Multi@Multi的场景下优化顺序较为复杂，我们按顺序对多个目标模态进行攻击，每次攻击的监督模态为目标模态以外的模态。计算流程如下公式：

其中M

3.、渐进式多模态攻击

从后续的实验中可以得知，Multi@Multi设定下的的攻击性能是最好的，但是在该优化过程中，多个目标模态之间是相互独立执行的，忽视了模态之间的交互。为了增强模态之间的交互和对齐关系的破坏，我们基于Multi@Multi设定设计了一种渐进式多模态攻击。该攻击采用渐进式方法增强目标模态之间的交互，每步中剩余的模态作为监督模态引导目标模态的攻击方向。

具体为在三模态数据集中选出一组三模态数据即图像I、文本T和音频A并构成一个队列M，并确定攻击步数step，然后进行以下步骤：

步骤S2.1：如果攻击步数step大于0，则进行步骤S2.2，否则返回队列M，得到对齐攻击后的三模态数据，用于三模态大型模型的鲁棒性评估，其中，音频A需要恢复其长度为本来的长度length，即：

A

步骤S2.2：将队列M中第一个模态数据选出，然后进行对齐攻击：

如果第一个模态数据是图像I，则采用修改版的投影梯度下降即PGD作为攻击方式，攻击图像I和监督模态即文本T和音频A之间的对齐关系即余弦相似度，具体步骤为：

首先在图像I中加入随机的扰动η，得到初始迭代图像

然后，根据以下公式进行迭代：

其中：

其中，

如果第一个模态数据是文本T，采用单词删除攻击，通过计算文本和监督模态之间的相似度来衡量每个单词的重要性，通过删除重要的单词实现文本和监督模态之间对齐关系的破坏，具体步骤为：

首先将初始迭代文本

然后根据进行迭代：

首先进行分词操作：

其中，

然后进行删词操作：

其中，

然后找到余弦相似度和最小的文本

其中，J表示文本T包含单词的数量；

最后，将文本

如果第一个模态数据是音频A，则采取修改版的投影梯度下降即PGD作为攻击方式作为攻击方式，破坏音频A和监督模态即图像I和文本T之间的对齐关系，具体步骤为：

首先在攻击前对音频A进行补零操作，长度为同一批次内的最大长度length，计算流程如下所示：

其中，ZeroPad表示补零操作，waueform为音频A的长度，η为随机的扰动；

然后根据进行迭代：

其中，

步骤S2.3：迭代达到设定的次数后，得到图像

步骤S2.4：攻击步数step减1，返回步骤S2.1。

我们采用Rank-N指标上的ASR作为模型攻击性能的评估指标。Rank-N为命中率，表述返回的排序列表中前N个样本存在正确的匹配的比例。Attack Success Rate(ASR)为攻击成功率，表示在已有的正确匹配的样本中被攻击成功的样本的比例。为了方便实验与分析，我们采用了大小为100数据集进行分析，采用多个模态之间的跨模态检索作为验证效果的任务。

表1为Single@Single、Single@Multi和Multi@Single的三种鲁棒性评估设定的结果。总体来看，多模态大模型是脆弱的，扰动下多个跨模态检索的性能被严重破坏。Single@Single设定下，目标模态和监督模态之间的对齐关系被严重破坏，但是目标模态和其它模态之间的破坏程度相对较小。Single@Multi设定引入了更多的监督模态，实现了目标模态和各个模态之间攻击性能的平衡。Multi@Single引入了更多的目标模态，有效解决了Single@Single设定中监督模态和其它未参与模态间未被攻击(即ASR为0)的问题。总体来看引入更多的目标模态和监督模态都有助于攻击性能的增强。

表1

表2为Multi@Multi设定(灰色区域)以及我们设计的渐进式多模态攻击的结果。相比于其它三个设定，Multi@Multi在六个跨模态检索任务的平均攻击效果均达到了最优，符合上述分析的结论。本发明提出的渐进式多模态攻击根据优化的模态顺序，可以具体分为多种设定，大部分的设定下都能较大程度增强攻击性能，特别是在I→A→T@Multi设定下达到了最高的任务平均攻击性能，相比于I&A&T@Multi设定，提高了4％，展现了我们方法的有效性和优越性。

表2

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。