一种针对同义词替换攻击的防御方法

技术领域

本发明属于计算机技术领域，具体涉及一种针对同义词替换攻击的防御方法。

背景技术

随着大数据时代的到来和人工智能技术的飞速发展，深度学习在计算机图像处理、信号分析和自然语言处理等领域中都得到了广泛应用。在自然语言处理领域，文本处理技术在阅读理解、情感分析、文本分类、语音识别等领域取得了突破性进展。

同时深度学习模型也面临着各种安全问题，而新闻文本作为一种公共影响力较大的宣传文本，其安全问题由为重要，其中，对抗攻击是一个热点问题。在自然语言处理领域，对抗攻击指在原始文本上添加微小的扰动得到对抗文本，通过输入对抗文本使深度学习模型输出一个错误语义标签，而用户却不能察觉对抗文本相较于原始文本在语义上的改动。为解决这一安全问题，需要使用对抗文本对目标模型进行防御对抗攻击的训练，以使目标模型可以有效抵御外界的对抗攻击。

对抗性训练的根本目的是利用生成的对抗样本来增强深度学习模型的鲁棒性，从而防御文本攻击对模型的恶意干扰。

在对抗训练的过程中，同义词替换攻击一般会在训练样本中加入一些带有微小干扰的对抗文本，然后使深度神经网络慢慢地适应这种干扰，进而对对抗攻击的文本具有鲁棒性。对抗性训练最重要的特点就是对抗样本的生成，往往对抗性训练能真正提高模型针对某一种攻击的鲁棒性取决于是否有对应攻击方式下比较完善的文本数据，所以对抗样本的生成对于对抗性训练来说至关重要。

然而，现有方法中大量的词向量难以映射回文本格式，尤其针对同义词而言，难以生成有效且与上下文关系密切的同义词对抗样本，或者生成的对抗文本与原始文本的语义相差较大，对抗文本质量低，导致对抗文本的训练价值较低。

发明内容

为了解决背景技术中存在的问题，本发明提供一种针对同义词替换攻击的防御方法，包括：

S1：获取具有标签信息的新闻文本数据；所述标签信息为新闻的类别；

S2：利用Counter-fitting将新闻文本中的词嵌入向量表示得到新闻文本中每个句子的隐向量并生成新闻文本的句子向量序列；

S3：利用TextRank算法提取新闻文本中每个句子的关键词生成候选关键词集；

S4：分别将候选关键词集中每个关键词的词向量和glove训练词向量进行余弦相似度计算，将余弦相似度大于设定阈值的M个glove训练词向量对应的词作为该关键词的候选同义词；

S5：对关键词的候选同义词进行语法检查；将与关键词词性相同的候选同义词作为关键词的最终候选词，并用最终候选词对新闻文本中相应的关键词进行替换得到第二新闻文本；将第二新闻文本嵌入向量表示得到第一新闻文本向量；

S6：将新闻文本的句子向量序列输入LSTM计算得到包含上下文信息的第二新闻文本向量；

S7：根据第一新闻文本向量和第二新闻文本向量的余弦相似度，将余弦相似度超过设定阈值的第一新闻文本向量映射为文本并作为新闻文本的对抗样本；

S8：将新闻文本的对抗样本和新闻文本作为训练样本对目标模型进行训练，并根据新闻文本的标签信息创建目标损失函数，通过反向传播的机制更新目标模型的参数。

本发明至少具有以下有益效果

本发明对句子级状态和多个单词级子状态进行特征提取，表示出包含上下文语义关系的句子向量；通过同义词对原文本中对应的关键词进行替换，并结合包含上下文语义关系的新闻文本向量，能够生成与原始文本的语义相似度高的对抗文本，即得到高质量的对抗文本，进而利用该高质量对抗文本可以对目标模型进行有效的训练，以使训练后的目标模型具有高鲁棒性。

附图说明

图1为本发明的方法流程图；

图2为本发明的框架流程示意图。

具体实施方式

下面将结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、详细地描述，所描述的实施例仅是本发明的一部分实施例，不能用于限制本发明的范围。

请参阅图1和图2，本发明提供一种针对同义词替换攻击的防御方法，包括：

S1：获取具有标签信息的新闻文本数据；所述标签信息为新闻的类别；

在本发明中获取的是AG’s News(AG)，DBPediaontology和Yahoo！Answers，其中，AG’s News由世界新闻、体育新闻、商业新闻和科技新闻组成，每个类别的新闻包括30,000个训练样本和1,900个测试样本，DBPedia是通过从DBPedia2014中选择14个不重叠的类来构建的，从维基百科中提取结构化的信息，对于每一个14个本体类，都有40,000个训练样本和5,000个测试样本。Yahoo！Answers是一个包含10个类的主题分类数据集，每个类包含140,000个训练样本和5,000个测试样本，通过社交平台提供API接口获取新闻文本数据。

S2：利用Counter-fitting将新闻文本中的词嵌入向量表示得到新闻文本中每个句子的隐向量并生成新闻文本的句子向量序列；

s＝{w

其中，s表示新闻文本，w

S3：利用TextRank算法提取新闻文本中每个句子的关键词生成候选关键词集；

优选地，所述利用TextRank算法提取新闻文本中每个句子的关键词生成候选单词集包括：

对当前新闻文本按照完整句子进行分割，对于每个句子，进行分词和词性标注处理，并过滤掉停用词，只保留指定词性的单词，如名词、动词、形容词，提取保留的这些词作为我们新闻文本的候选关键词，以这些候选关键词为节点，以关键词之间的共现关系构造两个节点的边构建关键词图G＝(V,E)，所述关键词之间的共现关系包括：两个关键词在长度为k的窗口中共现，迭代传播各节点的权重，直到收敛，然后倒序排序选出节点权重最高的T个关键词存入候选单词集KW：

其中，WS(V

S4：分别将候选关键词集中每个关键词的词向量和glove训练词向量进行余弦相似度计算，将余弦相似度大于设定阈值的M个glove训练词向量对应的词作为该关键词的候选同义词；

选取300d的glove预训练词向量，将候选单词与glove预训练词向量中的所有单词计算cos余弦值，选取余弦值大于δ的同义词，通过设置δ值的大小来增加或缩小该单词w的同义词候选词集，从语义相似性上对同义词进行筛选。

其中，w表示候选单词集中关键词的词向量，V

S5：对关键词的候选同义词进行语法检查；将与关键词词性相同的候选同义词作为关键词的最终候选词，并用最终候选词对新闻文本中相应的关键词进行替换得到第二新闻文本；将第二新闻文本嵌入向量表示得到第一新闻文本向量；

将与关键词词性相同的候选同义词作为关键词的最终候选词包括：

使用spaCy语法检查器对关键词的候选同义词进行语法检查，spaCy首先通过Tokenizer(分词器)对候选同义词进行分词并生成一个doc对象，doc对象包含Token的序列和Token的注释，然后doc对象会通过管道进行处理，该管道包含一个标记器(tagger)、一个词法器(lemmatizer)、一个解析器(parser)和一个实体识别器(entity recognizer)，经过这些步骤处理后形成最终的doc对象，再从中选出与关键词词性相同的候选同义词作为关键词的最终候选词。

S6：将新闻文本的句子向量序列s＝{x

所述LSTM包括：遗忘门、细胞单元、输入门和输出门；

所述遗忘门如下：

其中，f

所述输入门如下：

其中

所述输出门如下：

其中

S7：根据第一新闻文本向量和第二新闻文本向量的余弦相似度，将余弦相似度超过设定阈值的第一新闻文本向量映射为文本并作为新闻文本的对抗样本；

cos(V

cos([v

其中，V

S8：将新闻文本的对抗样本和新闻文本作为训练样本对目标模型进行训练，并根据新闻文本的标签信息创建目标损失函数，通过反向传播的机制更新目标模型的参数：

J(θ,x,y)＝αL(θ,x,y)+(1-α)L(θ,x

其中，L(θ,x,y)表示原始单词x在分类任务中分类为y的损失函数，L(θ,x

所述目标模型包括：基于神经网络的新闻分类模型，例如，CNN或RNN神经网络。

本发明对句子级状态和多个单词级子状态进行特征提取，表示出包含上下文语义关系的句子向量；通过同义词对原文本中对应的关键词进行替换，并结合包含上下文语义关系的新闻文本向量，能够生成与原始文本的语义相似度高的对抗文本，即得到高质量的对抗文本，进而利用该高质量对抗文本可以对目标模型进行有效的训练，以使训练后的目标模型具有高鲁棒性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。