一种基于时空稀疏学习的鲁棒图卷积神经网络方法

技术领域

本发明属于图的对抗攻击与防御领域，尤其涉及一种使用时空稀疏学习提高模型面对扰动的鲁棒性的领域。

背景技术

近年来，图神经网络(GNN)在社交网络，化学成分结构，生物基因蛋白等各种图结构数据上的成功应用引起了越来越多的关注。但是，最近的工作指出，GNN容易受到对抗攻击，这可能会使安全关键的GNN应用程序崩溃，例如自动驾驶，医疗诊断。

GNN对抗攻击的主要思想是更改图结构的拓扑信息或节点的特征信息以有意干扰分类器。在生成图的对抗攻击方面，Dai等人研究了基于强化学习的非目标规避攻击RL-S2V[1]。而Zugner提出了一种中毒攻击方法Nettack，可以更改训练数据以对目标节点进行错误分类[2]。此外，Zugner等人还提出在训练过程中使用元梯度来解决攻击中的最小-最大问题，并提出了一种降低整体分类性能的攻击方法[3]。另一方面，Xu等人通过凸松弛简化了图的离散问题，从而提出了基于梯度的拓扑攻击[4]。

在提升图上的鲁棒性的方法方面，Wu等人通过保留与其节点具有较高Jaccard相似度的相邻节点来提高模型的鲁棒性[5]。RGCN模型使用高斯分布作为图的所有卷积层中节点的隐藏表示，并通过注意力机制吸收对抗性攻击的影响来降低高斯分布的方差[6]。Zugner等人提出了仅针对节点属性的扰动而基于凸松弛的稳健证明，并使用半监督属性来提高模型的稳健性[7]。PA-GNN模型学习通过类似域的其他干净图的信息来惩罚扰动的能力，并将其转移到目标中毒图[8]。

与现有提升图上的鲁棒性的方法不同，本专利建议从时空稀疏性的角度构造图上的健壮的特征空间并在图中传播每个节点的健壮的特征表示，而不针对特定的扰动。本专利的动机是表明健壮模型与常规模型不同，其不同之处在于健壮的模型倾向于学习更有意义的更加显著的数据特征[9]。这种现象促使本专利采用稀疏表示来构造健壮的特征表示，只保留显著的特征，以减少弱相关特征的影响，进而提高模型的鲁棒性。同时，这种稀疏表示已在计算神经科学中得到广泛使用[10]。

因此，本专利提出了一种稀疏表示学习框架(ST-SparseGCN)，以提高GNN模型的鲁棒性。提出的框架不仅可以学习通过空间稀疏化激活最显着的特征，而且可以通过时间稀疏化学习扩展潜在的活动特征集，以便可以从较大的显着特征池中动态选择活动特征，进而增强了模型泛化能力。

发明内容

发明目的：本发明提供了一种基于时空稀疏学习的鲁棒图卷积神经网络方法(ST-SparseGCN)，有效提高模型适应扰动的影响，提高存在扰动情况下的节点识别的准确率，提升模型的稳健性和鲁棒性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于时空稀疏学习的鲁棒图卷积神经网络方法(ST-SparseGCN)，包括以下步骤：

步骤1)给定图结构数据，包含用来表示节点特征的特征向量矩阵X、用来表示图中的连接关系的邻接矩阵A以及对应的节点类别标签，初始化激活频率矩阵

步骤2)将图结构数据输入图卷积神经网络层，得到各个节点的隐藏特征表示。

步骤3)将各个节点的隐藏特征表示输入空间稀疏化模块，得到各个节点的稀疏隐藏特征表示。

步骤4)根据稀疏隐藏特征表示的激活位置，更新激活频率矩阵。

步骤4-1)统计稀疏隐藏特征表示中未被置0的特征值的维度。

步骤4-2)在时间权重矩阵中将与所统计的维度的相同位置加1。

步骤5)通过激活频率矩阵生成时间权重矩阵。

步骤6)将时间权重矩阵赋予各个节点的稀疏隐藏特征表示，得到各个节点的时空稀疏隐藏特征表示。

步骤7)重复步骤2)至步骤6)，构成多层的图卷积神经网络，并训练整个模型

步骤8)利用训练好的模型，评估不带有扰动和带有扰动的测试节点的类别。

有益效果：

1)本发明给出一种基于时空稀疏学习的鲁棒图卷积神经网络方法，通过探索如何构造一个稳健的特征空间来表示节点以防御对抗性攻击，并尽力挖掘图结构数据中每个节点的鲁棒隐藏特征。

2)为了验证所提出的ST-SparseGCN模型的有效性，本发明方法对多个数据集进行了广泛的实验。实验结果表明，ST-SparseGCN可以在分类精度方面显着提高GCN模型的鲁棒性和稳定性。同时，本发明方法还通过实验分析了模型的参数敏感性。

附图说明

图1为本发明方法具体实施流程图；

图2为时空稀疏学习概念示意图；

图3为本发明方法总体结构示意图；

图4为TopK与ReLu函数对比示意图；

图5为本发明方法的参数敏感性实验示意图；

具体实施方式

本发明给出了基于时空稀疏学习的鲁棒图卷积神经网络方法实施例，为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明：

如图1所示，一种基于时空稀疏学习的鲁棒图卷积神经网络方法，在图卷积神经网络的基础下，通过时空稀疏学习去构造鲁棒的特征表达，不仅可以学习通过空间稀疏化激活最显著的特征，而且可以通过时间稀疏化学习扩展潜在的活动特征集，以便可以从较大的显著特征池中动态选择活动特征，从而增强了模型泛化能力。

时空稀疏学习的基本思想结构如图2所示，空间稀疏化主要用于将GNN输出的密集节点矢量转换为稀疏高维矢量，其中仅激活顶部的K个显著特征。在GNN训练过程中，时间稀疏性进一步沿时间维度稀疏了活动特征。更具体地，每个有效特征尺寸的占空比是稀疏的，从而将不会大量使用每个有效特征。

完整的网络结构如图3所示，该网络结构包括图卷积网络和时空稀疏学习架构。其中ST-Sparse层的输出作为GCN层的输入，GCN层的输出作为下一层ST-Sparse层的输入，最后通过Softmax函数生成各个节点的类别预测值。本发明方法具体实施流程图如图1所示，其过程如下：

步骤1)给定图结构数据，包含用来表示节点特征的特征向量、用来表示图中的连接关系的邻接矩阵以及对应的节点类别标签，初始化激活频率矩阵

准备好图结构数据的节点特征信息X和边邻接信息A，并以均值为0，方差为0.01来随机初始化整个模型网络权重参数，初始化激活频率矩阵，其中尺寸为上一层GCN输出的维度，值全为0。

步骤2)将图结构数据输入图卷积神经网络层，得到各个节点的隐藏特征表示。具体而言将图的邻接矩阵A和特征向量矩阵X输入图卷积网络层，图卷积网络层可表示为：

其中，

步骤3)将各个节点的隐藏特征表示输入空间稀疏化模块，得到各个节点的稀疏隐藏特征表示。即将图卷积层输出的所有节点的隐藏特征表示所构成的矩阵，通过TopK函数稀疏化，只保留每个节点的隐藏特征表示的值最大的前K个特征，并将其他特征全部置0，可形式化的表示如下：

s

其中，s

步骤4)根据稀疏隐藏特征表示的激活位置，更新激活频率矩阵。其具体步骤如下所示：

步骤4-1)统计稀疏隐藏特征表示中未被置0的特征值的维度。

步骤4-2)在时间权重矩阵中将与所统计的维度的相同位置加1。

步骤5)通过激活频率矩阵生成时间权重矩阵。具体而言，本发明方法通过指数平滑函数来生成时间权重矩阵，其表达式为：

其中，

步骤6)将时间权重矩阵赋予各个节点的稀疏隐藏特征表示，得到各个节点的时空稀疏隐藏特征表示，即将时间权重矩阵点乘由TopK函数生成的稀疏隐藏特征表示，其表达式为：

其中，

步骤7)重复步骤2)至步骤6)，构成多层的图卷积神经网络，并训练整个模型。多层模型计算后通过Softmax函数得到预估的节点分类作为模型的输出，训练过程中的损失函数L为输出样本与部分标记样本V

其中，θ表示所有参数的集合，c

步骤8)利用训练好的模型，评估不带有扰动和带有扰动的测试节点的类别。其中带有扰动的测试节点一方面是指该节点与其他节点有错误的联系，或者丢失部分与原有的相邻节点的联系，即在图上与其他节点有异常的边连接，或者是丢失部分与相邻节点的边，另一方面是指该节点自身的特征存在异常的特征。本发明方法将通过DICE，Nettack，Meta-Self三种方法，生成带有扰动的节点。

为了评估ST-SparseGCN方法的鲁棒性和有效性，在深度学习框架PyTorch和深度学习扩展库PyG上进行了实验。并将其与图卷积网络(GCN)和鲁棒图卷积网络(RGCN)进行节点级半监督分类的性能比较。为了公平地比较，本发明方法在实验中为不同的模型设置了相同的通用参数。具体来说，本发明方法建议将层数固定为2，将模型训练的次数固定为1000。对于所有比较模型，本发明方法建议将优化算法Adam的学习率固定为0.01。此外，根据验证集调整ST-SparseGCN模型中的唯一超参数，以实现最佳的鲁棒性能。同时，本发明方法报告了所有实验的最终结果是通过平均10次运行获得的。

为了对ST-SparseGCN进行全面研究，本发明方法在三个著名的图数据集上评估了所提出的方法：Cora，Citeseer和Pubmed，其中节点代表文档，边代表引文。然后，本发明方法将每个节点的稀疏词袋特征向量作为模型的输入。表1逐项列出数据集的基本信息。而且，本发明方法在实验中对同一数据集使用相同的训练集，测试集和验证集，以公平地评估不同模型的性能。

表1数据集基本信息

为了正确地测量扰动的影响，本发明方法首先评估了ST-SparseGCN和基准模型GCN和RGCN在不同干净数据集上的性能。表2中报告了带有标准差的平均准确度。该结果表明，基于时空稀疏学习规则的图卷积模型在干净数据集上仍能表现出色的性能。尽管与所有基线模型相比，ST-SparseGCN在干净的数据集上没有明显的性能改进。它为本发明方法继续讨论存在扰动攻击时模型的鲁棒性奠定了基础。

表2在不带扰动的数据集上的准确率

本发明方法使用DICE、Nettack、Meta-Self三种不同的攻击方法生成带有扰动的节点，并以此来评估基于时空稀疏学习的鲁棒图卷积神经网络方法。在表3中，本发明方法介绍了不同模型不同攻击方法的平均准确性。从表3中可得出以下观察结果：

1)所有模型的精度都随着扰动大小的增加而迅速下降。这表明图网络模型容易受到干扰。

2)ST-SparseGCN可以在不同的情况下实现更高的性能，因为ST-SparseGCN在GCN的每一层中都构建了强大的功能空间；

3)当扰动幅度较大或扰动幅度较小时，三个模型之间的精度差异减小。

4)在Pubmed数据集中，ST-SparseGCN的性能与RGCN相比没有显着改善，本发明方法认为这与数据集有关。具体来说，Pubmed数据集是一个简单的数据集，其中包含一袋长度为500的单词向量和3个类别的单词向量。因此，Pubmed数据集的性能在扰动的影响下性能下降缓慢。

表3在带扰动的数据集上的准确率

经实验验证，基于时空稀疏学习的鲁棒图卷积神经网络方法可以很好地构造鲁棒的特征空间，并且在面对各种不同的对抗攻击时表现出良好的防御效果。

图4展示了TopK函数与ReLu函数之间的对比。图4：a显示了使用TopK和ReLu函数的GCN对输出节点的隐藏特征表示的激活率。TopK函数在整个训练周期中保持一个恒定的很低的激活比率，而ReLu函数随着训练周期的增长，激活的比率会上升的很高，这不利于模型学习鲁棒的特征。图4：b显示了TopK和ReLu函数的函数图像。TopK函数的激活对象包含于ReLu函数，所以单独使用TopK函数,并不会额外激活原本在ReLu函数中没有激活的特征。

同时，图5提供了该模型的参数敏感性实验。图5：a和图5：b显示具有时间稀疏性的模型可以在不同程度的空间稀疏性上显示出更好的性能。此外，当控制空间稀疏性的超参数α在一定范围内时，ST-SparseGCN的精度基本上保持不变。但是，将α设置得太小会降低性能，这可能是因为激活的特征的数量太少，不足以使模型区分不同的节点。

同样，图5：c和图5：d表明了不同的输出特征维度对模型的影响。无论是干净数据集还是扰动数据集，当维数太低时，性能都会大大降低。当维度达到一定大小然后继续增加时，性能几乎保持不变。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。对于本技术领域的技术人员来说，在不脱离本发明技术构思前提下所得到的改进和变换也应视为本发明的保护范围。

以下给出检索的相关文献：

[1]H.Dai et al.,“Adversarial attack on graph structured data,”in 35thInternational Conference on Machine Learning,ICML 2018,2018,vol.3,pp.1799–1808.

[2]D.Zügner,A.Akbarnejad,and S.Günnemann,“Adversarial attacks onneural networks for graph data,”in Proceedings of the ACM SIGKDDInternational Conference on Knowledge Discovery and Data Mining,2018,pp.2847–2856.

[3]D.Zügner and S.Günnemann,“Adversarial attacks on graph neuralnetworks via meta learning,”in 7th International Conference on LearningRepresentations,ICLR 2019,2019,pp.1–15.

[4]H.Xu et al.,“Adversarial Attacks and Defenses in Images,Graphs andText:A Review,”2019.

[5]H.Wu,C.Wang,Y.Tyshetskiy,A.Docherty,K.Lu,and L.Zhu,“AdversarialExamples on Graph Data:Deep Insights into Attack and Defense,”2016.

[6]M.Jin,H.Chang,W.Zhu,and S.Sojoudi,“Power up！Robust GraphConvolutional Network against Evasion Attacks based on Graph Powering,”pp.1–14,2019.

[7]D.Zügner and S.Günnemann,“Certifiable robustness and robusttraining for graph convolutional networks,”in Proceedings of the ACM SIGKDDInternational Conference on Knowledge Discovery and Data Mining,2019,pp.246–256.

[8]X.Tang,Y.Li,Y.Sun,H.Yao,P.Mitra,and S.Wang,“Robust Graph NeuralNetwork Against Poisoning Attacks via Transfer Learning,”in WSDM 2020,2019.

[9]D.Tsipras,S.Santurkar,L.Engstrom,A.Turner,and A.Madry,“Robustnessmay be at odds with accuracy,”in 7th International Conference on LearningRepresentations,ICLR 2019,2019,pp.1–24.

[10]S.Ahmad and J.Hawkins,“How do neurons operate on sparsedistributed representations？A mathematical theory of sparsity,neurons andactive dendrites,”pp.1–23,2016.