一种基于元图的网络恶意行为检测方法及设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于元图的网络恶意行为检测方法及设备。

背景技术

基础的基于机器学习的恶意行为检测一般由特征工程模型和异常检测模型构成。特征工程模型通过不同架构的深度神经网络，学习不同类型的行为数据特征，也可以通过多模态方法，将多种不同类型行为数据映射到统一的特征空间中；异常检测模型，目的是在前表示能力的行为特征基础上，通过无监督或弱监督的方法进行训练，捕获大批量数据中的异常值。异常检测模型可以分为基于聚类和基于分类的，也可以与特征学习融合学习正常样本的底层流形。

考虑到互联网与社交网络环境，自动化网络恶意行为检测不仅需要考虑行为特征，还需要考虑网络结构，其基础是对网络拓扑结构，网络交互对象实体，和网络行为进行明确定义和针对下游任务目标的建模。一般可以通过定义图，异构图或多关系图对网络场景进行抽象，并对图中节点和边的赋予特定属性特征，并使用图神经网络进行优化和预测。早期图建模方法要么依赖于道路网络的自然拓扑(即，二进制邻接图)，要么依赖于某些度量中的预定义图(例如，欧几里德距离)。GSL旨在共同学习图结构及其对应的节点(或图)表示。简而言之，GSL方法分为以下三类：(1)基于度量函数从节点嵌入中导出边缘权重的基于度量的方法；(2)使用神经网络从节点嵌入学习图结构的基于神经的方法；(3)将邻接矩阵或节点嵌入字典视为可学习参数的直接方法。GSL已被应用于时间图数据。一些工作使用可学习节点嵌入字典从数据自适应地学习邻接矩阵。然而，这些GSL方法仅限于小于1k时间步长的短序列，并且不能捕获动态演化的图结构。

发明内容

本申请实施例提供一种基于元图的网络恶意行为检测方法及设备，将元图卷积递归网络与元学习回归图神经网络模型相结合，共同实现对水军行为的检测，提高对水军发文行为检测的准确率和效率。

本申请实施例提供一种基于元图的网络恶意行为检测方法，包括：

获取所需的用户数据；

将所述用户数据输入训练完成的网络恶意行为检测模型，以通过所述网络恶意行为检测模型输出检测结果，其中所述网络恶意行为检测模型包括：社交网络图构建单元、元图卷积递归网络模型、元学习回归图神经网络模型和元图强化学习框架；

所述社交网络图构建单元用于基于所述用户数据构建社交网络图，并将构建的社交网络图分别输入到元图卷积递归网络模型、元学习回归图神经网络模型和元图强化学习框架，以基于所述元图卷积递归网络模型、所述元学习回归图神经网络模型和所述元图强化学习框架共同输出检测结果；

其中，所述元图卷积递归网络模型包括编码器、解码器和元图学习器，所述编码器和所述解码器是以图卷积递归单元作为基本单元来构建的，所述元图学习器用于对于所述编码器的输出，根据构建的元节点库并利用超级网络，向所述解码器输入反馈信息；

所述元学习回归图神经网络模型基于回归GNN网络，所述回归GNN网络包括两个图卷积层和一个完全连接层；

所述元图强化学习框架是基于深度强化学习(DRL)的框架，包括图池模块、候选节点预测模块和识别模块，其中所述图池模块充当环境池，所述候选节点预测模块用于基于AIM搜索算法提供一组候选节点，所述识别模块用于处理DRL代理。

可选的，获取所需的用户数据之后还包括采用如下方式进行词义消歧：

构建单语共现图G

采集所述用户数据中各共现名词或形容词对(cw

w(v

其中，p()表示条件概率，由cw

配置一组目标语言，将所述单语共现图G

计算多语言图中的根枢纽，以区分源语言中目标单词的意义，满足：

其中d是阻尼因子，deg(v

给定源语言中目标单词w的上下文W，使用MST查找w中最相关的单词以消除歧义。

可选的，使用MST查找w中最相关的单词以消除歧义包括：

通过计算正确的中心disHub来找到相关节点，仅保留链接到disHub的节点，定义W

其中d(cw)是一个函数，根据与w的距离为cw分配权重，dist(cw，h)由MST中cw与h之间的边数给出；

对翻译计数求和以对每个翻译进行排序；

定义两个翻译之间的相似性度量如下：

其中

通过最大化相似性度量来验证翻译的准确性，以完成跨词汇资源对齐。

可选的，所述元图卷积递归网络模型的图卷积递归单元采用图卷积运算和门控递归单元(GRU)的定义来表示GCRU作为基本单元，满足：

其中，X∈R

所述元图卷积递归网络模型采用规范公式进行时空图学习，满足：

其中，通过对可训练节点嵌入E的矩阵乘积的非负部分进行归一化的随机游走来导出

所述元图学习器用于根据构建的元节点库

其中，上标(i)作为行索引，

所述超级网络用于将GSL节点嵌入的生成以元节点库为条件，公式化为：

其中NN

所述元图学习器采用元图卷积递归网络(MegaCRN)作为通用框架。

可选的，所述元学习回归图神经网络模型基于回归GNN模型实现，所述回归GNN模型包括两个图卷积层和一个完全连接层，在元学习期间，每个任务T＝{L(g

对于回归，损失函数满足：

其中g

所述回归GNN模型的更新的Θ满足：

其中γ表示步长超参数，η表示元步长。

可选的，所述元图强化学习框架的候选节点预测模块基于AIM搜索算法提供一组候选节点，所述AIM搜索算法采用有限马尔可夫决策过程完成。

可选的，所述元图强化学习框架的代理通过双Q学习进行训练，其中一个估计器确定下一状态的最佳可能动作，而另一个估计器提供所选动作的Q值，满足如下更新方式：

其中，Q

本申请实施例还提出一种计算机设备，包括：处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的基于元图的网络恶意行为检测方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的基于元图的网络恶意行为检测方法的步骤。

本申请实施例将元图卷积递归网络与元学习回归图神经网络模型相结合，共同实现对水军行为的检测，提高对水军发文行为检测的准确率和效率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例的网络恶意行为检测整体框架示例；

图2为本申请实施例的元图卷积递归网络模型结构示例；

图3为本申请实施例的元学习回归图神经网络模型结构示例；

图4为本申请实施例的元图强化学习框架结构示例。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

1.图形结构学习(GSL)

早期的方法要么依赖于道路网络的自然拓扑(即，二进制邻接图)，要么依赖于某些度量中的预定义图(例如，欧几里德距离)。GSL旨在共同学习图结构及其对应的节点(或图)表示。简而言之，GSL方法分为以下三类：(1)基于度量函数从节点嵌入中导出边缘权重的基于度量的方法；(2)使用神经网络从节点嵌入学习图结构的基于神经的方法；(3)将邻接矩阵或节点嵌入字典视为可学习参数的直接方法。GSL已被应用于时间图数据。一些工作使用可学习节点嵌入字典从数据自适应地学习邻接矩阵。然而，这些GSL方法仅限于小于1k时间步长的短序列，并且不能捕获动态演化的图结构。

2.图神经网络(GNN)

图神经网络是一类具有图形卷积层的深度学习技术，在大量计算机视觉应用中优于现有方法。最近，由于它们在有效建模样本之间的相关性方面的独特能力，它们受到了广泛关注。它们提供了一种有效的解决方案来集成各种信息。

GNN是对保持图对称性(排列不变性)的图的所有属性(节点、边、全局上下文)的可优化转换。对称信息指的是把这个顶点进行另外一个排序后，整个结果是不会变的。GNN的输入是一个图，输出也是一个图，它会对你的图的属性(点，边，全局信息)进行变换，但不会改变图的连接性，就是哪条边连接哪条顶点，这个信息是不会改变的。

3.元图卷积递归网络

它能够简单地依赖于观测数据，以保持稳健并适应正常到非平稳的情况。元图卷积递归网络主要包括图卷积递归单元和元学习器。其中，元学习器学习包括两个步骤：(1)从元节点库查询节点级原型；(2)使用超网络动态重建节点嵌入。这种局部记忆能力使模块化元图学习器能够在时间上基本上区分不同的时空模式，这甚至可以推广到事故情况。

4.元学习回归图神经网络

元学习回归图神经网络一方面适当地包括了社交网络发文行为的图形结构，并有效地建模了它们之间的相关性，另一方面，由于学习，使回归GNN模型更加灵活，同时减少了一些问题的影响。该网络在建模数据之间的相关性方面显示出独特的能力，并结合了全局和局部拓扑特性来预测行为得分。通过减少样本异质性的影响来提高预测性能。该网络在灵活性和性能之间表现出很好的平衡，并且可以用于遭受类内高可变性问题的其他应用领域。

5.元学习

元学习(Meta-Learning)通常被理解为“学会学习(Learning-to-Learn)”，指的是在多个学习阶段改进学习算法的过程。在基础学习过程中，内部(或下层/基础)学习算法解决由数据集和目标定义的任务。在元学习过程中，外部(或上层/元)算法更新内部学习算法，使其学习的模型改进外部目标。因此，元学习的核心想法是学习一个先验知识(prior)。

元学习的含义有两层，第一层是让机器学会学习，使其具备分析和解决问题的能力，机器通过完成任务获取经验，提高完成任务的能力；第二层是让机器学习模型可以更好地泛化到新领域中，从而完成差异很大的新任务。

本申请实施例提供一种基于元图的网络恶意行为检测方法，包括：

获取所需的用户数据。通过各大社交平台获取相应的用户数据，以此来构成所需要的数据集，经过后续操作判断和检测社交网络的水军行为。例如在训练过程中可以对水军行为进行标记来构建数据集合，从而完成训练。

将所述用户数据输入训练完成的网络恶意行为检测模型，以通过所述网络恶意行为检测模型输出检测结果，其中如图1所示，所述网络恶意行为检测模型包括：社交网络图构建单元、元图卷积递归网络模型、元学习回归图神经网络模型和元图强化学习框架。

所述社交网络图构建单元用于基于所述用户数据构建社交网络图，例如定义为G＝(V,E)，并将构建的社交网络图分别输入到元图卷积递归网络模型、元学习回归图神经网络模型和元图强化学习框架，以基于所述元图卷积递归网络模型、所述元学习回归图神经网络模型和所述元图强化学习框架的数据协同处理得到检测结果。

其中，所述元图卷积递归网络模型包括编码器、解码器和元图学习器，所述编码器和所述解码器是以图卷积递归单元作为基本单元来构建的，所述元图学习器用于对于所述编码器的输出，根据构建的元节点库并利用超级网络，向所述解码器输入反馈信息。

所述元学习回归图神经网络模型基于回归GNN网络，所述回归GNN网络包括两个图卷积层和一个完全连接层。

所述元图强化学习框架是基于深度强化学习(DRL)的框架，包括图池模块、候选节点预测模块和识别模块，其中所述图池模块充当环境池，所述候选节点预测模块用于基于AIM搜索算法提供一组候选节点，所述识别模块用于处理DRL代理。

所述数据协同处理机制利用元图卷积递归网络模型进行图结构和特征学习，元学习回归图神经网络模型进行网络评分，元图强化学习框架在二者基础上进行强化地异常(水军)节点识别。

本申请实施例将元图卷积递归网络与元学习回归图神经网络模型相结合，共同实现对水军行为的检测，提高对水军发文行为检测的准确率和效率。

由于社交网络环境复杂，语言众多导致一些翻译的错误，而且有时候会因为词义分歧的原因会导致结果判断错误，本实施例在进行水军行为检测前进行词义的消歧，从而来提高检测的准确率。在一些实施例中，采用如下方式进行词义消歧：

定义C是源语言s中目标词w的所有上下文，构建单语共现图G

然后采集所述用户数据中各共现名词或形容词对(cw

w(v

其中，p()表示条件概率，给定单词cw

配置一组目标语言L，将所述单语共现图G

计算多语言图中的根枢纽，以区分源语言中目标单词的意义，满足：

其中，d是阻尼因子，deg(v

给定源语言中目标单词w的上下文W，使用MST查找w中最相关的单词以消除歧义。

在一些实施例中，使用MST查找w中最相关的单词以消除歧义包括：

通过计算正确的中心disHub(即意义)来找到相关节点，仅保留链接到disHub的节点，定义W

其中d(cw)是一个函数，根据与w的距离为cw分配权重，dist(cw，h)由MST中cw与h之间的边数给出。

对翻译计数求和以对每个翻译进行排序；

本申请实施例提出一种基于翻译的跨词汇资源对齐方法，其通过最大化相似性度量来验证翻译的准确性，以完成跨词汇资源对齐。

通过最大化翻译之间的词汇交集，将给定的源单词映射到目标单词，定义两个翻译之间的相似性度量如下：

其中

在一些实施例中，如图2所示，所述元图卷积递归网络模型引用元图卷积递归网络，通过此模型来对多个社交账号进行识别。其主要包括图卷积递归单元和元学习器，其中图卷积递归单元受图形卷积网络(GCN)作为图形结构化数据(如社交网络)表示学习的成功启发，实现了将图形卷积运算注入递归单元(如LSTM)的可能性。由此，导出的图卷积递归单元(GCRU)可以以顺序方式同时捕获由输入图拓扑表示的空间依赖性和时间依赖性。本实施例中在不失一般性的情况下，采用图卷积运算和门控递归单元(GRU)的定义来表示GCRU作为基本单元，满足：

其中，X∈R

对于图形结构学习，矩阵

其中，通过对可训练节点嵌入E的矩阵乘积的非负部分进行归一化的随机游走来导出

另一种GSL策略，瞬时图可以用输入信号X

其中参数矩阵W本质上将H

对于元图学习器，本实施例中提出了一个新的时空图(STG)学习模块。术语“元图”是为了表示用于图结构学习的节点嵌入的生成而创造的，这与异构信息网络(HIN)中的定义不同。根据上述两个等式中的定义，自适应图仅依赖于参数化节点嵌入E，而瞬时图实际上是输入条件的(用参数W投影X

旨在记忆所见样本中的典型特征，以便进一步进行模式匹配。希望将记忆和区分能力注入到时空图学习中。本申请实施例利用了内存网络的思想，所述元图学习器用于根据构建的元节点库

其中，上标(i)作为行索引，

其中NN

所述元图学习器采用元图卷积递归网络(MegaCRN)作为通用框架。

具体的本实施例中利用所描述的元图学习器，引用元图卷积递归网络(MegaCRN)作为建模的通用框架。可以通过端到端的方式对其进行优化。MegaCRN在元节点库中学习模式的节点级原型，以基于观察到的情况自适应地更新辅助图。为了进一步增强其对不同路径上不同场景的区分能力，使用两个约束来稀疏基于注意力的查询机制，包括一致性损失

其中T表示训练集合中的序列(即样本)总数，p，n表示通过在给定局部查询

在一些实施例中，如图3所示，所述元学习回归图神经网络模型基于回归GNN模型实现，其表示为f，它将社交网络图G映射到行为得分s。与元图卷积递归网络相结合，共同决定结果。所述回归GNN模型包括两个图卷积层和一个完全连接层，在元学习期间，回归GNN模式被训练为能够适应大量任务，每个任务T＝{L(g

对于回归GNN模型，损失函数满足：

其中g

Meta-RegGNN的目的是为快速适应准备回归GNN模型。因此，GNN可能了解与p(T)中所有任务相关的社交网络发文行为的内部特征。为此，首先找到对给定任务中的修改作出响应的RegGNN模型参数，因此参数中的小修改会对社交网络发文行为中的任何任务的损失函数产生很大的改进。该模型由参数为Θ的参数化函数f

其中γ表示步长超参数。在回归GNN模型参数Θ上实现元优化，同时使用更新的回归GNN参数Θ′计算目标。事实上，Meta-RegGNN旨在优化模型参数，以便新任务上的一个或少量梯度步骤产生有效的行为。

通过任务进行元优化，以更新回归GNN模型参数Θ，回归GNN模型的更新的Θ满足：

其中γ表示步长超参数，η表示元步长。

为了正确考虑社交网络水军行为的图形结构并有效地建模数据样本之间的相关性，本实施例的回归GNN网络，其由两个图卷积层和一个完全连接层组成。给定连接体C的相关矩阵是对称的，可以具有零或正特征值，可以简单地将其正则化为对称正定，根据：

I′＝C+μI

其中I表示单位矩阵，μ＞0。事实上，由于正相关被证明在分析大脑网络中更重要，所有负特征值都被设置为零，以训练的回归GNN。因此，回归GNN接收连接体的正则化正邻接矩阵I′，并使用图卷积预测相应的行为得分。这减少了连接体的大小，并学习了嵌入。在第一次图形卷积运算之后，添加了一个用于正则化的丢弃层。最后，获得的嵌入经过一个完全连接的层，该层产生标量输出(IQ分数)。

在一些实施例中，如图4所示，所述元图强化学习框架是一种GNN融合元强化学习框架，元图强化学习框架是一种基于深度强化学习(DRL)的框架，用于学习识别激活知情影响最大化(AIM)的最优子集，AIM一种通用的影响最大化(IM)公式，它包含了两种类型的激活。该框架有各种新颖的方面：(1)元学习，以实现跨不同图形类型和大小的预测；(2)双Q学习(一种强化学习算法)来估计子节点的序列，而无需在每个测试时间解决计算密集型优化问题；(3)用于多个AIM目标的系统平衡的单策略多目标奖励公式。

所述元图强化学习框架的候选节点预测模块基于AIM搜索算法提供一组候选节点，所述AIM搜索算法采用有限马尔可夫决策过程完成。

有限马尔可夫决策过程

识别AIM子节点的最佳集合的任务是一个顺序过程，一次添加一个节点。更重要的是，决定流程任何步骤节点选择的因素仅取决于添加到序列中的最后一个节点(解决方案集)。因此，该过程遵循马尔可夫性质，因此被公式化为马尔可夫决策过程(MDP)。此外，在过程的任何步骤，动作空间是有限的，即，必须从有限的节点集合中选择节点。因此，更准确地说，该过程可以称为有限MDP。在深度强化学习(DRL)背景下定义任何有限MDP的关键要素是：

状态表示当前解决方案集，其中节点按顺序附加以形成最终AIM解决方案集。因此，状态的基数会随着进程不断增加。因此，需要固定维度的状态表示向量(X

X

其中，S

动作是指将新节点u添加到部分解集S

奖励量化了采取行动的益处。AIM公式有两个目标，这生成了两个奖励函数。第一奖励(R

R

其中，算子

环境：它是一个与之交互的代理世界，由代理之外的一切组成。这里，环境是一个图表。这些交互不断发生，即代理选择节点，图形环境响应这些动作并向代理呈现新情况。

策略：是一种策略或建议行动，DRL代理应在环境的每个状态下采取，以实现学习目标。它是可行节点上的概率分布，可以添加到部分解集S

终止：在每一集，搜索从候选集中的一个随机节点开始，估计的节点被附加到部分解集，一次一个(每集的每个步骤一个)。当解集S

元图强化学习(GraMeR)

GraMeR由三个模块组成，第一个模块充当一个环境池，其中包含来自不同系列和大小的训练图。第二个模块提供了一组候选节点，AIM搜索算法将在这些节点上实现。最后，第三个模块处理DRL代理。训练代理的过程开始于从池中随机选择图G

GraMeR中的代理通过Q学习进行训练，因为它是一个离散的有限MDP。Q学习最大化了代理与环境交互过程中采取的行动的累积回报。未来的奖励取决于当前采取的行动。动作的最佳值(即Q值)对应于使Q值最大化的最佳策略。Q值可以根据贝尔曼方程迭代更新：

使用了单个估计器，使用上述等式的Q学习在实践中通常会受到高估，该估计器确定下一状态下具有最高Q值的最佳动作以及该最佳动作的Q值。为了避免高估，本申请实施例引用了一个双Q学习，使用了两种不同的估计。一个估计器确定下一状态的最佳可能动作，而另一个(目标网络Q

Q

θ是调谐参数，r和γ为参数。本地网络(Q

元Q学习，GraMeR中引入了元学习属性，以快速高效地解决未知任务。通常，元强化学习方法包含两个优化器循环。外部优化器在每次迭代中对新环境进行采样，并调整决定代理行为的参数。在内部循环中，代理与环境交互并优化以获得最大回报。与大多数环境一样，获取整个环境的表示向量是不可行的。因此，跨环境的学习是通过外部优化器捕获的。然而，在AIM的情况下，环境是一个图，可以通过单个图嵌入向量非常准确地表示。因此，跳过外部优化器，将整个环境(图)信息(图嵌入向量)以及状态和动作提供给训练算法。这使得Q学习能够通过单个优化器捕获环境的变化。然后代理的精确更新满足如下更新方式：

Q

其中，Q

GNN编码：与图类似，还需要表示状态(部分解集)和动作(节点)的向量。在这方面，引用一种GraphSAGE来估计节点嵌入。此后，状态S

多目标塑造：与状态和行动一起，奖励功能需要为AIM明确设计，因为它包含多个目标。第一个目标与最大化影响扩散相关，而另一个目标对应于最大化子节点的内在概率。因此，GraMeR属于多目标DRL的范畴。

采用单一策略方法，通过将两个目标与已知偏好权重相结合来学习一个最优策略。准确地说，在事件的每一步，奖励都是针对每个目标单独计算的，并与状态和行动一起累积在缓冲区中。然后，使用线性标量化技术组合两个目标的Q值，以生成用于选择动作的单个Q值。

由此，利用本实施提出的三种模型协同决定水军的检测结果，具体可以采用如下方式：

在得到大量社交网络图模型后，元图卷积递归网络模型完成节点级别特征学习，通过基于递归图神经网络的编解码器捕获节点序列特征表示，并结合图形结构学习(GSL)同步优化更新节点表示和社交网络图拓扑结构。

元学习回归图神经网络模型完成图级别回归任务并设计元学习机制强化适应性，为不同社交网络图进行任务驱动的打分从而为每个社交网络图生成行为分数，在本实例中社交网络行为异常程度越高，行为分数越高，行为分数作为样本重要性权重用于训练模型整体。

元图强化学习框架用于强化节点分类，利用上述经过优化的图结构，节点特征，和该图的行为分数，结合元图强化学习机制，从图池中的社交网络网络图中以一定的可学习策略选择异常节点(即水军节点)。

本申请实施例的图形结构学习。除了序列建模之外，通过通用图形结构捕捉变量(交通数据中的道路连接)之间的相关性。此处的可学习图是时间(输入)变量，可以很好地处理即将到来的数据中的突然变化，此处的图是细分的，其中每个节点嵌入都是根据其原型(元节点)精细定制的。

本申请实施例的元图卷积递归网络，元图卷积递归网络主要包括图卷积递归单元和元学习器。元图卷积递归网络能够简单地依赖于观测数据，以保持稳健并适应正常到非平稳的情况。将由元节点库驱动的元图学习器插入图卷积递归单元编码器-解码器中。其中，元学习器学习包括两个步骤：(1)从元节点库查询节点级原型；(2)使用超网络动态重建节点嵌入。这种局部记忆能力使模块化元图学习器能够在时间上基本上区分不同的时空模式，这甚至可以推广到事故情况。元图学习器明确地解开空间和时间的异质性。

本申请实施例的元学习回归图神经网络模型。一方面适当地包括了社交网络发文行为的图形结构，并有效地建模了它们之间的相关性，另一方面，由于学习，使回归GNN模型更加灵活，同时减少了一些问题的影响。该网络在建模数据之间的相关性方面显示出独特的能力，并结合了全局和局部拓扑特性来预测行为得分。此外，它确保了模型的灵活性，并支持归纳学习，从而增强了模型对未知数据的通用性。

本申请实施例的图元强化学习框架。是GNN融合了元强化学习框架，用于识别网络中有影响力的节点。首先，通过基于GNN的候选节点预测器来减少IM的搜索空间。然后使用深度Q学习来识别以GNN作为环境编码器的IM子节点。

本申请实施例通过各大社交平台来获得数据，并利用词义消歧技术对多语言的词义进行消歧，并使用一种基于翻译的跨词汇资源对齐方法，其通过最大化相似性度量来验证翻译的准确性，将元图卷积递归网络与元学习回归图神经网络模型、元图强化学习框架相结合，共同对水军行为的检测。

本申请实施例还提出一种计算机设备，包括：处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的基于元图的网络恶意行为检测方法的步骤。

本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前述的基于元图的网络恶意行为检测方法的步骤。

需要说明的是，在本申各实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本申请的保护之内。