网络流量异常确定方法、装置、电子设备和可读存储介质

技术领域

本申请涉及计算机与互联网技术领域，尤其涉及一种网络流量异常确定方法及装置、电子设备和计算机可读存储介质。

背景技术

本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

物联网的迅速发展为移动通信网络带来了许多潜在的危险，网络的攻击可能来源于任何一个物联网连接，因此物理网中的流量异常检测显得愈发重要。

因此，本申请要解决的技术问题是如何准确的对网络中流量是否出现异常进行检测。

发明内容

本申请的目的在于提供一种网络流量异常确定方法、装置、电子设备以及计算机可读存储介质，能够对异常流量进行准确的检测。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

本申请实施例提供了一种网络流量异常确定方法，包括：获取物联网系统中的物联网流量关联预测数据；对所述物联网流量关联预测数据进行词嵌入处理，获得物联网关联数据的预测向量矩阵；确定所述预测向量矩阵的秩；根据所述预测向量矩阵的秩确定变形器的多头注意力机制数量，其中所述变形器的多头注意力机制数量与所述预测向量矩阵的秩成正比；根据所述多头注意力机制数量设置所述变形器的参数；通过所述物联网流量关联预测数据对所述变形器进行训练，以便通过训练完成的所述变形器对网络流量是否异常进行判断。

在一些实施例中，根据所述预测向量矩阵的秩确定变形器的多头注意力机制数量，包括：获取物联网流量第一训练数据和所述物联网流量第一训练数据对应的网络异常标签；对所述物联网流量第一训练数据进行词嵌入处理，获得第一训练向量矩阵；通过所述第一训练向量矩阵和所述网络异常标签对所述变形器进行训练处理，获得根据所述预测向量矩阵为所述变形器确定的第一训练多头注意力机制数量；通过目标网络模型对所述第一训练向量矩阵的秩进行预测处理，获得第一预测多头注意力机制数量；通过所述第一训练多头注意力机制数量和所述第一预测多头注意力机制数量，对所述目标网络模型进行训练处理；通过训练完成的所述目标网络模型对所述预测向量矩阵的秩进行处理，确定所述变形器的多头注意力机制数量。

在一些实施例中，所述物联网流量关联预测数据包括物联网系统中的传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据；其中，所述物联网关联数据的预测向量矩阵包括：传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵和设备特征预测向量矩阵；其中，对所述物联网流量关联预测数据进行词嵌入处理，获得物联网关联数据的预测向量矩阵，包括：对所述传感器数据、所述运行数据、所述维护记录数据、所述环境条件数据以及所述设备特征数据分别进行词嵌入处理，获得所述传感器预测向量矩阵、所述运行预测向量矩阵、所述维护记录预测向量矩阵、所述环境条件预测向量矩阵以及所述设备特征预测向量矩阵；其中，确定所述预测向量矩阵的秩，包括：分别确定所述传感器预测向量矩阵、所述运行预测向量矩阵、所述维护记录预测向量矩阵、所述环境条件预测向量矩阵以及所述设备特征预测向量矩阵的秩；根据所述传感器预测向量矩阵、所述运行预测向量矩阵、所述维护记录预测向量矩阵、所述环境条件预测向量矩阵以及所述设备特征预测向量矩阵的秩，确定所述变形器的多头注意力机制数量。

在一些实施例中，根据所述预测向量矩阵的秩确定变形器的多头注意力机制数量，包括：对所述预测向量矩阵进行傅里叶变换处理，获得傅里叶频谱矩阵；根据所述傅里叶频谱矩阵确定频谱均值；根据所述频谱均值和所述预测向量矩阵的秩，确定所述变形器的多头注意力机制数量，其中所述变形器的多头注意力机制数量与所述预测向量矩阵的秩和所述频谱均值均成正比。

在一些实施例中，根据所述频谱均值和所述预测向量矩阵的秩，确定所述变形器的多头注意力机制数量，包括：获取物联网流量第二训练数据和所述物联网关联第二训练数据对应的网络异常标签；对所述物联网关联第二训练数据进行词嵌入处理，获得第二训练向量矩阵；通过所述第二训练向量矩阵和所述网络异常标签对所述变形器进行训练处理，获得根据所述预测向量矩阵为所述变形器确定的第二训练多头注意力机制数量；通过目标网络模型对所述第二训练向量矩阵的秩和所述频谱均值进行预测处理，获得第二预测多头注意力机制数量；通过所述第二训练多头注意力机制数量和所述第二预测多头注意力机制数量，对所述目标网络模型进行训练处理；通过训练完成的所述目标网络模型对所述预测向量矩阵的秩和所述频谱均值进行处理，确定所述变形器的多头注意力机制数量。

在一些实施例中，所述物联网流量关联预测数据包括物联网系统中的传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据；其中，所述物联网关联数据的预测向量矩阵包括：传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵和设备特征预测向量矩阵；其中，所述傅里叶频谱矩阵包括：传感器词频谱矩阵、运行频谱矩阵、维护记录频谱矩阵、环境条件频谱矩阵以及设备特征频谱矩阵；其中，对所述物联网流量关联预测数据进行词嵌入处理，获得物联网关联数据的预测向量矩阵，包括：对所述传感器数据、所述运行数据、所述维护记录数据、所述环境条件数据以及所述设备特征数据分别进行词嵌入处理，获得所述传感器预测向量矩阵、所述运行预测向量矩阵、所述维护记录预测向量矩阵、所述环境条件预测向量矩阵以及所述设备特征预测向量矩阵；其中，确定所述预测向量矩阵的秩，包括：确定所述传感器预测向量矩阵、所述运行预测向量矩阵、所述维护记录预测向量矩阵、所述环境条件预测向量矩阵以及所述设备特征预测向量矩阵的秩；其中，对所述预测向量矩阵进行傅里叶变换处理，获得傅里叶频谱矩阵，包括：对所述传感器预测向量矩阵、所述运行预测向量矩阵、所述维护记录预测向量矩阵、所述环境条件预测向量矩阵以及所述设备特征预测向量矩阵进行傅里叶变换处理，分别获得所述传感器词频谱矩阵、所述运行频谱矩阵、所述维护记录频谱矩阵、所述环境条件频谱矩阵以及所述设备特征频谱矩阵；其中，根据所述傅里叶频谱矩阵确定频谱均值，包括：分别确定所述传感器词频谱矩阵、所述运行频谱矩阵、所述维护记录频谱矩阵、所述环境条件频谱矩阵以及所述设备特征频谱矩阵的频谱均值；其中，根据所述频谱均值和所述预测向量矩阵的秩，确定所述变形器的多头注意力机制数量，包括：根据所述传感器词频谱矩阵、所述运行频谱矩阵、所述维护记录频谱矩阵、所述环境条件频谱矩阵以及所述设备特征频谱矩阵的频谱均值和所述传感器预测向量矩阵、所述运行预测向量矩阵、所述维护记录预测向量矩阵、所述环境条件预测向量矩阵以及所述设备特征预测向量矩阵的秩，确定所述变形器的多头注意力机制数量。

在一些实施例中，根据所述预测向量矩阵的秩确定变形器的多头注意力机制数量，包括：获取所述变形器的多头注意力机制数量与矩阵的秩的数值拟合关系；对所述数值拟合关系进行插值处理，以确定所述预测向量矩阵的秩对应的多头注意力机制数量以作为所述变形器的多头注意力机制数量。

本申请实施例提供了一种网络流量异常确定装置，包括：关联预测数据获取模块、词嵌入模块、秩确定模块、注意力机制数量确定模块、参数设置模块以及训练模块。

其中，所述关联预测数据获取模块用于获取物联网系统中的物联网流量关联预测数据；所述词嵌入模块可以用于对所述物联网流量关联预测数据进行词嵌入处理，获得物联网关联数据的预测向量矩阵；所述秩确定模块可以用于确定所述预测向量矩阵的秩；所述注意力机制数量确定模块可以用于根据所述预测向量矩阵的秩确定变形器的多头注意力机制数量，其中所述变形器的多头注意力机制数量与所述预测向量矩阵的秩成正比；所述参数设置模块可以用于根据所述多头注意力机制数量设置所述变形器的参数；所述训练模块可以用于通过所述物联网流量关联预测数据对所述变形器进行训练，以便通过训练完成的所述变形器对网络流量是否异常进行判断。

本申请实施例提出一种电子设备，该电子设备包括：存储器和处理器；所述存储器用于存储计算机程序指令；所述处理器调用所述存储器存储的所述计算机程序指令，用于实现上述任一项所述的网络流量异常确定方法。

本申请实施例提出一种计算机可读存储介质，其上存储有计算机程序指令，实现如上述任一项所述的网络流量异常确定方法。

本申请实施例提出一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序指令，该计算机程序指令存储在计算机可读存储介质中。从计算机可读存储介质读取该计算机程序指令，处理器执行该计算机程序指令，实现上述网络流量异常确定方法。

本申请实施例提供的网络流量异常确定方法、装置及电子设备和计算机可读存储介质，能够通过物联网流量关联预测数据对应的预测向量矩阵的秩对变形器的参数进行参数设置，以便变形器能够对预测网络流量是否发生异常进行准确的检测。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用于本申请实施例的网络流量异常确定方法或网络流量异常确定装置的场景示意图。

图2是根据一示例性实施例示出的一种网络流量异常确定方法的流程图。

图3是根据一示例性实施例示出的一种词向量权重矩阵训练示意图。

图4是根据一示例性实施例示出的一种skip-gram模型的示意图。

图5是根据一示例性实施例示出的一种词编码示意图。

图6是根据一示例性实施例示出的一种变形器参数指导示意图。

图7是根据一示例性实施例示出的一种网络流量异常确定方法的流程图。

图8是根据一示例性实施例示出的一种网络模型训练方法对应的结构示意图。

图9是根据一示例性实施例示出的一种网络流量异常确定方法的流程图。

图10是根据一示例性实施例示出的一种网络流量异常确定方法的流程图。

图11是根据一示例性实施例示出的一种网络模型训练方法对应的示意图。

图12是根据一示例性实施例示出的一种网络模型训练方法的流程图。

图13是根据一示例性实施例示出的一种网络模型训练方法对应的示意图。

图14是根据一示例性实施例示出的一种网络模型训练方法的流程图。

图15是根据一示例性实施例示出的一种transformer模型的架构图。

图16是根据一示例性实施例示出的一种网络流量异常确定装置的框图。

图17示出了适于用来实现本申请实施例的电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

本领域技术人员知道，本申请的实施方式可以为一种系统、装置、设备、方法或计算机程序产品。因此，本申请可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件，驻留软件，微代码等)，或者硬件和软件结合的形式。

本申请所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图仅为本申请的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按所描述的顺序执行。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

在本申请的描述中，除非另有说明，“/”表示“或”的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。此外，“至少一个”是指一个或多个，“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

随着移动设备的广泛普及和移动网络技术的快速发展，网络安全问题日益严重，异常流量检测技术在此背景下应运而生，物联网异常流量检测在移动通信领域中具有重要意义，尤其在连接种类繁多的工业领域。它可以有效识别和阻止潜在的网络攻击，为移动通信网络提供安全保障。异常流量检测的应用领域包括但不限于以下几个方面：1.入侵检测与防御：用于检测潜在的网络攻击行为，如分布式拒绝服务(Distributed Denial ofService，DDoS)攻击、僵尸网络和恶意软件传播。2.数据泄露防护：检测到可能导致数据泄露的异常行为，如窃取用户信息、攻击内部系统等。3.负载均衡与优化：帮助网络运营商检测并解决流量拥塞问题。4.网络行为分析：对用户行为进行深入分析，以识别恶意行为和欺诈行为。

在相关技术中，有许多经典的神经网络已经应用到了异常流量检测中：卷积神经网络(CNN)可以自动学习网络流量的局部特征，循环神经网络(RNN)和长短时记忆网络(LSTM)能够捕捉网络流量序列数据中的时间依赖关系，它们都能对异常流量进行有效检测。此外，自编码器(AE)和变分自编码器(VAE)等无监督学习方法也在异常流量检测中取得了突破。这些方法可以在无标签数据的情况下，学习网络流量的正常模式，并检测出与正常模式偏离较大的异常流量。然后，研究者还提出了许多改进方法以提高异常流量检测的性能。例如，使用生成对抗网络(GAN)生成更多的训练样本，以提高模型的泛化能力；通过多任务学习和迁移学习等技术，将在某些场景下学到的知识迁移到其他场景；以及采用集成学习和多模型融合方法，将多个模型的预测结果综合起来，提高检测的准确性和鲁棒性。

在一些实施例中，可以使用自注意力机制的变形器(transformer)对异常流量进行识别。然而在实际操作中，变形器的自注意力机制多头数选择难题是一个关键的研究课题，因为transformer模型的效果往往取决于注意力机制的头数选择。然而，如何选择最适合的头数并不明确，因为它受到多种因素的影响，如模型复杂性、数据规模和计算资源。

在一些实施例中，transformer的头数越多，参数越多，可以拟合出更加复杂的关系。简单的理解，自注意力机制的一个头可以从一个角度看数据、多头可以从多个角度看数据。换句话说，数据越复杂，需要的自注意力机制的头数越多。

为了更好的了解数据的复杂度，以便更好的训练网络模型，从而通过训练好的网络模型对流量异常进行判断，在本申请实施例提供了一种方法以提前知道transformer自注意力机制多头数的构建。本申请使用矩阵的秩和/或傅里叶变换评估数据的复杂度，推测数据空间可能的大小，并以此为依据调节transformer多头注意力机制数。

下面结合附图对本申请示例实施方式进行详细说明。

图1示出了可以应用于本申请实施例的网络流量异常确定方法或网络流量异常确定装置的场景示意图。

请参考图1，其示出了本申请一个示例性实施例提供的实施环境的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。其中，终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。

服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器等，本申请对此不做限制。

服务器105可例如获取物联网系统中的物联网流量关联预测数据；服务器105可例如对物联网流量关联预测数据进行词嵌入处理，获得物联网关联数据的预测向量矩阵；服务器105可例如确定预测向量矩阵的秩；服务器105可例如根据预测向量矩阵的秩确定变形器的多头注意力机制数量，其中变形器的多头注意力机制数量与预测向量矩阵的秩成正比；服务器105可例如根据多头注意力机制数量设置变形器的参数；服务器105可例如通过物联网流量关联预测数据对变形器进行训练，以便通过训练完成的变形器对网络流量是否异常进行判断。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，服务器105可以是一个实体的服务器，还可以为多个服务器组成，根据实际需要，可以具有任意数目的终端设备、网络和服务器。

在上述系统架构下，本申请实施例中提供了一种网络流量异常确定方法，该方法可以由任意具备计算处理能力的电子设备执行。

图2是根据一示例性实施例示出的一种网络流量异常确定方法的流程图。本申请实施例所提供的方法可以由任意具备计算处理能力的电子设备来执行，例如该方法可以由上述图1实施例中的服务器或终端设备来执行，也可以由服务器和终端设备共同执行，在下面的实施例中，以服务器为执行主体为例进行举例说明，但本申请并不限定于此。

参照图2，本申请实施例提供的网络流量异常确定方法可以包括以下步骤。

步骤S202，获取物联网系统中的物联网流量关联预测数据。

上述物联网流量关联数据可以指的是与物联网流量异常判断相关的数据。例如可以是物联网系统中的传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据。

下面将对各个物联网流量关联预测数据进行解释说明。

传感器数据：传感器可以收集各种设备参数的实时数据，如温度、压力、振动、电流、电压等。这些数据可以用于监测设备的运行状态和性能指标，以及检测任何异常情况。

运行数据：这些数据包括设备的运行时间、工作周期、速度、转速等。运行数据可以提供设备的基本工作情况，为预测和分析提供基础。

维护记录：维护记录包括设备的维护历史、保养活动、维修记录等。这些数据可以用于分析设备的维护需求和维护效果，以便优化维护策略。

环境条件：环境条件数据包括设备所处的环境参数，如温度、湿度、气压等。环境条件对设备的运行状态和性能有一定影响，因此监测和记录环境数据对于维护决策也很重要。

设备特征数据：这些数据包括设备的规格、型号、生产日期、零件信息等。设备特征数据可以用于构建设备的基准模型和对比分析，以便确定设备的健康状态。

步骤S204，对物联网流量关联预测数据进行词嵌入处理，获得物联网关联数据的预测向量矩阵。

在本实施例中，首先需要对文本形式的网络流量关联预测数据进行预处理，以便让深度学习模型transformer更好地理解数据。预处理的关键步骤之一是词嵌入。词嵌入是一种将文本中的单词或短语映射到连续向量空间的技术，可以捕捉单词间的语义和语法关系。在本申请中，可以采用一种名为Word2Vec的词嵌入算法。

Word2Vec是一个流行的用于学习词嵌入(word embeddings)的算法。它是用于表示文本数据的一种技术，它能将每个词转换为一个维度相对较低的连续向量，使得这些向量能够捕捉词之间的语义和语法关系。具体的实现效果是通过一个嵌入空间使得语义上相似的单词在该空间内距离很近，例如，苹果和梨子都是水果，那么它们的词嵌入表示就会比较接近，而语义上不相关的词，例如：苹果和砖头，它数值化后的差距就会较大。它的具体实现办法是：首先训练一个神经网络，然后使用这个神经网络的隐藏层对输入的单词进行计算，获得一个概率分布图，选择概率最大的进行输出和表示。由于这个过程不需要人为标注，因此是一种无监督的学习法。我们先介绍权重矩阵的训练办法，它的训练图示如图3所示。其中，图3是根据一示例性实施例示出的一种词向量权重矩阵训练示意图。

在一些实施例中，通过将物联网流量关联预测数据送入到图3中神经网络的输入端和输出端，经过多轮迭代后，就能训练出一个带有丰富权重信息的嵌入矩阵了。

此外，根据训练方式和输出的不同，Word2Vec算法有两种基本形式：Skip-Gram模型和Continuous Bag of Words(CBOW)模型。在一些实施例中，可以采用Skip-Gram模型，在Skip-Gram模型中，每个输入词被用来预测它周围的词。即给定一个词让它来预测上下文，它的图解如图4所示。图4是根据一示例性实施例示出的一种skip-gram模型的示意图。

其中，w(t)代表当前的输入词，而w(t-2)代表这个词的前面第二个词，w(t-1)代表它的前一个词，w(t+1)代表它的后一个词，以此类推，每次预测词的数量大小由窗口决定，这里的窗口值是2(代表预测前后2个词)，窗口值可以根据自己的需求来设定。

在确定了训练方式后，权重矩阵(即训练好的神经网络)会将输入的词进行计算，并预测它上下文中概率最大的词，并以此值作为输出，与实际的上下文对比做差通过反向传播算法进行训练，直到权重信息训练完成，此时，权重矩阵便构建齐了我们专利中文本数据到数值化向量间的转换桥梁。任意新的物联网流量数据都可以通过它计算获得它的词向量表示。

在一些实施例中，在进行词嵌入处理时还引入了位置编码。其中，位置编码意义可以解释为：transformer是一种基于自注意力机制的深度学习模型，它取消了传统用于文本中的seq2seq网络的RNN架构，因此并不具备理解词语间位置关系的能力，而在处理文本数据时，了解词语在句子中的位置信息对于捕捉语法结构和语义关系具有重要意义。为了在transformer中引入位置信息，本申请需要使用位置编码(Positional Encoding)。位置编码的作用是为每个位置生成一个唯一的向量表示，以便在后续的自注意力计算中保留词语顺序信息。位置编码向量的维度与词嵌入向量的维度相同，这样它们可以直接相加。位置编码在transformer模型中的主要意义在于引入词语在句子中的位置信息，在它与词嵌入向量相加后，组成了一个包含位置信息的新向量，这个新向量将被送入后续的神经网络层进行处理(具体可以参考图5所示实施例)。

步骤S206，确定预测向量矩阵的秩。

矩阵的秩定义为矩阵中线性无关行或列的最大数量。线性无关的行或列是指它们不能通过其他行或列的线性组合来表示。这意味着秩能够描述矩阵中的独立信息的数量。

物理上，秩可以解释为矩阵描述的变换的自由度或维度。更具体地说，如果矩阵的秩为r，那么这个矩阵描述的线性变换将在r维空间中起作用。这意味着该变换最多可以将一个r维向量空间映射到另一个r维向量空间。

举个例子，考虑一个描述二维平面上的旋转变换的2x2矩阵。如果该矩阵的秩为2，意味着该变换可以完全保留二维平面上的所有信息，包括长度、角度和形状。然而，如果矩阵的秩为1，这意味着该变换只能将二维平面上的所有点映射到一条直线上，失去了平面的一个维度。

总结一下，矩阵的秩提供了关于描述线性变换的矩阵的维度信息。在物理上，它可以解释为变换的自由度或作用空间的维度。

综上，矩阵的秩可以描述原始数据的复杂度，例如可以描述物联网流量关联预测数据的复杂度。一般来说，物联网流量关联预测数据越复杂、数据相关性越小，那么预测向量矩阵的秩越大；物联网流量关联预测数据越简单、数据相关性越大，那么预测向量矩阵的秩越小。

步骤S208，根据预测向量矩阵的秩确定变形器的多头注意力机制数量，其中变形器的多头注意力机制数量与预测向量矩阵的秩成正比。

如图6所示，可以根据预测向量矩阵的秩确定变形器的多头注意力机制数量。

一般来说，物联网流量关联预测数据越复杂、数据相关性越小，那么预测向量矩阵的秩越大，那么对应的通过物联网流量关联预测数据训练的变形器的注意力机制数量越多；物联网流量关联预测数据越简单、数据相关性越大，那么预测向量矩阵的秩越小，那么对应的通过物联网流量关联预测数据训练的变形器的注意力机制数量越少。

在一些实施例中，可以通过一训练完成的网络模型对预测向量矩阵的秩进行处理，以确定变形器的多头注意力机制数量。

在一些实施例中，还可以通过多头注意力机制数量与矩阵的秩的数值拟合关系确定变形器的多头注意力机制数量。具体可以包括以下步骤：获取变形器的多头注意力机制数量与矩阵的秩的数值拟合关系；对数值拟合关系进行插值处理，以确定预测向量矩阵的秩对应的多头注意力机制数量以作为变形器的多头注意力机制数量。其中，变形器的多头注意力机制数量与矩阵的秩的数值拟合关系可以通过对先验数据进行拟合获得，本实施例不再赘述。

步骤S210，根据多头注意力机制数量设置变形器的参数。

步骤S212，通过物联网流量关联预测数据对变形器进行训练，以便通过训练完成的变形器对网络流量是否异常进行判断。

在一些实施例中，还可以使用傅里叶变换对物联网流量关联预测数据(如传感器数据、运行数据、维护记录、环境条件、设备特征数据词)的嵌入矩阵进行计算，并通过它的频谱图来决定transformer多头注意力机制数的大小。随后用这个设定好的多头注意力机制数基于transformer构建的大模型神经网络对物联网流量进行异常检测和分类。

在一些实施例中，可以将预测向量矩阵的秩和预测向量矩阵的频谱图进行结合以确定变形器的多头注意力机制数量。具体可以参考下面的实施例，本实施例不做赘述。

上述方法在传统的机器学习模型上都能起到数据评估的效果，(线性回归、决策树、梯度提升树等)且模型越简单，数据评估的参考性越强，与小数据小模型更普遍使用的行业应用场景更为匹配；上述方法能够知道数据的质量，因此可以提前评估模型的构建和训练难度，能结合项目收益做出取舍，避免大量的试错工作；上述方法能够辅助通过将数据分类后的频谱预测行业客户的网络感知体验，能为网络故障，行业网络智能化运维提供帮助。

总而言之，上述方法提出了一种新型的transformer大模型构建方法，通过将数据特征提取的思路融入到transformer模型的构建中；将网络流量分类和检测问题转换为文本处理问题，通过词嵌入将它和最流行的transformer架构建立了联系；使用傅里叶变换和矩阵的秩指导transformer大模型的构建，以评估问题所需的多头注意力机制数。

图7是根据一示例性实施例示出的一种网络流量异常确定方法的流程图。

参考图7，上述网络模型的网络流量异常确定方法可以包括以下步骤。

步骤S702，获取物联网流量第一训练数据和物联网流量第一训练数据对应的网络异常标签。

上述物联网流量第一训练数据也可以包括传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据等，本申请对此不做限制。

上述网络异常标签可以用于对物联网流量第一训练数据对应的网络流量是否异常进行表示，具体表示形式本申请不做限制。

步骤S704，对物联网流量第一训练数据进行词嵌入处理，获得第一训练向量矩阵。

步骤S706，通过第一训练向量矩阵和网络异常标签对变形器进行训练处理，获得根据预测向量矩阵为变形器确定的第一训练多头注意力机制数量。

在一些实施例中，可以在训练过程中对该变形器进行调参处理，以确定在使用预测向量矩阵对变形器进行训练时，该变形器对应的第一训练多头注意力机制数量，该第一训练多头注意力机制数量可以是变形器在预测向量矩阵下对应的最优多头注意力机制的数量。

步骤S708，通过目标网络模型对第一训练向量矩阵的秩进行预测处理，获得第一预测多头注意力机制数量。

在一些实施例中，可以将第一训练向量矩阵的秩输入至目标网络模型中，以预测第一预测多头注意力机制数量。

如图8所示，可以将第一训练向量矩阵的秩(如X、Y……)输入至目标网络模型(如RELU)，以预测第一预测多头注意力机制数量。

步骤S710，通过第一训练多头注意力机制数量和第一预测多头注意力机制数量，对目标网络模型进行训练处理。

在一些实施例中，第一训练多头注意力机制数量是变形器在第一训练向量矩阵下对应的最优多头注意力机制数量，第一预测多头注意力机制数量是通过目标网络模型为第一训练向量矩阵确定的变形器的多头注意力机制数量。

在一些实施例中，可以确定第一预测多头注意力机制数量与第一训练多头注意力机制数量之间的差值以确定一损失函数值，然后通过该损失函数值对目标网络模型进行训练。

步骤S712，通过训练完成的目标网络模型对预测向量矩阵的秩进行处理，确定变形器的多头注意力机制数量。

在一些实施例中，通过训练完成的目标网络模型可以对预测向量矩阵的秩进行处理，以准确的确定变形器的多头注意力机制数量。

在一些实施例中，物联网流量关联预测数据包括物联网系统中的传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据；其中，物联网关联数据的预测向量矩阵包括：传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵和设备特征预测向量矩阵。

图9是根据一示例性实施例示出的一种网络流量异常确定方法的流程图。

参考图9，上述网络流量异常确定方法可以包括以下步骤。

步骤S902，获取物联网系统中的传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据。

步骤S904，对传感器数据、运行数据、维护记录数据、环境条件数据以及设备特征数据分别进行词嵌入处理，获得传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵。

步骤S906，分别确定传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵的秩。

步骤S908，根据传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵的秩，确定变形器的多头注意力机制数量。

在一些实施例中，可以对传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵的秩求和、均值或者中值，然后将求得的数输入至目标网络模型中以确定变形器的多头注意力机制数量。

在一些实施例中，上述目标网络模型可以是一种能够提取非线性关系的RELU激活函数。

在一些实施例中，上述过程可以具体为：

设定一个函数f(x)＝Relu(aX+bT+cZ+dH+eI)，并用RELU激活函数进行输出(为了捕获非线性信息)以确定变形器的多头注意力机制数量，其中X为传感器数据、Y为运行数据、Z为维护记录、H为环境条件、I为设备特征数据。

具体而言，在获得了上述5类文本数据后，可以进行了如下几步。

1.分别使用前面介绍的word2vec算法进行词嵌入，得到不同的词嵌入矩阵。

2.将不同的词嵌入矩阵求得到不同的秩。

3.将5类秩分别记录平均值，并作为参数记录下来。

4.将这5类秩作为提出的RELU函数输入，让RELU函数计算结果,得到y^*。其中X对应的是第一类文本对应的秩，其中Y对应的是第二类文本对应的秩，依次类推。

5.通过实验测试这些数据本应具备的最佳参数多头注意力数y^～。

6.将y^*与y^～做减法，获得差值，并使用这个差值进行反向传播，更新RELU函数的参数a,b,c,d,e等参数。

7.重复上述步骤，直到RELU函数每次的计算结果与实际最合适的transformer多头数差值最低或达到某种要求。

步骤S910，根据多头注意力机制数量设置变形器的参数。

步骤S912，通过物联网流量关联预测数据对变形器进行训练，以便通过训练完成的变形器对网络流量是否异常进行判断。

步骤S914，通过物联网流量关联预测数据对变形器进行训练，以便通过训练完成的变形器对网络流量是否异常进行判断。

图10是根据一示例性实施例示出的一种网络流量异常确定方法的流程图。

参考图10，上述网络流量异常确定方法可以包括以下步骤。

步骤S1002，获取物联网系统中的物联网流量关联预测数据。

步骤S1004，对物联网流量关联预测数据进行词嵌入处理，获得物联网关联数据的预测向量矩阵。

步骤S1006，确定预测向量矩阵的秩。

步骤S1008，对预测向量矩阵进行傅里叶变换处理，获得傅里叶频谱矩阵。

傅里叶变换介绍：傅里叶变换(Fourier Transform)是一种数学变换，用于将时域信号转换为频域信号，它是信号处理中的一种重要工具，它的数学公式如下：

其中，f(t)表示时域信号，F(u)表示频域信号，u为频率，i为虚数单位，t为时间。傅里叶变换通过分析每个频率分量的幅值和相位，从而得到信号的频谱分布，即信号在各个频率的强度分布情况。

步骤S1010，根据傅里叶频谱矩阵确定频谱均值。

步骤S1012，根据频谱均值和预测向量矩阵的秩，确定变形器的多头注意力机制数量，其中变形器的多头注意力机制数量与预测向量矩阵的秩和频谱均值均成正比。

通过训练完成的目标网络函数对预测向量矩阵的频谱均值和预测向量矩阵的秩进行处理，以确定变形器的多头注意力机制数量。

步骤S1014，根据多头注意力机制数量设置变形器的参数。

步骤S1016，通过物联网流量关联预测数据对变形器进行训练，以便通过训练完成的变形器对网络流量是否异常进行判断。

上述实施例，不仅使用传感器数据、运行数据、维护记录、环境条件、设备特征数据对应的词嵌入矩阵的秩对上述传感器数据、运行数据、维护记录、环境条件、设备特征数据的数据复杂度进行衡量，还使用傅里叶变换对传感器数据、运行数据、维护记录、环境条件、设备特征数据词嵌入矩阵进行计算，并通过它的秩和频谱图来决定transformer多头注意力机制数的大小。随后用这个设定好的多头注意力机制数基于transformer构建的大模型神经网络用于物联网流量的检测和分类。

上述实施例，通过矩阵的秩和傅里叶变换评估数据质量，以提前感知模型数据需求，为是否需要继续搜集数据提供参考。

图12是根据一示例性实施例示出的一种网络模型训练方法的流程图。

步骤S1202，获取物联网流量第二训练数据和物联网关联第二训练数据对应的网络异常标签。

步骤S1204，对物联网关联第二训练数据进行词嵌入处理，获得第二训练向量矩阵。

上述物联网流量第二训练数据也可以包括传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据等，本申请对此不做限制。

步骤S1206，通过第二训练向量矩阵和网络异常标签对变形器进行训练处理，获得根据预测向量矩阵为变形器确定的第二训练多头注意力机制数量。

步骤S1208，通过目标网络模型对第二训练向量矩阵的秩和频谱均值进行预测处理，获得第二预测多头注意力机制数量。

步骤S1210，通过第二训练多头注意力机制数量和第二预测多头注意力机制数量，对目标网络模型进行训练处理。

上述目标位网络模型可以是RELU激活函数模型，那么上述训练过程可以具体为图13所示过程。

设定一个函数f(x)＝Relu(aX+bT+cZ+dH+eI)，其中X为传感器数据，而Y为运行数据，Z为维护记录，H为环境条件，I为设备特征数据，并用RELU激活函数进行输出(为了捕获非线性信息)，在获得了5类文本数据后，可以进行了如下几步：

1.分别使用前面介绍的word2vec算法进行词嵌入，得到不同的词嵌入矩阵。

2.将不同的词嵌入矩阵做傅里叶变换和求秩，得到不同的频谱图和秩。

3.将5类文本对应的秩和频谱图对应的平均频率作为参数记录下来。

4.将这5类文本的秩和频谱图对应的平均频率作为提出的RELU函数输入，让RELU函数计算结果，得到y^*(如图12所示，可以通过RELU对上述5类文本的秩和频谱图对应的参数进行处理，以计算变形器的多头注意力机制数y^*)。其中X对应的是第一类文本对应的秩和平均频率的和，其中Y对应的是第二类文本对应的秩和平均频率的和，依次类推。

5.通过实验测试这些数据本应具备的最佳参数多头注意力数y^～。

6.将y^*与y^～做减法，获得差值，并使用这个差值进行反向传播，更新RELU函数的参数a,b,c,d,e等参数。

7.重复上述步骤，直到RELU函数每次的计算结果与实际最合适的transformer多头数差值最低或达到某种要求。

步骤S1212，通过训练完成的目标网络模型对预测向量矩阵的秩和频谱均值进行处理，确定变形器的多头注意力机制数量。

在一些实施例中，物联网流量关联预测数据可以包括物联网系统中的传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据。

在一些实施例中，物联网关联数据的预测向量矩阵可以包括：传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵和设备特征预测向量矩阵。

在一些实施例中，傅里叶频谱矩阵可以包括：传感器词频谱矩阵、运行频谱矩阵、维护记录频谱矩阵、环境条件频谱矩阵以及设备特征频谱矩阵。

图14是根据一示例性实施例示出的一种网络模型训练方法的流程图。

参考图14，上述网络模型训练方法可以包括以下步骤。

步骤S1402，获取物联网系统中的传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据。

步骤S1404，对传感器数据、运行数据、维护记录数据、环境条件数据以及设备特征数据分别进行词嵌入处理，获得传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵。

步骤S1406，确定传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵的秩。

步骤S1408，对传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵进行傅里叶变换处理，分别获得传感器词频谱矩阵、运行频谱矩阵、维护记录频谱矩阵、环境条件频谱矩阵以及设备特征频谱矩阵。

步骤S1410，分别确定传感器词频谱矩阵、运行频谱矩阵、维护记录频谱矩阵、环境条件频谱矩阵以及设备特征频谱矩阵的频谱均值。

步骤S1412，根据传感器词频谱矩阵、运行频谱矩阵、维护记录频谱矩阵、环境条件频谱矩阵以及设备特征频谱矩阵的频谱均值和传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵的秩，确定变形器的多头注意力机制数量。

步骤S1414，根据多头注意力机制数量设置变形器的参数。

步骤S1416，通过物联网流量关联预测数据对变形器进行训练，以便通过训练完成的变形器对网络流量是否异常进行判断。

上述实施例，能同时学习到异常流量的局部特征和长时依赖关系。本申请通过将矩阵的秩和傅里叶变换的信息融入到transformer的构建过程中，将流量数据本身的特点——数据的频谱信息和矩阵的秩信息融入到transformer多头注意力机制的训练和构建中。

图15是根据一示例性实施例示出的一种transformer模型的架构图。

在本申请中，transformer中的自注意力机制(Self-Attention Mechanism)是模型的核心部分，负责捕捉输入序列中的长距离依赖关系。自注意力机制通过计算输入序列中每个词与其他词之间的关系，生成一个加权表示，用于后续的网络层处理。一般transformer自注意力机制不会采用一个，而是会采用多个(如8个)，因此本专利采用的是多头注意力机制。

其中，自注意力机制可以是由3个权重矩阵计算得出的，具体来说就是Q(Query)，K(Key)，V(Value)矩阵，它们分别表示查询、键和值。具体而言，输入序列首先通过线性层转换为Q、K、V向量。然后计算Q与K的点积，用于衡量输入序列中每个词对当前词的贡献程度。这个点积结果进一步通过softmax函数归一化，得到最终的注意力权重。

其中，前馈神经网络通常包括两个线性层(全连接层)和一个激活函数，使用的激活函数可以捕捉输入数据的非线性特征(如RELU)。Transformer中还使用了跳跃连接(SkipConnection，也称为残差连接)和层归一化(Layer Normalization)来优化网络性能。

跳跃连接是将前馈神经网络的输入直接与其输出相加，从而实现对原始输入的“跳跃”式传递。这种结构有助于缓解梯度消失问题，使得模型能够更有效地进行深层训练。

另外，本申请通过对每一层的输出进行归一化处理，可以确保网络中不同层之间的信息传递更加平滑，避免梯度爆炸或消失问题。

需要特别指出的是，上述网络流量异常确定方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减。因此，这些合理的排列组合变换之于网络流量异常确定方法也应当属于本申请的保护范围，并且不应将本申请的保护范围局限在实施例之上。

基于同一发明构思，本申请实施例中还提供了一种网络流量异常确定装置，如下面的实施例。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。

图16是根据一示例性实施例示出的一种网络流量异常确定装置的框图。参照图16，本申请实施例提供的网络流量异常确定装置1600可以包括：关联预测数据获取模块1601、词嵌入模块1602、秩确定模块1603、注意力机制数量确定模块1604、参数设置模块1605以及训练模块1606。

其中，关联预测数据获取模块1601可以用于获取物联网系统中的物联网流量关联预测数据；词嵌入模块1602可以用于对物联网流量关联预测数据进行词嵌入处理，获得物联网关联数据的预测向量矩阵；秩确定模块1603可以用于确定预测向量矩阵的秩；注意力机制数量确定模块1604可以用于根据预测向量矩阵的秩确定变形器的多头注意力机制数量，其中变形器的多头注意力机制数量与预测向量矩阵的秩成正比；参数设置模块1605可以用于根据多头注意力机制数量设置变形器的参数；训练模块1606可以用于通过物联网流量关联预测数据对变形器进行训练，以便通过训练完成的变形器对网络流量是否异常进行判断。

此处需要说明的是，上述关联预测数据获取模块1601、词嵌入模块1602、秩确定模块1603、注意力机制数量确定模块1604、参数设置模块1605、训练模块1606对应于方法实施例中的S202～S212，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所申请的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在一些实施例中，注意力机制数量确定模块1604可以包括：第一训练数据获取子模块、第一训练向量矩阵获取子模块、第一训练多头注意力机制数量确定子模块、第一预测多头注意力机制数量确定子模块、第一训练子模块以及第一秩确定子模块。

其中，第一训练数据获取子模块可以用于获取物联网流量第一训练数据和物联网流量第一训练数据对应的网络异常标签；第一训练向量矩阵获取子模块可以用于对物联网流量第一训练数据进行词嵌入处理，获得第一训练向量矩阵；第一训练多头注意力机制数量确定子模块可以用于通过第一训练向量矩阵和网络异常标签对变形器进行训练处理，获得根据预测向量矩阵为变形器确定的第一训练多头注意力机制数量；第一预测多头注意力机制数量确定子模块可以用于通过目标网络模型对第一训练向量矩阵的秩进行预测处理，获得第一预测多头注意力机制数量；第一训练子模块可以用于通过第一训练多头注意力机制数量和第一预测多头注意力机制数量，对目标网络模型进行训练处理；第一秩确定子模块可以用于通过训练完成的目标网络模型对预测向量矩阵的秩进行处理，确定变形器的多头注意力机制数量。

在一些实施例中，物联网流量关联预测数据包括物联网系统中的传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据；其中，物联网关联数据的预测向量矩阵包括：传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵和设备特征预测向量矩阵；

在一些实施例中，词嵌入模块1602可以包括：设备特征预测向量矩阵确定子模块。

其中，设备特征预测向量矩阵确定子模块可以用于对传感器数据、运行数据、维护记录数据、环境条件数据以及设备特征数据分别进行词嵌入处理，获得传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵；

在一些实施例中，秩确定模块1603可以包括：设备特征预测向量矩阵的秩确定子模块和多头注意力机制数量确定子模块。

其中，设备特征预测向量矩阵的秩确定子模块可以用于分别确定传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵的秩；多头注意力机制数量确定子模块可以用于根据传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵的秩，确定变形器的多头注意力机制数量。

在一些实施例中，注意力机制数量确定模块1604可以包括：傅里叶频谱矩阵确定子模块、频谱均值确定子模块以及变形器参数设置子模块。

其中，傅里叶频谱矩阵确定子模块可以用于对预测向量矩阵进行傅里叶变换处理，获得傅里叶频谱矩阵；频谱均值确定子模块可以用于根据傅里叶频谱矩阵确定频谱均值；变形器参数设置子模块可以用于根据频谱均值和预测向量矩阵的秩，确定变形器的多头注意力机制数量，其中变形器的多头注意力机制数量与预测向量矩阵的秩和频谱均值均成正比。

在一些实施例中，变形器参数设置子模块可以包括：第二训练数据获取单元、第二训练向量矩阵确定单元、训练参数获取单元、第二预测多头注意力机制数量确定单元、第二训练单元以及预测单元。

其中，第二训练数据获取单元可以用于获取物联网流量第二训练数据和物联网关联第二训练数据对应的网络异常标签；第二训练向量矩阵确定单元可以用于对物联网关联第二训练数据进行词嵌入处理，获得第二训练向量矩阵；训练参数获取单元可以用于通过第二训练向量矩阵和网络异常标签对变形器进行训练处理，获得根据预测向量矩阵为变形器确定的第二训练多头注意力机制数量；第二预测多头注意力机制数量确定单元可以用于通过目标网络模型对第二训练向量矩阵的秩和频谱均值进行预测处理，获得第二预测多头注意力机制数量；第二训练单元可以用于通过第二训练多头注意力机制数量和第二预测多头注意力机制数量，对目标网络模型进行训练处理；预测单元可以用于通过训练完成的目标网络模型对预测向量矩阵的秩和频谱均值进行处理，确定变形器的多头注意力机制数量。

在一些实施例中，物联网流量关联预测数据包括物联网系统中的传感器数据、运行数据、维护记录数据、环境条件数据和设备特征数据；其中，物联网关联数据的预测向量矩阵包括：传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵和设备特征预测向量矩阵；其中，傅里叶频谱矩阵包括：传感器词频谱矩阵、运行频谱矩阵、维护记录频谱矩阵、环境条件频谱矩阵以及设备特征频谱矩阵；其中，词嵌入模块1602可以包括：传感器预测向量矩阵获取子模块。

其中，传感器预测向量矩阵获取子模块可以用于对传感器数据、运行数据、维护记录数据、环境条件数据以及设备特征数据分别进行词嵌入处理，获得传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵；

其中，秩确定模块1603可以包括：运行预测向量矩阵的秩确定子模块。

其中，运行预测向量矩阵的秩确定子模块可以用于确定传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵的秩。

其中，傅里叶频谱矩阵确定子模块可以包括：传感器词频谱矩阵确定单元。

其中，传感器词频谱矩阵确定单元可以用于对传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵进行傅里叶变换处理，分别获得传感器词频谱矩阵、运行频谱矩阵、维护记录频谱矩阵、环境条件频谱矩阵以及设备特征频谱矩阵。

其中，频谱均值确定子模块可以包括：均值确定单元。

其中，均值确定单元可以用于分别确定传感器词频谱矩阵、运行频谱矩阵、维护记录频谱矩阵、环境条件频谱矩阵以及设备特征频谱矩阵的频谱均值。

其中，变形器参数设置子模块可以包括：多头数确定单元。

其中，多头数确定单元可以用于根据传感器词频谱矩阵、运行频谱矩阵、维护记录频谱矩阵、环境条件频谱矩阵以及设备特征频谱矩阵的频谱均值和传感器预测向量矩阵、运行预测向量矩阵、维护记录预测向量矩阵、环境条件预测向量矩阵以及设备特征预测向量矩阵的秩，确定变形器的多头注意力机制数量。

在一些实施例中，注意力机制数量确定模块1604可以包括：拟合关系获取子模块和插值子模块。

其中，拟合关系获取子模块可以用于获取变形器的多头注意力机制数量与矩阵的秩的数值拟合关系；插值子模块可以用于对数值拟合关系进行插值处理，以确定预测向量矩阵的秩对应的多头注意力机制数量以作为变形器的多头注意力机制数量。

由于装置1600的各功能已在其对应的方法实施例中予以详细说明，本申请于此不再赘述。

描述于本申请实施例中所涉及到的模块和/或子模块和/或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块和/或子模块和/或单元也可以设置在处理器中。其中，这些模块和/或子模块和/或单元的名称在某种情况下并不构成对该模块和/或子模块和/或单元本身的限定。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块或程序段的一部分，上述模块或程序段的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机程序指令的组合来实现。

此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

图17示出了适于用来实现本申请实施例的电子设备的结构示意图。需要说明的是，图17示出的电子设备1700仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图17所示，电子设备1700包括中央处理单元(CPU)1701，其可以根据存储在只读存储器(ROM)1702中的程序或者从储存部分1708加载到随机访问存储器(RAM)1703中的程序而执行各种适当的动作和处理。在RAM 1703中，还存储有电子设备1700操作所需的各种程序和数据。CPU 1701、ROM 1702以及RAM 1703通过总线1704彼此相连。输入/输出(I/O)接口1705也连接至总线1704。

以下部件连接至I/O接口1705：包括键盘、鼠标等的输入部分1706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1707；包括硬盘等的储存部分1708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1709。通信部分1709经由诸如因特网的网络执行通信处理。驱动器1710也根据需要连接至I/O接口1705。可拆卸介质1711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1710上，以便于从其上读出的计算机程序根据需要被安装入储存部分1708。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序指令。在这样的实施例中，该计算机程序可以通过通信部分1709从网络上被下载和安装，和/或从可拆卸介质1711被安装。在该计算机程序被中央处理单元(CPU)1701执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序指令。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序指令可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可实现功能包括：获取物联网系统中的物联网流量关联预测数据；对物联网流量关联预测数据进行词嵌入处理，获得物联网关联数据的预测向量矩阵；确定预测向量矩阵的秩；根据预测向量矩阵的秩确定变形器的多头注意力机制数量，其中变形器的多头注意力机制数量与预测向量矩阵的秩成正比；根据多头注意力机制数量设置变形器的参数；通过物联网流量关联预测数据对变形器进行训练，以便通过训练完成的变形器对网络流量是否异常进行判断。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序指令，该计算机程序指令存储在计算机可读存储介质中。从计算机可读存储介质读取该计算机程序指令，处理器执行该计算机程序指令，实现上述实施例的各种可选实现方式中提供的方法。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，本申请实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干计算机程序指令用以使得一台电子设备(可以是服务器或者终端设备等)执行根据本申请实施例的方法。

本领域技术人员在考虑说明书及实践在这里申请的申请后，将容易想到本申请的其他实施例。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不限于这里已经示出的详细结构、附图方式或实现方法，相反，本申请意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。