基于多模态数据的异常监测预警系统及方法

技术领域

本申请涉及智能监测领域，且更为具体地，涉及一种基于多模态数据的异常监测预警系统及方法。

背景技术

设备在生产过程中的运行状态是非常重要的，它对于生产效率、产品质量和生产成本等方面都具有关键的影响。设备的正常运行保证了生产线的连续性和稳定性。设备的运行状态还直接关系到产品的质量。例如，在制造业中，设备的温度、压力、振动等参数对产品的加工和成型过程起着重要作用。如果设备运行异常或参数偏离正常范围，可能会导致产品质量下降，甚至出现缺陷产品。另外，设备的异常运行可能会导致安全风险。例如，温度过高可能引发火灾，压力异常可能导致爆炸等。

但由于目前大多数都是基于每一种模态进行独立分析，然而实际的生产中设备的运行都是连续的过程，在运行时多个模态的数据共同作用，互相影响，仅仅通过每个单一的模态进行采集分析并不能适应复杂的设备和环境变化，另外，通常会由人工来进行定时检查和维修，不能对一些突发情况进行处理，进而影响生产的效率。

因此，期待一种优化的基于多模态数据的异常监测预警方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于多模态数据的异常监测预警系统及方法，其采用基于深度神经网络模型的人工智能技术，获取预定时间段多个预定时间点设备的运行状态的监测数据和设备振动信号波形图，通过双向注意力机制和振动信号特征提取器，可以从运行状态监测数据和振动信号中提取关键特征，将这些特征融合后得到设备运行的全局特征并利用基于转换器的上下文编码器更好地理解设备运行状态的上下文信息，以生成用于表示设备是否出现异常的分类结果。通过该方法可以实现对设备运行状态的异常监测和预警，从而提高设备的可靠性、安全性和维护效率。

根据本申请的一个方面，提供了一种基于多模态数据的异常监测预警系统，其包括：

设备运行状态获取模块，用于获取预定时间段多个预定时间点设备的运行状态的监测数据和设备振动信号波形图，其中所述设备的运行状态的监测数据包括设备的温度值、压力值；

运行状态注意力施加模块，用于将所述多个预定时间点设备的运行状态的监测数据二维排列为运行状态输入矩阵后通过基于卷积神经网络的双向注意力机制以得到运行状态特征矩阵；

设备振动特征提取模块，用于将所述多个预定时间点的设备振动信号波形图通过基于卷积神经网络的振动信号特征提取器以得到振动信号特征矩阵；

设备全局融合模块，用于计算所述运行状态特征矩阵和所述振动信号特征矩阵进行基于相对于目标分类函数的平滑隐特征表达的融合以得到设备运行全局特征矩阵；

矩阵切分模块，用于切分所述设备运行全局特征矩阵以得到多个设备运行局部特征向量；

运行状态上下文理解模块，用于将所述多个设备运行局部特征向量通过基于转换器的上下文编码器以得到设备运行状态上下文理解特征向量；

设备运行异常判断模块，用于将所述设备运行状态上下文理解特征向量通过分类器得到分类结果，所述分类结果用于表示设备是否出现异常并基于所述分类结果生成预警指示。

在上述基于多模态数据的异常监测预警系统中，所述运行状态注意力施加模块，包括：矩阵池化单元，用于将所述运行状态输入矩阵分别沿着水平方向和垂直方向进行池化以得到第一向运行状态池化向量和第二向运行状态池化向量；向量关联编码单元，用于对所述第一向运行状态池化向量和所述第二向运行状态池化向量进行关联编码以得到运行状态双向关联矩阵；关联矩阵激活单元，用于将所述运行状态双向关联矩阵输入Sigmoid激活函数以得到运行状态双向关联权重矩阵；以及，矩阵相乘单元，用于计算所述运行状态双向关联权重矩阵和所述运行状态输入矩阵之间的按位置点乘以得到所述运行状态特征矩阵。

在上述基于多模态数据的异常监测预警系统中，所述设备振动特征提取模块，用于:使用所述基于卷积神经网络的振动信号特征提取器的各层在层的正向传递中分别对输入数据进行：基于卷积核对所述输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行沿通道维度的全局均值池化处理以生成池化特征图；以及，对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征增图；其中，所述基于卷积神经网络的振动信号特征提取器的最后一层的输出分别为所述振动信号特征矩阵，所述基于卷积神经网络的振动信号特征提取器的第二层至最后一层的输入为上一层的输出，所述基于卷积神经网络的振动信号特征提取器的输入分别为所述设备振动信号波形图。

在上述基于多模态数据的异常监测预警系统中，所述运行状态上下文理解模块，包括:设备状态上下文编码单元，用于将所述多个设备运行局部特征向量输入所述基于转换器的上下文编码器以得到多个上下文设备运行局部特征向量；上下文局特征级联单元，用于将所述多个上下文设备运行局部特征向量进行级联以得到所述设备运行状态上下文理解特征向量。

根据本申请的另一方面，提供了一种基于多模态数据的异常监测预警方法，其包括：

获取预定时间段多个预定时间点设备的运行状态的监测数据和设备振动信号波形图，其中所述设备的运行状态的监测数据包括设备的温度值、压力值；

将所述多个预定时间点设备的运行状态的监测数据二维排列为运行状态输入矩阵后通过基于卷积神经网络的双向注意力机制以得到运行状态特征矩阵；

将所述多个预定时间点的设备振动信号波形图通过基于卷积神经网络的振动信号特征提取器以得到振动信号特征矩阵；

计算所述运行状态特征矩阵和所述振动信号特征矩阵进行基于相对于目标分类函数的平滑隐特征表达的融合以得到设备运行全局特征矩阵；

切分所述设备运行全局特征矩阵以得到多个设备运行局部特征向量；

将所述多个设备运行局部特征向量通过基于转换器的上下文编码器以得到设备运行状态上下文理解特征向量；

将所述设备运行状态上下文理解特征向量通过分类器得到分类结果，所述分类结果用于表示设备是否出现异常并基于所述分类结果生成预警指示。

与现有技术相比，本申请提供的一种基于多模态数据的异常监测预警系统及方法，其采用基于深度神经网络模型的人工智能技术，获取预定时间段多个预定时间点设备的运行状态的监测数据和设备振动信号波形图，通过双向注意力机制和振动信号特征提取器，可以从运行状态监测数据和振动信号中提取关键特征，将这些特征融合后得到设备运行的全局特征并利用基于转换器的上下文编码器更好地理解设备运行状态的上下文信息，以生成用于表示设备是否出现异常的分类结果。通过该方法可以实现对设备运行状态的异常监测和预警，从而提高设备的可靠性、安全性和维护效率。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的基于多模态数据的异常监测预警系统的框图。

图2为根据本申请实施例的基于多模态数据的异常监测预警系统的架构示意图。

图3为根据本申请实施例的基于多模态数据的异常监测预警系统中运行状态注意力施加模块的框图。

图4为根据本申请实施例的基于多模态数据的异常监测预警方法的流程图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

示例性系统

图1为根据本申请实施例的基于多模态数据的异常监测预警系统的框图。图2为根据本申请实施例的基于多模态数据的异常监测预警系统的架构示意图。如图1和图2所示，根据本申请实施例的基于多模态数据的异常监测预警系统100，包括：设备运行状态获取模块110，用于获取预定时间段多个预定时间点设备的运行状态的监测数据和设备振动信号波形图，其中所述设备的运行状态的监测数据包括设备的温度值、压力值；运行状态注意力施加模块120，用于将所述多个预定时间点设备的运行状态的监测数据二维排列为运行状态输入矩阵后通过基于卷积神经网络的双向注意力机制以得到运行状态特征矩阵；设备振动特征提取模块130，用于将所述多个预定时间点的设备振动信号波形图通过基于卷积神经网络的振动信号特征提取器以得到振动信号特征矩阵；设备全局融合模块140，用于计算所述运行状态特征矩阵和所述振动信号特征矩阵进行基于相对于目标分类函数的平滑隐特征表达的融合以得到设备运行全局特征矩阵；矩阵切分模块150，用于切分所述设备运行全局特征矩阵以得到多个设备运行局部特征向量；运行状态上下文理解模块160，用于将所述多个设备运行局部特征向量通过基于转换器的上下文编码器以得到设备运行状态上下文理解特征向量；以及，设备运行异常判断模块170，用于将所述设备运行状态上下文理解特征向量通过分类器得到分类结果，所述分类结果用于表示设备是否出现异常并基于所述分类结果生成预警指示。

多模态数据指的是包含多种类型或多个模态的数据。每种类型或模态的数据可以提供不同的信息，通过综合利用这些不同类型或模态的数据，可以获得更全面、更准确的信息。具体地，在多模态数据中，每个模态可以是不同的数据源或传感器收集到的数据，例如图像、视频、声音、文本、传感器数据等。每个模态的数据可以提供独特的信息，而多模态数据的综合分析可以帮助我们更好地理解数据的含义和关联。也就是，通过融合多种模态的数据，可以提高数据分析、模型建立和决策制定的准确性和鲁棒性。例如，在计算机视觉领域，通过结合图像和文本数据进行图像分类或图像描述可以提供更准确的结果。

设备的运行状态是指设备在工作过程中所处的状态和表现。它反映了设备的运行情况、性能指标和工作状态的各个方面。设备的运行状态可以通过多种指标和参数来描述，具体取决于设备的类型和应用领域。例如设备的温度是一个重要的运行状态指标，可以反映设备的热量产生和散发情况。过高或过低的温度可能会影响设备的性能和寿命。而压力是一些设备(如管道、容器、液压系统等)运行状态的重要指标。异常的压力值可能会导致设备泄漏、爆炸等危险情况。其次，振动是一些机械设备运行状态的常见指标，可以反映设备的稳定性和平衡性。异常的振动可能表示设备存在故障或不平衡的情况。此外，电力设备的运行状态可以通过电流和电压参数来描述。异常的电流或电压值可能表示设备存在电路故障或电力供应问题。除此之外，还包括流量，流量是一些液体或气体设备运行状态的重要指标。异常的流量值可能表示设备存在堵塞、泄漏或流体供应问题；能耗，设备的能耗可以反映设备的能源利用效率和运行状态。异常的能耗值可能表示设备存在能源浪费或效率低下的情况，等等。

因此，多模态数据在设备状态监测中的应用可以提供更全面和准确的信息，以更好地理解设备的运行状态。具体来说，多模态数据可以用于建立设备的正常行为模型。通过监测多种数据源，可以识别设备的异常行为。详细地，例如，当图像数据显示设备外观异常、声音数据显示设备发出异常噪音、振动数据显示设备产生异常振动等情况，可以触发异常检测算法并采取相应的措施。多模态数据也可以用于设备故障的诊断和定位。通过收集多种类型的数据，可以分析设备在故障发生时的特征模式，从而识别故障的类型和位置。例如，结合温度数据、振动数据和电流数据，可以判断设备是否存在过热故障或电路故障。多模态数据还可以用于预测设备的维护需求。通过分析多种数据源的趋势和变化模式，可以预测设备未来可能出现的故障或维护需求。这样可以采取预防性维护措施，提前进行维修或更换部件，避免设备故障导致的停机和生产损失。

在本申请实施例中，所述设备运行状态获取模块110，用于获取预定时间段多个预定时间点设备的运行状态的监测数据和设备振动信号波形图，其中所述设备的运行状态的监测数据包括设备的温度值、压力值。考虑到，在本申请的技术方案中，设备的运行状态的监测数据和振动信号的波形图可以提供设备在不同时间点的温度值、压力值和振动特征等参数，是评估设备健康状态的重要指标。具体来说，温度值可以反映设备的热量分布和热平衡情况，压力值可以反映设备的工作负荷和压力变化，而振动信号波形图可以提供设备的振动特征信息。应可以理解，异常的温度值、压力值和振动信号波形图可能表明设备存在故障或异常情况。因此，通过对这些数据进行分析，可以找出故障的原因和位置，进而采取相应的修复措施，避免设备故障导致的停机和生产损失。另外，温度值、压力值和振动信号波形图可以用于预测设备的维护需求。应可以理解，通过监测这些指标的变化趋势和异常情况，可以预测设备未来可能出现的故障或维护需求。这样就可以采取预防性维护措施，提前进行维修或更换部件，避免设备故障导致的停机和生产损失。此外，通过监测和分析这些指标，还可以评估设备的运行效率和性能，并进行相应的调整和优化。例如，通过控制温度和压力在合适的范围内，可以提高设备的能效和生产效率。通过分析振动信号波形图，可以检测设备的振动状况，优化设备的结构和运行参数，减少振动对设备和周围环境的影响。

在本申请实施例中，所述运行状态注意力施加模块120，用于将所述多个预定时间点设备的运行状态的监测数据二维排列为运行状态输入矩阵后通过基于卷积神经网络的双向注意力机制以得到运行状态特征矩阵。考虑到设备的运行状态在不同时间点上可能存在时序关系，即前一时刻的状态可能对后一时刻的状态产生影响。双向注意力机制可以同时考虑过去和未来的状态信息，通过学习注意力权重来动态地调整不同时间点的重要性，从而更好地捕捉到时序关系。具体来说，在本技术方案中，设备的运行状态监测数据是在不同时间点上获取的，而这些数据之间可能存在时序关系。例如，设备的温度值和压力值在不同时间点上可能会相互影响，而振动信号波形图的变化也可能与之前的状态有关。因此，通过使用双向注意力机制，可以同时考虑过去和未来的状态信息，并根据其重要性动态地调整特征的权重，从而更准确地捕捉到不同时间点的运行状态特征。另外，设备的运行状态可能包含大量的细节和噪声，而并非所有的特征都对于故障诊断或预测维护是关键的。

通过学习注意力权重，模型可以自动选择和强化对于当前任务或问题最重要的特征。这样可以提高模型对于关键特征的感知能力，并减少对于噪声或无关特征的影响，从而更好地提取和强化关键的运行状态特征

图3为根据本申请实施例的基于多模态数据的异常监测预警系统中运行状态注意力施加模块的框图。具体地，在本申请实施例中，如图3所示，所述运行状态注意力施加模块120，包括：矩阵池化单元121，用于将所述运行状态输入矩阵分别沿着水平方向和垂直方向进行池化以得到第一向运行状态池化向量和第二向运行状态池化向量；向量关联编码单元122，用于对所述第一向运行状态池化向量和所述第二向运行状态池化向量进行关联编码以得到运行状态双向关联矩阵；关联矩阵激活单元123，用于将所述运行状态双向关联矩阵输入Sigmoid激活函数以得到运行状态双向关联权重矩阵；以及，矩阵相乘单元124，用于计算所述运行状态双向关联权重矩阵和所述运行状态输入矩阵之间的按位置点乘以得到所述运行状态特征矩阵。

在本申请实施例中，所述设备振动特征提取模块130，用于将所述多个预定时间点的设备振动信号波形图通过基于卷积神经网络的振动信号特征提取器以得到振动信号特征矩阵。考虑到在本技术方案中，振动信号波形图通常包含丰富的局部特征信息，例如振动的频率、振幅和时域形态等，具体地，设备的振动信号波形图可以反映不同频率的振动成分和振动的幅度变化。因此，基于卷积神经网络的振动信号特征提取器可以通过卷积层和池化层等操作，有效地捕捉到这些局部特征。应可以理解，卷积神经网络在处理时域数据时具有良好的特征提取能力，能够自动学习到不同频率和振幅的振动模式，从而更好地描述振动信号的特征。另外，振动信号波形图是时序数据，不同时间点上的振动信号波形图可能会有不同的振动模式和振动特征。因此，通过基于卷积神经网络的振动信号特征提取器的卷积层和循环层等结构，可以有效地建立时序关系。具体地，卷积层可以捕捉到局部时序模式，而循环层可以对时序数据进行记忆和传递。

具体地，在本申请实施例中，所述设备振动特征提取模块，用于:使用所述基于卷积神经网络的振动信号特征提取器的各层在层的正向传递中分别对输入数据进行：基于卷积核对所述输入数据进行卷积处理以生成卷积特征图；对所述卷积特征图进行沿通道维度的全局均值池化处理以生成池化特征图；以及，对所述池化特征图中各个位置的特征值进行非线性激活以生成激活特征增图；其中，所述基于卷积神经网络的振动信号特征提取器的最后一层的输出分别为所述振动信号特征矩阵，所述基于卷积神经网络的振动信号特征提取器的第二层至最后一层的输入为上一层的输出，所述基于卷积神经网络的振动信号特征提取器的输入分别为所述设备振动信号波形图。

在本申请实施例中，所述设备全局融合模块140，用于计算所述运行状态特征矩阵和所述振动信号特征矩阵进行基于相对于目标分类函数的平滑隐特征表达的融合以得到设备运行全局特征矩阵。考虑到运行状态特征矩阵和振动信号特征矩阵分别捕捉了设备的运行状态和振动特征。具体地，运行状态特征矩阵提供了设备的运行参数信息，例如工作状态、温度、压力等运行参数，可以帮助判断设备是否正常工作，而振动信号特征矩阵提供了设备的振动特征信息，例如，设备的振动频率、振幅和时域形态，可以帮助检测设备的振动异常。通过将这两个特征矩阵进行融合，可以综合考虑设备的运行状态和振动特征，从而更准确地描述设备的运行全局特征。进一步来说，设备的故障往往是由多个因素综合作用而引起的，单独考虑运行状态或振动信号可能无法完全捕捉到故障的特征。通过融合运行状态特征矩阵和振动信号特征矩阵，可以综合考虑设备的运行参数和振动特征，提供更全面和准确的设备运行全局特征。这有助于增强故障诊断模型对于故障特征的感知能力，例如在设备振动异常时，结合运行状态信息可以更准确地判断是否存在故障，并提供相关的预测维护建议。

特别地，在本申请技术方案中，考虑到在设备的运行状态监测数据和振动信号波形图通常是相互关联的。例如，设备的温度值和压力值可能与设备的振动信号波形图反映的设备运行状态相关。这种关联性可能导致运行状态特征矩阵和振动信号特征矩阵中存在一些相似的信息。例如，某个时间点的设备温度值和压力值可能与相同时间点的振动信号波形图中的某些特征相关。这种相似性可能导致特征矩阵之间存在冗余信息。同时，运行状态特征矩阵通过基于卷积神经网络的双向注意力机制进行特征提取，而振动信号特征矩阵通过基于卷积神经网络的振动信号特征提取器进行特征提取。虽然它们使用了不同的方法，但这些方法可能都关注了相似的设备运行状态特征。例如，运行状态特征矩阵和振动信号特征矩阵都可能关注设备的周期性、趋势或异常行为。这种相似性可能导致特征矩阵之间存在相似或冗余的信息。并且，运行状态特征矩阵和振动信号特征矩阵可能采用不同的特征表示方法。运行状态特征矩阵可能基于设备的温度值和压力值，而振动信号特征矩阵可能基于设备的振动信号波形图。尽管它们都涉及设备的运行状态，但它们的表示形式不同，可能包含不同的信息。这种不一致性可能导致特征矩阵之间存在相似或冗余的信息。直接融合这些特征可能会引入过多的相似信息，导致模型过拟合。过拟合会使模型在训练数据上表现良好，但在新数据上的泛化能力较差。为了解决这个问题，通过计算所述运行状态特征矩阵和所述振动信号特征矩阵进行基于相对于目标分类函数的平滑隐特征表达的融合来减少相似性和冗余性，并提高模型的泛化能力。

具体地，在本申请实施例中，所述运行状态上下文理解模块，用于:以如下融合公式计算所述运行状态特征矩阵和所述振动信号特征矩阵进行基于相对于目标分类函数的平滑隐特征表达的融合以得到设备运行全局特征矩阵；其中，所述融合公式为：

其中，M

也就是，针对上述问题，本申请提出了一种基于平滑隐特征表达的特征矩阵融合方法，它可以利用目标分类函数的先验和后验分布，对运行状态特征矩阵和振动信号特征矩阵的特征值进行概率化的映射和对齐，从而实现特征矩阵的分类功能。具体地，平滑隐特征表达是一种基于隐变量模型的特征概率化方法，它可以保持特征的原始信息和语义，避免了特征的信息丢失和混淆。相应地，通过度量运行状态特征矩阵和振动信号特征矩阵的按位置特征值在不同维度视角下观察的特征流形的分布相似性，来确定两者的联合相关的类表征，用于对特征矩阵进行信息的区分和分类，这样通过度量两者的类表征和目标分类函数之间的信息一致性，来确定特征矩阵在标签类概率的联立主维度下的联合相关投影，用于对特征矩阵进行信息的增强和补充。这样，有效地提高设备运行全局特征矩阵的信息量和质量，从而提升设备运行全局特征矩阵的鲁棒性。

在本申请实施例中，所述矩阵切分模块150，用于切分所述设备运行全局特征矩阵以得到多个设备运行局部特征向量。考虑到设备的运行状态通常包含多个局部特征，例如不同传感器的数据、不同部件，可能会以不同的频率或幅度发生状态变化状态等。而通过切分矩阵，可以将全局特征矩阵分解为多个局部特征向量，可以将不同部分的局部特征向量分离出来，使得每个局部特征向量可以独立地捕捉和建模各自部分的状态变化，每个局部特征向量只关注设备的一个特定部分或特征，从而更加精细地分析和建模设备的各个局部状态。

在本申请实施例中，所述运行状态上下文理解模块160，用于将所述多个设备运行局部特征向量通过基于转换器的上下文编码器以得到设备运行状态上下文理解特征向量。考虑到设备运行局部特征向量是各个设备的局部信息，而设备运行状态上下文理解特征向量需要考虑多个设备之间的全局关联。在本技术方案中，多个设备的运行局部特征向量包含了各自设备的运行状态信息，但缺乏设备之间的全局关联。因此，通过使用基于转换器的上下文编码器，可以利用自注意力机制对不同设备之间的关联进行建模，从而获得设备运行状态上下文理解特征向量。这样可以更全面地理解设备之间的状态关系，为后续的分析和决策提供更准确的全局信息。

具体地，在本申请实施例中，所述运行状态上下文理解模块，包括:设备状态上下文编码单元，用于将所述多个设备运行局部特征向量输入所述基于转换器的上下文编码器以得到多个上下文设备运行局部特征向量；以及，上下文局特征级联单元，用于将所述多个上下文设备运行局部特征向量进行级联以得到所述设备运行状态上下文理解特征向量

更具体地，在本申请实施例中，所述设备状态上下文编码单元，用于：使用所述设备运行状态上下文编码器的基于转换器的Bert模型对所述多个设备运行局部特征向量中各个设备运行局部特征向量进行基于时序全局的上下文语义编码以得到所述多个上下文设备运行局部特征向量。

基于转换器的BERT(Bidirectional Encoder Representations fromTransformers)模型是一种自然语言处理(NLP)模型，由Google在2018年提出。BERT模型基于Transformer架构，通过预训练和微调的方式，能够学习到丰富的语言表示。具体来说，BERT模型的核心思想是使用无标签的大规模文本数据进行预训练，从而学习到通用的语言表示。应可以理解，在预训练阶段，BERT模型通过构建两个任务：掩码语言建模(MaskedLanguage Modeling，MLM)和下一句预测(Next Sentence Prediction，NSP)。掩码语言建模任务要求模型根据上下文预测被掩盖的单词，从而使模型能够理解上下文中的语义和语法关系。下一句预测任务要求模型判断两个句子是否是连续的，从而使模型能够理解句子之间的关系。在预训练完成后，BERT模型可以通过微调来适应特定的下游任务，如文本分类、命名实体识别、问答等。在微调阶段，可以将任务特定的标注数据与预训练的BERT模型结合，通过有监督学习的方式进行训练，从而使模型能够学习到特定任务的特征表示。

BERT模型的优点在于它能够学习到丰富的语言表示，具备上下文理解和语义关系建模的能力。通过预训练和微调的方式，BERT模型在多个NLP任务上取得了显著的性能提升，并且成为了自然语言处理领域的重要基准模型。

在本申请实施例中，所述设备运行异常判断模块170，用于将所述设备运行状态上下文理解特征向量通过分类器得到分类结果，所述分类结果用于表示设备是否出现异常并基于所述分类结果生成预警指示。考虑到分类是将设备运行状态上下文理解特征向量映射到不同的类别或标签，从而判断设备是否出现异常。分类器可以根据已知的训练数据，学习特征向量与设备正常或异常状态之间的关系，并将其泛化到未知数据上进行分类。具体来说，通过将设备运行状态上下文理解特征向量进行分类，可以将设备的状态划分为正常和异常两个类别。分类模型可以学习到正常状态的特征分布，并能够识别与正常状态有明显差异的异常状态。当分类器将设备的状态划分为异常时，可以触发相应的预警机制，通知相关人员或系统进行处理。预警指示可以包括报警信息、故障描述、建议的维修措施等，以帮助及时响应和解决设备异常情况。

具体地，在本申请实施例中，所述设备运行异常判断模块，包括：全连接编码单元，用于使用所述分类器的全连接层对所述设备运行状态上下文理解特征向量进行全连接编码以得到编码设备运行状态上下文理解特征向量；以及，分类结果单元，用于将所述编码设备运行状态上下文理解特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

综上，基于本申请实施例的基于多模态数据的异常监测预警系统100被阐明，其采用基于深度神经网络模型的人工智能技术，获取预定时间段多个预定时间点设备的运行状态的监测数据和设备振动信号波形图，通过双向注意力机制和振动信号特征提取器，可以从运行状态监测数据和振动信号中提取关键特征，将这些特征融合后得到设备运行的全局特征并利用基于转换器的上下文编码器更好地理解设备运行状态的上下文信息，以生成用于表示设备是否出现异常的分类结果。通过该方法可以实现对设备运行状态的异常监测和预警，从而提高设备的可靠性、安全性和维护效率。

示例性方法

图4为根据本申请实施例的基于多模态数据的异常监测预警方法的流程图。如图4所示，根据本申请实施例的基于多模态数据的异常监测预警方法，包括：S110,获取预定时间段多个预定时间点设备的运行状态的监测数据和设备振动信号波形图，其中所述设备的运行状态的监测数据包括设备的温度值、压力值；S120,将所述多个预定时间点设备的运行状态的监测数据二维排列为运行状态输入矩阵后通过基于卷积神经网络的双向注意力机制以得到运行状态特征矩阵；S130,将所述多个预定时间点的设备振动信号波形图通过基于卷积神经网络的振动信号特征提取器以得到振动信号特征矩阵；S140,计算所述运行状态特征矩阵和所述振动信号特征矩阵进行基于相对于目标分类函数的平滑隐特征表达的融合以得到设备运行全局特征矩阵；S150,切分所述设备运行全局特征矩阵以得到多个设备运行局部特征向量；S160,将所述多个设备运行局部特征向量通过基于转换器的上下文编码器以得到设备运行状态上下文理解特征向量；以及，S170,将所述设备运行状态上下文理解特征向量通过分类器得到分类结果，所述分类结果用于表示设备是否出现异常并基于所述分类结果生成预警指示。