用于轨道交通车辆的振动评估方法及系统

技术领域

本申请涉及智能评估技术领域，且更为具体地，涉及一种用于轨道交通车辆的振动评估方法及系统。

背景技术

随着轨道交通的不断发展以及人们对居住环境要求的不断提高，人们对轨道交通引起的振动关注度越来越高。通过对轨道交通车辆的振动评估可以对轨道交通的性能进行实时在线监控，从而为运营维护提供决策依据。但是，现有的对于轨道交通车辆的振动评估方案的准确性不高，易受外界环境的干扰，导致对于轨道交通性能检测的精准度较低，易产生误警报的情况。

因此，期待一种优化的用于轨道交通车辆的振动评估方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于轨道交通车辆的振动评估方法及系统。其首先将获取的待评估轨道交通车辆在预定时间段的振动信号的波形图通过第一卷积神经网络模型以得到振动波形特征向量，接着，将相应的声音信号的波形图通过第二卷积神经网络模型以得到声音波形特征向量，然后，对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量，对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量，最后，融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示并将其通过分类器以得到用于表示是否产生状态预警提示的分类结果。通过这样的方式，可以提升轨道交通性能检测的精准度。

根据本申请的一个方面，提供了一种用于轨道交通车辆的振动评估方法，其包括：

获取待评估轨道交通车辆在预定时间段的振动信号和由声音传感器采集的声音信号；

将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；

将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型以得到声音波形特征向量；

对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量；

对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量；

融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示；

以及将所述多模态特征表示通过分类器以得到分类结果，所述分类结果用于表示是否产生状态预警提示。

在上述的用于轨道交通车辆的振动评估方法中，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量，包括：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：

对输入数据进行卷积处理以得到第一卷积特征图；

对所述第一卷积特征图进行基于局部特征矩阵的均值池化以得到第一池化特征图；

以及对所述第一池化特征图进行非线性激活以得到第一激活特征图；

其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。

在上述的用于轨道交通车辆的振动评估方法中，将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型以得到声音波形特征向量，包括：所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：

对输入数据进行卷积处理以得到第二卷积特征图；

对所述第二卷积特征图进行基于局部特征矩阵的均值池化以得到第二池化特征图；

以及对所述第二池化特征图进行非线性激活以得到第二激活特征图；

其中，所述作为过滤器的第二卷积神经网络模型的最后一层的输出为所述声音波形特征向量，所述作为过滤器的第二卷积神经网络模型的第一层的输入为所述声音信号的波形图。

在上述的用于轨道交通车辆的振动评估方法中，对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量，包括：

将所述振动信号的波形图通过作为特征提取器的第三卷积神经网络模型以得到第一辅助特征图；

对所述第一辅助特征图进行特征相关性累积区分机制建模以得到第一加权特征向量；

以及计算所述第一加权特征向量与所述振动波形特征向量之间的按位置点乘以得到所述优化振动波形特征向量。

在上述的用于轨道交通车辆的振动评估方法中，将所述振动信号的波形图通过作为特征提取器的第三卷积神经网络模型以得到第一辅助特征图，包括：所述作为特征提取器的第三卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：

对输入数据进行卷积处理以得到第三卷积特征图；

对所述第三卷积特征图进行均值池化处理以得到第三池化特征图；

以及对所述第三池化特征图进行非线性激活以得到第三激活特征图；

其中，所述作为特征提取器的第三卷积神经网络模型的最后一层的输出为所述第一辅助特征图，所述作为特征提取器的第三卷积神经网络模型的第一层的输入为所述振动信号的波形图。

在上述的用于轨道交通车辆的振动评估方法中，对所述第一辅助特征图进行特征相关性累积区分机制建模以得到第一加权特征向量，包括：

以如下公式对所述第一辅助特征图进行特征相关性累积区分机制建模以得到所述第一加权特征向量；

其中，所述公式为：

其中，

在上述的用于轨道交通车辆的振动评估方法中，对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量，包括：

将所述声音信号的波形图通过所述通过作为特征提取器的第三卷积神经网络模型以得到第二辅助特征图；

对所述第二辅助特征图进行特征相关性累积区分机制建模以得到第二加权特征向量；

以及计算所述第二加权特征向量与所述声音波形特征向量之间的按位置点乘以得到所述优化声音波形特征向量。

在上述的用于轨道交通车辆的振动评估方法中，融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示，包括：

以如下公式来融合所述振动波形特征向量和所述声音波形特征向量以得到所述多模态特征表示；

其中，所述公式为：

其中，

在上述的用于轨道交通车辆的振动评估方法中，将所述多模态特征表示通过分类器以得到分类结果，所述分类结果用于表示是否产生状态预警提示，包括：

使用所述分类器的多个全连接层对所述多模态特征表示进行全连接编码以得到编码分类特征向量；

以及将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一个方面，提供了一种用于轨道交通车辆的振动评估系统，其包括：

信号采集模块，用于获取待评估轨道交通车辆在预定时间段的振动信号和由声音传感器采集的声音信号；

第一卷积编码模块，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；

第二卷积编码模块，用于将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型以得到声音波形特征向量；

振动波形优化模块，用于对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量；

声音波形优化模块，用于对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量；

融合模块，用于融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示；

以及分类模块，用于将所述多模态特征表示通过分类器以得到分类结果，所述分类结果用于表示是否产生状态预警提示。

与现有技术相比，本申请提供的用于轨道交通车辆的振动评估方法及系统，其首先将获取的待评估轨道交通车辆在预定时间段的振动信号的波形图通过第一卷积神经网络模型以得到振动波形特征向量，接着，将相应的声音信号的波形图通过第二卷积神经网络模型以得到声音波形特征向量，然后，对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量，对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量，最后，融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示并将其通过分类器以得到用于表示是否产生状态预警提示的分类结果。通过这样的方式，可以提升轨道交通性能检测的精准度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的用于轨道交通车辆的振动评估方法的场景示意图。

图2为根据本申请实施例的用于轨道交通车辆的振动评估方法的流程图。

图3为根据本申请实施例的用于轨道交通车辆的振动评估方法的架构示意图。

图4为根据本申请实施例的用于轨道交通车辆的振动评估方法的子步骤S140的流程图。

图5为根据本申请实施例的用于轨道交通车辆的振动评估方法的子步骤S150的流程图。

图6为根据本申请实施例的用于轨道交通车辆的振动评估方法的子步骤S170的流程图。

图7为根据本申请实施例的用于轨道交通车辆的振动评估系统的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，通过对轨道交通车辆的振动评估可以对轨道交通的性能进行实时在线监控，从而为运营维护提供决策依据。但是，现有的对于轨道交通车辆的振动评估方案的准确性不高，易受外界环境的干扰，导致对于轨道交通性能检测的精准度较低，易产生误警报的情况。因此，期待一种优化的用于轨道交通车辆的振动评估方案。

相应地，考虑到在实际的轨道交通车辆运行的过程中，其振动的变化信息会在时间维度上存在着特定的规律，因此，可基于对于轨道交通车辆的振动评估来对于轨道交通的性能进行监测，以此来为运营维护提供决策基础。但是，由于在实际基于轨道交通车辆的振动特征信息来进行性能评估时，其振动特征信息易受其他外界环境信息和自身与性能检测无关的振动信息的干扰，这会导致对于轨道交通的性能检测的精准度较低，易错误产生状态预警。因此，在本申请的技术方案中，其采用轨道交通车辆的振动时序特征信息和声音时序特征信息来综合进行轨道交通的性能评估检测，以此综合振动信号和声音信号来提高振动评估的精准度。应可以理解，由于轨道交通车辆的振动信号和声音信号属于两个不同类型的信号数据，难以对其特征信息进行深度提取和融合，因此，难点在于如何挖掘出所述轨道交通车辆的振动时序特征和声音时序特征的关联性特征分布信息，以此来准确地进行轨道交通的性能检测，以在检测出异常时产生状态预警提示，为运营维护提供决策依据，保证轨道交通的安全性。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为挖掘所述轨道交通车辆的振动时序特征和声音时序特征的关联性特征分布信息提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先，通过部署于待评估轨道交通车辆中的振动传感器和声音传感器分别获取所述待评估轨道交通车辆在预定时间段的振动信号和声音信号。然后，考虑到由于所述待评估轨道交通车辆在预定时间段的振动信号和声音信号在时域中的表现形式都为波形图，因此，进一步使用在图像的隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行两者的特征挖掘。具体地，首先，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型中进行处理，以提取出所述振动信号的波形图在所述预定时间段内的时序高维隐含特征分布信息，从而得到振动波形特征向量。接着，再将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型中进行特征挖掘，以提取出所述声音信号的波形图在所述预定时间段内的时序高维隐含特征分布信息，从而得到声音波形特征向量。

进一步地，融合所述振动波形特征向量和所述声音波形特征向量，以此来融合所述轨道交通车辆的振动特征隐含分布信息和声音特征隐含分布信息的多模态融合特征信息，从而得到多模态特征表示。相应地，在本申请的一个具体示例中，可以通过级联的方式来融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示。

然后，进一步再将所述多模态特征表示通过分类器中进行分类处理以得到用于表示是否产生状态预警提示的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括产生状态预警提示，以及，不产生状态预警提示，其中，所述分类器通过软最大值函数来确定所述多模态特征表示属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否产生状态预警提示的控制策略标签，因此，在准确地进行轨道交通的性能检测以得到所述分类结果后，可基于所述分类结果来控制是否产生状态预警提示，以此来为运营维护提供决策依据，从而保证轨道交通的安全性。

特别地，在本申请的技术方案中，在将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量，和将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型以得到声音波形特征向量时，如果能够对所述振动波形特征向量和所述声音波形特征向量的各个位置的特征值进行适当的加权以区分所述振动波形特征向量和所述声音波形特征向量的各个位置的特征值的重要性，即，所述作为过滤器的卷积神经网络模型沿通道维度提取的特征的置信度，则显然能够提升所述振动波形特征向量和所述声音波形特征向量的表达效果。

将所述振动信号的波形图和所述声音信号的波形图分别通过作为特征提取器的第三卷积神经网络模型以得到第一辅助特征图，例如记为

其中，

这里，所述特征相关性累积区分机制建模首先通过卷积操作来生成特征图的两种新的局部关联单元，再利用Sigmoid函数和ReLU函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新，之后通过全局平均池化操作来累积局部特征相对于整体特征的相关性，从而使用特征区分机制来显式地建模特征重要性序列，就可以基于特征图的各个特征矩阵的特征累积区分机制来确定通道维度下适当的加权因数。这样，通过以所述第一加权特征向量

图1为根据本申请实施例的用于轨道交通车辆的振动评估方法的应用场景图。如图1所示，在该应用场景中，获取待评估轨道交通车辆在预定时间段的振动信号（例如，如图1中所示意的901）和由声音传感器采集的声音信号（例如，如图1中所示意的902），然后，将所述振动信号的波形图和所述声音信号的波形图输入至部署有用于轨道交通车辆的振动评估算法的服务器（例如，如图1中所示意的903）中，其中所述服务器能够基于所述用于轨道交通车辆的振动评估算法生成用于表示是否产生状态预警提示的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性方法

图2为根据本申请实施例的用于轨道交通车辆的振动评估方法的流程图。如图2所示，根据本申请实施例的用于轨道交通车辆的振动评估方法，包括步骤：S110，获取待评估轨道交通车辆在预定时间段的振动信号和由声音传感器采集的声音信号；S120，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；S130，将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型以得到声音波形特征向量；S140，对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量；S150，对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量；S160，融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示；以及，S170，将所述多模态特征表示通过分类器以得到分类结果，所述分类结果用于表示是否产生状态预警提示。

图3为根据本申请实施例的用于轨道交通车辆的振动评估方法的架构示意图。如图3所示，在该网络架构中，首先，获取待评估轨道交通车辆在预定时间段的振动信号和由声音传感器采集的声音信号；接着，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；然后，将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型以得到声音波形特征向量；接着，对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量；然后，对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量；接着，融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示；最后，将所述多模态特征表示通过分类器以得到分类结果，所述分类结果用于表示是否产生状态预警提示。

更具体地，在步骤S110中，获取待评估轨道交通车辆在预定时间段的振动信号和由声音传感器采集的声音信号。例如，可以通过部署于待评估轨道交通车辆中的振动传感器和声音传感器分别获取所述待评估轨道交通车辆在预定时间段的振动信号和声音信号。

现有的对于轨道交通车辆的振动评估方案的准确性不高，易受外界环境的干扰，导致对于轨道交通性能检测的精准度较低，易产生误警报的情况。考虑到在实际的轨道交通车辆运行的过程中，其振动的变化信息会在时间维度上存在着特定的规律，因此，可基于对于轨道交通车辆的振动评估来对于轨道交通的性能进行监测，以此来为运营维护提供决策基础。但是，由于在实际基于轨道交通车辆的振动特征信息来进行性能评估时，其振动特征信息易受其他外界环境信息和自身与性能检测无关的振动信息的干扰，这会导致对于轨道交通的性能检测的精准度较低，易错误产生状态预警。因此，在本申请的技术方案中，其采用轨道交通车辆的振动时序特征信息和声音时序特征信息来综合进行轨道交通的性能评估检测，以此综合振动信号和声音信号来提高振动评估的精准度。

进一步的，考虑到由于所述待评估轨道交通车辆在预定时间段的振动信号和声音信号在时域中的表现形式都为波形图，因此，进一步使用在图像的隐含特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行两者的特征挖掘。

更具体地，在步骤S120中，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量。将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型中进行处理，以提取出所述振动信号的波形图在所述预定时间段内的时序高维隐含特征分布信息，从而得到振动波形特征向量。

相应地，在一个具体示例中，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量，包括：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第一卷积特征图；对所述第一卷积特征图进行基于局部特征矩阵的均值池化以得到第一池化特征图；以及，对所述第一池化特征图进行非线性激活以得到第一激活特征图；其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。

更具体地，在步骤S130中，将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型以得到声音波形特征向量。将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型中进行特征挖掘，以提取出所述声音信号的波形图在所述预定时间段内的时序高维隐含特征分布信息，从而得到声音波形特征向量。

相应地，在一个具体示例中，将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型以得到声音波形特征向量，包括：所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第二卷积特征图；对所述第二卷积特征图进行基于局部特征矩阵的均值池化以得到第二池化特征图；以及，对所述第二池化特征图进行非线性激活以得到第二激活特征图；其中，所述作为过滤器的第二卷积神经网络模型的最后一层的输出为所述声音波形特征向量，所述作为过滤器的第二卷积神经网络模型的第一层的输入为所述声音信号的波形图。

更具体地，在步骤S140中，对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量。

相应地，在一个具体示例中，如图4所示，对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量，包括：S141，将所述振动信号的波形图通过作为特征提取器的第三卷积神经网络模型以得到第一辅助特征图；S142，对所述第一辅助特征图进行特征相关性累积区分机制建模以得到第一加权特征向量；以及，S143，计算所述第一加权特征向量与所述振动波形特征向量之间的按位置点乘以得到所述优化振动波形特征向量。

相应地，在一个具体示例中，将所述振动信号的波形图通过作为特征提取器的第三卷积神经网络模型以得到第一辅助特征图，包括：所述作为特征提取器的第三卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第三卷积特征图；对所述第三卷积特征图进行均值池化处理以得到第三池化特征图；以及，对所述第三池化特征图进行非线性激活以得到第三激活特征图；其中，所述作为特征提取器的第三卷积神经网络模型的最后一层的输出为所述第一辅助特征图，所述作为特征提取器的第三卷积神经网络模型的第一层的输入为所述振动信号的波形图。

更具体地，在步骤S150中，对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量。

相应地，在一个具体示例中，如图5所示，对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量，包括：S151，将所述声音信号的波形图通过所述通过作为特征提取器的第三卷积神经网络模型以得到第二辅助特征图；S152，对所述第二辅助特征图进行特征相关性累积区分机制建模以得到第二加权特征向量；以及，S153，计算所述第二加权特征向量与所述声音波形特征向量之间的按位置点乘以得到所述优化声音波形特征向量。

相应地，在一个具体示例中，将所述声音信号的波形图通过所述通过作为特征提取器的第三卷积神经网络模型以得到第二辅助特征图，包括：所述作为特征提取器的第三卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第四卷积特征图；对所述第四卷积特征图进行均值池化处理以得到第四池化特征图；以及，对所述第四池化特征图进行非线性激活以得到第四激活特征图；其中，所述作为特征提取器的第三卷积神经网络模型的最后一层的输出为所述第二辅助特征图，所述作为特征提取器的第三卷积神经网络模型的第一层的输入为所述声音信号的波形图。

特别地，在本申请的技术方案中，如果能够对所述振动波形特征向量和所述声音波形特征向量的各个位置的特征值进行适当的加权以区分所述振动波形特征向量和所述声音波形特征向量的各个位置的特征值的重要性，即，所述作为过滤器的卷积神经网络模型沿通道维度提取的特征的置信度，则显然能够提升所述振动波形特征向量和所述声音波形特征向量的表达效果。将所述振动信号的波形图和所述声音信号的波形图分别通过作为特征提取器的第三卷积神经网络模型以得到第一辅助特征图，例如记为

相应地，在一个具体示例中，对所述第一辅助特征图进行特征相关性累积区分机制建模以得到第一加权特征向量，包括：以如下公式对所述第一辅助特征图进行特征相关性累积区分机制建模以得到所述第一加权特征向量；其中，所述公式为：

其中，

相应地，在一个具体示例中，对所述第二辅助特征图进行特征相关性累积区分机制建模以得到第二加权特征向量，包括：以如下公式对所述第二辅助特征图进行特征相关性累积区分机制建模以得到所述第二加权特征向量；其中，所述公式为：

其中，

这里，所述特征相关性累积区分机制建模首先通过卷积操作来生成特征图的两种新的局部关联单元，再利用Sigmoid函数和ReLU函数对局部关联特征进行类似神经网络架构的简单的嵌入、复位和更新，之后通过全局平均池化操作来累积局部特征相对于整体特征的相关性，从而使用特征区分机制来显式地建模特征重要性序列，就可以基于特征图的各个特征矩阵的特征累积区分机制来确定通道维度下适当的加权因数。这样，通过以所述第一加权特征向量

更具体地，在步骤S160中，融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示。融合所述振动波形特征向量和所述声音波形特征向量，以此来融合所述轨道交通车辆的振动特征隐含分布信息和声音特征隐含分布信息的多模态融合特征信息，从而得到多模态特征表示。相应地，在本申请的一个具体示例中，可以通过级联的方式来融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示。

相应地，在一个具体示例中，融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示，包括：以如下公式来融合所述振动波形特征向量和所述声音波形特征向量以得到所述多模态特征表示；其中，所述公式为：

其中，

更具体地，在步骤S170中，将所述多模态特征表示通过分类器以得到分类结果，所述分类结果用于表示是否产生状态预警提示。也就是，在本申请的技术方案中，所述分类器的标签包括产生状态预警提示，以及，不产生状态预警提示，其中，所述分类器通过软最大值函数来确定所述多模态特征表示属于哪个分类标签。应可以理解，在本申请的技术方案中，所述分类器的分类标签为是否产生状态预警提示的控制策略标签，因此，在准确地进行轨道交通的性能检测以得到所述分类结果后，可基于所述分类结果来控制是否产生状态预警提示，以此来为运营维护提供决策依据，从而保证轨道交通的安全性。

相应地，在一个具体示例中，如图6所示，将所述多模态特征表示通过分类器以得到分类结果，所述分类结果用于表示是否产生状态预警提示，包括：S171，使用所述分类器的多个全连接层对所述多模态特征表示进行全连接编码以得到编码分类特征向量；以及，S172，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，基于本申请实施例的用于轨道交通车辆的振动评估方法，其首先将获取的待评估轨道交通车辆在预定时间段的振动信号的波形图通过第一卷积神经网络模型以得到振动波形特征向量，接着，将相应的声音信号的波形图通过第二卷积神经网络模型以得到声音波形特征向量，然后，对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量，对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量，最后，融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示并将其通过分类器以得到用于表示是否产生状态预警提示的分类结果。通过这样的方式，可以提升轨道交通性能检测的精准度。

示例性系统

图7为根据本申请实施例的用于轨道交通车辆的振动评估系统100的框图。如图7所示，根据本申请实施例的用于轨道交通车辆的振动评估系统100，包括：信号采集模块110，用于获取待评估轨道交通车辆在预定时间段的振动信号和由声音传感器采集的声音信号；第一卷积编码模块120，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；第二卷积编码模块130，用于将所述声音信号的波形图通过作为过滤器的第二卷积神经网络模型以得到声音波形特征向量；振动波形优化模块140，用于对所述振动波形特征向量进行特征值区分度强化以得到优化振动波形特征向量；声音波形优化模块150，用于对所述声音波形特征向量进行特征值区分度强化以得到优化声音波形特征向量；融合模块160，用于融合所述振动波形特征向量和所述声音波形特征向量以得到多模态特征表示；以及，分类模块170，用于将所述多模态特征表示通过分类器以得到分类结果，所述分类结果用于表示是否产生状态预警提示。

在一个示例中，在上述用于轨道交通车辆的振动评估系统100中，所述第一卷积编码模块120，用于：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第一卷积特征图；对所述第一卷积特征图进行基于局部特征矩阵的均值池化以得到第一池化特征图；以及，对所述第一池化特征图进行非线性激活以得到第一激活特征图；其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。

在一个示例中，在上述用于轨道交通车辆的振动评估系统100中，所述第二卷积编码模块130，用于：所述作为过滤器的第二卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第二卷积特征图；对所述第二卷积特征图进行基于局部特征矩阵的均值池化以得到第二池化特征图；以及，对所述第二池化特征图进行非线性激活以得到第二激活特征图；其中，所述作为过滤器的第二卷积神经网络模型的最后一层的输出为所述声音波形特征向量，所述作为过滤器的第二卷积神经网络模型的第一层的输入为所述声音信号的波形图。

在一个示例中，在上述用于轨道交通车辆的振动评估系统100中，所述振动波形优化模块140，进一步用于：将所述振动信号的波形图通过作为特征提取器的第三卷积神经网络模型以得到第一辅助特征图；对所述第一辅助特征图进行特征相关性累积区分机制建模以得到第一加权特征向量；以及，计算所述第一加权特征向量与所述振动波形特征向量之间的按位置点乘以得到所述优化振动波形特征向量。

在一个示例中，在上述用于轨道交通车辆的振动评估系统100中，所述将所述振动信号的波形图通过作为特征提取器的第三卷积神经网络模型以得到第一辅助特征图，包括：所述作为特征提取器的第三卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到第三卷积特征图；对所述第三卷积特征图进行均值池化处理以得到第三池化特征图；以及，对所述第三池化特征图进行非线性激活以得到第三激活特征图；其中，所述作为特征提取器的第三卷积神经网络模型的最后一层的输出为所述第一辅助特征图，所述作为特征提取器的第三卷积神经网络模型的第一层的输入为所述振动信号的波形图。

在一个示例中，在上述用于轨道交通车辆的振动评估系统100中，所述对所述第一辅助特征图进行特征相关性累积区分机制建模以得到第一加权特征向量，包括：以如下公式对所述第一辅助特征图进行特征相关性累积区分机制建模以得到所述第一加权特征向量；其中，所述公式为：

其中，

在一个示例中，在上述用于轨道交通车辆的振动评估系统100中，所述声音波形优化模块150，进一步用于：将所述声音信号的波形图通过所述通过作为特征提取器的第三卷积神经网络模型以得到第二辅助特征图；对所述第二辅助特征图进行特征相关性累积区分机制建模以得到第二加权特征向量；以及，计算所述第二加权特征向量与所述声音波形特征向量之间的按位置点乘以得到所述优化声音波形特征向量。

在一个示例中，在上述用于轨道交通车辆的振动评估系统100中，所述融合模块160，进一步用于：以如下公式来融合所述振动波形特征向量和所述声音波形特征向量以得到所述多模态特征表示；其中，所述公式为：

其中，

在一个示例中，在上述用于轨道交通车辆的振动评估系统100中，所述分类模块170，进一步用于：使用所述分类器的多个全连接层对所述多模态特征表示进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

这里，本领域技术人员可以理解，上述用于轨道交通车辆的振动评估系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图6的用于轨道交通车辆的振动评估方法的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的用于轨道交通车辆的振动评估系统100可以实现在各种无线终端中，例如具有用于轨道交通车辆的振动评估算法的服务器等。在一个示例中，根据本申请实施例的用于轨道交通车辆的振动评估系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该用于轨道交通车辆的振动评估系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该用于轨道交通车辆的振动评估系统100同样可以是该无线终端的众多硬件模块之一。

替换地，在另一示例中，该用于轨道交通车辆的振动评估系统100与该无线终端也可以是分立的设备，并且该用于轨道交通车辆的振动评估系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。