自动扶梯生产用性能检测系统及其方法

技术领域

本申请涉及智能检测技术领域，且更为具体地，涉及一种自动扶梯生产用性能检测系统及其方法。

背景技术

在自动扶梯的生产过程中，在出厂前的关键是对自动扶梯的出厂性能进行精准监测与评估。现行的做法是通过有经验的技术人员分别针对每一项性能指标进行检测，在测得数据之后，对数据进行分析，然后得出综合性能判断结果。但是上述性能检测方案，由于无法模拟各项指标之间的非线性关联，从而导致无法对自动扶梯的性能进行精准评估。

因此，期待一种优化的自动扶梯生产用性能检测方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种自动扶梯生产用性能检测系统及其方法。其采用基于深度学习的人工智能检测技术，以所述自动扶梯在运行过程中的振动特征和速度特征的联合特征来表示其理想的工况，进而以其在理想工况下生成的声音特征信息与实际探测的声音特征信息进行差异性对比，以此来判断所述自动扶梯的性能是否符合预定要求。通过这样的方式，可以对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。

根据本申请的一个方面，提供了一种自动扶梯生产用性能检测系统，其包括：

数据监控与采集模块，用于获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；

振动特征提取模块，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；

运行速度特征提取模块，用于将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；

高斯融合模块，用于基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；

理想声音生成模块，用于将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；

孪生检测模块，用于将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；

度量模块，用于计算所述生成声音特征图和所述探测声音特征图之间的距离；

性能检测结果生成模块，用于基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。

在上述的自动扶梯生产用性能检测系统中，所述振动特征提取模块，进一步用于：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：

对输入数据进行卷积处理以得到卷积特征图；

对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及

对所述池化特征图进行非线性激活以得到激活特征图；

其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。

在上述的自动扶梯生产用性能检测系统中，所述运行速度特征提取模块，用于：使用所述使用一维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：

对所述输入数据进行卷积处理以得到卷积特征向量；

对所述卷积特征向量进行池化处理以得到池化特征向量；以及

对所述池化特征向量进行非线性激活以得到激活特征向量；

其中，所述使用一维卷积核的第二卷积神经网络模型的最后一层的输出为所述速度特征向量，所述使用一维卷积核的第二卷积神经网络模型的第一层的输入为所述速度输入向量。

在上述的自动扶梯生产用性能检测系统中，所述高斯融合模块，包括：

融合高斯密度图构造单元，用于使用高斯密度图以如下公式来融合所述振动波形特征向量和所述速度特征向量以得到融合高斯密度图；

其中，所述公式为：

其中μ表示所述振动波形特征向量和所述速度特征向量之间的按位置均值向量，且σ的每个位置的值表示所述振动波形特征向量和所述速度特征向量中各个位置的特征值之间的方差；以及

高斯离散化单元，用于对所述融合高斯密度图的各个位置的高斯分布进行离散化处理以得到所述融合特征矩阵。

在上述的自动扶梯生产用性能检测系统中，所述对抗生成网络包括鉴别器和生成器，其中，所述理想声音生成模块，进一步用于将所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。

在上述的自动扶梯生产用性能检测系统中，所述孪生检测模块，包括：

生成声音编码单元，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第一图像编码器的最后一层输出所述生成声音特征图；

探测声音编码单元，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第二图像编码器的最后一层输出所述探测声音特征图。

在上述的自动扶梯生产用性能检测系统中，所述度量模块，包括：

生成声音特征图校正单元，用于基于所述探测声音特征图以如下公式对所述生成声音特征图进行相对类角度概率信息表示校正以得到优化生成声音特征图；

其中，所述公式为：

其中F

探测声音特征图校正单元，用于基于所述生成声音特征图以如下公式对所述探测声音特征图进行相对类角度概率信息表示校正以得到优化探测声音特征图；

其中，所述公式为：

其中F

度量单元，用于计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离。

在上述的自动扶梯生产用性能检测系统中，所述度量单元，进一步用于：以如下公式来计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离；

其中，所述公式为：

其中F

在上述的自动扶梯生产用性能检测系统中，所述性能检测结果生成模块，进一步用于响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。

根据本申请的另一个方面，提供了一种自动扶梯生产用性能检测方法，其包括：

获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；

将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；

将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；

基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；

将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；

将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；

计算所述生成声音特征图和所述探测声音特征图之间的距离；以及

基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。

与现有技术相比，本申请提供的一种自动扶梯生产用性能检测系统及其方法，其采用基于深度学习的人工智能检测技术，以所述自动扶梯在运行过程中的振动特征和速度特征的联合特征来表示其理想的工况，进而以其在理想工况下生成的声音特征信息与实际探测的声音特征信息进行差异性对比，以此来判断所述自动扶梯的性能是否符合预定要求。通过这样的方式，可以对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的自动扶梯生产用性能检测系统的应用场景图。

图2为根据本申请实施例的自动扶梯生产用性能检测系统的框图示意图。

图3为根据本申请实施例的自动扶梯生产用性能检测系统中的所述高斯融合模块的框图示意图。

图4为根据本申请实施例的自动扶梯生产用性能检测系统中的所述孪生检测模块的框图示意图。

图5为根据本申请实施例的自动扶梯生产用性能检测系统中的所述度量模块的框图示意图。

图6为根据本申请实施例的自动扶梯生产用性能检测方法的流程图。

图7为根据本申请实施例的自动扶梯生产用性能检测方法的系统架构的示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

场景概述

如上所述，在自动扶梯的生产过程中，在出厂前的关键是对自动扶梯的出厂性能进行精准监测与评估。现行的做法是通过有经验的技术人员分别针对每一项性能指标进行检测，在测得数据之后，对数据进行分析，然后得出综合性能判断结果。但是上述性能检测方案，由于无法模拟各项指标之间的非线性关联，从而导致无法对自动扶梯的性能进行精准评估。因此，期待一种优化的自动扶梯生产用性能检测方案。

目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

近年来，深度学习以及神经网络的发展为自动扶梯的生产用性能检测提供了新的解决思路和方案。

相应地，考虑到自动扶梯在运行的过程中会产生振动，当自动扶梯处于正常的工作状态模式时会使其振动模式存在固定的隐藏特征，并且所述自动扶梯的运行速度与振动的模式特征之间也存在着关联性，所述自动扶梯的振动还会产生声音信号，因此，可以从所述自动扶梯在生产工作时的振动特征、运行速度特征以及声音特征来综合对于所述自动扶梯进行性能测试。但是，由于所述自动扶梯的各项指标之间具有非线性的关联，这给自动扶梯的性能检测带来了困难。基于此，在本申请的技术方案中，采用基于深度学习的人工智能检测技术，以所述自动扶梯在运行过程中的振动特征和速度特征的联合特征来表示其理想的工况，进而以其在理想工况下生成的声音特征信息与实际探测的声音特征信息进行差异性对比，以此来判断所述自动扶梯的性能是否符合预定要求。这样，能够对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。

具体地，在本申请的技术方案中，首先，通过振动传感器采集自动扶梯在性能检测过程中的预定时间段的振动信号，通过速度传感器采集所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值，并且通过声音传感器采集所述预定时间段的探测声音信号。接着，考虑到所述振动信号在时域上的表现为波形图，因此，使用在图像的局部隐含特征提取方面具有优异表现的作为过滤器的第一卷积神经网络模型来对于所述振动信号的波形图进行特征挖掘，以提取出所述振动信号的波形图中的局部隐含特征分布信息，从而得到振动波形特征向量。

然后，对于所述多个预定时间点的所述自动扶梯的运行速度值，考虑到其在时间维度上具有着关联性的特征分布信息，因此，进一步将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型中进行特征提取，以提取出所述自动扶梯的运行速度在时序上的隐含关联特征分布信息，从而得到速度特征向量。

进一步地，考虑到所述振动波形特征向量和所述速度特征向量在高维特征空间中都各自对应着一个特征分布流形，而这些特征分布流形由于本身的不规则形状和散布位置，如果仅通过将各个数值检测数据的特征向量级联来表示理想工况的特征信息，将相当于简单地将这些特征分布流形按原位置和形状来进行叠加，使得新获得的特征分布流形的边界变得非常不规则和复杂，在通过梯度下降来寻找最优点时，非常容易陷入局部极值点中而无法获得全局最优点。因此，需要进一步地对所述振动波形特征向量和所述速度特征向量进行适当的融合，使得各个特征分布能够相对于彼此在型面上收敛。应可以理解，考虑到高斯密度图在深度学习中，广泛地用于基于先验的目标后验的估计，因此可以用于修正数据分布，从而实现上述目的。具体地，在本申请的技术方案中，基于高斯分布构造所述振动波形特征向量和所述速度特征向量的高斯密度图，并将所述高斯密度图进行高斯离散化处理以得到融合特征矩阵。

然后，为了生成理想工况下的理想声音信号以与实际声音信号在高维特征空间中进行特征差异性对比，进而来对于所述自动扶梯的性能检测，需要进一步将具有理想工况下的所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。这里，所述对抗生成网络包括鉴别器和生成器，其中，所述生成器用于理想声音信号，所述鉴别器用于计算所述理想声音信号和真实声音信号之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有理想声音信号生成功能的生成器。

接着，考虑到声音信号在时域中的表现形式为波形图，因此，进一步再将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型中进行编码，以分别提取出所述理想工况下的理想声音信号的隐含特征与所述实际探测的声音信号的隐含特征，从而得到生成声音特征图和探测声音特征图。特别地，这里，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应可以理解，使用包含有相同网络结构的图像编码器的所述孪生网络模型来分别进行所述生成声音信号和所述探测声音信号的特征提取能够挖掘出两者的波形图像在图像源域端差异不明显的特征信息，以此来进行所述自动扶梯的性能检测。

进一步地，计算所述生成声音特征图和所述探测声音特征图之间的距离，例如余弦距离，就可以所述理想声音信号特征与所述探测声音信号特征之间的差异性特征分布信息来进行所述自动扶梯的性能检测。然后，基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。相应地，在本申请的一个具体示例中，响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。也就是，如果所述理想声音特征与所述探测声音特征之间的差异性特征差距较大，那么所述自动扶梯的性能异常。能够对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。

特别地，在本申请的技术方案中，这里，针对所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型得到的所述生成声音特征图和所述探测声音特征图，为了提高所述生成声音特征图和所述探测声音特征图之间的距离计算的准确性，期望所述生成声音特征图和所述探测声音特征图在特征分布上具有相似性，即，期望所述生成声音特征图和所述探测声音特征图的特征分布在高维特征空间内存在尽量小的空间位置误差。

因此，考虑到所述生成声音信号是通过模拟所述探测声音信号获得的，因此所述生成声音特征图和所述探测声音特征图在特征分布上存在一定的对应性，因此，可以对所述生成声音特征图和所述探测声音特征图分别进行相对类角度概率信息表示校正，表示为：

其中

这里，所述相对类角度概率信息表示校正通过所述生成声音特征图F

基于此，本申请提供了一种自动扶梯生产用性能检测系统，其包括：数据监控与采集模块，用于获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；振动特征提取模块，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；运行速度特征提取模块，用于将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；高斯融合模块，用于基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；理想声音生成模块，用于将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；孪生检测模块，用于将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；度量模块，用于计算所述生成声音特征图和所述探测声音特征图之间的距离；以及，性能检测结果生成模块，用于基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。

图1为根据本申请实施例的自动扶梯生产用性能检测系统的应用场景图。如图1所示，在该应用场景中，获取由振动传感器(例如，如图1中所示意的C1)采集的自动扶梯在性能检测过程中的预定时间段的振动信号(例如，如图1中所示意的D1)、由速度传感器(例如，如图1中所示意的C2)采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值(例如，如图1中所示意的D2)以及由声音传感器(例如，如图1中所示意的C3)采集的所述预定时间段的探测声音信号(例如，如图1中所示意的D3)，然后，将所述振动信号的波形图、所述多个预定时间点的所述自动扶梯的运行速度值和所述探测声音信号输入至部署有自动扶梯生产用性能检测算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述自动扶梯生产用性能检测算法对所述振动信号的波形图、所述多个预定时间点的所述自动扶梯的运行速度值和所述探测声音信号进行处理以确定所述自动扶梯的性能是否符合预定要求。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图2为根据本申请实施例的自动扶梯生产用性能检测系统的框图示意图。如图2所示，根据本申请实施例的自动扶梯生产用性能检测系统100，包括：数据监控与采集模块110，用于获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；振动特征提取模块120，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；运行速度特征提取模块130，用于将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；高斯融合模块140，用于基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；理想声音生成模块150，用于将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；孪生检测模块160，用于将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；度量模块170，用于计算所述生成声音特征图和所述探测声音特征图之间的距离；以及，性能检测结果生成模块180，用于基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。

更具体地，在本申请实施例中，所述数据监控与采集模块110，用于获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号。自动扶梯在运行的过程中会产生振动，当自动扶梯处于正常的工作状态模式时会使其振动模式存在固定的隐藏特征，并且所述自动扶梯的运行速度与振动的模式特征之间也存在着关联性，所述自动扶梯的振动还会产生声音信号，因此，可以从所述自动扶梯在生产工作时的振动特征、运行速度特征以及声音特征来综合对于所述自动扶梯进行性能测试。

更具体地，在本申请实施例中，所述振动特征提取模块120，用于将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量。考虑到所述振动信号在时域上的表现为波形图，因此，使用在图像的局部隐含特征提取方面具有优异表现的作为过滤器的第一卷积神经网络模型来对于所述振动信号的波形图进行特征挖掘，以提取出所述振动信号的波形图中的局部隐含特征分布信息，从而得到振动波形特征向量。

相应地，在一个具体示例中，所述振动特征提取模块120，进一步用于：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。

更具体地，在本申请实施例中，所述运行速度特征提取模块130，用于将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量。对于所述多个预定时间点的所述自动扶梯的运行速度值，考虑到其在时间维度上具有着关联性的特征分布信息，因此，进一步将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型中进行特征提取，以提取出所述自动扶梯的运行速度在时序上的隐含关联特征分布信息，从而得到速度特征向量。

相应地，在一个具体示例中，所述运行速度特征提取模块130，用于：使用所述使用一维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征向量；对所述卷积特征向量进行池化处理以得到池化特征向量；以及，对所述池化特征向量进行非线性激活以得到激活特征向量；其中，所述使用一维卷积核的第二卷积神经网络模型的最后一层的输出为所述速度特征向量，所述使用一维卷积核的第二卷积神经网络模型的第一层的输入为所述速度输入向量。

更具体地，在本申请实施例中，所述高斯融合模块140，用于基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵。进一步地，考虑到所述振动波形特征向量和所述速度特征向量在高维特征空间中都各自对应着一个特征分布流形，而这些特征分布流形由于本身的不规则形状和散布位置，如果仅通过将各个数值检测数据的特征向量级联来表示理想工况的特征信息，将相当于简单地将这些特征分布流形按原位置和形状来进行叠加，使得新获得的特征分布流形的边界变得非常不规则和复杂，在通过梯度下降来寻找最优点时，非常容易陷入局部极值点中而无法获得全局最优点。因此，需要进一步地对所述振动波形特征向量和所述速度特征向量进行适当的融合，使得各个特征分布能够相对于彼此在型面上收敛。应可以理解，考虑到高斯密度图在深度学习中，广泛地用于基于先验的目标后验的估计，因此可以用于修正数据分布，从而实现上述目的。具体地，在本申请的技术方案中，基于高斯分布构造所述振动波形特征向量和所述速度特征向量的高斯密度图，并将所述高斯密度图进行高斯离散化处理以得到融合特征矩阵。

相应地，在一个具体示例中，如图3所示，所述高斯融合模块140，包括：融合高斯密度图构造单元141，用于使用高斯密度图以如下公式来融合所述振动波形特征向量和所述速度特征向量以得到融合高斯密度图；其中，所述公式为：

其中μ表示所述振动波形特征向量和所述速度特征向量之间的按位置均值向量，且σ的每个位置的值表示所述振动波形特征向量和所述速度特征向量中各个位置的特征值之间的方差；以及，高斯离散化单元142，用于对所述融合高斯密度图的各个位置的高斯分布进行离散化处理以得到所述融合特征矩阵。

更具体地，在本申请实施例中，所述理想声音生成模块150，用于将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号。为了生成理想工况下的理想声音信号以与实际声音信号在高维特征空间中进行特征差异性对比，进而来对于所述自动扶梯的性能检测，需要进一步将具有理想工况下的所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。这里，所述对抗生成网络包括鉴别器和生成器，其中，所述生成器用于理想声音信号，所述鉴别器用于计算所述理想声音信号和真实声音信号之间的差异，并通过梯度下降的方向传播算法来更新所述生成器的网络参数以得到具有理想声音信号生成功能的生成器。

相应地，在一个具体示例中，所述对抗生成网络包括鉴别器和生成器，其中，所述理想声音生成模块150，进一步用于将所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。

更具体地，在本申请实施例中，所述孪生检测模块160，用于将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。

相应地，在一个具体示例中，如图4所示，所述孪生检测模块160，包括：生成声音编码单元161，用于使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第一图像编码器的最后一层输出所述生成声音特征图；探测声音编码单元162，用于使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第二图像编码器的最后一层输出所述探测声音特征图。声音信号在时域中的表现形式为波形图，因此，进一步再将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型中进行编码，以分别提取出所述理想工况下的理想声音信号的隐含特征与所述实际探测的声音信号的隐含特征，从而得到生成声音特征图和探测声音特征图。特别地，这里，所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应可以理解，使用包含有相同网络结构的图像编码器的所述孪生网络模型来分别进行所述生成声音信号和所述探测声音信号的特征提取能够挖掘出两者的波形图像在图像源域端差异不明显的特征信息，以此来进行所述自动扶梯的性能检测。

更具体地，在本申请实施例中，所述度量模块170，用于计算所述生成声音特征图和所述探测声音特征图之间的距离。进一步地，计算所述生成声音特征图和所述探测声音特征图之间的距离，例如余弦距离，就可以所述理想声音信号特征与所述探测声音信号特征之间的差异性特征分布信息来进行所述自动扶梯的性能检测。然后，基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。相应地，在本申请的一个具体示例中，响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。也就是，如果所述理想声音特征与所述探测声音特征之间的差异性特征差距较大，那么所述自动扶梯的性能异常。能够对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。

特别地，在本申请的技术方案中，这里，针对所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型得到的所述生成声音特征图和所述探测声音特征图，为了提高所述生成声音特征图和所述探测声音特征图之间的距离计算的准确性，期望所述生成声音特征图和所述探测声音特征图在特征分布上具有相似性，即，期望所述生成声音特征图和所述探测声音特征图的特征分布在高维特征空间内存在尽量小的空间位置误差。因此，考虑到所述生成声音信号是通过模拟所述探测声音信号获得的，因此所述生成声音特征图和所述探测声音特征图在特征分布上存在一定的对应性，因此，可以对所述生成声音特征图和所述探测声音特征图分别进行相对类角度概率信息表示校正。

相应地，在一个具体示例中，如图5所示，所述度量模块170，包括：生成声音特征图校正单元171，用于基于所述探测声音特征图以如下公式对所述生成声音特征图进行相对类角度概率信息表示校正以得到优化生成声音特征图；其中，所述公式为：

其中F

其中F

这里，所述相对类角度概率信息表示校正通过所述生成声音特征图F

相应地，在一个具体示例中，所述度量单元173，进一步用于：以如下公式来计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离；其中，所述公式为：

其中F

更具体地，在本申请实施例中，所述性能检测结果生成模块180，用于基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。

相应地，在一个具体示例中，所述性能检测结果生成模块180，进一步用于响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。

综上，基于本申请实施例的自动扶梯生产用性能检测系统100被阐明，其采用基于深度学习的人工智能检测技术，以所述自动扶梯在运行过程中的振动特征和速度特征的联合特征来表示其理想的工况，进而以其在理想工况下生成的声音特征信息与实际探测的声音特征信息进行差异性对比，以此来判断所述自动扶梯的性能是否符合预定要求。通过这样的方式，可以对于所述自动扶梯的出厂性能进行准确地检测，进而保证自动扶梯的生产质量。

如上所述，根据本申请实施例的所述自动扶梯生产用性能检测系统100可以实现在各种终端设备中，例如基于自动扶梯生产用性能检测算法的服务器等。在一个示例中，自动扶梯生产用性能检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该自动扶梯生产用性能检测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该自动扶梯生产用性能检测系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该自动扶梯生产用性能检测系统100与该终端设备也可以是分立的设备，并且该自动扶梯生产用性能检测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法

图6为根据本申请实施例的自动扶梯生产用性能检测方法的流程图。如图6所示，根据本申请实施例的自动扶梯生产用性能检测方法，其包括：S110，获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；S120，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；S130，将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；S140，基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；S150，将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；S160，将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；S170，计算所述生成声音特征图和所述探测声音特征图之间的距离；以及，S180，基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。

图7为根据本申请实施例的自动扶梯生产用性能检测方法的系统架构的示意图。如图7所示，在所述自动扶梯生产用性能检测方法的系统架构中，首先，获取由振动传感器采集的自动扶梯在性能检测过程中的预定时间段的振动信号、由速度传感器采集的所述预定时间段内多个预定时间点的所述自动扶梯的运行速度值以及由声音传感器采集的所述预定时间段的探测声音信号；接着，将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量；然后，将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量；接着，基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵；然后，将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号；接着，将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构；然后，计算所述生成声音特征图和所述探测声音特征图之间的距离；最后，基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求。

在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述将所述振动信号的波形图通过作为过滤器的第一卷积神经网络模型以得到振动波形特征向量，进一步包括：所述作为过滤器的第一卷积神经网络模型的各层在层的正向传递中对输入数据分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的第一卷积神经网络模型的最后一层的输出为所述振动波形特征向量，所述作为过滤器的第一卷积神经网络模型的第一层的输入为所述振动信号的波形图。

在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述将所述多个预定时间点的所述自动扶梯的运行速度值按照时间维度排列为速度输入向量后通过使用一维卷积核的第二卷积神经网络模型以得到速度特征向量，包括：使用所述使用一维卷积核的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对所述输入数据进行卷积处理以得到卷积特征向量；对所述卷积特征向量进行池化处理以得到池化特征向量；以及，对所述池化特征向量进行非线性激活以得到激活特征向量；其中，所述使用一维卷积核的第二卷积神经网络模型的最后一层的输出为所述速度特征向量，所述使用一维卷积核的第二卷积神经网络模型的第一层的输入为所述速度输入向量。

在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述基于高斯密度图融合所述振动波形特征向量和所述速度特征向量以得到融合特征矩阵，包括：使用高斯密度图以如下公式来融合所述振动波形特征向量和所述速度特征向量以得到融合高斯密度图；其中，所述公式为：

其中μ表示所述振动波形特征向量和所述速度特征向量之间的按位置均值向量，且σ的每个位置的值表示所述振动波形特征向量和所述速度特征向量中各个位置的特征值之间的方差；以及，对所述融合高斯密度图的各个位置的高斯分布进行离散化处理以得到所述融合特征矩阵。

在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述对抗生成网络包括鉴别器和生成器，其中，所述将所述融合特征矩阵通过基于对抗生成网络的理想声音生成器以得到生成声音信号，进一步包括将所述融合特征矩阵输入所述基于对抗生成网络的理想声音生成器以由所述对抗生成网络的生成器通过反卷积编码输出所述生成声音信号。

在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述将所述生成声音信号和所述探测声音信号通过包含第一图像编码器和第二图像编码器的孪生网路模型以得到生成声音特征图和探测声音特征图，所述第一图像编码器和所述第二图像编码器具有相同的网络结构，包括：使用所述第一图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第一图像编码器的最后一层输出所述生成声音特征图；使用所述第二图像编码器的各层在层的正向传递中分别对输入数据进行卷积处理、基于局部特征矩阵的均值池化和非线性激活处理以由所述第二图像编码器的最后一层输出所述探测声音特征图。

在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述计算所述生成声音特征图和所述探测声音特征图之间的距离，包括：基于所述探测声音特征图以如下公式对所述生成声音特征图进行相对类角度概率信息表示校正以得到优化生成声音特征图；其中，所述公式为：

其中F

其中F

在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离，进一步用于：以如下公式来计算所述优化生成声音特征图和所述优化探测声音特征图之间的距离；其中，所述公式为：

其中F

在一个具体示例中，在上述自动扶梯生产用性能检测方法中，所述基于所述距离与预定阈值之间的比较，确定所述自动扶梯的性能是否符合预定要求，进一步包括响应于所述距离小于等于所述预定阈值，确定所述自动扶梯的性能符合预定要求。

这里，本领域技术人员可以理解，上述自动扶梯生产用性能检测方法中的各个步骤的具体操作已经在上面参考图1到图5的自动扶梯生产用性能检测系统的描述中得到了详细介绍，并因此，将省略其重复描述。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。