结合深度学习与聚类的轧机状态识别方法、装置及设备
文献发布时间：2024-04-18 19:52:40
技术领域
本发明涉及工业设备音频识别领域，特别公开了一种结合深度学习与聚类的轧机状态识别方法、装置及设备。
背景技术
在工业设备音频识别领域，对轧机设备的状态，特别是空负载状态进行音频识别具有重要意义。然而，现有的如基于阈值分割等传统方法鲁棒性较差，存在一些局限性。
随着人工智能的快速发展，基于深度学习模型的音频识别方法取得了良好的效果，但是现有的深度学习模型，通常难以适应不同轧机设备测点间数据特征差异较大的情况，影响了模型的泛化性能。
发明内容
本发明提供了一种结合深度学习与聚类的轧机状态识别方法、装置及设备，以至少部分的改善上述问题。
为实现上述目的，本发明采用以下技术方案：
一种结合深度学习与聚类的轧机状态识别方法，其包括以下步骤：
S1、采集轧机在不同测点的一维音频信号，对所述一维音频信号进行逐秒分割，并通过梅尔频谱分析转为二维频谱图；
S2、将所述二维频谱图划分为多个子块，对每个子块添加位置嵌入，并将添加位置嵌入的子块输入至预训练的基于视觉自注意力模块构建的深度学习模型，通过多个视觉自注意力模块和子块合并，以从时间帧和频率维度压缩序列，最后通过二维卷积神经网络将子块的通道维度映射为类别；
S3、通过深度学习模型从所述二维频谱图中提取768维特征，再通过基于全连接模型的二分类算法生成不同轧机测点状态间的特征相似度矩阵；
S4、基于所述特征相似度矩阵，采用层次聚类算法将不同轧机测点的数据聚类，得到进一步划分的组别；
S5、基于进一步划分的组别对所述深度学习模型进行调整，基于调整后的深度学习模型对轧机进行状态识别。
优选地，在步骤S1中，还包括：
对所述二维频谱图中的空值行过滤；所述梅尔频谱的参数为：跳跃长度为320，窗口长度为1024，窗口类型为汉宁窗，梅尔滤波器个数为48。
优选地，步骤S2具体包括：
S21、从时间帧维度将所述二维频谱图划分为16个窗口，在每一个窗口内从时间帧、频率维度划分4×4的子块，并对每个子块添加位置嵌入；
S22、将每个子块输入至深度学习模型；其中，所述深度学习模型包括叠加的四层视觉自注意力模块以及全连接层；在每层视觉自注意力模块中，子块的频率与时间维度压缩为1/2，通道维度扩充至4倍，在全连接层中，将通道维度扩展2倍；
S23、将所述通道维度通过二维卷积神经网络映射到类别维度，通过时间帧的平均值池化得到最终的类别。
优选地，步骤S3具体包括：
S31、通过深度学习模型从二维频谱图提取768维特征；
S32、建立3层的全连接模型，将不同轧机测点状态数据两两分类，得到二分类精度；
S33、以二分类精度作为相似度，建立不同轧机测点状态数据的特征相似度矩阵。
优选地，步骤S4具体包括：
S41、基于所述特征相似度矩阵，采用层次聚类算法，生成各轧机测点状态数据的层次树形图，并实现不同测点间的聚类，得到聚类结果；
S42、基于聚类结果，将特征相近的轧机测点划分到同一组别中。
优选地，步骤S5具体包括：
S51、对每个组别分别建立深度学习模型，并针对进一步划分的组别对所述深度学习模型进行调整；
S52、基于调整后的深度学习模型进行轧机状态识别；
S53、将逐秒的识别结果拼接后，采用一维形态学滤波算法的腐蚀与膨胀进行分类后处理，得到最终识别结果。
本发明实施例还提供了一种结合深度学习与聚类的轧机状态识别装置，包括：
二维频谱图生成单元，用于采集轧机在不同测点的一维音频信号，对所述一维音频信号进行逐秒分割，并通过梅尔频谱分析转换为二维频谱图；
映射单元，用于将所述二维频谱图划分为多个子块，对每个子块添加位置嵌入，并将添加位置嵌入的子块输入至预训练的基于视觉自注意力模块构建的深度学习模型，通过多个视觉自注意力模块和子块合并，以从时间帧和频率维度压缩序列，最后通过二维卷积神经网络将子块的通道维度映射为类别；
特征相似度矩阵生成单元，用于通过深度学习模型从所述二维频谱图中提取768维特征，再通过基于全连接模型的二分类算法生成不同轧机测点状态间的特征相似度矩阵；
聚类单元，用于基于所述特征相似度矩阵，采用层次聚类算法将不同轧机测点的数据聚类，得到进一步划分的组别；
状态识别单元，用于基于进一步划分的组别对所述深度学习模型进行调整，基于调整后的深度学习模型对轧机进行状态识别。
优选地，映射单元具体用于：
从时间帧维度将所述二维频谱图划分为16个窗口，在每一个窗口内从时间帧、频率维度划分4×4的子块，并对每个子块添加位置嵌入；
将每个子块输入至深度学习模型；其中，所述深度学习模型包括叠加的四层视觉自注意力模块以及全连接层；在每层视觉自注意力模块中，子块的频率与时间维度压缩为1/2，通道维度扩充至4倍，在全连接层中，将通道维度扩展2倍；
将所述通道维度通过二维卷积神经网络映射到类别维度，通过时间帧的平均值池化得到最终的类别。
优选地，特征相似度矩阵生成单元具体用于：
通过深度学习模型从二维频谱图提取768维特征；
建立3层的全连接模型，将不同轧机测点状态数据两两分类，得到二分类精度；
以二分类精度作为相似度，建立不同轧机测点状态数据的特征相似度矩阵。
本发明实施例还提供了一种结合深度学习与聚类的轧机状态识别设备，其包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的结合深度学习与聚类的轧机状态识别方法。
采用上述技术方案后，本发明实施例至少具有如下优点：
通过深度学习分析不同测点数据的特征相似度，采用层次聚类算法将数据特征相近的测点自动聚类，基于聚类结果微调模型，提高了基于深度学习的轧机空负载音频识别的效率，为进一步的自动化运行监测提供了有力支持，具有广泛的应用前景和重要的实际应用价值。
附图说明
图1为本发明第一实施例提供的结合深度学习与聚类的轧机状态识别方法的流程示意图；
图2为本发明第一实施例提供的深度学习模型的模型结构图；
图3为本发明第二实施例提供的结合深度学习与聚类的轧机状态识别装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合实施例，进一步详细说明本发明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参考图1所示，本发明第一实施例公开了一种结合深度学习与聚类的轧机状态识别方法，其可由结合深度学习与聚类的轧机状态识别设备（以下简称识别设备）来执行，特别的，由所述识别设备内的一个或者多个处理器来执行，以实现如下方法：
S1、采集轧机在不同测点的一维音频信号，对所述一维音频信号进行逐秒分割，并通过梅尔频谱分析转为二维频谱图。
具体地，不同测点指不同的采集监测点，在本实施例中，将已有的轧机不同测点的一维音频信号逐秒分割，再通过梅尔频谱分析转为二维频谱图。
其中，梅尔频谱分析采用的梅尔频谱参数如下：跳跃长度为320，窗口长度为1024，窗口类型为汉宁窗，梅尔滤波器个数为48。梅尔标度谱图是通过频谱图与若干个梅尔滤波器点乘得到，y轴转换为对数刻度，像素值转换为分贝，能够强化对高频段变化的敏感性。
其中，在转换为二维频谱图后，还包括对二维频谱图中的空值行过滤。
S2，将所述二维频谱图划分为多个子块，对每个子块添加位置嵌入，并将添加位置嵌入的子块输入至预训练的基于视觉自注意力模块构建的深度学习模型，通过多个视觉自注意力模块和子块合并，以从时间帧和频率维度压缩序列，最后通过二维卷积神经网络将子块的通道维度映射为类别。
在本实施例中，步骤S2具体包括：
S21、从时间帧维度将梅尔频谱图划分为16个窗口，在每一个窗口内从时间帧、频率维度划分4×4的子块，并通过正弦和余弦函数构建位置嵌入向量，从而提供不同子块间的位置信息。
其中，具体地，通过正弦和余弦函数构建位置嵌入向量，从而提供不同子块间的位置信息。
S22、将添加位置信息的子块输入至深度学习模型。
其中，如图2所示，所述深度学习模型包括叠加的四层视觉自注意力模块以及全连接层；在每层视觉自注意力模块中，子块的频率与时间维度压缩为1/2，通道维度扩充至4倍，在全连接层中，将通道维度扩展2倍。
其中，视觉自注意力中窗口大小为8×8，子块结构数量分别为2，4，4，2；
S23、将所述通道维度通过二维卷积神经网络映射到类别维度，通过时间帧的平均值池化得到最终的类别。
S3、通过深度学习模型从所述二维频谱图中提取768维特征，再通过基于全连接模型的二分类算法生成不同轧机测点状态间的特征相似度矩阵。
进一步地，步骤S3具体为：
S31、通过深度学习模型从二维频谱图提取768维特征。
S32、建立3层的全连接模型，将不同轧机测点状态数据两两分类，得到二分类精度。
其中，全连接模型的激活函数为逻辑斯蒂函数，优化器为SGD，三层的全连接模型隐含层数量分别为512，256，128。对于全连接模型中的隐藏层，其实质工作就是FeatureExtraction，因此，隐藏层出现了卷积、小波等。卷积层可以对图像进行不同程度的滤波，使得机器能看到诸如纹理等特征，全连接模型再进行特征的变换与组合，最终达到自动提取特征与学习的过程。
S33、以两测点间的二分类精度作为相似度，分类精度越高代表两测点的相似度越低，从而建立不同轧机测点状态数据的特征相似度矩阵。
S4、基于所述特征相似度矩阵，采用层次聚类算法将不同轧机测点的数据聚类，得到进一步划分的组别。
其中，步骤S4具体包括：
S41、基于所述特征相似度矩阵，采用层次聚类算法，生成各轧机测点状态数据的层次树形图，并实现不同测点间的聚类，得到聚类结果。
在本实施例中，层次聚类算法将各设备的测点状态数据逐步地合并成越来越大的簇，直到达到某个停止条件。层次聚类可以为自下而上的聚合法（agglomerative）。在聚合法中，每个状态数据最初被视为一个单独的簇，然后每次迭代将距离最近的两个簇合并为一个新的簇，直到所有状态数据都合并成一个大簇，即得到聚类结果。
S42、基于聚类结果，将特征相近的轧机测点划分到同一组别中。
S5、基于进一步划分的组别对所述深度学习模型进行调整，基于调整后的深度学习模型对轧机进行状态识别。
其中，步骤S5具体包括：
S51、对每个组别分别建立深度学习模型，并针对进一步划分的组别重新训练微调S2中的深度学习模型。
其中，这里的深度学习模型的结构与S2的深度学习模型的结构类似。
S52、基于调整后的深度学习模型进行轧机状态识别；
S53、将逐秒的识别结果拼接后，采用一维形态学滤波算法的腐蚀与膨胀进行分类后处理，得到最终识别结果。
采用上述技术方案后，本发明实施例至少具有如下优点：
通过深度学习分析不同测点数据的特征相似度，采用层次聚类算法将数据特征相近的测点自动聚类，基于聚类结果微调模型，提高了基于深度学习的轧机空负载音频识别的效率，为进一步的自动化运行监测提供了有力支持，具有广泛的应用前景和重要的实际应用价值。
请参阅图3，本发明第二实施例还提供了一种结合深度学习与聚类的轧机状态识别装置，其包括：
二维频谱图生成单元210，用于采集轧机在不同测点的一维音频信号，对所述一维音频信号进行逐秒分割，并通过梅尔频谱分析转换为二维频谱图；
映射单元220，用于将所述二维频谱图划分为多个子块，对每个子块添加位置嵌入，并将添加位置嵌入的子块输入至预训练的基于视觉自注意力模块构建的深度学习模型，通过多个视觉自注意力模块和子块合并，以从时间帧和频率维度压缩序列，最后通过二维卷积神经网络将子块的通道维度映射为类别；
特征相似度矩阵生成单元230，用于通过深度学习模型从所述二维频谱图中提取768维特征，再通过基于全连接模型的二分类算法生成不同轧机测点状态间的特征相似度矩阵；
聚类单元240，用于基于所述特征相似度矩阵，采用层次聚类算法将不同轧机测点的数据聚类，得到进一步划分的组别；
状态识别单元250，用于基于进一步划分的组别对所述深度学习模型进行调整，基于调整后的深度学习模型对轧机进行状态识别。
优选地，映射单元220具体用于：
从时间帧维度将所述二维频谱图划分为16个窗口，在每一个窗口内从时间帧、频率维度划分4×4的子块，并对每个子块添加位置嵌入；
将每个子块输入至深度学习模型；其中，所述深度学习模型包括叠加的四层视觉自注意力模块以及全连接层；在每层视觉自注意力模块中，子块的频率与时间维度压缩为1/2，通道维度扩充至4倍，在全连接层中，将通道维度扩展2倍；
将所述通道维度通过二维卷积神经网络映射到类别维度，通过时间帧的平均值池化得到最终的类别。
优选地，特征相似度矩阵生成单元230具体用于：
通过深度学习模型从二维频谱图提取768维特征；
建立3层的全连接模型，将不同轧机测点状态数据两两分类，得到二分类精度；
以二分类精度作为相似度，建立不同轧机测点状态数据的特征相似度矩阵。
本发明第三实施例还提供了一种结合深度学习与聚类的轧机状态识别设备，其包括存储器以及处理器，所述存储器内存储有计算机程序，所述计算机程序能够被所述处理器执行，以实现如上述的结合深度学习与聚类的轧机状态识别方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。