一种基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法

技术领域

本申请涉及设备故障诊断技术领域，特别涉及一种基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法。

背景技术

采煤机是煤矿采煤工作面的核心设备之一，其摇臂是采煤机切割煤层的关键动力部件，承受着采煤机截割载荷及摇臂传动系统非线性内激励，是采煤机的薄弱环节。采煤工作面环境恶劣，采煤机摇臂传动系统的齿轮极易发生故障，不但影响煤炭开采效率，造成企业经济上的损失，更为严重的还会造成人员伤亡事故。由于摇臂传动系统具有传动链长、齿轮类型多及所处环境噪声强等特点，给其齿轮故障诊断带来了极大挑战。当前，大多基于浅层深度学习模型进行齿轮故障诊断，随着网络层数的增加，层与层之间的权重不能随之更新，易导致精度不变或下降。

因此，需要提供一种针对上述现有技术不足的改进技术方案。

发明内容

本申请的目的在于提供一种基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法，以解决或缓解上述现有技术中存在的问题。

为了实现上述目的，本申请提供如下技术方案：

本申请提供了一种基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法，包括：步骤S101、构建教师网络：训练教师模型，由教师模型对采煤机故障信号数据集进行识别，并学习采煤机故障信号数据集中的属性知识；根据采煤机故障信号数据集，将教师模型中的全连接层的输出值除以设定参数之后，基于归一化指数函数进行计算，得到软标签值；其中，设定参数的取值范围为[1，20]；步骤S102、构建学生网络：将采煤机故障信号数据集输入到学生模型中，重复教师模型相同的操作并得到全连接层的输出值；将学生模型中的全连接层的输出值除以与教师模型相同的设定参数之后，基于归一化指数函数进行计算，得到预测值，并与软标签值比较，得到相对熵损失函数；将预测值与真实标签值进行比较，得到多分类交叉熵损失函数；根据相对熵损失函数和多分类交叉熵损失函数，得到均值混合损失函数；步骤S103、训练教师-学生异构网络：教师模型通过均值混合损失函数训练学生模型。

优选的，在步骤S102中，相对熵损失函数和多分类交叉熵损失函数等比例相加，得到均值混合损失函数。

优选的，均值混合损失函数为：

KD Loss＝KL(m

其中，KD Loss表征均值混合损失函数，KL为相对熵，CE为交叉熵，q为教师模型输出经过蒸馏后的结果，m

计算相对熵KL和交叉熵CE；

其中，p，q分别表示数据的真实分布概率和理论分布概率；q(x)、p(x)分别表示x取值的两个概率分布；N为数据样布的总个数；c表示数据样本的类别，c取正整数；M为数据样本类别的数量，M取正整数，y

优选的，采煤机故障信号数据集包括：采煤机摇臂直齿轮正常、磨损、断裂、点蚀和裂纹5种状态下的振动信号。

优选的，利用加速度传感器对采煤机摇臂直齿轮不同状态下的振动信号进行采集，其中，加速度传感器与振动信号采集设备连接。

优选的，加速度传感器安装在摇臂直齿轮侧的壳体上。

优选的，振动信号采集设备的采样频率设置为12kHz，灵敏度为500mV/g。

有益效果：

本申请实施例提供的技术方案，由教师模型对采煤机故障信号数据集进行识别，并学习采煤机故障信号数据集中的属性知识，实现教师模型的训练；选择采煤机故障信号数据集，将教师模型中的全连接层的输出值除以设定参数之后，基于归一化指数函数进行计算，得到软标签值后，将采煤机故障信号数据集输入到学生模型中，重复教师模型相同的操作并得到全连接层的输出值；将学生模型中的全连接层的输出值除以与教师模型相同的设定参数之后，基于归一化指数函数进行计算，得到预测值，并与软标签值比较，得到相对熵损失函数；预测值与真实标签值进行比较，得到多分类交叉熵损失函数；根据相对熵损失函数和多分类交叉熵损失函数，得到均值混合损失函数；教师模型通过均值混合损失函数训练学生模型，籍此，通过知识蒸馏使得学生模型对采煤机故障预测的准确率接近教师模型的准确率，在保证准确率的情况下减少网络模型的参数量和运行时间消耗，提高采煤机故障诊断的效率。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。其中：

图1为根据本申请的一些实施例提供的一种基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法的流程示意图；

图2为根据本申请的一些实施例提供的测试摇臂传动原理示意图；

图3为根据本申请的一些实施例提供的残差学习单元的结构示意图。

具体实施方式

下面将参考附图并结合实施例来详细说明本申请。各个示例通过本申请的解释的方式提供而非限制本申请。实际上，本领域的技术人员将清楚，在不脱离本申请的范围或精神的情况下，可在本申请中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本申请包含归入所附权利要求及其等同物的范围内的此类修改和变型。

图1为根据本申请的一些实施例提供的一种基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法的流程示意图；如图1所示，该基于知识蒸馏的煤矿井下采煤机的设备故障诊断方法包括：

步骤S101、构建教师网络：

训练教师模型，由教师模型对采煤机故障信号数据集进行识别，并学习采煤机故障信号数据集中的属性知识；

根据采煤机故障信号数据集，将教师模型中的全连接层的输出值除以设定参数之后，基于归一化指数函数进行计算，得到软标签值；其中，设定参数的取值范围为[1，20]；

在本申请实施例中，教师模型的蒸馏过程，是通过设定参数T，将复杂网络结构中的概率分布蒸馏出来，并用该概率分布来指导精简模型(学生模型)进行训练，其中，设定参数T的取值范围为[1，20]。

在本申请实施例中，采煤机故障信号数据集中的属性知识表征采煤机的振动信号与齿轮状态之间内部的关联关系。

在一些可选实施例中，采煤机故障信号数据集包括：采煤机摇臂直齿轮正常、磨损、断裂、点蚀和裂纹5种状态下的振动信号。进一步的，利用加速度传感器实现采煤机摇臂直齿轮不同状态下的振动信号进行采集，其中，加速度传感器与振动信号采集设备连接，加速度传感器安装在摇臂直齿轮侧附近的壳体上；振动信号采集设备的采样频率设置为12kHz，灵敏度为500mV/g。

在本申请实施例中，利用采煤机摇臂加载实验台对摇臂传动系统中的齿轮故障进行模拟实验。采煤机摇臂加载实验台由电涡流测功机、陪试摇臂、测试摇臂、连接组件、联轴器和机械紧固装置组成。电涡流测功机负责提供摇臂加载所需的负载转矩。陪试摇臂内设有电动机，可将低转速大转矩转换为高转速小转矩。测试摇臂内含有电动机，是实验台运转的动力源。联轴器将陪试摇臂和测试摇臂连接在一起，以传递转矩。机械紧固装置用于支撑和固定陪试摇臂和测试摇臂。

图2为根据本申请的一些实施例提供的测试摇臂传动原理示意图；如图2所示，Z1-Z14为齿轮。截割部电动机的输出轴通过细长柔性扭矩轴与齿轮Z1相连，电动机输出转矩通过齿轮Z1-Z8传到第1级行星减速器，第1级行星减速器的行星架将动力传给第2级行星减速器，第2级行星减速器输出的动力传给方形联接套，最后传到截割滚筒。

在本申请实施例中，采煤机摇臂加载实验步骤具体为：

(1)将加载的双摇臂固定在支架上，通过连接组件将陪试摇臂的输出端和电涡流测功机的输入端连接固定，通过联轴器将陪试摇臂的输入端和测试摇臂的输出端连接固定，并进行适当调节，使连接固定的各部件回转中心尽量保持一致，防止摇臂产生振动。

(2)利用加速度传感器实现采煤机摇臂直齿轮不同状态下的振动信号采集。加速度传感器安装在摇臂直齿轮侧附近的壳体上。同时，将加速度传感器与振动信号采集设备连接，采样频率设置为12kHz，灵敏度为500mV/g。

(3)加载平台和测试系统安装完毕后，给测试摇臂里的电动机接入电源，进行加载实验。通过调节电涡流测功机加载量按钮，将加载量调节至50％，加载量的加载时间均设为1h。在加载时间范围内，采集摇臂振动信号并保存至存储设备。

(4)重复以上步骤，分别采集摇臂直齿轮正常、磨损、断裂、点蚀和裂纹5种状态下的振动信号。

在本申请实施例中，通过振动信号采集设备获取教师模型、学生模型的训练集和验证集数据。其中，选取50％加载量下齿轮各状态的振动数据进行实验，样本长度设为40000。模型训练前，首先将5种状态下的一维原始振动信号分割成2455个总样本；然后利用十折(10-fold)交叉验证，将2455个总样本划分为10个大小相等的样本子集；依次遍历10个子集，每次把前子集作为验证集，其余所有的子集作为训练集，进行模型的训练和评估；最后把10次评估指标的平均值作为最终的评估指标。

在本申请实施例中，振动信号采集设备获取训练集和验证集数据后，需要对震动数据进行预处理。具体的，将5种不同状态下的一维原始振动信号进行数据归一化处理。其中，归一化算法的选择在于归一化处理后的特征值能否有效区分当前采煤机各种齿轮的状态，即不同状态的齿轮归一化处理后的特征值是否有明显差别。归一化处理模型如公式(1)所示，公式(1)如下：

y＝(x-MinValue)/(MaxValue-MinValue)………………(1)

其中，x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。在此，将5种不同的齿轮状态(正常、磨损、点蚀、裂纹、断齿)下的振动特征指标——加速度(a)应用归一化算法公式进行数据的预处理。

步骤S102、构建学生网络：

将采煤机故障信号数据集输入到学生模型中，重复教师模型相同的操作并得到全连接层的输出值；

将学生模型中的全连接层的输出值除以与教师模型相同的设定参数之后基于归一化指数函数进行计算，得到预测值，并与软标签值比较，得到相对熵损失函数；此预测值与真实标签值进行比较，得到多分类交叉熵损失函数；根据相对熵损失函数和多分类交叉熵损失函数，得到均值混合损失函数；

在本申请实施例中，神经网络的“softmax”输出层会将前面的卷积层得到的预测结果转化为概率值p。该层会对预测结果取自然对数得到某一类的logit值Zi，通过与所有类的logit值Zj进行比较，生成这个类的概率pi；知识蒸馏通过对其进行修改，增加一个设定系数T，使得输出层会产生一个“软化”后的概率向量q

其中，T为设定参数。随着T参数的增大，对应的分布概率越平缓。教师网络的预测输出结果除以设定参数T之后再做softmax变换，可以获得软化后的概率分布qi，用于之后KD Loss的计算。

在本申请实施例中，为了让学生模型更多地学习教师模型的知识，使用了均值混合的相对损失函数KD Loss。KD Loss由相对熵损失函数和多分类交叉熵损失函数等比例结合而成。其中相对熵损失函数用来衡量两个概率分布p和q差别的非对称性的度量，通俗来讲就是定义了两个事件的不同程度。均值混合损失函数如公式(3)所示，公式(3)如下：

KD Loss＝KL(m

其中，KL为相对熵，CE为交叉熵，q为教师模型输出经过蒸馏后的结果，m

其中，p，q分别表示数据的真实分布概率和理论分布概率；q(x)、p(x)分别表示x取值的两个概率分布；N为数据样布的总个数；c表示数据样本的类别，c取正整数；M为数据样本类别的数量，M取正整数；y

在本申请实施例中，当系数θ为0时，KD Loss＝CE(lLabel，m1)，混合损失函数相当于没有使用知识蒸馏，只使用多分类交叉熵损失函数的深度卷积神经网络。

步骤S103、训练教师-学生异构网络：

教师模型通过均值混合损失函数训练学生模型。

在本申请实施例中，具体通过均值混合损失函数KD Loss的计算，使梯度下降，对学生模型的参数进行更新，提高学生模型故障诊断的准确性。

在本申请实施例中，利用Resnet 101与Resnet18网络消除模型梯度消失和网络退化，提高网络的识别准确率。具体的，通过残差学习提高Resnet 101与Resnet18网络在对采煤机的设备进行故障诊断时的准确率。

图3为根据本申请的一些实施例提供的残差学习单元的结构示意图；如图3所示，用Y表示下层输出，F(x)表示上层输入，X通过恒等映射，直接在输入和输出之间建立的一条关联通道，从而可以学习到输入和输出之间的残差。具体如公式(6)所示，公式(6)如下：

Y＝F(x)+X…………………………(6)

在本申请实施例中，采用Resnet 101模型为教师模型，来指导学生模型Resnet18模型的训练，使Resnet18模型可以在保证对采煤机的设备故障诊断正确率的基础上，有效提高对采煤机的设备故障诊断的效率。其中，Resnet101和Resnet18的参数设置如表1所示。表1如下：

表1 参数设置表

其中，深度是指该网络模型所具有的层数，层数越多代表网络深度越深，其性能也越好；大小是指模型存储所需要的空间大小；算力就是模型进行参数运算的次数，其数值越大代表模型参数量越大，模型越复杂。

在本申请实施例中，通过知识蒸馏使用Resnet101网络来指导Resnet18模型的训练，将2455个总样本划分为10个大小相等的样本子集；依次遍历10个子集，每次把前子集作为验证集，其余所有的子集作为训练集，来对知识蒸馏后的模型进行验证。

在本申请实施例中，利用教师模型来指导学生模型的训练，其中教师模型是一种大规模、参数量大的复杂网络模型；学生模型是一种小规模、参数量小的精简网络模型。通过诱导训练，实现小模型得到高准确率的效果。

本申请实施例中，对采煤机的5个类别的故障进行诊断，分别是齿轮正常、磨损、点蚀、裂纹和断裂，对于这5个类别的数据，通过机器学习方法对其进行分类，具有较好的准确率以及计算效率。

在多分类的学习任务中，采用多分类交叉熵损失函数，可有效的防止模型的过拟合，同时，结合了知识蒸馏模型中的相对熵对模型进行了压缩，提高设备故障检测模型的精确率以及识别速度，在减少了网络模型参数量的同时也降低了运行时间的消耗。

在本申请实施例中，在多元交叉熵损失函数的基础上，结合了相对熵，融合两者之间的参数对模型进行迭代训练，要优于单损失函数的模型的迭代训练，在两者融合的比例分配上，选择了等比例的分配，在原有的训练模型的基础之上，引入知识蒸馏的模型参数，更好的实现训练模型的快速收敛，提高精确度。

在本申请实施例中，针对传统的采煤机齿轮故障诊断方法中不能够自动提取相应的数据，造成采煤机设备故障诊断的精度和效率低的问题，构建知识蒸馏的诊断模型。先将振动数据归一化后，数据输入教师模型Resnet101，自动提取相应的特征，然后再利用教师模型Resnet101对学生模型Resnet18进行训练，最后输出结果。

以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。