一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法

技术领域

本发明涉及机械故障诊断领域，特别是涉及机械磨损诊断方向，具体涉及一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法。

背景技术

机械设备作为现代经济社会发展的重要支柱，已广泛应用于生产生活的各个领域。然而，因为机械故障引发的重大事故屡见报端，因此有必要对机械设备进行故障诊断，及时发现潜在问题，对设备进行有效维护，避免事故的发生。机械磨损是引发机械故障的主要原因之一，已发生的设备故障多数是由于零部件磨损失效造成的。目前，多采用油液分析的铁谱分析技术作为机械设备磨损故障诊断方法。铁谱分析技术以分析磨粒图像为主，主要通过采用边缘检测、图像分割、特征提取、机器学习、状态识别等技术完成，通过与不同类型磨粒的形貌特征比对实现设备磨损状态判定。传统的铁谱分析技术受操作人员的经验影响大，效率低、准确性差。

近年来，随着深度学习技术的发展，实现磨粒铁谱图像高效、精准、智能识别已成为发展趋势。卷积神经网络作为深度学习的一个分支，因其在图像处理领域所展现的优越性已被越来越多应用于磨粒铁谱图像的智能识别。与传统的铁谱分析技术相比，卷积神经网络需要大量带标签的磨粒铁谱图像和一定的训练时间以获得良好的分类效果。铁谱图像受限于其特殊性与采集过程的复杂性，往往难以在短时间内获得大量的训练样本，小样本下的卷积神经网络难以体现出优势。

发明内容

本发明的目的在于提供一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法，以解决现有技术存在的问题，本发明针对现有磨粒铁谱图像识别方法存在的不足，及目前迁移学习技术使用的源数据与目标数据所处领域差距较大的问题，基于样本相似性设计虚拟磨粒铁谱图像，结合迁移学习方法，解决样本数量不足对卷积神经网络分类效果的影响，同时实现磨粒铁谱图像的高效、精准、智能识别。

为达到上述目的，本发明采用如下技术方案：

一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法，该方法包括迁移学习基本网络模型的构建与训练和基于迁移学习模型的图像分类，具体包括以下步骤；

1)构建迁移学习基本网络模型。迁移学习基本网络模型采用同时包含卷积层和全连接层的卷积神经网络构建，其中卷积层中包含池化操作；

2)构建迁移学习源数据集。根据不同类型磨粒所表现的不同形貌特征作为依据，自主设计对应类型磨粒的虚拟图像并进行标记，同时采用图像增强方法增加虚拟图像数量构成迁移学习源数据，然后按照6:2:2的比例划分为训练集、验证集和测试集三个部分；

3)训练迁移学习基本网络模型并保存。使用步骤2)中的训练集训练迁移学习基本网络模型，使用验证集对模型进行验证，保存最后一次进行验证的模型参数，使用测试集测试模型的训练效果，并计算模型在源数据集的测试集上的分类准确率作为评价指标；

4)构建图像分类目标数据集。分别取适量油液样本采用铁谱仪制成铁谱片并转换为磨粒图像，根据不同类型磨粒的形貌特征标记磨粒图像类别构成图像分类任务的目标数据集，按照8:2的比例将目标数据集划分为训练集和测试集两部分；

5)基于迁移学习模型的图像分类模型再训练。加载步骤3)保存的迁移学习基本网络模型，使用步骤4)中的训练集作为输入对模型再训练，并采用步骤4)中的测试集测试再训练后的模型的分类性能，以测试集分类准确率为评价指标；

6)迁移学习基本网络模型参数优化。以步骤5)中测试集分类准确率作为是否优化模型参数的依据，若分类准确率达到预期设定目标值，则不需要优化模型参数；反之，适当调整模型参数，重复步骤3)和步骤5)，直到分类准确率达到预期设定目标值，图像分类模型训练完成，停止进行参数优化。

7)基于迁移学习模型的图像分类。采集未知状态的机械设备油液，取少许作为磨粒图像采集所需的样本使用步骤4)中同等方法获得磨粒铁谱图像，将其输入步骤6)所得的图像分类模型中进行磨粒类别预测。

进一步地，步骤1)中采用AlexNet作为迁移学习基本网络模型的基础架构，对网络中池化层的位置进行适当调整，不采用分组训练的方式，自主设计迁移学习基本网络模型的结构及训练模式。

进一步地，步骤2)中构建迁移学习源数据集时，具体为：

依据样本相似性，根据不同类型磨粒具有不同形貌特征自主设计对应类型磨粒的虚拟图像并进行标记，使得迁移学习源数据存在与目标数据相同的形貌特征，同时，通过随机裁剪、变更图像对比度等方式增加虚拟图像的数量及内容多样性。

进一步地，步骤3)中训练迁移学习基本网络模型时，具体为：

训练集图像数据经卷积层卷积运算提取图像特征，表达式为：

其中，

池化运算在卷积运算之后，用于降低特征数据维度，表达式为：

H

其中，H

经过多次卷积和池化运算后图像特征被转换为一维特征向量的形式进入全连接层，随后经过分类器分类得出图像所属类别。

使用交叉熵损失函数计算模型分类结果与实际类别的误差，通过误差的反向传播采用梯度下降方法不断更新参数，最终获得迁移学习基本网络模型。

进一步地，步骤5)基于迁移学习模型的图像分类模型再训练，具体为：

冻结步骤3)训练好的模型的卷积层，使用步骤4)中的训练集重新训练模型中的全连接层，训练过程中卷积层参数不更新，仅提取图像特征，全连接层参数不断更新，直到测试集分类准确率达到最高时训练停止。

进一步地，步骤6)迁移学习基本网络模型参数优化，具体为：

根据步骤5)中计算所得测试集分类准确率确定是否需要进行网络参数调优，测试集准确率计算表达式为：

其中，A表示测试样本的准确率，N表示被正确分类的样本数，M表示测试样本的总数。

与现有技术相比，本发明具有以下有益的技术效果：

本发明针对卷积神经网络需要大量训练样本的问题，采用迁移学习的方法实现小样本下磨粒铁谱图像的智能识别。与常规迁移学习模型相比，磨粒铁谱图像内容特殊，为取得更好的分类效果，自主设计了基于样本相似性的虚拟磨粒铁谱图像作为迁移学习的源数据。使用经过虚拟图像训练的预训练模型提取目标磨粒图像特征，采用迁移学习方法将预训练模型的网络结构及参数用于分类模型训练，但是卷积层参数不跟随分类模型的训练过程更新。以经过卷积-池化操作输出的一维特征向量作为分类模型的输入来训练分类模型，得到磨粒铁谱图像智能分类模型。为避免数据集划分偶然性导致对模型分类效果误判，采用多次交叉验证取均值的方法对模型进行评估，正确评估模型性能。本发明设计了虚拟磨粒图像集，与常规迁移学习源数据集相比，虚拟图像与目标图像的相似度高，预训练模型得到的特征提取参数有效，结合迁移学习及Softmax分类器有效地对油液中未知磨粒进行分类，确定机械设备的磨损状态，实用性非常强。

附图说明

图1为本发明实现磨粒铁谱图像智能识别的流程图；

图2为磨粒铁谱图像；其中(a)为链状磨粒，(b)为切削磨粒，(c)为疲劳磨粒，(d)为严重滑动磨粒；

图3为磨粒对应的虚拟铁谱图像；其中(a)为链状磨粒，(b)为切削磨粒，(c)为疲劳磨粒，(d)为严重滑动磨粒；

图4为本发明构建的卷积神经网络结构示意图；

图5为四种磨粒分类结果示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述：

参见图1，一种基于虚拟图像与迁移学习的磨粒铁谱图像智能识别方法，通过虚拟图像与实测图像相结合，采用卷积神经网络和迁移学习的方法实现小样本下磨粒铁谱图像的智能识别，该方法的具体步骤为：

1)采集机械传动系统齿轮箱不同运行时间段的油液，每次采集时间间隔相同，采集时间跨度尽可能包含齿轮全部生命周期，分别取适量油液样本使用制谱系统制成铁谱片并采集磨粒图像数据，与经典磨粒图像比对分类整理图像数据并按类别标记获得训练样本，例如链状磨粒图像标记为Chain，切削磨粒图像标记为Cutting等；

2)基于通过步骤1)得到的训练样本数量无法满足卷积神经网络训练需求，基于样本相似性以经典磨粒图像为依据，设计对应类别的虚拟铁谱图像数据并通过数据增强方式扩充样本数量以满足训练要求，并按类别标记；

3)步骤2)所得虚拟数据作为卷积神经网络的输入数据，通过卷积操作提取图像特征得到预训练模型，其具体步骤为；

自主构建基于卷积神经网络的铁谱图像特征提取参数预训练模型，以经典卷积神经网络结构为基础，分析磨粒铁谱图像训练样本下卷积神经网络结构的合理性，设计适当的滤波器参数初始值提取图像特征，所述提取图像特征的卷积操作的表达式为：

其中，

池化后的特征图可表示为：

H

其中，H

4)采用步骤3)得到的预训练模型对步骤1)的训练样本提取特征向量并训练分类模型，通过Softmax分类器得到分类结果，根据分类结果确定最佳网络参数组合，得到磨粒铁谱图像智能分类模型，具体步骤为：

采用迁移学习方法使用步骤3)中训练好的卷积神经网络结构和滤波器权值参数提取步骤1)得到的训练样本的特征，使用卷积层最终得到的一维特征向量进行分类模型的训练，训练时冻结全部卷积层，即卷积层参数均不参与更新，结合Softmax分类器得到分类结果，根据多次交叉验证的均值呈现的分类效果适当调节步骤3)中滤波器的大小和数量等参数，同时采用同样方法分别对其他影响模型分类效果的参数进行调节，选择使得模型呈现最佳分类效果的参数组合得到磨粒铁谱图像智能分类模型；

5)采集未知状态的齿轮箱油液获得相应的图像数据，运用步骤4)所得的磨粒铁谱图像智能分类模型对磨粒状态进行分类，根据Softmax分类器输出的最大似然概率对应的磨粒类型的标签识别油液中的磨粒类型。

下面结合具体实施例对本发明做进一步详细描述：

机械设备润滑油中的磨粒随运行时间的推移其数量及尺寸会不断变化，通过与不同类型磨粒的形貌特征比对可知不同形貌特征的磨粒对应特定的磨损状态，采用迁移学习方法通过虚拟图像与实测图像相结合实现磨粒铁谱图像的智能识别，从而判定设备的磨损状态。

本发明方法步骤如下：

步骤1)采用收集的油液样本制作铁谱片，同时采集磨粒铁谱图像，同过与铁谱图谱的比对，采集所得图像样本包含四种磨粒类型(如图2)，分别为链状磨粒(Chain)、切削磨粒(Cutting)、疲劳磨粒(Fatigue)、严重滑动磨粒(Severe sliding)。采集到每个类型的磨粒铁谱图像数量均为200张，四类铁谱图像共计800张样本；

步骤2)分别以步骤1)中四个类别的磨粒铁谱图像为依据设计对应的虚拟铁谱图像(如图3)，通过数据增强的方式可得每类虚拟铁谱图像各5000张，四类铁谱图像共计20000张样本；

步骤3)构建卷积神经网络模型(如图4)。本实例以AlexNet卷积神经网络架构为基础，通过研究不同参数下模型的分类效果，确定最佳参数组合。本实例分别研究了卷积核与池化的大小和步长、卷积核数量、学习率等超参数及参数初始化方式、激活函数、优化方式等对分类效果的影响，同时针对模型出现的过拟合采用L2正则化抑制；

步骤4)预训练模型的训练，使用虚拟铁谱图像作为卷积神经网络的输入，训练模型参数并提取样本特征，其具体步骤为：

构建基于卷积神经网络的铁谱图像预训练模型，利用滤波器对RGB彩色图像数据进行卷积操作获得图像数据的特征图，通过池化操作减少特征图的维度，得到一维特征向量，滤波器权值即为图像特征提取参数。本实例中设计5个卷积层，滤波器数量为8个，尺寸为3×3，卷积操作步长为1。特征提取表达式为：

其中，

对卷积后得到的特征图再进行池化操作，通过减少特征图维度减少数据量，经过池化操作得到的特征图被拉伸为一维特征向量。本实例中设计3个池化层，池化区域大小为2×2，池化步长为2，池化后的特征图表示为：

H

其中，H

步骤5)分类模型的训练，具体步骤为：

使用步骤4)中训练好的滤波器权值参数提取步骤1)得到的训练样本的特征，得到一维特征向量进行分类模型的训练，本实例中分类模型设计3个全连接层，隐藏层节点数与经过拉伸后的一维向量节点数相同，为5940个，通过Softmax分类器得到分类结果，根据交叉验证呈现的分类效果适当调节步骤4)中滤波器的大小和数量等参数，同时采用同样方法分别对其他影响模型分类效果的参数进行调节，选择使模型呈现最佳分类效果的参数组合，得到磨粒铁谱图像智能分类模型，本实例中采用初始值为0.0001的指数衰减方式设置学习率，以NAG方式优化模型，采用交叉熵计算损失函数，并采用L2正则化防止过拟合；

步骤6)分类模型的评估，具体步骤为：

采集未知状态的机械设备油液，获得相应的磨粒铁谱图像，运用步骤5)所得的磨粒铁谱图像智能分类模型对磨粒状态进行分类，根据Softmax分类器输出的最大似然概率对应的磨粒类型的标签，采用交叉验证准确率的均值作为评价模型的指标。本实例中用于评估模型的的磨粒图像样本集每个类别各200张，四类磨粒共计800张，按照训练集：测试集＝8:2的比例划分数据集，采用10次交叉验证得到准确率的均值为92.89％，分类情况如图5所示。