一种基于轻量级网络的无监督机器异常声音检测方法

技术领域

本发明涉及机器异常声音检测技术领域，尤其涉及一种基于轻量级网络的无监督机器异常声音检测方法。

背景技术

机器异常声音检测技术属于声音信号检测的研究领域，在设备运行状态监测、产品自动化质检等场景中有重要的应用价值。

在实际工业应用中，工厂中的机器大多由泵、阀门、风扇、电机等配件组成，对这些重要机器零部件进行异常监测，对于生产机器的稳定运行、企业的生产效率、产品质量以及员工的生命财产安全都起着十分重要的作用。目前企业的主流方法是使用视频监控对工厂的生产环境进行监测，但视频信息流处理对设备的存储能力和计算能力要求较高，因此系统的硬件成本十分昂贵，导致难以普及到购买力不强的中小企业。基于声音的监控系统作为安全监控的重要组成部分，可以通过机器发出的声音来判断机器是否发生异常。该系统能够及时检测到机器的异常情况，为客户提供决策的数据依据，从而避免重大事故和危急情况的发生，在保障企业生产安全方面发挥积极作用。

目前对于机器异常声音的检测大多是通过人工巡检以及传统深度学习的方式来完成，速度慢，效率低。使用大型网络模型进行异常检测可获得较好的检测精度，但由于网络模型参数量过大，计算复杂度过高导致检测系统硬件成本十分高昂，因此很难将大型网络模型算法直接部署在移动终端。在实际异常声音检测应用中，有时候机器异常声音与正常声音的差异十分微小，现有轻量化网络模型还无法针对机器工作时声音信号的特点提取如此细微的特征进行分析。

发明内容

为解决现有技术中的不足，满足工厂移动端异常声音监测的轻量化需求，本发明提出了一种基于轻量级网络的无监督机器异常声音检测方法，在保证机器异常声音检测精度的同时，可实现异常声音监测的低功耗和计算效率。

为实现上述目的，本发明提供了如下技术方案：

一种基于轻量级网络的无监督机器异常声音检测方法，包括如下步骤：

S1、对于工作运行状态的待检测机器，采集正常类型和异常类型的机器音频数据，将采集的音频数据进行划分，生成训练集和测试集；

其中，训练集只有机器工作时的正常音频样本，测试集中同时包含机器工作时的正常音频样本和异常音频样本；

S2、对训练集中的音频数据样本提取log-Mel谱图特征和SincNet谱图特征，并对log-Mel谱图和SincNet谱图进行融合处理，得到融合特征IMS谱图；

S3、基于MobileNetV3网络，构建改进的轻量级ES-MobileNetV3网络，具体为：修改高效通道注意力(Efficient Channel Attention,ECA)网络的全局平均池化层(AveragePool layer)为软池化层(SoftPool layer)，得到ES注意力模块，将修改后的ECA注意力网络命名为ES注意力网络；

然后将MobileNetV3网络中的压缩和激励(Squeeze-and-Excitation Networks，SE)网络替换为ES注意力网络，得到更轻量化的检测模型ES-MobileNetV3；

将S2的训练集输入所述改进的轻量级ES-MobileNetV3网络中进行模型训练，得到训练好的轻量级ES-MobileNetV3网络；

S4、将测试集输入S3训练好的轻量级ES-MobileNetV3网络，检测机器工作声音是否异常。

与现有技术相比，采用本发明检测方法可以达到如下有益效果：

本发明机器异常声音检测方法，首先使用log-Mel谱图和SincNet谱图融合特征作为音频输入，再通过轻量级网络ES-MobileNetV3网络模型学习机器工作音频信息，可以有效提高检测模型的推理速度和减少模型参数量，同时提升检测系统的鲁棒性。log-Mel谱图注重中低频域的特征提取，SincNet谱图注重与机器声音信号相关的谐波分量和冲击分量提取。这两种特征融合方法可有效提高机器工作音频的特征信息表现，为后续异常检测模型提供机器音频信息更丰富的特征。ES-MobileNetV3网络中的ES注意力模块，不仅可以有效降低模型运算量，还能更多地保留一些能量信号较为突出的音频信息，更加有利于部署在移动设备上，提升机器异常声音检测系统的灵活性和便携性。

本发明机器异常声音检测方法，不仅适用于工业场景下机器工作声音信号的异常检测，也适用于各种异常声音检测任务的移动端部署。

附图说明

图1为实施例中检测方法流程图；

图2为实施例中软池化方法计算流程图；

图3为实施例中ES注意力模块结构图；

图4为实施例中ES-MobileNetV3网络结构图。

具体实施方式

下面结合实施例和附图对本发明内容作进一步的说明，但不是对本发明的限定。

实施例

一种基于轻量级网络的无监督机器异常声音检测方法，如图1所示，包括如下步骤：

S1、通过采集真实工厂机器运行时的音频数据构建数据集，将采集的音频数据进行划分，生成训练集和测试集。其中，训练集只有机器工作时的正常音频样本，测试集中同时包含机器工作时的正常音频样本和异常音频样本；数据集中的机器类型由“阀门”、“风扇”、“滑轨”、“水泵”等组成。每个机器类型的训练集由2500条音频样本组成，测试集由100条正常样本和100条异常样本组成。训练集和测试集中每个音频样本的时间长度为10秒，采样音频为16kHz。

S2、对训练集中的音频数据样本提取log-Mel谱图特征和SincNet谱图特征；其中log-Mel谱图的帧大小为1024，跳长为512，Mel滤波器数量为128，SincNet谱图的SincNet卷积层由128个长度L＝251(即每个滤波器包含251个系数)的SincNet滤波器组成，再对每个滤波器的输出使用自适应平均池化进行归一化处理。

S3、基于MobileNetV3网络，构建改进的轻量级ES-MobileNetV3网络，具体为：修改高效通道注意力ECA网络的全局平均池化层为软池化层，将修改后的ECA注意力网络命名为ES注意力网络；

然后将MobileNetV3网络中的压缩和激励SE网络替换为ES注意力网络，得到更轻量化的检测模型ES-MobileNetV3；

将S2的训练集输入ES-MobileNetV3网络中进行模型训练，得到训练好的轻量级ES-MobileNetV3网络。

S4、将测试集输入S3训练好的轻量级ES-MobileNetV3网络，检测机器工作声音是否异常。

轻量级网络模型MobileNetV3引入了线性瓶颈的倒置残差结构，以便通过利用问题的低秩性质来提高层结构的效率，同时该网络结构继续缩减通道数bneck的次数，在略微降低网络检测精度的情况下，提高了检测速度，更加适合布局在轻量化计算设备上。在此基础上，本发明提出了一种新的激活函数H-Swish，增强特征提取精度，并提升了检测速度。同时在倒置残差结构中引入了挤压和激励的SE注意力网络。SE注意力网络首先对每个通道特征进行全局平均池化处理，然后使用两个全连接层来捕获通道间的交互作用，在一定程度上提升了模型特征表达能力。但是由于全连接层的计算量极高，SE注意力网络在全连接层会对特征矩阵进行降维处理，最后再进行升维来获得权重的重要性，全连接层的降维处理会丢失部分特征信息，这对网络模型的检测性能会产生负面影响。

为了减少降维操作带来的信息损失，本实施例中使用了一种不降维的局部跨信道交互ES注意力网络代替SE注意力网络，进一步实现网络模型轻量化。网络模型中避免降维对于学习通道注意力非常重要，通过模块捕获局部通道信息，获得每个特征通道中的重要程度，适当的跨信道交互可以在显著降低模型复杂度的同时保持性能优良，并且抑制一些对当前任务无用的特征信息。

针对机器声音信号处理过程中网络模型使用的全局平均池化层会弱化声音数据的特征表现的问题，将ECA注意力模块的全局平局池化修改为软池化就可以得到ES注意力模块。

软池化方法的计算流程，如图2所示，使用软池化代替全局平均池化即能对整个特征区域显示进行一定的抑制，又可以保留一些较为突出的特征，尽可能保留更精细的特征图信息，增强机器异常音频和正常音频的特征信息差异；

软池化方法计算式如下：

式中，

本实施例中池化区域R为4，软池化方法计算式为：

本实施例中池化区域R为4，软池化方法计算流程为：首先分别计算池化区域R内4个激活值对应的特征权重，然后将4个激活值与对应的特征权重进行加权求和获得池化区域R内4个特征点软池化后的输出值。

ES注意力模块结构图，如图3所示，首先通过软池化对融合特征IMS谱图特征进行聚合，获取通道全局信息，然后通过信道维度C自适应的计算卷积核大小k，自适应函数计算式如下：

式中，C为信道维度，γ和b是自定义参数，分别设置为2和1；|t|

最后通过Sigmoid函数得到通道权重，将生成的通道权重与输入特征逐元素相乘得到带有注意力的特征；

检测模型在训练集学习机器正常工作时的特征信息，得到训练好的ES-MobileNetV3网络模型后，在测试集进行测试，完成机器异常声音检测。

ES-MobileNetV3网络模型的主要结构，如图4所示，ES-MobileNetV3模型在MobileNetV3网络的基础上将SE注意力网络替换为ES注意力网络，可以保留更多声学信号的特征信息，其中的软池化操作很好的保留了机器声音的精细特征，增强了特征信息的辨识度。在不降低精度的情况下有效降低了模型的计算复杂度。

本实施例中，采用受试者工作特性曲线下的面积(AUC)和部分AUC(pAUC)来评判模型的检测性能。AUC是一种常见的异常检测性能指标，它表示从测试集中随机抽出一个正样本和一个负样本，模型预测正样本为正的概率大于负样本为正的概率的可能性。此外，如果一个机器异常检测模型经常将正常声音判断为异常，从而发出错误的警报，那么这个模型的可信度就不够高。使用pAUC可以综合评价模型的可信度，pAUC可以看作是在低假阳性率(FPR)范围[0,p]上计算的AUC，本实施例将p设置为0.1。

实施例中采用本发明提出的机器异常声音检测方法，在滑轨机器类型上的AUC和pAUC可以达到99.42％和98.67％，结果表明本方法所提出的机器异常声音检测系统在大多数情况下都可以取得优异的效果，此种对滑轨等机器运行声音检测的研究将在未来工厂生产线零部件运行状态监测发挥重要作用。