基于特征增强和通信网络的小样本动车异常检测方法及系统

技术领域

本发明属于动车异常检测的技术领域，主要涉及了一种基于特征增强和通信网络的小样本动车异常检测方法及系统。

背景技术

随着技术的不断创新和突破以及经济的快速发展，我国的交通运输领域也在蓬勃发展，动车组和高铁作为其中的代表性交通工具，因快速便捷而广受大众的欢迎。动车长时间远距离地在多样的气候变化环境中高速行驶，受到各种环境和作用力的影响，车内的各种元器件会受到一定程度的影响，严重地有可能会发生损坏从而引发异常。而对于高速行驶的列车来说，任何微小的异常都有可能影响列车零部件的正常运转造成重大的事故，从而带来严重的危害。所以，为了保障列车的正常运行，保障乘客的安全，避免严重事故的发生，及时检测到动车的异常是非常有必要和有意义的。

常见的动车异常包括油迹、异物和腻子破损，这些异常由于发生的较少所以得到的样本数量很少，每一类异常在图像上也表现得多样化，外观轮廓上不具备相似性，每个异常的形状很不规则，区域大小也存在着较大差别，异常所处的背景环境也很复杂，因此，动车异常检测是比较困难且挑战性较高的任务。早期动车异常检测以人工巡视为主，受到各种因素影响，效率低下而且准确率有待提高。计算机视觉和深度学习的快速突破为自动化异常检测提供了一种更好的解决方案，该方法大大提高了检测效率和效果。

现阶段对动车异常进行的文献调查显示，大多数基于深度学习的方法都需要较多的数据进行训练，而且对于每一种新的异常都需要耗费较大的人力标注数据，性能和效率方面还有待提升，而且异常图像数据难以收集。因此，亟需一种有效且合适的方法基于小样本及时检测到动车异常，确保动车安全行驶。

发明内容

本发明正是针对现有技术中异常样本收集困难、对于每个新的异常都需要耗费大量的人力进行标注并且效率低的问题，提供一种基于特征增强和通信网络的小样本动车异常检测方法及系统，通过数据采集与整理标注、图像预处理、建立特征增强和通信网络模型，并进行模型训练，最终得到最优特征增强和通信网络模型，输出异常类别的预测结果。所述特征增强和通信网络模型至少包括特征相似度计算模块、互注意力特征增强模块、多方面特征融合模块以及相似性增强模块，相似性增强模块是多方面特征融合模块中的一部分；将经过预处理后的支撑-查询图像对输入到多层次特征增强和通信网络模型中，提取多层次support图像特征和query图像特征，对于不同层次特征，提出互注意力特征增强模块从上下文聚合和注意力机制方面对其进行增强，基于特征间的通信提出特征相似度计算模块捕获多种多层次相似性包括对应特征层相似性和非对应特征层相似性，提出多方面特征融合模块促进多层次相似性特征间的融合以及相似性特征与增强的query特征的融合，得到更具代表性的特征用于query图像的预测。本方法适用于基于小样本的动车异常自动化检测，不仅可以解决对于每一类新的异常需要大量劳动力标注训练样本的问题，而且还能利用训练好的模型基于一张或者几张异常样本图像直接检测新的异常，大大提高了检测效率。

为了实现上述目的，本发明采取的技术方案是：基于特征增强和通信网络的小样本动车异常检测方法，包括如下步骤：

S1，数据采集与整理标注：采集动车内部元件的分布图像，对图像中显示的异常类别进行分类，并通过人工对图像进行像素层次的标注，每一张图像对应一张同样大小的mask图像；

S2，图像预处理：在步骤S1采集到的图像中，随机选择一对支撑-查询图像对，所述支撑图像对包括support图像和其对应的mask图像，查询图像对包括query图像和其对应的mask图像，对图像进行预处理；所述预处理至少包括数据增强和归一化操作；

S3，建立特征增强和通信网络模型，并进行模型训练：所述特征增强和通信网络模型至少包括特征相似度计算模块、互注意力特征增强模块、多方面特征融合模块和相似性增强模块，相似性增强模块是多方面特征融合模块中的一部分；将经过步骤S2预处理后的支撑-查询图像对输入到特征增强和通信网络模型中，基于骨干网络分别提取提取多层次support图像特征和query图像特征，包括多种局部细节特征和全局语义特征，提出不同的模块对不同层次特征进行交互与增强，基于特征间的通信捕获相似性并融合多方面特征包括多层次相似性和增强的query特征，得到更具代表性的特征用于query图像的预测，利用交叉熵损失函数计算query图像的预测结果与其标注的mask图像之间的损失，采用Adam优化算法调整模型的权重，反复抽取样本迭代训练获得最优的模型；

S4，测试结果输出：将需要测试的的图像按照上述步骤输入步骤S3训练后得到的最优特征增强和通信网络模型，输出异常类别的预测结果。

作为本发明的一种改进，所述步骤S1中的异常类别至少包括油迹、异物和腻子破损三种，通过LabelMe软件让每张异常图像对应一张同样大小的mask图像，所述mask图像上异常区域像素点的值代表异常类别，1代表油迹，2代表异物，3代表腻子破损，其他区域作为背景用0表示。

作为本发明的一种改进，所述步骤S2的数据预处理中，数据增强操作至少包括直方图均衡化和随机改变明度对比度；所述归一化操作基于ImageNet数据集上统计的均值和标准差进行处理，所有经过预处理后的图像尺度大小统一。

作为本发明的另一种改进，所述步骤S3中，通过权重共享的骨干网络提取多层次support图像特征和query图像特征，所述骨干网络为ResNet50或者VGG16，训练时权重被冻结，不参与参数优化。

作为本发明的另一种改进，所述步骤S3中，对于每一个通道上的query特征图

其中，n表示第n个通道，σ是ReLU函数，

对于每一个通道上的增强的query特征图

其中，

为了实现上述目的，本发明还采取的技术方案是：基于特征增强和通信网络的小样本动车异常检测系统，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤

与现有技术相比，本发明具有的有益效果：

(1)本发明提出的方法不仅可以解决对于每一类新的异常需要大量劳动力标注训练样本的问题，而且对于新的异常检测无需重新进行训练，可以利用已经训练好的模型基于一张或者几张新的异常样本图像直接检测新的异常，大大提高了检测效率。

(2)本发明的检测方法可以适应复杂多变的异常检测，在异常检测比如腻子破损异常检测和异物异常检测上可以获得较好的效果和泛化性能。

附图说明

图1是本发明方法的步骤流程图；

图2是本方法步骤S1中动车出现异常的示例图像；

图3是本方法步骤S3中特征增强和通信网络模型的结构图；

图4是特征增强和通信网络中子模块的结构图，其中：

(a)互注意力特征增强(MAFE)模块；

(b)多方面特征融合(MFF)模块；

(c)相似性增强模块(SAM)；

图5是本发明方法测试动车异常的结果示例图像。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

实施例1

基于特征增强和通信网络的小样本动车异常检测方法，是一种合适且有效的基于小样本检测动车异常的方法，如图1所示，具体包括如下步骤：

步骤S1：基于不同方位的摄像头采集动车内部元件的分布图像，整理异常图像，如图2所示，异常类型主要包括油迹、异物和腻子破损三种异常。待检测的数据是由安装在轨道不同方位的摄像头拍摄到的关于动车内部元件分布的图像，每一类异常在图像上表现得多样化，外观轮廓上不具备相似性，每个异常的形状很不规则，区域大小也存在着较大差别，异常所处的背景环境也很复杂。

利用LabelMe对油迹、异物和腻子破损的异常图像进行像素级别的标注，即每一张图像对应一张同样大小的mask图像，mask中对应异常区域的像素点的像素值设置为类别，1表示油迹，2表示异物，3表示腻子破损，其余背景设置为0；在测试阶段，只需要标注几张新异常类的support图像。

步骤S2：每次随机选择一对支撑-查询集图像对作为模型输入，支撑图像对包括support图像和其对应的mask图像，查询图像对包括query图像和其对应的mask图像，对图像进行预处理。

预处理步骤至少包括数据增强和归一化操作，对图像进行数据增强操作包括直方图均衡化、随机改变明度对比度等等，图像被调整为相同尺度，然后再进行归一化操作；归一化主要是基于ImageNet数据集上统计的均值和标准差进行处理。输入图像的尺度都会被调整为统一大小。测试时，图像的设置与训练时保持一致。

步骤S3：建立特征增强和通信网络模型，如图3所示，并进行模型训练。图3中显示的一种特征增强和通信网络模型，该网络模型包括特征相似度计算(FSC)模块、互注意力特征增强(MAFE)模块、多方面特征融合(MFF)模块和相似性增强模块(SAM)，相似性增强模块是多方面特征融合模块中的一部分。由于不同层特征中包含多样的信息，所以FSC模块基于特征间的通信可以捕获对应层特征相似性(CFLS)和非对应层特征相似性(NFLS)，从而得到support特征与query特征中更多的相似性特征。MAFE模块一方面基于注意力机制捕获特征中显著的部分和共性，另一方面融合上下文特征并通过长距离依赖建模有效地捕获特征间的关系以获取丰富的信息。MFF模块通过充分融合多层特征相似性以及增强的query特征来获得更具表达力的特征用于预测。在特征增强和通信网络模型中，首先利用权重共享的骨干网络基于support图像和query图像提取四种不同层次的特征，分别用

所述特征增强和通信网络模型至少包括特征相似度计算模块、互注意力特征增强模块,多方面特征融合模块和相似性增强模块，相似性增强模块是多方面特征融合模块中的一部分，如图4(a)-图4(c)所示，其中图4(a)是互注意力特征增强(MAFE)模块，该模块主要结合上下文信息增强较高的三种层次特征，首先取出来自support特征和query特征的相邻特征对，用

特征增强和通信网络模型的训练具体步骤如下：

(1)利用权重共享的骨干网络比如ResNet50或者VGG16提取多层次support特征和query特征，共有四种层次的特征，每一层次特征包含多层特征。该骨干网络是在ImageNet上训练过的，而且本方法训练时其权重是被冻结的，不会参与参数优化。

(2)基于卷积操作对每个层次的每层特征进行降维并将他们拼接起来产生

其中，n表示第n个通道，σ是ReLU函数，

(3)每个层次上的最深层特征被取出来，分别用

首先，基于CBR模块对它们进行降维，较高的三层特征基于MFAE模块被增强后得到

被增强的特征基于非对应特征层间通信计算特征相似性，具体来说，以计算第二层特征间相似度

其中，

(4)多层次相似性特征被拼接到一起得到S

首先，所有该模块的输入特征都会被降维得到更精细的特征，其次所有层次的相似性特征会基于一个相似性增强模块增强最高层相似性特征。然后，基于由粗到细的方式渐进式地融合相邻的两层相似性特征，最后得到比较全面的相似性特征S″

(5)最后，将MFF输出的特征与最底层的query特征以及历史性特征拼接起来用于预测结果。历史性特征是上一次前向预测步骤中保留的两通道的网络输出结果。

在训练阶段，利用交叉熵损失函数计算预测结果与标注的query图像的mask图像之间的损失，并且通过Adam算法不断调整网络权重参数，直至得到最优的模型。

步骤S4：测试阶段，不需要计算损失调整参数，将需要测试的图像按照上述步骤输入步骤S3训练后得到的最优特征增强和通信网络模型，直接输出预测结果即可。值得一提的是，训练阶段和测试阶段的动车异常类别没有重合的，也就是说，测试时，直接调用训练好的模型测试新的异常。

实施例2

本实施例以类似于图1中所示图像分布用于实验的数据主要有502张油迹图像、494张异物图像以及489张腻子破损图像。本实施例采用交叉验证的方式对提出的网络进行训练和评估，具体来说，本实施例依次选择其中两类异常数据用于训练，然后基于训练好的模型在剩下的一类异常上进行测试。以测试腻子破损异常为例，选择油迹和异物数据进行训练模型用于检测油迹，其大致步骤如下：

在训练阶段，首先每次随机选择一对支撑-查询集图像对作为模型输入，支撑图像对包括support图像和其对应的mask图像，查询图像对包括query图像和其对应的mask图像，对图像进行预处理，需要注意的是support图像中的异常类别和query图像中的异常类别保持一致。

预处理步骤至少包括数据增强和归一化操作，对图像进行数据增强操作包括直方图均衡化、随机改变明度对比度等等，图像被调整为相同尺度，然后再进行归一化操作；归一化主要是基于ImageNet数据集上统计的均值和标准差进行处理。输入图像的尺度都会被调整为统一大小。测试时，图像的设置与训练时保持一致。

其次，建立特征增强和通信网络模型，如图3所示，并进行模型训练。在特征增强和通信网络模型中，首先利用权重共享的骨干网络基于support图像和query图像提取四种不同层次的特征，分别用

对预测的异常结果与标注好的query图像的mask基于交叉熵损失函数计算损失，并利用Adam算法不断迭代调整网络参数得到最优的模型。

而在测试时，我们直接加载训练好的网络模型，基于标注好的几张(比如1张，5张)support图像预测query图像，此时图像中的异常是不曾在训练中出现过的。比如说，此时测试的是腻子破损异常，先把训练好的模型参数加载到模型中，再分别随机选择一张腻子破损的support图像和query图像按照上述流程处理并输入到加载好参数的模型中进行处理，最后输出预测的图像。

采用类似方法，可以基于油迹和腻子破损数据训练模型用于测试异物异常；可以基于异物和腻子破损数据训练模型用于测试油迹。基于本方法的部分测试结果如图5所示。图5可看出，在复杂的场景下，对于support图像和query图像，它们存在着较大差别包括不规则的异常形状和不同大小的异常区域，提出的方法可以基于support图像较好地预测出query图像中的异常。

综上，本发明方法适用于小样本检测动车异常，适应复杂多变的异常检测环境，节约成本，大大提高了检测效率。

需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。