一种仪器仪表柜的异常监测方法

技术领域

本发明属于控制系统监视领域，更具体涉及一种仪器仪表柜的异常监测方法。

背景技术

很多领域都使用仪器仪表柜进行设备安装和操控，是地铁、电力、铁路、建筑等系统不可或缺的中控元件之一，因此仪器仪表柜故障的监测也是一种必要需求。目前，很多系统采用的智能化的技术手段，大部分只是采集传感器的数据并进行分析，比如得到了仪表的数值，仪表数值过高报警，或者检测到了指示灯故障进行报警，但是对于连续一段时间的持续分析是缺少的，分析的模型和方法也是欠缺的，进一步对持续分析一段时间再进一步总结规律，归纳总结的手段也是缺失的，这正是长时间免现场运维的重要技术手段之一，这样的智能化手段并不能真正满足替代人工的需求，无法将原来的人工劳动全部由机器来代替。

同时，设备的故障情况因设备而异，大部分的设备故障率不是很高，现有技术多为定期、短期、定点检测，对海量健康柜体的重复性检查容易造成资源浪费，也无法对柜子的异常情况进行分析和预测。

发明内容

为解决上述问题，本发明提出一种仪器仪表柜的异常监测方法，不仅能够对仪器仪表柜的缺陷进行识别，还能对异常类型进行智能化分析，起到安全防护的目的。

为实现上述技术目的，本发明采用如下技术方案：

一种仪器仪表柜的异常监测方法，包括以下步骤：

(1)收集仪器仪表柜数据，并且得到扩充图像数据集；

(2)将扩充图像数据集中的目标图像数据和位置信号进行统一标记，形成标记文件，构成目标检测网络，将网络的mAP数值及权重文件保存，当mAP数值达到可用性网络时不再对网络的架构和模型进行调整，保存网络权重w

(3)读取实时视频，调用网络权重w

确定异常类型的方法为：

将目标位置i表示为f(i)＝(X

宽高比W

异常判断网络的算法采用单独训练网络法、融合训练网络法或图像处理法；

单独训练网络法包括步骤：分别将指针、按钮、指示灯、手柄和缺陷的正常图与异常图收集训练形成指针网络、信号灯网络和缺陷网络并进行数据增强，计算各个网络的权重，根据图像形式调用不同的网络权重，得出是否为异常，具体的识别的方法为：获取正常和异常样本，搭建网络模型，当网络模型的准确率达到99％以上时候，保存网络模型的权重；实时检测视频图像，得到图像数据后调用保存网络模型的权重，判断该图像数据是否为异常；

融合训练网络法包括步骤：将指针、按钮、指示灯、手柄和缺陷的正常和异常图形成综合数据集并进行数据增强，对应正常标签和异常标签，训练网络保存权重，对目标位置图像调用该权重得出是否为异常；

图像处理法包括步骤：

对指针、手柄和按钮图像预处理和阈值处理，突出按钮高度，拟合指针和手柄斜率，根据实时指针与手柄图像的斜率、或按钮的高度是否异常进行判断；

对信号灯图像进行颜色分析，根据实时信号灯颜色判断是否异常；

对缺陷图像预处理，计算缺陷面积，根据实时缺陷图像的缺陷面积判断是否为缺陷；

所述图像预处理包括灰度化、二值化。

异常判断网络训练的具体步骤为：

将原始背景去除目标剩下的部分记作Q，对得到的异常数据图像采取旋转、亮度增加、亮度降低、滤波、加噪声、裁剪、模糊、掩码处理、二值化、LBP变化、gabor变化的11种方法分别进行处理，将处理后的11个结果图像中分别输入到n个异常判断模型，每个模型输出11个结果均异常则认为该模型认为异常，当超过n/2个模型认为是异常，那么认为这个数据图像是异常数据，将这11个异常数据的结果与多个原始背景图相互结合，作为新样本扩充到图像数据集。

扩充图像数据集异常的获取方法为：

对原始的数据进行实时检测，如果存在异常，那么将异常的图像作为积累数目的一个，当积累到一定数据的时候，将这些数据放在判别网络中，确定这些积累的数据都是异常数据，将异常数据记作B；假设原始的样本库数据集合是A,初始指标是经过训练得到的准确率a，将B上传扩充到原始的数据集中形成了新的数据集合A+B.分别对数据集合A+B、A、B进行训练，得到的准确率数值分别记作a1、a2、a3，如果a1、a3都大于a2，则将原始的样本库的数据集合更新为A+B,指标更新为a1、a3的最大值，否则不进行更新。

扩充图像数据集采取数据增强的方法进行数据扩充，采取半监督的方法进行模型训练，所述数据增强的方法包括步骤：

(1)获取原始图像pic1的宽度ww和高度hh，将原始图像中的原始目标定义为(xx0,yy0,ww0,hh0),四个变量分别代表其横坐标、纵坐标、宽度和高度；

(2)随机对原始图像和原始目标执行缩放操作并重复多次，实现数据增强处理操作；

所述缩小操作包括步骤：

取一个小于1的随机数字t0作为缩小比例，令原始目标缩小为宽度和高度分别为ww0*t0、hh0*t0的新图像pic2，pic2的横坐标范围为[xx0*t0:xx0/t0+ww0/t0]，纵坐标范围为[yy0/t0:yy0/t0+hh0/t0]；生成一个宽度和高度分别为ww0、hh0的图像pic3，在位置(ee1,ee2)处放置pic2，ee1

所述放大操作为：

取一个大于1且小于

半监督方法的训练方法包括步骤：

(1)构造两个通道进行训练，第一个是原始目标，第二个是缩小操作生成的图像；

(1)原始目标经过训练后，得到特征图fe1，fe1位置横坐标范围是[xx0:xx0+ww0]，纵坐标范围是[yy0:yy0+hh0]；

(3)对原始目标缩小后的图像进行训练，得到特征图fe2；

(4)采取Roi-Align的方法得到fe1的坐标位置，假设定位目标位置，得到对于的目标为aim1

(5)根据上述的描述，原始图中目标的位置更新为pic2的位置(ee1+xx0*t0,ee2+yy0*t0)，经过roi-Align的方法得到特征图fe2的目标位置，得到对于的目标为aim2；

(6)将aim1,aim2采取imresize操作固定大小，整个网络的损失函数加一个aim1.aim2的相似度损失，定义互相关数值或将图像展平为行向量，计算行向量之间的绝对误差和；

(7)按照上述步骤完成训练。

根据所述异常绘制异常趋势曲线包括步骤：

对于数字异常的，0代表数值高，1代表数值低，2代表数值正常，根据上述制定一个连续的曲线，得到数字形式的曲线图；

对于图像形式是缺陷的，按照有缺陷为0，无缺陷为1的形式，将历史数据绘制成一条曲线；

对于其他异常的，定义6种异常形式，分别用0代表只有一处显示灯故障、1代表多处显示灯故障、2代表手柄位置异常、3代表0和2同时存在、4代表1和2同时存在、5代表逻辑异常，将上述数据绘制成一条曲线。

优选的，对所述异常图像采取安全加密方案，对异常图像嵌入水印，根据异常和CANDY变化的像素数值选择水印图像，然后根据据嵌入水印图像构造深度学习网络，实现嵌入水印帧的判别，并采取水印提取算法进行水印提取。

安全加密方案包含步骤：

加密过程：

(11)收集异常图像作为训练样本；

(12)对于指针、按钮、指示灯、手柄和缺陷五种类型的异常进行编号，标号为1，2，3，4，5；

(13)收集大量水印图像，分别求解candy变化后的图，对candy处理后的图求解像素和，按照像素和将水印图像分为5组，按照从大到小，记作A，B，C，D，E；

(14)对于A，B，C，D，E的顺序和异常标号1，2，3，4，5搭建映射关系，所述映射关系为非顺序映射；

(15)当实时检测的视频的时候，如果发现某个帧存在异常，根据异常的序号，选择对应嵌入水印的图像分组，从对应分组水印中选择两张图像，采取LSB算法嵌入该视频水印，其中两种图像的中心位置为异常图像中心坐标附近的随机位置；

解密过程采取深度学习算法和LSB实现视频水印的提取和信息的获取：

(21)选择嵌入水印，包含异常场景的图像若干，选择不嵌入水印，包含异常场景的图像若干，选择不嵌入水印且没有异常场景的图像若干，三部分组成训练集；

(22)对第一部分的训练集搭建卷积神经网络，采取vgg16深度学习算法对上述三部分进行训练，通过LOSS曲线和准确率曲线得到网络性能，保存权重文件；

(23)当视频进行解密时候，将视频转化为帧，对每一帧进行验证，调用上述步骤的权重，如果该帧被网络判定为嵌入水印，包含异常场景的图像，将采用LSB算法进行水印提取；

(24)当提取出水印后，求解candy变化后图，对candy处理变化后的图求解像素和，按照像素和的大小判定该图像属于A，B，C，D，E的哪一类；

(25)根据映射关系，得到异常标号；

(26)将异常图像按照映射关系嵌入水印，实现扩充原始训练集，对这些异常进行目标检测，获取网络权重；

(27)若当前检测帧输入到步骤26的网络权重时，得到的异常编号与步骤25一致，则完成解码工作；若不一致或者没有提取到水印，则判定非加密视频；

优选的，确定指针图像形式异常的步骤包括：

(1)做目标检测的网络，收集指针图像，并对指针位置进行标记，得到数据集，采取fasterRCNN进行训练；

(2)当实时的图像输入，调用步骤1的网络，得到指针的坐标，并单独将指针图像保存成图像；

(3)构造单独指针图和指针度数的数据集，对数据集构造alexnet网络，实现单独指针图和指针度数的映射；

(4)对于步骤2得到的图，调用步骤3的网络，得到指针度数P1；

(5)对于2得到的指针图，采取hough变化操作，得到最大的线段，求解最大线段对应的斜率，根据斜率和度数的映射关系，得到指针度数p2；

(6)定义采取深度学习得到的指针度数准确率为acc1,采取hough得到的准确率为acc2；

(7)最后指针度数为p1*(acc1/acc1+acc2)+p2*(acc1/acc1+acc2)。

本发明的优点在于：设计了一种全自动、全天候的故障监测流程，针对不同形式的图像(例如指针、信号灯、缺陷、数值表盘、手柄等)进行实时监控，收集正常显示和故障显示的图像形成异常数据集，采取深度学习模型将各数值量化，搭建网络模型，弥补真实环境中样本的缺失，更精确地进行异常实时检测，有效实现自动防护；并且对原始真实的视频进行防纂改防护，使得视频数据加入水印后复原，从而验证视频是否被纂改。

提出了基于模型验证的新数据扩充网络，数据自我增强后输入到多个节点模型中验证，多方认证属于异常后，将数据扩充到异常数据集

本发明不仅能够实现设备的监控和故障诊断，为远程运维防护提供了便利，还可以通过形成较长一段时间的数据特征为未来的异常趋势甚至异常预测提供基础和前提。

附图说明

图1为本发明流程图；

图2为本发明实施例1建立数字识别网络流程图；

图3为本发明实施例1建立扩充图像数据集流程图；

图4为本发明实施例1建立异常判断网络流程图；

图5为本发明实施例1异常判断网络训练的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1

本实施例公开了一种仪器仪表柜的异常监测方法，包括以下步骤：

(1)收集大量的仪器仪表柜数据，并对其进行数据增强，比如采取加噪声，去噪声，亮度变化。对比度变化，旋转，裁剪，mixup,二值化，颜色空间变化，图像lbp,gabor变化等，得到新的扩充图像数据集。

(2)将扩充图像数据集中的目标图像数据进行统一标记，形成标记的json文件，构造目标检测网络，骨干网络可以采取alexnet,vgg,googlenet、yolo系列的检测网络、ssd网络、fasterecnn网络等，也可以自己搭建网络或者设置半监督网络，将网络的mAP数值及权重文件保存，当mAP数值达到可用性网络时不再对网络的架构和模型进行调整，保存网络权重w

(3)读取实时视频，调用网络权重w

(4)针对上述网络得到的结果，得到感兴趣区域，进而可以得到横纵坐标和长度宽度的数值，根据长宽比较大时候，认为是数字显示的形式，调用数显识别网络，得到数字结果，根据数值判断是否存在异常。

下面公开一种可以自己配置的识别方式：将目标位置i表示为f(i)＝(X

在本实施例中图像形式的区分定义为：

若面积W

若面积W

若面积W

否则记为其他异常。

数字识别网络判定数值结果的步骤为：将单个的数字图形收集形成数据集，训练一个数字识别网络例如BP、SVM、CNN并保存其权重w

异常判断网络的算法可以采取三个方法：单独训练网络，融合训练网络，采取图像处理的方法。

采用单独训练网络法，步骤包括：分别将指针、按钮、指示灯、手柄和缺陷的正常图与异常图收集训练形成指针网络、信号灯网络和缺陷网络并进行数据增强，比如采取加噪声、去噪声、亮度变化、对比度变化、旋转、裁剪、mixup、二值化、颜色空间变化、图像lbp、gabor变化等，得到新的数据集，计算各个网络的权重，根据图像形式调用不同的网络权重，得出是否为异常，具体的识别的方法为：获取正常和异常样本，搭建网络模型，当网络模型的准确率达到99％以上时候，保存网络模型的权重；实时检测视频图像，得到图像数据后调用保存网络模型的权重，判断该图像数据是否为异常。

融合训练网络法，步骤包括：将指针、按钮、指示灯、手柄和缺陷的正常和异常图形成综合数据集并进行数据增强，对应正常标签和异常标签，训练网络保存权重，对目标位置图像调用该权重得出是否为异常。

图像处理法，步骤包括：

对指针、手柄和按钮图像预处理和阈值处理(图像预处理包括灰度化、二值化)，突出按钮高度，拟合指针和手柄斜率，根据实时指针与手柄图像的斜率、或按钮的高度是否异常进行判断；

对信号灯图像进行颜色分析，根据实时信号灯颜色判断是否异常；

对缺陷图像预处理，计算缺陷面积，根据实时缺陷图像的缺陷面积判断是否为缺陷。

异常判断网络训练的具体步骤为：

将原始背景去除目标剩下的部分记作Q，对得到的异常数据图像采取旋转、亮度增加、亮度降低、滤波、加噪声、裁剪、模糊、掩码处理、二值化、LBP变化、gabor变化的11种方法分别进行增强处理，将处理后的11个结果图像中分别输入到n个异常判断模型，每个模型输出11个结果均异常则认为该模型认为异常，当超过n/2个模型认为是异常，那么认为这个数据图像是异常数据，将这11个结果作为新样本扩充到图像数据集。

扩充图像数据集中异常图像数据的获取方法为：

对原始的数据进行实时检测，如果存在异常，那么将异常的图像作为积累数目的一个，当积累到一定数据的时候，将这些数据放在判别网络中，确定这些积累的数据都是异常数据，将异常数据记作B；假设原始的样本库数据集合是A,初始指标是经过训练得到的准确率a，将B上传扩充到原始的数据集中形成了新的数据集合A+B.分别对数据集合A+B、A、B进行训练，得到的准确率数值分别记作a1、a2、a3，如果a1、a3都大于a2，则将原始的样本库的数据集合更新为A+B,指标更新为a1、a3的最大值，否则不进行更新。

扩充图像数据集采取数据增强的方法进行数据扩充，采取半监督的方法进行模型训练，数据增强的方法包括步骤：

获取原始图像pic1的宽度ww和高度hh，将原始图像中的原始目标定义为(xx0,yy0,ww0,hh0),四个变量分别代表其横坐标、纵坐标、宽度和高度；

随机对原始图像和原始目标执行缩放操作并重复多次，实现数据增强处理操作。

所述缩小操作包括步骤：

取一个小于1的随机数字t0作为缩小比例，令原始目标缩小为宽度和高度分别为ww0*t0、hh0*t0的新图像pic2，pic2的横坐标范围为[xx0*t0:xx0*t0+ww0*t0]，纵坐标范围为[yy0*t0:yy0*t0+hh0*t0]；生成一个宽度和高度分别为ww0、hh0的图像pic3，在位置(ee1,ee2)处放置pic2，ee1

所述放大操作为：

取一个大于1且小于

所述半监督方法的训练方法包括步骤：

构造两个通道进行训练，第一个是原始目标，第二个是缩小操作生成的图像；

原始目标经过训练后，得到特征图fe1，fe1位置横坐标范围是[xx0:xx0+ww0]，纵坐标范围是[yy0:yy0+hh0]；

对原始目标缩小后的图像进行训练，得到特征图fe2；

采取Roi-Align的方法得到fe1的坐标位置，假设定位目标位置，得到对于的目标为aim1

根据上述的描述，原始图中目标的位置更新为pic2的位置(ee1+xx0*t0,ee2+yy0*t0)，经过Roi-Align的方法得到特征图fe2的目标位置，得到对应的目标为aim2；

对aim1,aim2采取imresize操作固定大小，整个网络的损失函数加一个aim1.aim2的相似度损失，定义互相关数值或将图像展平为行向量，计算行向量之间的绝对误差和；

按照上述步骤完成训练。

实施例2

本发明在实施例1的基础上还公开了一种监测手段，能够根据所述异常绘制异常趋势曲线，具体包括步骤：

对于数字异常的，0代表数值高，1代表数值低，2代表数值正常，根据上述制定一个连续的曲线，得到数字形式的曲线图；

对于图像形式是缺陷的，按照有缺陷为0，无缺陷为1的形式，将历史数据绘制成一条曲线；

对于其他异常的，定义6种异常形式，分别用0代表只有一处显示灯故障、1代表多处显示灯故障、2代表手柄位置异常、3代表0和2同时存在、4代表1和2同时存在、5代表逻辑异常，将上述数据绘制成一条曲线。

实施例3

本发明还公开了一种加密算法，可以在上述数实施例1、2检测异常的时候对异常图像采取安全加密方案，对异常图像嵌入水印，根据异常和CANDY变化的像素数值选择水印图像，然后根据据嵌入水印图像构造深度学习网络，实现嵌入水印帧的判别，并采取水印提取算法进行水印提取。

安全加密方案包含步骤：

加密过程：

(1)收集异常图像作为训练样本；

(2)对于指针、按钮、指示灯、手柄和缺陷五种类型的异常进行编号，标号为1，2，3，4，5；

(3)收集水印图像100张，然后对这100张水印图像求解candy变化后图，对candy处理后的图求解像素和，按照像素和将水印图像分为5组，按照从大到小，记作A，B，C，D，E；

(4)对于A，B，C，D，E的顺序和异常标号1，2，3，4，5搭建映射关系，为了安全，采用非顺序映射，即并非1和A、2和B以此类推映射，例如可以采取2和A、3和B、4和C、5和D、1和E的映射方法，或其他映射作为两者传递的密钥；

(5)当实时检测的视频的时候，如果发现某个帧存在异常，根据异常的序号，选择对应嵌入水印的图像分组，从对应分组水印中选择两张图像，采取LSB算法嵌入该视频水印，LSB全称为Least Significant Bit(最低有效位)，其中两种图像的中心位置为异常图像中心坐标附近的随机位置，可以方便解密。

解密过程采取深度学习算法和LSB实现视频水印的提取和信息的获取：

(1)选择嵌入水印，包含异常场景的图像若干，选择不嵌入水印，包含异常场景的图像若干，选择不嵌入水印且没有异常场景的图像若干，三部分组成训练集；

(2)对第一部分的训练集搭建卷积神经网络，可以采取lenet，alexnet，vgg16等深度学习算法对上述三部分进行训练，通过LOSS曲线和准确率曲线得到网络性能，保存权重文件；

(3)当视频进行解密时候，将视频转化为帧，对每一帧进行验证，调用上述步骤的权重，如果该帧被网络判定为嵌入水印，包含异常场景的图像，将采用LSB算法进行水印提取；

(4)当提取出水印后，求解candy变化后图，对candy处理变化后的图求解像素和，按照像素和的大小判定该图像属于A，B，C，D，E的哪一类；

(5)根据映射关系，得到异常标号；

(6)将异常图像按照映射关系嵌入水印，实现扩充原始训练集，对这些异常进行目标检测，获取网络权重；

(7)若当前检测帧输入到步骤26的网络权重时，得到的异常编号与步骤25一致，则完成解码工作；若不一致或者没有提取到水印，则判定非加密视频。

实施例4

本发明还公开了一种具体的确定指针图像形式异常方法，包括步骤：

(1)做目标检测的网络，收集指针图像，并对指针位置进行标记，得到数据集，采取fasterRCNN进行训练；

(2)当实时的图像输入，调用步骤1的网络，得到指针的坐标，并单独将指针图像保存成图像；

(3)构造单独指针图和指针度数的数据集，对数据集构造alexnet网络，实现单独指针图和指针度数的映射；

(4)对于步骤2得到的图，调用步骤3的网络，得到指针度数P1；

(5)对于2得到的指针图，采取hough变化操作，得到最大的线段，求解最大线段对应的斜率，根据斜率和度数的映射关系，得到指针度数p2；

(6)定义采取深度学习得到的指针度数准确率为acc1,采取hough得到的准确率为acc2；

(7)最后指针度数为p1*(acc1/acc1+acc2)+p2*(acc1/acc1+acc2)。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。