基于TextCNN-BiLSTM仪表分析方法、系统、设备及介质

技术领域

本发明涉及智能仪表技术领域，特别是涉及一种基于TextCNN-BiLSTM仪表分析方法、系统、设备及介质。

背景技术

在工业生产中，用水设备和用电设备都会连接上一个水表和电表。然而，传统方式需要人工逐一去查看仪表的数据来记录设备用水或用电状况，这无疑增加了人力成本；同时，用水和用电设备的故障排查也需要人工逐一去现场观察才能发现设备的问题，这不仅增加了人力成本，同时一旦错过最佳检查时间，会导致设备因故障而停产。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于TextCNN-BiLSTM仪表分析方法、系统、设备及介质，用于解决现有技术中仪表因不智能引起效率低、成本高的问题。

为实现上述目的及其他相关目的，本发明提供一种基于TextCNN-BiLSTM仪表分析方法，包括：

分别采集水泵、焊接设备与液压机各自对应仪表的仪表数据图像；

处理所述仪表数据图像得到训练集；

根据所述训练集构建用于预测仪表健康的TextCNN-BiLSTM模型；

利用所述TextCNN-BiLSTM模型识别待测的仪表数据图像，得到概率数据；将所述概率数据输入到Softmax激活函数，得到输出序列；根据连接时序分类器，对所述输出序列进行解码，根据仪表数据图像的读数预测仪表的健康状态。

本发明的目的在于提供一种基于TextCNN-BiLSTM仪表分析系统，包括：

数据采集模块，用于分别采集水泵、焊接设备与液压机各自对应仪表的仪表数据图像；

预处理模块，用于预处理所述仪表数据图像得到训练集；

模型构建模块，用于根据所述训练集构建用于预测仪表健康的TextCNN-BiLSTM模型；

仪表分析模块，利用所述TextCNN-BiLSTM模型识别待测的仪表数据图像，得到概率数据；将所述概率数据输入到Softmax激活函数，得到输出序列；根据连接时序分类器，对所述输出序列进行解码，根据仪表数据图像的读数预测仪表的健康状态。

本发明另一目的在于提供一种电子设备，包括：

一个或多个处理装置；

存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置执行所述基于TextCNN-BiLSTM仪表分析方法。

本发明还一目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行所述基于TextCNN-BiLSTM仪表分析方法。

如上所述，本发明的基于TextCNN-BiLSTM仪表分析方法、系统、设备及介质，具有以下有益效果：

通过采集水泵、焊接设备与液压机各自对应仪表的仪表数据图像，不仅能够实时观察各类设备的使用状况，还利用深度学习组合模型TextCNN-BiLSTM智能分析设备的使用状况，智能化分析各类设备判断其是否故障或是否即将出现事故，不仅能减少设备损失、还能减少人工成本。

附图说明

图1显示为本发明提供的一种基于TextCNN-BiLSTM仪表分析方法流程图；

图2显示为本发明提供的一种基于TextCNN-BiLSTM仪表分析方法的一实施例流程图；

图3显示为本发明提供的一种基于TextCNN-BiLSTM模型训练流程图；

图4显示为本发明提供的一种基于TextCNN-BiLSTM仪表分析系统结构框图；

图5显示为本发明提供的一种基于TextCNN-BiLSTM仪表分析系统架构图；

图6显示为本发明提供的一种电子设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

请参阅图1，为本发明提供的一种基于TextCNN-BiLSTM仪表分析方法流程图，包括：

步骤S1，分别采集水泵、焊接设备与液压机各自对应仪表的仪表数据图像；

具体地，通过仪表数据图像获取各个监控设备的工作参数，以便实时监控、采集；另外，也可数字形式得到各个仪表的工作桩体。

步骤S2，处理所述仪表数据图像得到训练集；

具体地，对所述仪表数据图像进行去噪、对比度增强、锐化边缘和提亮，使其达到预设图片格式；将达到预设格式的仪表数据图像按其采集设备的分类，并根据分类的所述仪表数据图像的读数标注仪表的健康状态形成多种样本训练集。

步骤S3，根据所述训练集构建用于预测仪表健康的TextCNN-BiLSTM模型；

具体地，所述TextCNN-BiLSTM模型的输入是N个2048维度的特征向量，输出健康状态的概率；网络共有6层，分别是长短期记忆网络(LSTM，Long Short-Term Memory)层，该层共有N个LSTM子网络，卷积层(96个11x11卷积核)、最大池化层1(3x3)、全连接层(2048维)、Dropout层、Softmax层。

例如，采用TextCNN-BiLSTM模型对所述数据集内的仪表数据图像进行特征提取，所述TextCNN-BiLSTM模型包含TextCNN模块和BiLSTM模块；所述TextCNN模块通过卷积神经网络提取卷积核特征，利用双向RNN对卷积后的向量处理，利用池化层对卷积后的向量进行降采样得到特征序列；将特征序列输入BiLSTM模块；以基于变化的输出层结构改进的BiLSTM模块对所述特征序列进行回归预测；从预测结果中聚类筛选出最可信的结果，得到预测仪表健康的TextCNN-BiLSTM模型。

在另一个实施例中，还可采用另一种实施方式：

将样本训练集分为测试子集与训练子集，输入卷积神经网络进行训练；其中输入卷积神经网络进行训练的过程为：第一层卷积层，输入数据经过5个卷积核，卷积核大小为3*3*5，步长为1；第二层池化层max pool，池化窗口为2*2，步长为2将数据下采样；第三层卷积层，经过5个卷积核，卷积核大小为3*3*5，步长为1；第四层池化层max pool，池化窗口为2*2，步长为2；在卷积后得到的结果上增加偏差，输出结果使用激活函数ReLU进行激活，损失函数使用交叉熵；第五层第六层是全连接层，把第四层得到的数据一维化，通过特征加权把第四层得到的数据特征转化，然后softmax归一化得到最终的判断结果：其中定义损失函数如式所示：

loss＝lossMES+lossCNN(1)

式(1)中，loss为内容损失，包括LSTM网络的MSE损失lossMES和卷积网络的判断损失lossCNN，分别如公式(2)和公式(3)所示：

式(2)中，H和W表示图像的宽度和高度，Ix,y表示真实图像的x,y位置，Ix,y′表示将经过网络模块的输出图像的x,y位置；式(3)中，P为图像的期望分类概率，T为图像经过网络的实际分类概率；得到预测仪表健康的TextCNN-BiLSTM模型。

步骤S4，利用所述TextCNN-BiLSTM模型识别待测的仪表数据图像，得到概率数据；将所述概率数据输入到Softmax激活函数，得到输出序列；根据连接时序分类器，对所述输出序列进行解码，根据仪表数据图像的读数预测仪表的健康状态。

在本实施例中，通过采集水泵、焊接设备与液压机各自对应仪表的仪表数据图像，不仅能够实时观察各类设备的使用状况，还利用深度学习组合模型TextCNN-BiLSTM智能分析设备的使用状况，智能化分析各类设备判断其是否故障或是否即将出现事故，不仅能减少设备损失、还能减少人工成本，提高监控效率和精准度。

请参阅图2，为本发明提供的一种基于TextCNN-BiLSTM仪表分析方法的一实施例流程图，详述如下：

在上述实施例的基础上，还包括：

步骤S5，根据各个仪表的读数获取每个所述仪表的运行状态、利用率，按照用户管理权限可视化显示所述仪表对应的水泵、焊接设备与液压机的运行状态、利用率、健康状态。

在本实施例中，采用上述智能分析各个监管设备的状态，能够自动分析该设备是否故障，根据其状态提前预测设备状态，便于设备监管或维修。

请参阅图3，为本发明提供的一种基于TextCNN-BiLSTM模型训练流程图，详述如下：

例如，第一层为输入层；输入层是一个N*K的矩阵，*表示乘号，其中N为一个句子中的单词数，K是每个词对应的词向量的维度。也就是说，输入层的每一行就是一个单词所对应的K维的词向量。另外，这里为了使向量长度一致对原句子进行了padding操作。

每个词向量可以是预先在其他语料库中训练好的，也可以作为未知的参数由网络训练得到。例如，按预先训练的词嵌入可以利用其他语料库得到更多的先验知识，而由当前网络训练的词向量能够更好地抓住与当前任务相关联的特征。因此，图中的输入层实际采用了双通道的形式，即采用两个的输入矩阵，其中一个用预训练好的词嵌入表达，并且在训练过程中不再发生变化；另外一个也由同样的方式初始化，但是会作为参数，随着网络的训练过程发生改变。

第二层为卷积层，第三层为池化层；

首先，我们要注意到卷积操作在计算机视觉(CV)和NLP中的不同之处。在计算机视觉中，卷积核往往都是正方形的，比如3*3的卷积核，然后卷积核在整张image上沿高和宽按步长移动进行卷积操作。与CV中不同的是，在NLP中输入层的"image"是一个由词向量拼成的词矩阵，且卷积核的宽和该词矩阵的宽相同，该宽度即为词向量大小，且卷积核只会在高度方向移动。因此，每次卷积核滑动过的位置都是完整的单词，不会将几个单词的一部分"vector"进行卷积，词矩阵的行表示离散的符号(也就是单词)，这就保证了word作为语言中最小粒度的合理性(当然，如果研究的粒度是character-level而不是word-level，需要另外的方式处理)。

然后，我们详述这个卷积、池化过程。由于卷积核和word embedding的宽度一致，一个卷积核对于一个sentence，卷积后得到的结果是一个vector，其shape＝(sentence_len-filter_window_size+1,1)，那么，在经过max-pooling操作后得到的就是一个Scalar。我们会使用多个filter_window_size(原因是，这样不同的kernel可以获取不同范围内词的关系，获得的是纵向的差异信息，即类似于n-gram，也就是在一个句子中不同范围的词出现会带来什么信息。比如可以使用3,4,5个词数分别作为卷积核的大小)，每个filter_window_size又有num_filters个卷积核(原因是卷积神经网络学习的是卷积核中的参数，每个filter都有自己的关注点，这样多个卷积核就能学习到多个不同的信息。例如，也提到使用多个相同size的filter是为了从同一个窗口学习相互之间互补的特征。比如可以设置size为3的filter有64个卷积核)。一个卷积核经过卷积操作只能得到一个scalar，将相同filter_window_size卷积出来的num_filter个scalar组合在一起，组成这个filter_window_size下的feature_vector。最后再将所有filter_window_size下的feature_vector也组合成一个single vector，作为最后一层softmax的输入。对这个过程若有不清楚的地方，可以对照着图3来看；

例如，在输入为一个N*K的矩阵上，使用一个kernel与一个窗口进行卷积操作，产生一个特征，c

每一次卷积操作相当于一次特征向量的提取，通过定义不同的窗口，就可以提取出不同的特征向量，构成卷积层的输出。

最后是池化层；如图中所示的网络采用了1-Max池化，即为从每个滑动窗口产生的特征向量中筛选出一个最大的特征，然后将这些特征拼接起来构成向量表示。也可以选用K-Max池化(选出每个特征向量中最大的K个特征)，或者平均池化(将特征向量中的每一维取平均)等，达到的效果都是将不同长度的句子通过池化得到一个定长的向量表示。

请参阅图4，为本发明提供的一种基于TextCNN-BiLSTM仪表分析系统结构框图，包括：

数据采集模块1，用于分别采集水泵、焊接设备与液压机各自对应仪表的仪表数据图像；

预处理模块2，用于预处理所述仪表数据图像得到训练集；

模型构建模块3，用于根据所述训练集构建用于预测仪表健康的TextCNN-BiLSTM模型；

仪表分析模块4，利用所述TextCNN-BiLSTM模型识别待测的仪表数据图像，得到概率数据；将所述概率数据输入到Softmax激活函数，得到输出序列；根据连接时序分类器，对所述输出序列进行解码，根据仪表数据图像的读数预测仪表的健康状态。

其中，需要说明的是，基于TextCNN-BiLSTM仪表分析方法与基于TextCNN-BiLSTM仪表分析系统为一一对应的关系，在此，基于TextCNN-BiLSTM仪表分析系统所涉及的技术细节与技术效果和上述识别方法相同，在此不一一赘述，请参照上述基于TextCNN-BiLSTM仪表分析方法。

在上述实施例的基础上，基于TextCNN-BiLSTM仪表分析系统结构框图包括：如图5所示，水泵通过电磁水表记录其用水状况，液压机通过电磁水表记录其用水状况，焊接设备通过电力仪表记录其用电状况，各个仪表分别通过对应的数据通讯模块将数据上传到数据采集系统，所述数据采集系统按照水泵、(焊接设备)焊接机器人、液压机的类型将数据分类形成相应的数据库，基于TextCNN-BiLSTM模型分别训练水泵分析模块(即水泵训练模块)、焊接机器人分析模块(即焊接机器人训练模块)与液压机分析模块(即液压机训练模块)，数据可视化模块按照其功能还可划分为：设备运行状态单元，用于根据数据采集系统将采集的数据按其类型运行参数进行可视化展示，以达到实时观察设备运行状态的目的；设备利用率单元，用于通过统计分析采集到的设备运行状态(开关状态，一分钟采集一次)来得出某一个设备在过去一天、一个月、一年的利用率，以此来帮助设备管理人员和工厂管理者查看；设备健康预测单元，用于通过TextCNN-BiLSTM模型读取采集到的的设备数据，来进行模型的建立与预测，以此来达到预测设备的健康状态；用户管理单元，用于根据用户的权限分别展示不同功能与应用。

在本实施例中，使用无线通信模块和每一个仪表连接，通信模块用于实现仪表和远端云服务器的数据交互；云服务器端使用socket程序与通信模块之间通信，该程序可利用手机到仪表的数据，当收集到仪表数据时，该程序还会将数据存储到Oracle数据库中。

例如，数据采集系统采集了水泵、焊接机器人和液压机的运行状态(一分钟采集一次，通过收集设备的电源线中的电流来判断设备是否在运行)，并将采集到的的数据存放在Oracle数据库中。

当socket程序对数据收集并保存好之后，TextCNN-BiLSTM模块会对这些数据进行分析与预测，分析用水设备和电力设备是否属于正常工作范围、预测设备是否会在近期出现故障，从而实现智能分析。

下面参考图6，其示出了适于用来实现本公开实施例的电子设备(例如终端设备或服务器600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：执行上述步骤S1到步骤S4的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

综上所述，本发明通过采集水泵、焊接设备与液压机各自对应仪表的仪表数据图像，不仅能够实时观察各类设备的使用状况，还利用深度学习组合模型TextCNN-BiLSTM智能分析设备的使用状况，智能化分析各类设备判断其是否故障或是否即将出现事故，不仅能减少设备损失、还能减少人工成本。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。