一种继电保护设备电力模式数据自识别方法和自识别设备

技术领域

本发明涉及机电设备图像识别技术领域，尤其涉及一种继电保护设备电力模式数据自识别方法和自识别设备。

背景技术

现有的继电保护设备种类繁多，且应用面积非常广泛，为了提高现有的巡检效率，已经开始出现电子信息化的巡检方式，主要体现在以智能化终端的记载方式取代了以往纸质件校核的方式。然而考虑到多种继电保护设备的图像数据比较烦杂，通过作业人员在移动终端内的填写相对来说工作量依旧很大，因此目前还是缺少更加智能化的自识别方案。

发明内容

为了解决上述技术问题，本发明提供一种继电保护设备电力模式数据自识别方法和自识别设备，实现对继电保护设备的电力模式数据的自动识别，并以报告的形式直接在移动端展示，不需要人工手动录入。

为实现上述技术目的，本发明采用如下技术方案：

一种继电保护设备电力模式数据自识别方法，包括以下步骤：

步骤1，对电力模式数据待识别的继电保护设备，获取其电力模式界面图像，作为检测文本框；

步骤2，以预设尺寸对检测文本框进行切割得到若干小文本框，判断每个小文本框内是否含有文本，合并含有文本且连续的小文本框，得到若干个图像文本信息，图像文本信息的客体分为模拟量或者开入量；

步骤3，对于客体为模拟量的图像文本信息，使用基于卷积循环神经网络结构的文本识别模型，识别图像文本信息对应的电力模式数据；对于客体为开入量的图像文本信息，采用目标检测的方式识别图像文本信息对应的电力模式数据。

进一步的，获取电力模式界面图像包括：

步骤A1，基于移动终端拍摄继电保护设备的界面图像；

步骤A2，对界面图像的有效边框进行识别和修正；

步骤A3，将修正之后的图像以既定比例进行拉伸形成矩形图像。

进一步的，在步骤A2之前，先对步骤A1得到的界面图像中的像素点进行平滑预处理。

进一步的，步骤2采用CTPN网络模型对检测文本框进行处理，并最终得到图像文本信息。

进一步的，所述基于卷积循环神经网络结构的文本识别模型的训练方法为：选择若干已知电力模式数据的继电保护设备，按照步骤1和步骤2相同的方法，获取其图像文本信息；然后选择客体为模拟量的图像文本信息作为训练样本，将已知的电力模式数据作为训练标签，对构建的卷积循环神经网络结构模型进行训练。。

进一步的，客体为模拟量的图像文本信息，包括大写字母、小写字母、希腊数字、阿拉伯数字。

进一步的，文本识别模型匹配有模拟量字词术语库，步骤3中将客体为模拟量的图像文本信息输入文本识别模型进行识别时，将文本识别模型输出的数据与模拟量字词术语库中的术语进行对比，当匹配率达到预设数值时，将该术语作为识别得到的电力模式数据。

进一步的，客体为开入量的图像文本信息，采用yolo-v3方法进行模型训练和使用。

进一步的，客体为开入量的图像文本信息，包括为开和投、1和0、分和合六种类别。

本发明还提供一种识别设备，包括：输入装置、输出装置、存储器、处理器；所述存储器用于存储实现上述任一方法技术方案所述的程序；处理器，用于加载并执行所述存储器存储的所述程序，以实现上述任一方法技术方案所述方法的各步骤。

有益效果

本发明利用神经网络模型实现对继电保护设备界面数据的自动识别，针对模拟量以及开入量采用不同的识别策略，以实现更加精准的识别目的。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的自识别方法的流程图；

图2是本申请实施例提供的一种自识别装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

如图1所示，本实施例提供一种继电保护设备电力模式数据自识别方法，包括以下步骤：

步骤1，对电力模式数据待识别的继电保护设备，获取其电力模式界面图像，作为检测文本框。具体包括：

步骤A1，基于移动终端拍摄继电保护设备的界面图像，并对界面图像中的像素点进行平滑预处理；

可以理解的是，一般继电保护设备的电力模式都是由不同的字母数字构成，各种数据类型都有对应的字符串构成，如果人工去记录，是一个很繁琐的过程，因此本发明在一开始通过摄像方式获取图像；

另外，继电保护设备的电力模式数据的客体，包括模拟量和开入量，而开入量和模拟量的内容差距较大，开入量一般只需要识别出六类内容即可(分为开和投、1和0、分和合共六种类别)，而模拟量可能需要识别的是以字符串居多，内容相对较长，因此本实施例在这里对界面图像进行预处理，即将界面图像中的每个像素点进行平滑预处理，使得像素点连续平滑，为后面开入量的检测识别做基础。

步骤A2，对界面图像的有效边框进行识别和修正；具体可以手动对有效边框进行裁剪，或者自识别边框进行修正，修正的方式已经属于现有技术，这里就不进行赘述。

步骤A3，将修正之后的图像以既定比例进行拉伸形成矩形图像。

步骤2，以预设尺寸对检测文本框进行切割得到若干小文本框，判断每个小文本框内是否含有文本，合并含有文本且连续的小文本框，得到若干个图像文本信息，图像文本信息的客体分为模拟量或者开入量，因此每个图像文本信息可能为模拟量，也可能为开入量。本实施例在步骤2具体采用CTPN网络模型对检测文本框进行处理，包括：

步骤B1，通过VGG16卷积神经网络对检测文本框提取特征图像，在VGG的最后一个卷积层CONV5，CTPN采用3*3卷积核对提取的特征图像做卷积；其中，CONV5特征图的尺寸由输入图像来决定，而卷积时的步长却限定为16；

步骤B2，利用循环神经网络生成定宽不定高的矩形锚，检测单词或者文字行的局部区域；

步骤B3，将相邻且高度重合度大于预设值的矩形锚进行合并，所有矩形锚合并后则生成对应的文字边界框，即为图像文本信息。

步骤B2将卷积后的特征将送入BLSTM继续学习，最后在步骤B3接上一层全连接层FC输出需要预测的参数：2K个纵向坐标y，2k个分数，k个x的水平偏移量。步骤B2B3即是利用不定高的矩形锚去实现图像文本信息的区域确定，之后才能基于该图像文本信息区域去进行后续的识别。

本实施例采用CTPN网络模型对检测文本框进行处理，一方面可以将文本检测任务转化为一连串小尺度文本框的检测；另一方面引入循环神经网络提升文本检测效果；再一方面，CTPN的边界优化提升文本框边界预测精准度。

步骤3，对于客体为模拟量的图像文本信息，使用基于卷积循环神经网络结构的文本识别模型，识别图像文本信息对应的电力模式数据；对于客体为开入量的图像文本信息，采用目标检测的方式识别图像文本信息对应的电力模式数据。

继电保护设备的界面一般包括多个不同的电力模式数据，即电力模式界面图像中包括多个电力模式数据，因此步骤2得到若干个图像文本信息，每个图像文本信息对应1个电力模式数据。又由于电力模式数据的客体有模拟量和开入量两种，本发明分别针对模拟量和开入量使用两种不种的识别方法，采用文字识别CRNN模型识别客体为模拟量的电力模式数据，另外基于开入量只有少量几种类型，为节约计算资源而采用目标检测方法识别客体为开入量的电力模式数据。客体为开入量的电力模式数据，一般情况下，都放在客体为模拟量的电力模式数据之前或者之后，因此步骤2得到的所有图像文本信息，其客体类型均是已知的。

本步骤3针对客体为模拟量所使用的基于卷积循环神经网络结构的文本识别模型，其训练方法为：选择若干已知电力模式数据的继电保护设备，按照步骤1和步骤2相同的方法，获取其图像文本信息；然后选择客体为模拟量的图像文本信息作为训练样本，将已知的电力模式数据作为训练标签，对构建的卷积循环神经网络结构模型进行训练。。

其中，卷积循环神经网络结构包含三部分，从下到上依次为：

卷积层，使用CNN，从输入的图像文本信息中提取特征序列；

循环层，使用RNN，预测从卷积层获取的特征序列的标签(真实值)分布；

转录层，使用CTC，作用是把从循环层获取的标签分布通过去重整合等操作转换成最终的识别结果。

本实施例中客体为模拟量的图像文本信息，包括大写字母、小写字母、希腊数字、阿拉伯数字，具体到本实施例中，训练卷积循环神经网络即是要把图像文本信息中的每个字识别出来：首先，将CTPN输出的图像文本信息图像送入到卷积循环神经网络的卷积层提取特征，得到n个向量(n是一个图像文本图像一行文字的最多文字个数)；然后将这n个向量送入到lstm网络(一种特殊的RNN类型)中得到n个m维向量(m是字典字的个数)，每个m维向量表示对应位置字是字典里面那个字的概率，每个m维的向量可以得到字典里面的一个字，这个时候不一定选最大softmax概率对应的字，因为n个m维的向量最终生成n个字，这n个字和最终这一行字的标签不是一一对应的，n个字对应最终的标签是有很多种组合的，每种组合都有一种概率，把所有组合对应的概率相加起来，然后加log取负数就是最终的损失了。

本实施例使用基于卷积循环神经网络结构的文本识别模型，具有优势：(1)可以端到端训练；(2)不需要将图像文本信息进行字符分割和水平缩放等操作，只需要垂直方向缩放到固定长度即可，同时可以识别任意长度的序列；(3)可以训练基于字典的模型和不基于词典的任意模型；(4)训练速度快，并且模型很小。

使用基于卷积循环神经网络结构的文本识别模型对客体为模拟量的图像文本信息进行识别时，将输出的文本信息与模拟量字词术语库(针对电力行业的专有术语建立的字词术语库)的术语进行对比，当匹配率达到预设数值(比如95％)时，该术语即为继电保护设备当前的电力模式，可进一步将匹配得到的术语展示在移动终端上。将匹配率的预设数值设置为略低于100％，可对于明显识别有误的字词匹配，自动做错字修改，只需要确保匹配值在预设范围以上，这样就可以直接将一些小的显示错误纠正，简化识别过程。

步骤3针对客体为开入量的图像文本信息，由于是它需要识别的特殊性，只有开和投、1和0、分和合六种类别需要识别，本实施例采用基于yolo-v3方案的目标检测方式进行针对性检测，来确定继电保护设备当前的电力模式，是与模拟量基于文字识别CRNN模型不同的识别的方式，可以节约计算量。

最终可将确定得到的继电保护设备当前的电力模式展示在移动终端上。

图2是本发明另外提供的一种自识别设备的结构示意图。该识别设备包括4000包括处理器41、输入装置42、输出装置43和存储器44。该输入装置42、输出装置43、存储器44和处理器41之间通过总线相互连接；所述存储器44用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器41执行所述计算机指令时，所述电子设备执行上述方法实施所述的继电保护设备电力模式数据自识别方法。

存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。

输入装置用于输入数据和/或信号，以及输出装置用于输出数据和/或信号。输出装置和输入装置可以是独立的器件，也可以是一个整体的器件。

处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。

存储器用于存储网络设备的程序代码和数据。

处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。

可以理解的是，图2仅仅示出了对象检测设备的简化设计。在实际应用中，动作识别装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本申请实施例的动作识别装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。

以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护。