一种基于卷积神经网络的继电保护置缺陷定级方法

技术领域

本发明涉及继电保护装置缺陷分析技术领域，尤其涉及一种基于卷积神经网络的继电保护置缺陷定级方法。

背景技术

继电保护设备在长期运行过程中，通过巡检、试验等手段记录和积累了大量缺陷文本数据。这些文本数据存入系统后，通常作为记录数据，未能发掘其中蕴含的大量有价值的信息，是设备缺陷等级分类的关键数据。

但是，大量的设备缺陷等级分类工作需要人工完成，不仅效率较低，工作量大，而且对于某些模糊性较强的亚健康缺陷，常常处于难以精确判断的尴尬局面，因此，分类准确性受到影响。

发明内容

有鉴于此，本发明提供了一种基于卷积神经网络的继电保护置缺陷定级方法，以解决现有技术中缺陷等级分类工作需要人工完成，效率较低、分类准确性差的问题。

本发明提供了一种基于卷积神经网络的继电保护置缺陷定级方法，包括：

S1.基于某区域电网继电保护运行缺陷记录，对数据进行预处理，得到缺陷定级数据集，其中，所述缺陷定级数据集包括训练集、测试集和验证集；

S2.通过马尔可夫假设，采用一维卷积层对向量化的文本矩阵进行特征提取，将得到的特征传入全连接神经网络，得到识别向量化的文本预测结果，并通过前向传播梯度，进行预设次数的模型迭代至收敛，获得目标卷积神经网络模型；

S3.基于选取的预测参数，将所述测试集输入所述目标卷积神经网络模型得到缺陷定级的识别结果。

进一步地，所述S1包括：

S11.基于某区域电网继电保护运行缺陷记录，采用继电保护缺陷词典，去除停用词和无关词汇，并进行向量化处理，形成向量化的文本矩阵，并将所述向量化的文本矩阵分为危急、严重和一般三个缺陷等级；

S12.利用jieba分词结合专业词典的方法对所述危急、严重和一般三个缺陷等级分别进行分词处理，按照6:2:2划分为所述训练集、测试集和验证集，其中，jieba是基于python编程语言的分词函数包。

进一步地，所述S2中模型训练包括：batch_size＝128，且预设次数＝10000次。

进一步地，所述S2包括：

S21.根据马尔可夫假设，构建3个长度为2，3，4的一维卷积核；

S22.利用构建的所述一维卷积核，对所述向量文本矩阵进行卷积操作，提取文本中蕴含设定量信息熵的特征部分，将所述特征部分传入所述全连接神经网络，采用sigmoid作为激活函数进行计算，然后采用softmax函数输出向量化的文本所属类别的概率分布，获得所述识别向量化的文本预测结果；

S23.基于所述所述识别向量化的文本预测结果，利用交叉熵损失函数，通过前向传播梯度，进行预设次数的模型迭代至收敛，获得所述目标卷积神经网络模型。

进一步地，所述向量化的文本所属类别的概率分布为范围在[0,1]之间、和为1。

进一步地，所述交叉熵损失函数包括如下计算式：

其中，M表示类别的数量，y

进一步地，所述S3包括：

S31.采用准确率，召回率，F1分数，表征目标卷积神经网络模型的预测精度；

S32.将所述测试集输入所述目标卷积神经网络模型得到缺陷定级的识别结果。

进一步地，所述模型评价指标的获得包括如下计算式：

其中，P表示准确率，R表示召回率，F表示F1分数，TP表示正确定级的缺陷文本数量，FP表示错误定级的缺陷文本数量，FN表示未检测到的文本数量。

本发明与现有技术相比存在的有益效果是：

1、本发明采用softmax函数计算，输出向量化的文本所属类别的概率分布，提高了缺陷记录文本的定级预测结果的分类准确率。

2、本发明通过提取文本中蕴含设定量信息熵的特征部分，获得损失函数收敛至预设值，计算速度快，且避免了陷入局部最优解的情况。

3、本发明通过选用准确率，召回率，F1分数一系列模型评价指标参数，使得目标卷积神经网络模型的预测精度得到保障，保证了缺陷能够得到及时处理和上报。

附图说明

为了更清楚地说明本发明中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明提供的一种基于卷积神经网络的继电保护置缺陷定级方法的流程图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

下面将结合附图详细说明本发明提供的一种基于卷积神经网络的继电保护置缺陷定级方法。

图1是本发明提供的一种基于卷积神经网络的继电保护置缺陷定级方法的流程图。

如图1所示，该继电保护置缺陷定级方法包括：

S1.基于某区域电网继电保护运行缺陷记录，对数据进行预处理，得到缺陷定级数据集，其中，所述缺陷定级数据集包括训练集、测试集和验证集；

所述S1包括：

S11.基于某区域电网继电保护运行缺陷记录，采用继电保护缺陷词典，去除停用词和无关词汇，并进行向量化处理，形成向量化的文本矩阵，并将所述向量化的文本矩阵分为危急、严重和一般三个缺陷等级；

S12.利用jieba分词结合专业词典的方法对所述危急、严重和一般三个缺陷等级分别进行分词处理，按照6:2:2划分为所述训练集、测试集和验证集，其中，jieba是基于python编程语言的分词函数包。

缺陷定级数据集信息如表1所示：

S2.通过马尔可夫假设，采用一维卷积层对向量化的文本矩阵进行特征提取，将得到的特征传入全连接神经网络，得到识别向量化的文本预测结果，并通过前向传播梯度，进行预设次数的模型迭代至收敛，获得目标卷积神经网络模型；

所述S2中模型训练包括：batch_size＝128，且预设次数＝10000次。

所述S2包括：

S21.根据马尔可夫假设，构建3个长度为2，3，4的一维卷积核；

根据所述马尔可夫假设：任意一个词出现的概率只与它前面出现的一个或者几个词有关，构建3个长度为2，3，4的一维卷积核，即考虑该词附近2，3，4个词对其的影响。

S22.利用构建的所述一维卷积核，对所述向量文本矩阵进行卷积操作，提取文本中蕴含设定量信息熵的特征部分，将所述特征部分传入所述全连接神经网络，采用sigmoid作为激活函数进行计算，然后采用softmax函数输出向量化的文本所属类别的概率分布，获得所述识别向量化的文本预测结果；

具体地，利用构建的一维卷积核，对向量化的文本矩阵进行卷积操作，提取文本中蕴含设定量信息熵的特征部分，并将提取出的所述特征部分输入一个5层的全连接神经网络，采用sigmoid作为激活函数，即

其中，所述全连接神经网络是指卷积神经网络模型，所述卷积神经网络模型包括多个一维卷积来获取句子中N-gram的特征表示。

经过所述全连接神经网络输出向量化的文本所属类别的概率分布，再利用softmax函数计算，将概率转换为范围在[0,1]之间和为1的概率分布，其中，softmax函数的获得包括如下计算式：

其中，Z

S23.基于所述所述识别向量化的文本预测结果，利用交叉熵损失函数，通过前向传播梯度，进行预设次数的模型迭代至收敛，获得所述目标卷积神经网络模型。

利用交叉熵损失函数，计算预测分类和实际分类的模型差距，其中交叉熵损失函数的获得包括如下计算式：

其中，M为类别的数量，y

基于随机梯度下降法，将所述交叉熵损失函数作为目标函数，不断随机抽取样本计算梯度，并按照设定的步长进行梯度下降，直至所述交叉熵损失函数收敛至设定值，获得所述目标卷积神经网络模型。本发明采用随机梯度下降法的梯度计算的随机抽取性，不容易陷入局部最优解，并且有着较快的计算速度。

S3.基于选取的预测参数，将所述测试集输入所述目标卷积神经网络模型得到缺陷定级的识别结果。

所述S3包括：

S31.采用准确率，召回率，F1分数，表征目标卷积神经网络模型的预测精度；

S32.将所述测试集输入所述目标卷积神经网络模型得到缺陷定级的识别结果。

所述目标卷积神经网络模型通过目标卷积神经网络模型评价指标体现缺陷定级的识别结果。

所述目标卷积神经网络模型评价指标的获得包括如下计算式：

其中，P表示准确率，R表示召回率，F表示F1分数，TP表示正确定级的缺陷文本数量，FP表示错误定级的缺陷文本数量，FN表示未检测到的文本数量。

为了全面评估训练模型的准确性，设定训练过程中batch_size＝128，每个batch训练一轮后取出最优模型作为下一轮训练的基础模型，通过1万次训练得到如下结果：

P＝0.6833

R＝0.7560

F＝0.2472

本发明采用softmax函数计算，输出向量化的文本所属类别的概率分布，提高了识别向量化的文本预测结果的分类准确率；通过提取文本中蕴含设定量信息熵的特征部分，获得损失函数收敛至预设值，计算速度快，且避免了陷入局部最优解的情况；通过选用准确率，召回率，F1分数一系列模型评价参数，使得目标卷积神经网络模型的预测精度得到保障，还保证了缺陷能够及时处理和上报。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。