一种电网数据异常检测方法及装置

技术领域

本发明涉及电网窃电检测技术领域，特别涉及一种电网数据异常检测方法及装置。

背景技术

窃电是指某些电力用户使用非法手段，实际使用电量小于计量电量，从而达到少缴纳电费甚至不缴纳电费的目的。这种非法行为不仅严重破坏了电力的正常利用，而且给电力系统的运行造成了巨大的经济损失。同时，未经许可的线路或仪表的重新连接很容易导致诸如电源故障和火灾之类的事故，并对电力系统的安全构成严重威胁。因此，有必要开发有效的技术来检测电力盗窃，从而确保电力系统的安全和经济运行。

电力盗窃检测技术可以分为三类：面向网络的方法，面向数据的方法和混合了前两种方法的混合型方法。面向网络和面向混合的方法通常需要有关网络拓扑的专业知识，甚至需要其他硬件设备的帮助，这通常是昂贵的并且难以广泛应用。面向数据的方法仅关注智能电表提供的数据，而对网络拓扑或其他设备没有要求，这有助于提高可疑窃电判断和检测的成本效益。因此，这些年来，面向数据的方法已广泛应用于电力盗窃检测。

在面向数据的方法中，由于电网数据量很庞大，为了提高窃电检测的效率，急需提供一种能够快速高效的检测出电网数据异常的方法。

发明内容

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供一种电网数据异常检测方法及装置，能够快速高效的检测出电网用户用电量数据的异常。

第一方面，本发明提供一种电网数据异常检测方法，所述方法包括：

将用户的用电量数据输入到识别模型中；

根据所述识别模型确定所述用电量数据对应的用户是否存在用电量异常状态的结果；其中，所述识别模型为使用多组数据通过机器学习训练得出的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：异常的用电量数据和标识该组数据对应的用户存在用电量异常状态的标签；所述第二类数据中的每组数据均包括：正常的用电量数据和标识该组数据对应的用户不存在用电量异常状态的标签。

作为进一步改进，所述模型在使用所述多组数据通过机器学习训练之前，所述方法还包括：

对原始数据进行预处理得到所述多组数据。

作为进一步改进，对原始数据进行预处理得到所述多组数据的具体过程为：

对所述原始数据进行数据清洗得到所述多组数据。

作为进一步改进，所述识别模型为使用所述多组数据对卷积神经网络模型训练得到的，所述卷积神经网络模型包括依次连接的卷积层、池化层和全连接层；

所述卷积层具有不同尺寸的多个卷积核，所述多个卷积核中的每个卷积核用于从输入到卷积层的所述多组数据中提取特征，得到所述多组数据中每组数据对应的特征图；

所述池化层，用于从输入到池化层的多个所述特征图中选取所述每组数据中特征值最大的所述特征图并保存到堆栈中；

所述全连接层，用于对保存到所述堆栈中的所述特征图进行分类。

作为进一步改进，所述多组数据中每组数据对应的所述用电量数据包括用户的户号、多个用电日期以及与各用电日期对应的用电数据，其中，所述用电数据包括多个用电参数，每个所述用电参数分别用于表示当日多个时段对应的用电量；

所述卷积核的高度与所述用电数据的用电参数的数量相同。

第二方面，本发明提供一种电网数据异常检测装置，所述装置包括：

输入模块，用于将用户的用电量数据输入到识别模型中；

识别模块，用于根据所述识别模型确定所述用电量数据对应的用户是否存在用电量异常状态的结果；其中，所述识别模型为使用多组数据通过机器学习训练得出的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：异常的用电量数据和标识该组数据对应的用户存在用电量异常状态的标签；所述第二类数据中的每组数据均包括：正常的用电量数据和标识该组数据对应的用户不存在用电量异常状态的标签。

作为进一步改进，所述装置还包括：

预处理模块，用于对原始数据进行预处理得到所述多组数据。

作为进一步改进，所述预处理模块还用于：

对所述原始数据进行数据清洗得到所述多组数据。

作为进一步改进，所述识别模型为使用所述多组数据对卷积神经网络模型训练得到的，所述卷积神经网络模型包括依次连接的卷积层、池化层和全连接层；

所述卷积层具有不同尺寸的多个卷积核，所述多个卷积核中的每个卷积核用于从输入到卷积层的所述多组数据中提取特征，得到所述多组数据中每组数据对应的特征图；

所述池化层，用于从输入到池化层的多个所述特征图中选取所述每组数据中特征值最大的所述特征图并保存到堆栈中；

所述全连接层，用于对保存到所述堆栈中的所述特征图进行分类。

作为进一步改进，所述多组数据中每组数据对应的所述用电量数据包括用户的户号、多个用电日期以及与各用电日期对应的用电数据，其中，所述用电数据包括多个用电参数，每个所述用电参数分别用于表示当日多个时段对应的用电量；

所述卷积核的高度与所述用电数据的用电参数的数量相同。

第三方面，本发明提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例中任一项所述的电网数据异常检测方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方面实施例中任一项所述的电网数据异常检测方法。

相较于现有技术，本发明提供的一种电网数据异常检测方法及装置至少具有如下的有益效果：

本发明提供的电网数据异常检测方法使用通过机器学习训练得到的识别模型对输入到识别模型中的用户的用电量数据进行自动识别，并且识别模型能够自动确定用户的用电量是否存在异常状态。在面向数据的方法中，本发明提供的方法能够从数量庞大的电网数据量中自动识别出用电量存在异常的用户，无需人工识别，能够高效的为后续进一步的窃电检测提供相应的数据，进而提高了窃电检测的效率。

本发明的附加方面和优点将在下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实施例对本发明进一步地说明；

图1为一个实施例中一种电网数据异常检测方法的流程示意图。

图2为一个实施例中一种电网数据异常检测装置的结构框图。

图3为一个实施例中计算机设备的结构框图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

下面，将通过几个具体的实施例对本发明实施例提供的一种电网数据异常检测方法进行详细介绍和说明。

如图1所示，在一个实施例中，提供了一种电网数据异常检测方法。本实施例主要以该方法应用于计算机设备来举例说明。该计算机设备具体可以是图3中所示的结构。

参照图1，该电网数据异常检测方法具体包括步骤S102至步骤S106，各步骤具体如下：

步骤S102：对原始数据进行预处理得到所述多组数据。

在采集到某地区窃电和非窃电用户的原始数据之后，需要先对这些数据进行预处理，对原始数据进行预处理得到所述多组数据的具体过程为：对所述原始数据进行数据清洗得到所述多组数据。

具体而言，原始数据是指直接从测量端采集到的电量数据，居民侧一般包含各个时段采集到的用电量/千瓦时，工业侧一般包含每15分钟的用电量，电压、电流、相角等数据；其中，每个地区的采集系统不同，有的地区采集每15分钟的用电量，有的采集每半小时的用电量，有的一天只采集一天的总用电量。

对于采集到的原始数据需要进行数据清洗等预处理之后，才能够得到符合识别模型所需的用于机器学习训练的多组数据。数据清洗用于去除冗余、错误的数据，并补充缺少的数据，得到可用的数据集(即清洗后的数据集相比于原始数据集，补充了缺失数据，去除了重复数据，删除了错误数据，得到用于训练的所述多组数据)。数据清洗中补充缺失值的方法见下式：

数据清洗中去除错误值的方法如下式：

其中，x

由于在数据收集过程中，可能会发生电量消耗数据丢失，重复和错误的情况，为了避免故障数据对电力盗窃检测的不利影响，本方法提供了一种电力数据预处理方法来恢复丢失和错误的数据。下面的式子表示用于恢复任务数据的内插方法。

此外，使用三西伽马经验法则来恢复错误数据的方法如下：

其中，x

步骤S104：将用户的用电量数据输入到识别模型中。

经过上述预处理之后，恢复丢失和错误的数据后得到用于训练的所述多组数据，可以提高识别模型训练的准确度。

步骤S106：根据所述识别模型确定所述用电量数据对应的用户是否存在用电量异常状态的结果；其中，所述识别模型为使用多组数据通过机器学习训练得出的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：异常的用电量数据和标识该组数据对应的用户存在用电量异常状态的标签；所述第二类数据中的每组数据均包括：正常的用电量数据和标识该组数据对应的用户不存在用电量异常状态的标签。

可以理解的是，识别模型所采用的机器学习模型可以是现有技术中广泛应用的已经成熟的机器学习模型，例如，多层感知机、卷积神经网络、残差收缩网络等，此处不作限定。可以确定的是，通过本实施例中提供的数据预处理方法，可以恢复丢失和错误的数据后得到用于训练的所述多组数据，可以提高识别模型训练的准确度。进一步的，在面向数据的方法中，本发明提供的方法能够从数量庞大的电网数据量中自动识别出用电量存在异常的用户，无需人工识别，能够高效的为后续进一步的窃电检测提供相应的数据，进而提高了窃电检测的效率。

在一个实施例中，所述识别模型为使用所述多组数据对卷积神经网络模型训练得到的，所述卷积神经网络模型包括依次连接的卷积层、池化层和全连接层；

所述卷积层具有不同尺寸的多个卷积核，所述多个卷积核中的每个卷积核用于从输入到卷积层的所述多组数据中提取特征，得到所述多组数据中每组数据对应的特征图；

所述池化层，用于从输入到池化层的多个所述特征图中选取所述每组数据中特征值最大的所述特征图并保存到堆栈中；

所述全连接层，用于对保存到所述堆栈中的所述特征图进行分类。

本示例中，卷积神经网络采用文本卷积神经网络(即Text-CNN)来实现。具体而言，文本神经网络结构主要由卷积层，池化层和全连接层组成。每层的功能将在下面详细说明。

卷积层：

所提出的模型具有多个卷积层。每个卷积层具有H个不同大小的卷积核。为了确保二维时间序列分类的效率和有效性，核的高度与一日数据的数量相同。对于尺寸为H

这里，*是卷积操作。

在第一次卷积后，H

为了提取时间特征并压缩数据量，应将第一卷积层的特征图卷积多次。因此，所提出的神经网络中存在多个卷积层。值得注意的是，上一层的卷积核尺寸不一定等于下一层的卷积核尺寸。例如，D

池化层：

经过多次卷积运算后，数据送到池化层。本文采用最大池化层。在最大池化层中，仅保留最大的提取特征值，而所有其他特征值都将被丢弃。最大池化层可以提取最强的功能，而丢弃较弱的功能。经过池化操作后，输出可以表示为D

全连接层：

在完全连接的层中，输入是池化层输出的堆栈。然后，我们使用两分类(Softmax激活函数)来计算由两个概率组成的分类结果。当发生窃电的概率大于正常概率时，将输入数据标记为窃电。整个模型的最终输出表示为：

在一个示例中，针对于电网用户的用电量数据特点，本发明对于卷积核的结构做出了改进，具体而言，所述多组数据中每组数据对应的所述用电量数据包括用户的户号、多个用电日期以及与各用电日期对应的用电数据，其中，所述用电数据包括多个用电参数，每个所述用电参数分别用于表示当日多个时段对应的用电量；所述卷积核的高度与所述用电数据的用电参数的数量相同。

本示例中，利用两个卷积层来提取特征，每个卷积层都有大小不同的多个卷积核。考虑到电网用户的用电量数据特点，在文本卷积神经网络中，卷积核的高度与一日数据的数量相同。例如，用电数据中的用电参数的维度(即个数)为48个，即一日中每隔15分钟采集一次用户的用电参数，此时，卷积核高度也为48，因此卷积核的高度与用电数据中的用电参数维度相同。在提前特征的时候，卷积核的宽度为2、3、5和7。宽度为2或3的卷积核可以捕获相邻日期的特征。宽度为5和7的内核可以分别从工作日和星期的周期性中捕获特征。因此，本示例中根据用电量数据在时间周期上呈现的自然规律，适当的调整卷积核的结构(即高度和宽度)，使得卷积层能够捕获到用户的用电量数据在时间周期上反映出的客观规律，反映电网运行的客观规律，能够使得对异常数据的监控更加精细准确。此外，为了减少过度拟合的风险，将所提出的卷积神经网络的丢失率设置为0.4。

评价一个模型是否优秀的方法很多样，常用的几个指标是准确率、精确率、召回率、F1值等。评价模型的这些指标的侧重点是不同的，对于不同的模型，可能更偏向于某个指标。也就是说，在特定的场合中，我们关注其中的几个指标，而对于另一些指标的数值并不关心。本文中，采用的评价指标是准确率、精确率、召回率、F1值这四个指标。

可以理解的是，在一个示例中，我们可以直接采用上述训练好的识别模型判断出的异常用户初步作为窃电用户，后期着重观察这些用户异常产生的原因。具体而言，在本发明中，以上述识别模型来进行分析，这是一个二分类的模型，将所有的用电用户分为窃电和非窃电，此处突出了侧重点，我们更关心窃电的用户，因此将窃电用户标记为1，非窃电用户标记为0。

表1本方法中的混淆矩阵

由表1所示的混淆矩阵，可得四个值，分别是TP、TN、FP、FN。TP表示实际是正例，预测也是正例，也就是实际上是窃电的，预测结果也显示是窃电的，这就表明抓到了一个窃电用户。TN表示实际是反例，预测结果也是反例，也就是实际上是非窃电的普通用户，预测结果也显示是非窃电的，表明没有冤枉正常的用户。FP表示实际上是反例，预测结果是正例，也就是实际上是非窃电的，但是模型误认为此用户是窃电的，表明模型预测出错，给正常的用户带来了困扰。FN表示实际上是正例，预测结果是反例，也就是实际上是窃电的，预测结果显示是非窃电的，表明模型出错，漏掉了一个窃电用户。根据TP、TN、FP、FN这四个值，就可以计算准确率、精确率、召回率、F1值了。

准确率(AR)就是模型分类正确的窃电用户和非窃电用户占所有真实用户的比例，它是衡量模型分类效果的最直观也是最常用的一个评判标准。在本发明中，准确率表示所有模型判断正确的样本(包括窃电和非窃电)占所有样本的比例。公式如下：

但实际上在窃电检测过程中发现，有几乎90％的用户都是非窃电用户，只有10％的用户窃电，因此，如果模型的正确率很高，很有可能是该模型将所有的用户都判断为非窃电用户，因此单看准确率这个指标是不全面的。

精确率(PR)指的是模型判断为正例并且实际也是正例的样本数，占所有模型判断为正例的比例，在本文中表示，模型判断为窃电并且实际也窃电的用户，占所有模型判断为窃电的比例。公式如下：

召回率(RR)指的是在所有实际为正例的样本中，被模型识别为正例的样本占比，在本文中表示，在所有实际的窃电用户中，模型判断为窃电的用户占比，也就是模型抓出来的窃电用户占所有窃电用户的比例。公式如下：

F值是表示分类效果的一个综合性指标，它是精确率和召回率的调和均值。公式如下：

特别地，当参数时，就是最常用的最具代表性的F1值，其计算公式如下：

F1值结合了精确率和召回率的结果，综合地反映了模型的分类水平，F1值越大，模型的分类效果越优秀。

本发明适用范围广，适用于不同地区的电力计量系统。本发明可以在无需知道电网拓扑结构和电网参数的情况下，根据电力用户电表的计量数据，准确地判断电力用户是否窃电，窃电检测精度较高。

为了便于理解本发明的有益效果，以下结合具体的数据对本发明提供的识别模型进行测试。具体过程如下：

爱尔兰的样本数据是电力行业的公开数据集，该数据集记录了5000多个用户535天的用电量，每天记录48个用电量(每隔半小时采集一次用电量)，本示例中，实验取了900户实际的普通居民用户数据和300户窃电用户的数据，比例为1:3。其中，取每个用户连续21天的数据作为样本，每天都有48个特征值(特征值是指能体现数据特征的数据，在这里表示用电量/千瓦时，由于爱尔兰的电力采集系统每隔半小时采集一次用电量，因此一天24个小时采集48个用电量)(爱尔兰的用电信息采集系统每隔半小时采集一次用电量)。该数据集仍然包含三个维度，分别是户号、日期、用电量特征值(即48个用电参数，其中卷积核的高度与该维度相同，即高度为48)。

下面将基于爱尔兰低压用户的实际案例，将数据集分为训练集和测试集。训练集用于训练识别模型，测试集用于对识别模型进行验证。卷积神经网络的输入设定为一个数据集，该数据集包含三个维度的信息，分别是户号、日期、用电量的48个特征。数据集的70％用于训练模型，30％用于测试模型。分别在训练集和测试集上测试模型的效果，结果如下表所示。

表2爱尔兰低压用户预测结果示意

表2结果表明，模型对于训练集的预测结果是，整体准确率达到100％，表示模型对窃电和非窃电用户的整体识别率是100％；精确率是100％，表示模型抓到的窃电用户中，有100％是实际窃电的；召回率是100％，表示在所有的窃电用户中，有100％被模型抓到了；F1值代表精确率和召回率的一个综合值，F1值达到100％，模型的性能较好。

识别模型对于测试集的预测结果是，整体准确率达到95.1％，表示模型对窃电和非窃电用户的整体识别率是95.1％；精确率是85.4％，表示模型抓到的窃电用户中，有85.4％是实际窃电的；召回率是96.2％，表示在所有的窃电用户中，有96.2％被模型抓到了；F1值代表精确率和召回率的一个综合值，F1值达到93.6％，模型的性能较好。

测试集的混淆矩阵为：

表3爱尔兰低压用户测试集混淆矩阵

表3的混淆矩阵表示，实际中有232户非窃电用户成功被模型识别，有76户窃电用户成功被模型抓出，有13户非窃电用户被模型误认为窃电，有3户窃电用户没有被模型抓到。

其次，在运算过程中，代码的运算时间并不长，这是因为该模型采用了一维卷积，该卷积核的高度与给定数据集自动适配，且运算过程中，卷积运算只沿着一个方向，大大提高了运算速度，所以运算效率极高。

最后，神经网络的深度和宽度越大，模型的准确度越高。本模型采用了多卷积层、多卷积核的结构，从算例中可以看到，准确度很高，模型的性能很好。

另一方面，在一个实施例中提供一种电网数据异常检测装置，所述装置包括：

输入模块，用于将用户的用电量数据输入到识别模型中；

识别模块，用于根据所述识别模型确定所述用电量数据对应的用户是否存在用电量异常状态的结果；其中，所述识别模型为使用多组数据通过机器学习训练得出的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：异常的用电量数据和标识该组数据对应的用户存在用电量异常状态的标签；所述第二类数据中的每组数据均包括：正常的用电量数据和标识该组数据对应的用户不存在用电量异常状态的标签。

作为进一步改进，所述装置还包括：

预处理模块，用于对原始数据进行预处理得到所述多组数据。

作为进一步改进，所述预处理模块还用于：

对所述原始数据进行数据清洗得到所述多组数据。

作为进一步改进，所述识别模型为使用所述多组数据对卷积神经网络模型训练得到的，所述卷积神经网络模型包括依次连接的卷积层、池化层和全连接层；

所述卷积层具有不同尺寸的多个卷积核，所述多个卷积核中的每个卷积核用于从输入到卷积层的所述多组数据中提取特征，得到所述多组数据中每组数据对应的特征图；

所述池化层，用于从输入到池化层的多个所述特征图中选取所述每组数据中特征值最大的所述特征图并保存到堆栈中；

所述全连接层，用于对保存到所述堆栈中的所述特征图进行分类。

作为进一步改进，所述多组数据中每组数据对应的所述用电量数据包括用户的户号、多个用电日期以及与各用电日期对应的用电数据，其中，所述用电数据包括多个用电参数，每个所述用电参数分别用于表示当日多个时段对应的用电量；

所述卷积核的高度与所述用电数据的用电参数的数量相同。

可以理解的是，本发明的装置实施例与方法实施例基于相同的发明构思，此处对转置实施例不再赘述。

图3示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端或服务器。如图3所示，该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现电网数据异常检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行电网数据异常检测方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的电网数据异常检测装置可以实现为一种计算机程序的形式，计算机程序可在如图3所示的计算机设备上运行。计算机设备的存储器中可存储组成该电网数据异常检测装置的各个程序模块，比如，图2所示的输入模块和识别模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的电网数据异常检测方法中的步骤。

例如，图3所示的计算机设备可以通过如图2所示的电网数据异常检测装置中的输入模块执行将用户的用电量数据输入到识别模型中的步骤；通过识别模块，执行根据所述识别模型确定所述用电量数据对应的用户是否存在用电量异常状态的结果的步骤；其中，所述识别模型为使用多组数据通过机器学习训练得出的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：异常的用电量数据和标识该组数据对应的用户存在用电量异常状态的标签；所述第二类数据中的每组数据均包括：正常的用电量数据和标识该组数据对应的用户不存在用电量异常状态的标签。

在一个实施例中，提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时执行上述电网数据异常检测方法的步骤。此处电网数据异常检测方法的步骤可以是上述各个实施例的电网数据异常检测方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述电网数据异常检测方法的步骤。此处电网数据异常检测方法的步骤可以是上述各个实施例的电网数据异常检测方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRA)、存储器总线(Rambus)直接RAM(RDRA)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。