一种电力计量数据质量监控方法、装置及大数据计算平台

技术领域

本发明属于计算机领域，尤其涉及一种电力计量数据质量监控方法、装置及大数据计算平台。

背景技术

随着科学技术的发展，数据的传递和采集越来越方便。大数据不仅成为各大互联网公司的战略方向，其他行业也开始探索大数据。目前很多电力企业都会基于大量数据进行决策，例如电力企业收集不同地区或者不同时间段内用电量的多少，并将用电量的多少以电力计量数据的形式存储在数据库中，电力计量数据到达一定量的时候，以这些数据为基础，分析各地区或者各时间段内的用电情况，合理的布设电力系统和配电系统。但是伴随大数据而来的数据质量问题也比传统数据库中的问题要严峻的多。大数据服务每天有PB（拍字节Petabytes，计算机存储容量单位，常用PB来表示）级别的数据计算量，为了保证数据质量，对于数据产出过程中的数据监控显得尤为重要。如果数据内容质量不符合标准，数据监控可以给出报警，告知用户，避免造成下游数据更大规模的数据污染。

但是现有的电力计量数据质量监控大多采用预设监控规则对数值型数据进行监控，这种方法在一段时间内能够对数据质量起到应有的监控效果，但是随着环境的变化和应用场景等其他相关因素的改变，数据本身具有一定的变动和成长性，成长后的数据依然是合格的数据，但是可能超出预设监控规则的范围，会被预设监控规则判定为不合格数据，这部分数据就会被系统自动剔除，不具备成长性的预设监控规则使得数据库中的电力计量数据量减少，且数据库中的电力计量数据会越来越“老旧”，跟不上实际情况中成长后的数据趋势，造成基于大量数据做出的决策出现偏差，对电力企业发展和建设造成不良影响。

发明内容

本发明实施例提供一种电力计量数据质量监控方法、装置及大数据计算平台，旨在解决不具备成长性的预设监控规则使使得数据库中的电力计量数据量减少，数据库中的电力计量数据会越来越“老旧”，跟不上实际情况中成长后的数据趋势的问题。

本发明实施例是这样实现的，一种电力计量数据质量监控方法，所述方法包括：

获取实时数据，并采用初始监控规则方程进行判断，当实时数据为不合格数据时，向客户端发送警示信号；

接收来自所述客户端根据所述警示信号对实时数据做出的处理指令，根据所述处理指令对所述初始监控规则方程进行改变，获得成长监控规则方程；

用所述成长监控规则方程覆盖所述初始监控规则方程，持续对实时数据进行监控。

作为本发明的一种改进方案：所述方法还包括：当所述处理指令为剔除实时数据时，继续使用所述初始监控规则方程对实时数据进行监控；

当所述处理指令为跳过实时数据时，改变所述初始监控规则方程，获得所述成长监控规则方程。

作为本发明的又一种改进方案：当所述处理指令为跳过实时数据时，将跳过的实时数据保存在暂存数据库中；

所述暂存数据库中实时数据的数量计数值加一；

当所述数量计数值达到数量阈值时，调用所述暂存数据库中的实时数据训练所述初始监控规则方程，获得所述成长监控规则方程。

作为本发明的另一种改进方案：当所述暂存数据库中的实时数据被调用后，将所述暂存数据库中的实时数据整体保存在有效数据库中，并所述将暂存数据库中的实时数据删除。

作为本发明的进一步方案：所述方法还包括：获取有效数据，训练得到初始监控规则方程。

作为本发明的再进一步方案：当实时数据为不合格数据时，向所述客户端发送所述警示信号后，

将所述警示信号及其对应的实时数据保存在过渡数据库中；

接收来自所述客户端对所述过渡数据库中所述警示信号做出的批量的处理指令。

作为本发明的优化方案：接收来自客户端对过渡数据库中警示信号做出的批量处理指令时，跳过实时数据和剔除实时数据的处理指令分开传送；

批量传送所述处理指令时，根据选择的先后顺序，依次传送对警示信号做出的处理指令。

一种电力计量数据质量监控装置，包括：

数据收集模块：用于获取实时数据，并采用初始监控规则方程进行判断，当实时数据为不合格数据时，向客户端发送警示信号；

监控规则更新模块：用于接收来自所述客户端根据所述警示信号对实时数据做出的处理指令，并根据所述处理指令对所述初始监控规则方程进行改变，获得成长监控规则方程；

监控规则暂存模块：用于将所述成长监控规则方程覆盖所述初始监控规则方程，持续对实时数据进行监控。

一种大数据计算平台，所述大数据计算平台包括一个或多个服务器，所述服务器内包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现上述任一所述的电力计量数据质量监控方法。

本发明的有益效果：

随着用于计量电力的实时数据的变化，当现有初始监控规则方程判断实时数据为不合格数据时，不是将实时数据直接剔除，而是经判断后有选择的保留有效的“不合格”实时数据，并将这部分数据保存在暂存数据库中，当暂存数据库中的“不合格”实时数据积累到一定量时，以这部分数据作为原始数据重新训练初始监控规则方程，获得成长监控规则方程，使得监控规则方程随着实时数据的变化而成长，保证监控规则方程的实时性和有效性，解决不具备成长性的预设监控规则使使得数据库中的电力计量数据量减少，数据库中的电力计量数据会越来越“老旧”，跟不上实际情况中成长后的数据趋势的问题。

附图说明

图1是一种电力计量数据质量监控方法的实施环境示意图；

图2是一种电力计量数据质量监控方法主干流程图；

图3是一种电力计量数据质量监控处理指令分类执行流程图；

图4是一种电力计量数据质量监控警示信号批量处理流程图；

图5是一种电力计量数据质量监控装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

随着获取的用于计量电力的实时数据的变化，当现有初始监控规则方程判断实时数据为不合格数据时，不是将实时数据直接剔除，而是经判断后有选择的保留有效的“不合格”实时数据，并将这部分数据保存在暂存数据库中，当暂存数据库中的“不合格”实时数据积累到一定量时，以这部分数据作为原始数据重新训练初始监控规则方程，获得成长监控规则方程，使得监控规则方程随着实时数据的变化而成长，保证监控规则方程的实时性和有效性。

图1示出了本发明实施例提供的一种电力计量数据质量监控方法的实施环境示意图，为了便于说明，仅示出了与本发明实施例有关的部分，包括客户端、电力计量数据质量监控装置和大数据计算平台。客户端与电力计量数据质量监控装置以及电力计量数据质量监控装置与大数据计算平台之间通过无线网络或有线网络连接。

电力计量数据质量监控装置获取到用于计量电力的实时数据之后，对实时数据进行监控，当出现异常实时数据的时候，向客户端发送警示信号；客户端对警示信号对应的实时数据选择处理，并将处理指令发送给电力计量数据质量监控装置；电力计量数据质量监控装置执行处理指令，将实时数据剔除或者暂存，根据暂存的实时数据更新电力计量数据质量监控规则方程，使得监控规则方程随实时数据改变而更新，其中电力计量数据质量监控装置内运行的程序和一些列计算可以均在大数据计算平台中进行，另外暂存的实时数据和存储的大量数据也可以上传到大数据计算平台内。

其中客户端可以是智能手机、平板电脑、便携计算机等设备。客户端内安装和运行有支持多媒体技术的应用程序。除此之外，客户端还可以具备账号登录功能，还能够进行数据分享、工作流转和协同工作等功能。另外大数据计算平台还为客户端内安装的应用程序提供后台服务。客户端可以存在一台或者多台，每一台均能够与电力计量数据质量监控装置进行数据交流和信息传递。

其中电力计量数据质量监控装置在获取实时数据时还与外部的数据采集装置相连，以便于获得现场有效实时的数据，根据使用环境的不同该外部数据采集装置可以是红外测量类装置，智能摄像识别类装置或者音频采集类装置等。

其中大数据计算平台可以是公司自建的本地服务平台，也可以是租用其他服务商的共有云平台或者私有云平台，在这里不做具体的限定，只要所用服务平台能够支持电力计量数据质量监控装置和客户端等设备的后台服务即可，除此之外，还要考虑数据安全性问题。

图2示出了本发明实施例的一种电力计量数据质量监控方法主干流程图，详述如下：

步骤S101：获取有效数据，训练得到初始监控规则方程。获取一定量的有效数据，这些有效数据是正常用电情况下能够衡量电力用量的有效数据，使用这些有些数据进行模型的训练，得到具有监控效果的初始监控规则，除此之外，也可以获取预先已经存在的监控规则作为初始监控规则，本发明中优选采用计算机训练得到初始监控规则，并将初始监控规则拟合成初始监控规则方程用以判断实时数据的质量是否有效。所述的初始监控规则可以是已经存在的验算方程式、也可以是计算机拟合出的动态变化的某种规律、甚至是某一数值范围等。

例如，有一批相互对应的数据（x,y），这批数据通过计算能够得到一个一元一次方程式：y=kx+b，计算过程可以由计算机自主训练进行，也可以由人计算得出，将得出的一元一次方程式作为初始监控规则方程；当不断接收新的实时数据的时候，这些实时数据可能会根据环境的不同发生改变，新获取的实时数据可能不再适合原有的一元一次方程式，但是这些实时数据也是有效的，此时原有的一元一次方程式需要进行成长，此时可用新获得的实时数据重新训练拟合出新的一元一次方程式，将新的一元一次方程式作为成长监控规则方程。

步骤S102：获取实时数据。该实时数据是数据收集模块从现场直接采集获取的，是实际使用过程中产生的随机数据，具有普适性。

步骤S103：采用初始监控规则方程进行判断。对上述收集到的实时数据进行监控，以确保收集到的数据是有效的，以便于从收集到的众多数据中推导出正确的规律或者得到正确的指导性的决策。

步骤S104：当实时数据为不合格数据时，向客户端发送警示信号。提醒使用者，该数据不符合初始监控规则方程，可能是无效数据，需要做进一步的判定，但是该情况在众多实时数据的收集过程中仅偶尔发生，当客户端经常收到警示信号的时候，说明初始监控规则方程的拟合出现偏差，不具有代表性，不能作为判断实时数据质量的规则，需要重新训练出新的初始监控规则方程。

步骤S105：当实时数据为合格数据时，直接将实时数据保存在有效数据库中。收集合格有效的实时数据是为了得到大数据，这样企业才能基于大量数据进行决策。

步骤S106：接收来自客户端根据警示信号对实时数据做出的处理指令。由于实时数据会随着环境和应用场景等其他相关因素的改变而变化，变化后的实时数据可能部分符合初始监控规则方程，还会出现部分不符合初始监控规则方程，此时实时数据发生“成长”（即随外部因素的改变而改变），那些不符合初始监控规则方程的合格有效的实时数据在短时间内需要使用者进行人为干预判断其真实的有效性，将初始监控规则方程判定的不合格数据改为合格数据。

步骤S107：根据处理指令对初始监控规则方程进行改变，获得成长监控规则方程。用上述异常的合格实时数据进行训练初始监控规则方程，使得初始监控规则方程的判断范围发生改变，改变后的判断范围可能收紧，可能扩大，可能一端收紧一端扩大等等情况均可能出现，但是训练后的初始监控规则方程具备“成长”性，使得成长监控规则方程适应成长的实时数据。

步骤S108：用成长监控规则方程覆盖初始监控规则方程，持续对实时数据进行监控。

图3示出了本发明实施例的一种电力计量数据质量监控处理指令分类执行流程图，在上述实施例“步骤S106：接收来自客户端根据警示信号对实时数据做出的处理指令”之后，对处理指令进行分类讨论：

步骤S201：当处理指令为剔除实时数据时，继续使用初始监控规则方程对实时数据进行监控。当选择执行剔除实时数据的指令时，说明实时数据确实为不合格数据，当环境和应用场景等其他相关因素没有发生改变的时候，实时数据不会出现太大的波动，出现的警示信号基本为不合格实时数据。因此此时出现的警示信号均可以忽略，可以直接执行剔除实时数据的处理指令。当环境和应用场景等其他相关因素发生改变的时候，需要短时间内频繁关注警示信号，并自行判断实时数据的有效性，当实时数据为合格数据的时候，不剔除实时数据，执行跳过实时数据的处理指令。

当处理指令为跳过实时数据时，改变初始监控规则方程，获得成长监控规则方程。

作为本发明一种优选的实施例，对于上述实施例中“当处理指令为跳过实时数据时，改变初始监控规则方程，获得成长监控规则方程”具体展开为：

步骤S202：当处理指令为跳过实时数据时，说明此时的实时数据为有效数据，并且该实时数据是成长后的实时数据，因此需要将跳过的实时数据保存在暂存数据库中，以作为训练有效数据。

步骤S203：暂存数据库中实时数据的数量计数值加一。因为训练监控规则所需的有效数据有一定的数量要求，执行此步骤能够准确的把握暂存数据库中有效实时数据的数量，以便于执行下一步骤。

步骤S204：当暂存数据库中的数据量达到数量阈值时，调用暂存数据库中的实时数据（该实时数据为成长后的有效数据）训练初始监控规则方程，获得成长监控规则方程。

作为本发明的进一步优选实施例，在上述实施例中步骤S204之后，电力计量数据质量监控方法还包括：

步骤S205：当暂存数据库中的实时数据被调用后，将暂存数据库中的实时数据整体保存在有效数据库中，并将暂存数据库中的实时数据删除。保证暂存数据库内存的充足，并且应对下一次实时数据的成长，也能够避免多次成长后的实时数据相互混合，调用数据是容易产生混乱。

图4示出了一种电力计量数据质量监控警示信号批量处理流程图，在上述实施例步骤S104中“当实时数据为不合格数据时，向客户端发送警示信号”之后，所述电力计量数据质量监控方法还包括：

步骤S301：将警示信号及其对应的实时数据保存在过渡数据库中。

步骤S302：定期接收来自客户端对过渡数据库中警示信号做出的批量处理指令。当警示信号的数量达到一定量或者一定时间（例如一天/一周/一月等）后对过度数据库中的警示信号进行批量处理，避免频繁操作的麻烦，节省使用者的时间。

步骤S303：定期接收来自客户端对过渡数据库中警示信号做出的批量处理指令时，跳过实时数据和剔除实时数据的处理指令分开传送。同一类型的处理指令在一起传送，不要将不同的处理指令混合传送，这样做是为了减少指令传送过程中的冗余二次判断。

步骤S304：根据勾选的先后顺序，依次传送对警示信号做出的处理指令。

图5示出了本发明的一种电力计量数据质量监控装置的结构示意图，详述如下：

数据收集模块100：用于获取实时数据，并采用初始监控规则方程进行判断，当实时数据为不合格数据时，向客户端发送警示信号。

监控规则更新模块200：用于接收来自客户端根据警示信号对实时数据做出的处理指令，并根据处理指令对初始监控规则方程进行改变，获得成长监控规则方程。

监控规则暂存模块300：用于将成长监控规则方程覆盖初始监控规则方程，持续对实时数据进行监控。

一种大数据计算平台，所述大数据计算平台包括一个或多个服务器，所述服务器内包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现上述所述的电力计量数据质量监控方法。

本应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。