一种智能电能表质量数据采集和上传方法及系统

技术领域

本发明涉及数据安全隔离技术领域，尤其是涉及了一种智能电能表质量数据采集和上传方法。

背景技术

现有技术中，由于智能电能表之间存在工厂之间配合生产，这样就导致生产过程中的质 量数据采集系统传输之间存在跨地域或者跨系统，对于系统采集带来不便，而且在数据传输 的时候如果出现断网断电则会造成数据丢失，对于系统数据采集造成很大的影响，因此现有 技术中用于生产质量数据采集的方式越来越不能满足人们的需求，不利于广泛的推广和普及。

发明内容

为解决现有技术的不足，实现采集智能电能表生产过程生命周期质量流程数据的目的，本发明采用如下的技术方案：

一种智能电能表质量数据采集和上传方法，包括如下步骤：

S1，采集工厂系统及其对应的工厂设备的数据；

S2，通过工厂设备数据，验证工厂系统数据；

S3，将验证后的工厂设备数据转换成网络应用层协议数据；

S4，通过边缘计算节点将协议数据上报至质量数据采集平台。

通过可信加密机制将采集的数据加密；所述边缘计算节点通过openAPI进行数据上报。

进一步地，所述步骤S1中，采集数据时，通过验证规则对数据进行验证，验证规则包括：业务逻辑验证、数据一致性逻辑验证、主外键逻辑验证、时间逻辑验证、重复性逻辑验证、完整性验证和标准代码验证；

所述业务逻辑验证，用于验证工厂端数据表数据逻辑的正确性验证；

所述数据一致性逻辑验证，用于验证工厂端数据表数据一致性逻辑的正确性；

所述主外键逻辑验证，用于验证工厂端业务数据表间数据标识一致性验证；

所述时间逻辑验证，用于验证工厂端业务环节时间关系正确性验证；

所述重复性逻辑验证，用于验证工厂端业务表中重复数据验证；

所述完整性验证，用于验证工厂端业务数据表中关键业务数据完整性验证；

所述标准代码验证，用于验证工厂端业务数据表中的代码是否符合计量标准代码要求验证。

通过一系列验证规则的有效验证对数据进行过滤，确保数据的准确性、有效性以及可信性。

所述步骤S2中的验证，包括对检定检测环节的数据进行验证，包括如下步骤：

S2.1，采集检定台体的检定检测数据，根据每个工厂端不同的台体或流水线方案的不同，采用不同的通信协议实现；

S2.2，将采集到的工厂系统数据与采集的检定检测数据做比较；

S2.3，验证工厂系统数据的真实性。

进一步地，数据采集的方式包括被动采集和主动采集，被动采集只针对工厂设备进行采集；

被动采集时，质量数据采集平台和数据采集网关建立连接，向数据采集网关发送采集指令，数据采集网关向工厂设备发送采集指令，工厂设备的数据，经数据采集网关，反馈至质量数据采集平台；

主动采集包括设备主动上报模式和第三方上传模式，主动上报模式，是质量数据采集平台和数据采集网关建立连接，数据采集网关与工厂端设备建立连接，设备主动将数据上报给数据采集网关，数据采集网关再将数据实时反馈给质量数据采集平台；第三方上传模式，是工厂端通过接口上传规范，上传至采集采集网关，采集采集网关再通过质量数据采集平台的边缘端接口，将数据直接上传给质量数据采集平台。

进一步地，所述采集的数据，包括研发设计环节、物料采购环节、生产制造环节、出厂供货环节的数据，用于反映各业务环节的质量状态和水平，用于质量追溯；

采集研发设计环节的数据，通过出厂产品故障，追溯产品信息，从而辅助电力公司及生产企业找到使用该软件版本号的其他批次的电表，尽快进行产品升级，以避免更大规模批次性故障的发生；

采集物料采购环节的数据，通过物料批次，快速确定的追溯其影响的范围，从而辅助电力公司及生产企业快速进行应对；

采集生产制造环节的数据，通过大规模的产品故障，追溯生产工艺及检测，以便厂家快速确定问题原因和所影响的范围，从而辅助电力公司及生产企业快速进行应对；

采集出厂供货环节的数据，将出厂前已有的编码，与生产调度平台、出厂供货批次、工厂内部的编码进行关联，对故障进行溯源、改进，关联数据之后，可以查询到出厂供货批次号相同的数据，从而提升产品质量，优化产品方案。

进一步地，采用接口方式进行数据采集，工厂端根据描述文档生成协议请求消息，并发送到数据采集网关，数据采集网关解析协议请求消息，调用WebService，再生成相应的协议应答消息送回到工厂端，工厂端再调用接口获取应答消息；

接口方式包括WebService方式、WebService+中间库方式、中间库方式；

所述WebService方式，数据采集网关提供WebService接口，工厂端调用该接口，数据采集网关返回接口调用信息；

所述WebService+中间库方式，根据数据采集网关提供的WebService接口，工厂端将数据写入中间库，然后调用WebService接口通知数据采集网关，数据采集网关处理完中间库数据后，返回接口调用信息；

所述中间库方式，以数据库为载体，按照预先定义的库、表结构定义和权限配置，实现各种数据的交换，可以基于用户侧具体情况，在使用其他方式采集数据难以实施的情况下，使用中间库方式进行数据传递；

认证机制，WebService需要通过认证才能被调用，工厂端将认证信息设置到协议头中，在WebService接收到请求后从协议头中获取认证信息，认证通过后再调用具体服务；

数据规约，工厂端和数据采集网关之间，统一采用XML格式来交互业务数据，工厂端将业务数据组织成XML格式的字符串作为最后一个入参调用数据采集网关的接口，数据采集网关解析JSON格式的字符串得到业务数据处理业务，并把结果组织成JSON格式的字符串返回给工厂端。

对于异常统一返回错误，所述异常包括系统异常和接口约定的逻辑异常。

对采集的数据进行数据清洗，清洗出残缺数据、错误数据及重复数据，并对其进行修正；

所述残缺数据清洗，是过滤出必要数据，并对其进行补全；

所述错误数据清洗，是通过SQL的方式从工厂系统中，抽取出错误数据，反馈业务部门进行过滤或修正，在修正后再次抽取，针对业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库，形成错误数据，进行抽取、修正和再抽取，抽取方法包括判断数据类型的一致性、数据关联关系验证；

所述重复数据，同归对维表中重复数据进行导出，再进行过滤或修正，维表是相对于事实表而言，事实表用于存储事实的度量及指向各个维的外键值，维表用于保存该维的元数据。

由于数据源是数据库、数据中心、网络、应用系统、终端、传感器等，对于不同来源、不同性质、不同影响的数据进行数据清洗，可以去除数据中可能存在残缺、错误、重复等问题，从而保证数据的有效性。

一种智能电能表质量数据采集和上传系统，包括依次连接的工厂端、数据采集网关及云平台，所述工厂端包括工厂系统和工厂设备，所述数据采集网关包括采集设备、边缘计算节点，所述云平台是质量数据采集平台，采集设备分别与工厂端和边缘计算节点连接，获取工厂系统和工厂设备的数据，并通过工厂设备采集的数据，验证工厂系统采集的数据，再将验证后的数据转换成网络应用层协议数据，通过边缘计算节点上报至质量数据采集平台，通过云平台最终得到真实反应设备生产过程中智能电能表相关的生产流程数据以及检测质量数据等信息。

进一步地，所述采集设备包括相互连接的采集模块和验证模块，采集模块又与工厂系统连接，验证模块又与工厂设备连接，采集模块用于采集工厂系统数据，并与验证模块采集的工厂设备数据进行验证比较后，通过边缘计算节点进行上报。

进一步地，所述采集模块上部署边缘实例，以实例的方式进行控制，控制包括采集模块的网关、子设备、场景联动、函数计算、流数据分析和消息路由，通过部署实例，将实例中的资源部署至数据采集网关中。

进一步地，所述验证模块，通过协议采集工厂设备的数据，工厂设备包括生产设备、传感器，验证模块的采集，根据不同工厂端，进行定制化开发，由于各工厂端的实际情况不同，设备采用的协议也不同，通过定制化开发，可以将工厂端不同的场景、不同的数据，通过数据采集网关统一成应用层协议数据上报云平台。

本发明的优势和有益效果在于：

本发明通过专业自动化的采集方案，能够采集包括智能电能表生产过程生命周期质量流程数据，通过可信采集链路、可信采集数据，确保数据传输的可信性及采集的可信性，从而通过对可信数据的分析来帮助企业技术、产品质量的提升，并且加快企业数字化转型。

附图说明

图1是本发明的系统整体架构图。

图2是本发明的系统功能图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，一种智能电能表质量数据采集和上传方法及系统，采集智能电能表生产过程生命周期质量流程数据，具体数据分为研发设计、物料采购、生产制造、出厂供货等环节的数据，分别用于反映各业务环节的质量状态和水平。系统包括不同的电能表厂家、数据采集网关、云平台（质量数据采集平台）。

每家电能表厂家设有ERP、MES等系统，以及与生产设备、传感器等。

数据采集网关，用于将工业底层设备的数据转换成MODBUS、Webservice等网络应用层协议数据。转换的数据包括反映设备运行状态的开关量信号，一些传感器传输的模拟量信号，以及一些设备网口或串口传输的以协议方式存在的数据流；通过可信加密机制将这些数据加密后，通过数据采集网关的多个边缘计算节点的边缘计算能力，整合为MODBUS、Webservice协议数据，通过边缘端（数据采集网关）的openAPI进行数据上报，并以无线或有线方式传输至公网的云平台端口中，通过云平台最终得到真实反应设备生产过程中智能电能表相关的生产流程数据以及检测质量数据等信息。

数据采集网关，包括采集模块、验证设备、边缘计算节点，其中采集模块采用LE200采集设备，LE200采集设备部署边缘实例，采集软件应用等，以webservice接口、中间库、文件等形式采集工厂的ERP、MES等系统内的数据，边缘实例提供一种类似文件夹的管理功能，可以通过实例的方式管理边缘端相关的网关（如LE200）、子设备，同时也可以管理场景联动、函数计算、流数据分析和消息路由内容，通过部署实例，将边缘实例中的资源部署至数据采集网关中；验证设备采用LE100直采设备，直接对接厂家的设备，通过协议采集设备数据，验证设备1-N是通过modbus等协议采集工厂的生产设备、传感器的数据，其中需要对不同厂家设备做定制化开发对接。采集数据和验证一部分是在厂家通过接口上传中对数据进行验证的，详见具体的验证规则，还有一部分是在上传后与LE100直采设备的数据进行比较验证，如对检定检测环节的数据进行验证。采集和验证包括不同环节的数据，在接口上传中，研发设计环节的产品详细信息中，产品编号必须取自产品信息中的产品编号，将产品编号作为唯一标识，用于后续的追溯。

研发设计环节，本环节数据主要从质量追溯环节来考虑。例如：现场发现某产品出现批次性故障，经拆回表检测及试验后发现是软件程序引发的故障，此时就需要获得故障表所对应的软件版本号等关键信息，从而辅助电力公司及生产企业找到使用该软件版本号的其他批次的电表，尽快进行软件升级，以避免更大规模批次性故障的发生。

物料采购环节。从正常流程上，一般会有物料选型、样品测试、小批试用、物料采购、到货抽检等质控环节。从质量追溯角度，需要了解物料的生产批次，以及该物料生产批次所有物料都在哪些电表上进行使用，如果物料批次性出现问题后，可以快速确定所影响的范围，从而辅助电力公司及生产企业快速进行应对。

生产制造环节。从生产流程上，一般会有贴装、涂胶、插装、单板测试、老化、检测等质控环节。从质量追溯角度，如果现场出现大规模故障，需要了解电表的生产批次，生产批次所对应的工艺，每个工艺流程所进行的检测等信息，以便厂家快速确定问题原因和所影响的范围，从而辅助电力公司及生产企业快速进行应对。

出厂供货环节。在出厂前，需要对产品进行抽检，以便检查是否能够供货，同时需要记录相关信息以便与电力公司侧数据建立对应关系。出厂前已有铭牌条码，该条码和MDS（省级计量中心生产调度平台）里面条形码是一致的。铭牌条码和出厂供货批次号相关联，与厂家内部的计划单号，厂内编号进行关联。好处：关联数据之后，可以查询到出厂供货批次号相同的数据，提升产品质量，优化产品方案。可以对故障表进行溯源，进行改进。

智能电能表质量数据的可信采集包括可信采集链路、可信采集数据。边缘网关通过直接部署在工厂数据端保证采集网络的可靠性与可信性；通过对生产过程的检定台体或其他生成检定设备直接进行数据采集确保数据采集的可信性。

可信采集数据主要包括自动化检定台体的数据的采集以及其它可支持采集接口的设备进行数据的采集（如:误差数据、耐压数据等）。

智能电能表质量数据可信采集系统架设在边缘网关设备之上，基于modbus或者指定的采集协议驱动对智能电能表生产过程的质量数据进行可信采集，采集数据直接进入网关后上传到云端，整个采集过程确保数据的采集的可信以及传输的可信。

智能电能表质量数据的采集系统通过边缘端终端直接对设备进行数据的采集确保数据的可信性，同时基于WebService接口采集各工厂ERP或MES上传过来的研发设计、物料采购、生产制造、出厂供货等四个业务环节数据并对对接数据有效验证，确保数据的准确性与可靠性。

如图2所示，数据采集的方式包括被动采集和主动采集：

被动采集（设备直采模式）：终端应用和边缘采集终端建立连接，向采集终端发送采集指令，边缘采集终端向设备发送采集指令，设备反馈数据给边缘采集终端，边缘采集终端将数据反馈给终端应用。

主动采集(设备主动上报模式)：终端应用和边缘采集终端建立连接，设备主动将数据上报给边缘采集终端，边缘采集终端将数据实时反馈给终端应用。

主动采集(第三方上传模式)：生产企业通过终端应用的接口，将数据直接上传给终端应用。

通常采用三种模式（实际使用时采用一种或多种）采集生产企业数据。

对智能电能表质量数据的验证规则包括数据格式验证、边缘端采集与工厂ERP或MES上传采集比较验证、数据完整性验证、业务逻辑验证等验证规则。通过一系列验证规则的有效验证对数据进行过滤，确保数据的准确性、有效性以及可信性。最终将验证通过后的有效数据上传到云端。

验证规则如下：

①业务逻辑，生产企业侧数据表数据逻辑正确性。如产品元器件清单的研发方案编号不能为空等空值验证；根据中标/合同信息表的研发方案编号能查询到研发方案信息数据；根据中标/合同信息表的商务合同编号能查询到生产计划表数据等。

②数据一致性逻辑，生产企业侧数据表数据一致性逻辑正确性。如研发方案编号相同的数据，其企业编号必须不相同；产品详情信息的产品详细信息编号相同的数据，其研发方案编号也相同等。

③主外键逻辑，生产企业侧各业务数据表间数据标识一致性。如根据产品检测报告的产品编码能查询到产品详细信息数据；根据中标/合同信息表的商务合同编号能查询到生产计划表数据。

④时间逻辑，生产企业侧各业务环节时间关系正确性。如模块老化检测信息的处理时间不能大于当前时间且大于1990年；如果生产计划的完工时间如果不为空，则生产计划的开始时间必须小于生产计划的完工时间。

⑤重复性逻辑，生产企业侧业务表中是否存在重复数据记录。如电能表资产信息的铭牌条码不能重复。

⑥完整性，生产企业侧各业务数据表中关键业务数据是否完整。如产品检测报告中产品编码、检测机构、企业编号等关键字段不能为空。

⑦标准代码，生产企业侧各业务数据表中的代码是否符合计量标准代码要求。如电流相别、检测项目、证书类型等字段取值自公共信息表中。

目前主要对检定检测环节的数据进行验证，IOT设备安装在检定台体附近，对检定台体的检定检测数据采集，具体根据每个表厂不同的台体或流水线方案不同，采用不同的通信协议来实现。

采集到的数据上传至采集服务器后与表厂上传的检定检测数据做比较，以此来验证数据的真实性。

数据采集的数据源是数据库、数据中心、网络、应用系统、终端、传感器等。对于不同来源、不同性质、不同影响的数据，可能存在残缺、错误、重复等问题，需要进行数据清洗。数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等“脏数据”。应用数据清洗技术，把“脏”的“洗掉”，保留有效数据。

脏数据一般主要是有残缺数据、错误数据、重复数据三大类：

（1）残缺数据：这一类数据主要是一些应该有的信息缺失，要求在规定的时间内补全。补全后才写入数据仓库。如：产品信息的产品编码、产品型号缺失，元器件检测结论检测报告编号、到货批次号、检测日期、检测结果等信息缺失，PCB生产过程工序名称、元器件编号信息缺失，对于这一类数据需过滤出来进行补全。

（2）错误数据：这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，这一类错误需要去业务系统数据库用SQL的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。如：对于时间类型字段数据结果数据非时间类型，对于数值类型字段数据结果非数值类型，生产数据里的唯一编号（厂内编码）和订单有绑定关系，但通过场内编码无法定位到订单等，对于这些错误数据，无法通过关联关系验证的需要对其进行挑取并修正。

（3）重复数据：对于这一类数据——特别是维表中会出现这种情况——将重复数据记录的所有字段导出来，让客户确认并整理。如：智能电能表资产信息的铭牌条码重复，生产检测信息重复上传等需对其挑出，让厂家确认并整理。

基于全链条质量数据模型，通过对质量数据规则的研究，把不符合预期残缺数据、错误数据、重复数据等“脏数据”“洗掉”，这就是数据清洗过程。通过配置采集装置的可编程功能节点，针对企业数据特色，结合数据清洗技术，进行脏数据清洗，过滤不符合要求数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。

数据采集接口：

（1）接口概述

接口统一采用WEBSERVICE 的Apache Axis（version 1.4）技术实现。客户端和服务器用SOAP协议通过HTTP来交互，客户端根据WSDL描述文档生成SOAP请求消息发送到服务端，服务端解析收到的SOAP请求，调用Web service，然后再生成相应的SOAP应答消息送回到客户端。所述客户端是指厂家内部改造开发的系统，服务器是指部署采集软件系统应用的服务器，接口是厂家调用的。

采用的接口方式包括：WebService方式、WebService+中间库方式、中间库方式，接口方式说明如下：

WebService方式

采集系统提供WebService接口，厂家调用该接口，采集系统返回接口调用信息。即采集系统提供统一接口，厂家内部进行改造开发，对erp、mes系统里数据按照接口文件，物模型文件格式进行上传。

WebService+中间库方式

采集系统提供WebService接口，厂家将数据写入中间库，然后调用WebService接口通知采集系统，采集系统处理完中间库信息后，返回接口调用信息。

中间库方式

以数据库为载体，按照预先定义的库、表结构定义和权限配置，实现各种数据的交换。基于用户侧具体情况，在使用其他方式采集数据难以实施的情况下，可使用中间库方式进行数据传递。

（2）认证机制

所有WEBSERVICE服务均需要认证通过（部分需要授权）才能够被调用。WEBSERVICE服务接收到请求后从Soap头中获取用户名和密码，进行认证，认证通过后再调用具体服务。作为客户端，应用程序代码(使用Axis的客户端编程模型来编写的)需要将用户名和密码设置到SOAPHeader中。SOAPHeaderElement的namespace约定为Authorization，localPart约定为username和 password。

（3）数据规约

客户端和服务端统一采用XML格式的字符串来交互业务数据，客户端将业务数据组织成XML格式的字符串作为最后一个入参调用服务端接口，服务端解析JSON格式的字符串得到业务数据处理业务并把结果组织成JSON格式的字符串返回给客户端。

对于异常(包括系统异常和接口约定的逻辑异常)，统一返回AxisFault。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。