基于分布式部署多协议采集实现新能源管理的方法及系统

技术领域

本发明涉及新能源管理技术领域，尤其涉及光伏发电站、风力发电站、大规模储能的管理技术领域，具体是指一种基于分布式部署多协议采集实现新能源管理的方法及系统。

背景技术

新能源电站(如光伏发电、风力发电、大规模储能充放电)要正常稳定的运行需要对实时运行数据进行准确的采集和监控，后通过实时监控系统来对数据信息进行管理。

新能源电站往往呈分散设置，分布式电站的特点是新能源种类多，种类搭配互补，多个种类发电设备分散到各个位置且设备数量众多，因而对数据传输的准确性、实时性以及传输速率都有很高的要求。传统的实时监控系统如图1所示，其数据信息采集的方式是数据点到点的模式，通讯服务器负责接收上传的数据并对其进行规约解析、数据验证、数据清洗、数据标记、数据转换与排序等一系列的逻辑处理。随着新能源的种类增多，并发数据点的增大，大数据并发的接收与处理渐渐成为监控系统的性能瓶颈。针对于上述问题，当前有很多厂商的解决方案是通过升级服务器硬件来提高数据处理性能，其直接导致的结果便是监控系统成本高昂，并且大部分时间里高配置的服务器硬件并不能发挥出其最大的处理性能，造成硬件资源的浪费。

发明内容

针对实际运用中新能源设备种类多、数量大且位置分散，对数据传输的实时性、准确性及传输速率要求高这一问题，本申请目的一在于提出一种基于分布式部署多协议采集实现新能源管理的方法，其采用分布式部署多协议解析的方式代替现有单机运行的数据采集模式，可以通过动态的增加部署采集节点服务器数量的方式替代传统的通过升级服务器硬件的方式来提升整套系统的运行性能，为整个监控系统的新建，尤其是监控系统的后期扩容，保证系统运行的稳定性和连续性提供了可行的方案，且该方案能够大大节约系统的建设和运维成本。为实现上述方法，本申请目的二在于提供一种基于分布式部署多协议采集实现新能源管理的系统，具体方案如下：

一种基于分布式部署多协议采集实现新能源管理的方法，包括：

基于前置通讯服务器及与之控制连接的多个数据采集服务器，建立内存服务器与新能源设备之间的数据连接；

建立内存服务器与任务引擎平台之间的数据连接；

获取并根据各数据采集服务器的实时负载状态及新能源设备类别，为新能源设备动态配置对应的数据采集服务器及通讯协议，采集目标数据；

于所述内存服务器中对采集的所述目标数据进行解析与编码，形成实时数据映射及历史数据映射；

基于所述任务引擎平台实现与内存服务器中数据映射区的数据快速获取与交换。

通过上述技术方案，根据各个数据采集服务器的负载状态，动态调用多个配置有不同协议的数据采集服务器对新能源设备进行数据采集，可以有效应对陡增并发的数据量，保证系统的稳定运行，同时，利用现有的硬件经过合理化的配置既能够满足要求，能够大大节约系统的建设和运维成本，也有利于整个系统的新建，尤其是系统的后期扩容。

进一步的，所述基于前置通讯服务器及与之控制连接的多个数据采集服务器，建立内存服务器与新能源设备之间的数据连接，包括：

建立前置通讯服务器与多个数据采集服务器之间的通讯连接，并根据新能源设备类别于数据采集服务器中配置对应的通讯协议；

建立数据采集服务器与多个对应新能源设备之间的数据连接；

建立前置通讯服务器与多个数据采集服务器之间的控制连接，基于前置通讯服务器的控制指令控制各数据采集服务器与新能源设备之间的通讯动作；

各所述数据采集服务器经由前置通讯服务器将采集的目标数据发送至内存服务器，并基于设定时间或控制指令，发送自身负载状态数据至前置通讯服务器；

其中，前置通讯服务器根据调度策略动态调整数据采集服务器数量及数据采集服务器与新能源设备的通讯状态；

所述负载状态数据包括数据采集服务器的CPU使用率数据、内存使用率数据、硬盘读写速率数据及网络带宽使用率数据。

通过上述技术方案，能够最大化的利用各个数据采集服务器的运算性能，解决数据并发数据点增多的问题。

进一步的，所述内存服务器配置为分布式内存服务器；

所述内存服务器中存储有用于表征多个关联的新能源设备之间数据对应关系的数据校验模块，和/或用于根据既有数据计算得到关联的新能源设备数据的校验算法模块；

于所述内存服务器中对采集的目标数据进行解析与编码，对目标数据进行解析还包括数据校验步骤；

其中，基于当前采集到的数据并根据所述数据校验模块及校验算法模块，计算得到相关联的目标理论数据；

将所述目标理论数据与对应的目标数据作比较，得到校验结果。

进一步的，基于前置通讯服务器及与之控制连接的多个数据采集服务器，建立内存服务器与新能源设备之间的数据连接，还包括：

建立多个所述数据采集服务器与分布式内存服务器之间的第一数据权限关系；以及

建立多个新能源设备与多个所述数据采集服务器之间的第二数据权限关系；

于分布式内存服务器中配置权限管理单元，对上述第一数据权限关系及第二数据权限关系进行权限校验。

通过上述技术方案，可以保证上传数据的有效性，排除干扰也便于系统的控制。

进一步的，所述新能源设备配置为光伏电站，光伏电站数据包括当前时间总发电量与前两次单位时间总发电量；

分布式内存服务器根据光伏电站数据计算得到当前单位装机容量发电量，并对该当前单位装机容量发电量进行数据校验；

在进行数据校验时，选取当前时间总发电量与前两次单位时间总发电量的平均值作为计算用当前时间总发电量；

根据所述计算用当前时间总发电量除以光伏电站的装机容量作为当前单位装机容量发电量；

将所述光伏电站当前单位装机容量发电量作为当天的装机容量发电量。

进一步的，所述当前时间总发电量Y(t)是指当天的光伏电站总发电量，当前单位装机容量发电量计算步骤为：

S410，光伏电站正式验收投运发电运行后，根据最高气温、最低气温、天气状况、风向、风力、太阳光辐射值、历史每天光伏发电量作为输入层建模字段，根据BP神经网络算法建立光伏发电预测模型，预测模型的输出层为光伏电站每天预测发电量yi；

S420，根据BP神经网络算法得到的每天预测发电量yi与每天实际发电量ri的相对误差δi，其中δi=yi–ri，如果|1-yi/ri|>7%，则进入步骤S421，否则进入步骤S412；

S421，所述每天预测发电量yi与每天实际发电量ri的相对误差大于正负7%，则排查影响光伏发电的物理条件因素，如光伏板遮挡、光伏组件积灰、光伏组件损坏、电气元件故障等因素；

若不存在影响光伏发电的物理条件因素，将当天的实际发电量数据ri作为步骤S410中的历史每天光伏发电量加入到光伏发电BP神经网络算法训练模型中；

若存在影响光伏发电的物理因素，则将当天的光伏实际发电量数据ri丢弃；

S412，所述每天预测发电量yi与每天实际发电量ri的相对误差小于正负7%，则将当天的光伏电站总发电量Y(t)作为光伏电站的实际发电量ri，并且将当天的实际发电量ri数据作为步骤S410中的历史每天光伏发电量加入到光伏发电BP神经网络算法训练模型中；

S430，根据当前时间总发电量Y(t)除以光伏电站的装机容量M作为当前单位装机容量发电量g，g=Y(t)/M*100%；

其中对于BP神经网络算法中隐藏层的误差项δg可由以下公式计算：

δg=f″(netH)*∑(δi*wig)

其中f″为g的激活函数的导数，netH表示神经元g的净输入，wig为从神经元g到神经元i的权重，∑表示对输出层每个神经元i求和。

进一步的，所述对该当前单位装机容量发电量进行数据校验，包括：

S440，通过Pvsyst软件，采用Meteonorm数据进行模拟，选择设定发电量参考值fg；

S450，根据所述当前单位装机容量发电量计算出每月的单位装机容量发电量fx；

S460，如果(|fx-fg|/fx)<10%，验证当月的单位装机容量发电量fx为准确值。

进一步的，所述基于所述任务引擎平台实现与内存服务器中数据映射区的数据快速获取与交换，包括：

于内存服务器中形成并存储目标数据的实时数据和历史数据Hashmap表；

所述任务引擎平台通过Map接口通信访问分布式内存服务器中的数据编码映射块，实现数据快速获取与交换。

通过上述技术方案，任务引擎平台是通过Map接口通信快速访问到分布式内存服务器中的数据编码映射块，HashMap是一个存储key-value键值对的集合，由于在映射块中已经形成了格式化实时数据集合、历史数据集合，并且提供了任务引擎平台方便的快速操作接口。任务引擎平台根据key值可以直接映射到需要的信息块。而传统的任务引擎平台一般是通过网络通信交换信息，主从式应答协议解析得到需要的信息，而通信与解析协议都需要占用服务器大量算力，通过该Map映射模型方法会很大程度的提高系统的整体运行性能。

一种基于分布式部署多协议采集实现新能源管理的系统，包括：

数据采集服务器,内置有多类别通信协议，用于和新能源设备通讯，采集目标数据；

前置通讯服务器,用于与所述数据采集服务器进行连接管理和通讯以及数据采集服务器的动态调度；

分布式内存服务器，用于与所述前置通讯服务器进行通讯，解析数据与形成实时数据编码与映射、历史数据编码与映射；

任务引擎平台，包括时间周期任务、联动任务、交互响应任务，用于与所述分布式内存服务器中的实时数据映射和历史数据映射快速交换数据。

与现有技术相比，本发明的有益效果如下：

通过动态判断与分配采集服务器及其负载，将传统方案中用来通讯采集与处理的程序模块化分摊到多台普通服务器上运行，分布式内存服务器提供供任务引擎模块快速访问与交换的数据映射块。本方法及系统对于大规模新能源(光伏发电、风力发电、大规模储能充放电)站管理与运维系统的建设上经济效益显著，系统架构灵活，大数据并发与处理效率高，系统整体性能优越，具有广泛的适用范围。

附图说明

图1为传统的实时监控系统示意图；

图2为本发明管理系统的示意图；

图3为本发明方法的整体流程示意图。

附图标记：1、数据采集服务器；2、前置通讯服务器；3、分布式内存服务器；4、任务引擎平台；5、新能源设备。

具体实施方式

诸如光伏发电站、大规模储能发电站、风力发电站等新能源站的运行监控是对设备运行工况及参数的全面监视与调控，现有技术中其系统框架如图1所示，在整套解决方案中，由于新能源站中的新能源设备分布位置广泛，具有需要通信与控制的终端设备多、通信协议种类多、数据采样频率要求高等特点。要解决整个新能源站的运行数据效率与质量的问题，其本质就是要提高整套系统的运行性能。

本申请将根据新能源发电装置的数量和种类，从数据通信服务器中动态的分配出来数据采集处理程序，此设计能大大提高数据的并发与处理能力，使传统的数据通信服务器的瓶颈被突破，通讯前置机用来管理数据采集模块的通讯和连接，分布式内存服务器来编码与格式化采集服务器解析出来的信息，形成实时数据映射和历史数据映射，供其它应用模块快速的数据获取与交换。

下面结合实施例及图对本申请作进一步的详细说明，但本发明的实施方式不仅限于此。

首先，本申请提出一种基于分布式部署多协议采集实现新能源管理的系统，如图2所示。主要包括数据采集服务器1、前置通讯服务器2、分布式内存服务器3以及对应的交互用任务引擎平台4。

数据采集服务器1配置有多个，分别内置有多类别通信协议，用于和新能源设备5通讯，采集目标数据。工作中，根据新能源设备5类别的不同，选择不同的协议进行通讯。如图2所示，光伏发电采集的数据包括逆变器、储能柜、负载设备等设备的运行数据；风力发电采集的数据包括逆变器、储能柜、负载设备等设备运行的数据；储能充放电采集的数据包括逆变器，大规模储能柜、负载装置等设备运行的数据。

前置通讯服务器2用于与数据采集服务器1进行连接管理和通讯以及实现数据采集服务器1的动态调度，并与分布式内存服务器3通讯。详述的，前置通讯服务器2主要负责和数据采集服务器1建立TCP/IP连接，并且对数据采集服务器1进行连接管理和动态调度。其主要过程如下：数据采集服务器1启动后会跟前置通讯服务器2建立连接，上送其分配的机器号进行登记与验证，然后数据采集服务器1会每隔设定时间，如10分钟上送自身的负载情况，其负载情况主要判断机器的CPU使用率、内存使用率、硬盘读写速率、网络带宽使用率。前置服务器会根据调度策略动态的调整数据采集服务器1数量和数据采集服务器1与新能源设备5之间的通讯。

分布式内存服务器3用于与前置通讯服务器2进行通讯，解析数据与形成实时数据编码与映射、历史数据编码与映射。详述的，分布式内存服务器3主要负责对采集器传输过来的信息进行解析与格式化，对不合规数据进行清洗，对做应用功能的数据进行标记操作，对清洗后的数据进行转换与排序，按照编码格式要求形成实时数据映射，对集合数据进行加工，排序与序列化形成历史数据映射，还会对加工后的数据根据需要数据库保存。分布式内存服务器3采用Redis实时数据服务，在分布式内存服务器3中数据解析与形成实时数据编码与映射、历史数据编码与映射。实时与历史数据编码映射1，2，……，m，是在实时库Redis中按照统一编码格式形成快速访问映射Hashmap表，编码格式包括参数类型、装置设备名、设备信号描述、设备信号值、发生设备信号时标。

进一步详述的，对各个新能源设备5的数据进行解析包括根据所述新能源站的新能源设备5通讯协议不同，如Modbus、IEC60870-5-104、https或者IEC61850等协议解析出新能源站各设备的各个运行参数的实时数据，并对数据进行清洗、标记、排序与转换等操作后在实时库中形成编码映射表。

其中，在电力通信协议中，从设备上采集的实时数据，其核心数据是以TCP/IP协议进行的传输，每一帧的业务数据实际上是一串字符流，如在IEC60870-5-104中，68H-1字节、应用规约数据单元的长度(APDU)-1字节、控制域-4字节、类型标识(24H)-一字节、可变结构限定词（01H）-1字节、传送原因(03H)-1字节、公共地址(01H)-1字节、信息体地址(固接点点号)-3字节、信息数据-4字节、品质(00H)-1字节、时标-7字节，解析需要的信息即可。

在本申请实施方式中所提及的新能源设备5，以光伏发电的逆变器为例，其中功能码为04H遥测，通过MODBUS通讯协议可获取的信息参数有PV1输入电压、PV2输入电压、PV3输入电压；PV1输入电流、PV2输入电流、PV3输入电流；PV1输入功率、PV1输入功率、PV1输入功率；逆变器系统信息-功能码03H；逆变器设置-功能码10H；执行命令-功能码06H,遥调，可以有功功率设置、无功功率设置，根据上述逆变器运行参数上送数据类型的不同，采集端可以按照协议解析出逆变器实时运行参数。

在内存服务器中形成光伏发电的逆变器参数信息实时数据和历史数据Hashmap表，由此应用功能中的任务引擎平台4可根据HashMap的接口快速交换到需要的数据。

本申请实施方式中，分布式内存服务器3中存储有用于表征多个关联的新能源设备5之间数据对应关系的数据校验模块，和/或用于根据既有数据计算得到关联的新能源设备5数据的校验算法模块。详述的，数据采集服务器1单/多个在分布式内存服务器3中进行登记订阅，且单/多个数据采集服务器1在分布式内存服务器3中对应登记的名称为统一的登记名称并且唯一。

任务引擎包括时间周期任务、联动任务、交互响应任务，用于与所述分布式内存服务器3中的实时数据映射和历史数据映射快速交换数据。在本申请实施方式中，任务引擎平台4是通过Map接口通信快速访问到分布式内存服务器3中的数据编码映射块，HashMap是一个存储key-value键值对的集合，由于在映射块中已经形成了格式化实时数据集合，历史数据集合，并且提供了任务引擎平台4方便的快速操作接口。任务引擎平台4根据key可以直接映射到需要的信息块，而传统的任务平台一般是通过网络通信交换信息，主从式应答协议解析得到需要的信息，而通信与解析协议都需要占用服务器大量算力，通过该Map映射模型方法会很大程度的提高系统的整体运行性能。

由上可见，本申请实施方式中，传统模式下运行监控系统中的数据通信服务器和数据库服务器的功能被数据接收与映射区代替，根据各采集协议不同解析形成数据集合的内存映射在消息中心，这样方便任务引擎快速交换信息。

基于上述系统，本申请还提出了一种基于分布式部署多协议采集实现新能源管理的方法，如图3所示，主要包括如下步骤：

S100，基于前置通讯服务器2及与之控制连接的多个数据采集服务器1，建立内存服务器与新能源设备5之间的数据连接；

S200，建立内存服务器与任务引擎平台4之间的数据连接；

S300，获取并根据各数据采集服务器1的实时负载状态及新能源设备5类别，为新能源设备5动态配置对应的数据采集服务器1及通讯协议，采集目标数据；

S400，于所述内存服务器中对采集的所述目标数据进行解析与编码，形成实时数据映射及历史数据映射；

S500，基于所述任务引擎平台4实现与内存服务器中数据映射区的数据快速获取与交换。

应当指出的是，上述步骤的排序仅为优选实施方式，具体实施过程中可以根据需要对实施步骤的顺序加以调整，同样，下述的子步骤顺序也并非唯一限定。

上述步骤S100中，具体包括：

S110，建立前置通讯服务器2与多个数据采集服务器1之间的通讯连接，并根据新能源设备5类别于数据采集服务器1中配置对应的通讯协议；

S120，建立数据采集服务器1与多个对应新能源设备5之间的数据连接；

S130，建立前置通讯服务器2与多个数据采集服务器1之间的控制连接，基于前置通讯服务器2的控制指令控制各数据采集服务器1与新能源设备5之间的通讯动作；

S140，各所述数据采集服务器1经由前置通讯服务器2将采集的目标数据发送至内存服务器，并基于设定时间或控制指令，发送自身负载状态数据至前置通讯服务器2。

前置通讯服务器2根据调度策略结合各数据采集服务器1的负载状态数据动态调整数据采集服务器1数量及数据采集服务器1与新能源设备5的通讯状态。

上述负载状态数据包括数据采集服务器1的CPU使用率数据、内存使用率数据、硬盘读写速率数据及网络带宽使用率数据。

如前所述，本申请实施方式中内存服务器配置为分布式内存服务器3，方便数据存储调取的同时也可以避免数据丢失。

基于所述分布式内存服务器3中存储的用于表征多个关联的新能源设备5之间数据对应关系的数据校验模块，以及用于根据既有数据计算得到关联的新能源设备5数据的校验算法模块，于分布式内存服务器3中对采集的目标数据进行解析与编码，对目标数据进行解析还包括数据校验步骤。

其中，基于当前采集到的数据并根据数据校验模块及校验算法模块，计算得到相关联的目标理论数据，而后将目标理论数据与对应的目标数据作比较，得到校验结果。

进一步的，步骤S100还包括：

S150，建立多个数据采集服务器1与分布式内存服务器3之间的第一数据权限关系；

S160，建立多个新能源设备5与多个数据采集服务器1之间的第二数据权限关系；

S170，于分布式内存服务器3中配置权限管理单元，对上述第一数据权限关系及第二数据权限关系进行权限校验。

基于上述技术方案，可以对数据的传输进行权限校验，避免输出错误传输。

在本申请实施方式中，新能源设备5设定为光伏电站，即系统及方法优选的应用于光伏电站。光伏电站数据包括当前时间总发电量与前两次单位时间总发电量。分布式内存服务器3根据光伏电站数据计算得到当前单位装机容量发电量，并对该当前单位装机容量发电量进行数据校验。

在进行数据校验时，选取当前时间总发电量与前两次单位时间总发电量的平均值作为计算用当前时间总发电量，根据计算用当前时间总发电量除以光伏电站的装机容量作为当前单位装机容量发电量，将光伏电站当前单位装机容量发电量作为当天的装机容量发电量。

当前时间总发电量Y(t)是指当天的光伏电站总发电量，当前单位装机容量发电量计算步骤为：

S410，光伏电站正式验收投运发电运行后，根据最高气温、最低气温、天气状况、风向、风力、太阳光辐射值、历史每天光伏发电量作为输入层建模字段，根据BP神经网络算法建立光伏发电预测模型，预测模型的输出层为光伏电站每天预测发电量yi；

S420，根据BP神经网络算法得到的每天预测发电量yi与每天实际发电量ri的相对误差δi，其中δi=yi–ri，如果|1-yi/ri|>7%，则进入步骤S421，否则进入步骤S412；

S421，每天预测发电量yi与每天实际发电量ri的相对误差大于正负7%，则排查影响光伏发电的物理条件因素，

若不存在影响光伏发电的物理条件因素，将当天的实际发电量数据ri作为步骤S410中的历史每天光伏发电量加入到光伏发电BP神经网络算法训练模型中；

若存在影响光伏发电的物理因素，则将当天的光伏实际发电量数据ri丢弃；

S412，每天预测发电量yi与每天实际发电量ri的相对误差小于正负7%，则将当天的光伏电站总发电量Y(t)作为光伏电站的实际发电量ri，并且将当天的实际发电量ri数据作为步骤S410中的历史每天光伏发电量加入到光伏发电BP神经网络算法训练模型中；

S430，根据当前时间总发电量Y(t)除以光伏电站的装机容量M作为当前单位装机容量发电量g，g=Y(t)/M*100%；

其中对于BP神经网络算法中隐藏层的误差项δg可由以下公式计算：

δg=f″(netH)*∑(δi*wig)

其中f″为g的激活函数的导数，netH表示神经元g的净输入，wig为从神经元g到神经元i的权重，∑表示对输出层每个神经元i求和。

进一步的，对该当前单位装机容量发电量进行数据校验，包括：

S440，通过Pvsyst软件，采用Meteonorm数据进行模拟，选择设定发电量参考值fg，以晶硅组件为例，每月的单位装机容量发电量参考值为fg=0.098kwh/w/月；

S450，根据当前单位装机容量发电量计算出每月的单位装机容量发电量fx；

S460，如果(|fx-fg|/fx)<10%，验证当月的单位装机容量发电量fx为准确值。

为了提升数据交互的效率，步骤S500包括：

S510，于内存服务器中形成并存储目标数据的实时数据和历史数据Hashmap表；

S520，任务引擎平台4通过Map接口通信访问分布式内存服务器3中的数据编码映射块，实现数据快速获取与交换。

本申请的基于分布式部署多协议采集实现新能源管理的方法及系统，使用分布式部署技术把多设备、多种类的装置通讯与采集动态分布在采集服务器上运行，大大增加了运行的并发性能；同时，通过分布式内存服务器3的数据映射块技术，使应用功能模块的任务引擎根据映射块接口达到快速交换数据的目的，系统结构更加灵活，提高数据处理效率，具有更广泛的应用范围。

以上所述仅是本申请的优选实施方式，本申请的保护范围并不仅局限于上述实施例，凡属于本申请思路下的技术方案均属于本申请的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理前提下的若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。