基于NoSQL的PSD-BPA数据解析及管理方法及系统

技术领域

本发明涉及基于NoSQL的PSD-BPA数据解析及管理方法及系统，属于电力系统技术领域，具体是电力仿真计算数据管理技术领域。

背景技术

电网仿真计算数据的规范和高效管理是保证电网安全的重要基础。随着近年来我国电网的快速发展，电网规模不断扩大、元件种类逐渐增多、拓扑关系日益复杂，导致电网仿真计算数据量快速增长，这对电网计算数据管理提出了更高的要求。

电力系统分析软件PSD-BPA中电网仿真基础数据采用数据卡的形式，将数据存储到文本文件中。PSD-BPA数据文件中的数据卡采用FORTRAN固定输入格式，每一行数据卡对应一种仿真模型，模型的每个参数则根据数据卡中规定的格式和规定的列中的数据组成。

目前电网仿真基础数据的维护管理主要采用人工手动进行编辑、管理，电网各省市调度中心仿真基础数据存在模型参数不统一、新模型更新滞后、数据同步困难等诸多问题，且电网仿真模型参数校验工作涉及到的工作量较大，效率较低，甚至无法完全保证其准确性。因此，需要一种高效可靠的电网基础数据解析、管理和维护技术方案。

发明内容

本发明旨在根据PSD-BPA数据特点，以提高电网仿真计算基础数据管理效率为目标，提出一种基于NoSQL的PSD-BPA数据解析管理方法和系统。

为实现上述技术目的，本发明采用了以下技术方案。

一方面，本发明提供了基于NoSQL的PSD-BPA数据解析及管理方法，包括：解析获取各BPA模型的模型类型和模型参数格式信息，按照预先确定的散列表数据结构将解析获得的模型类型和模型参数格式信息存储至NoSQL数据库；根据存储的各BPA模型的模型类型和模型参数格式信息解析BPA数据文件，获得各模型的模型数据；将获得的各模型的模型数据存储至NoSQL数据库，并利用预先生成的各模型记录标识码对各模型数据进行标识；根据各模型记录标识码对存储模型数据的NoSQL数据库进行管理。

进一步的，解析获取各BPA模型的模型参数格式信息的方法包括：根据PSD-BPA各类模型的配置格式规范，识别各个模型配置的起止标识，区分不同的模型类型，解析获得各模型参数格式信息。

再进一步的，所述各模型参数格式信息包括参数名称、参数的配置项信息、参数所在起止列位置、数据类型、模型标识和/或参数注释说明。

预先确定的散列表数据结构为：以模型类型作为键，以模型中所有参数格式信息作为值；对于单个的参数格式，以参数名称作为键以参数的所有配置项信息作为值；对于参数的单个配置项，以参数的配置项名称作为键，以配置项数据内容作为值。

进一步的，根据存储的各BPA模型的模型类型和模型参数格式信息解析BPA数据文件，获得各模型的模型数据的方法包括：

读取数据库获取各BPA模型的模型格式信息，依据模型格式信息识别出匹配各数据卡的模型类型和模型对应的参数格式信息；通过对模型参数格式信息中的数据起止列位置信息，以参数名称作为键，从数据卡对应列中获取该参数的实际数据作为值，生成该参数解析结果；待确定的模型全部参数解析完毕后，以模型类型为键，以该模型的全部参数解析结果为值，生成该模型的解析结果获得各模型的模型数据。

进一步的，所述模型记录标识码为14位数，标识码高8位以当前时间世纪秒为基础，低6位的则采用自增计数的方法。

进一步的，包括根据存储的各模型数据生成规范的模型数据文件，具体包括：

从数据库中获取模型格式信息，依据模型格式信息识别出匹配各数据卡的模型类型和模型对应的模型参数格式信息，对每条模型数据记录，依据模型参数格式信息中的起止列位置、数据类型、模型标识等字段将模型数据拼接成BPA数据卡格式的文本数据；依据数据库中获取模型记录标识码对全部模型数据进行排序，并将排序后的数据写入文件生成规范的数据文件。

进一步的，当数据库中模型数据发生改动后，推动提醒消息并生成新的数据文件。

进一步的，对存储模型数据的NoSQL数据库进行管理包括：利用模型记录标识码采用数据库标准检索语句操作符合条件的模型数据记录，实现对模型数据的新增、查询、删除和/或更新。

另一方面，本发明提供了基于NoSQL的PSD-BPA数据解析及管理系统，包括：模型格式解析模块，用于解析获取各BPA模型的模型类型和模型参数格式信息；

模型格式信息存储模块，用于按照预先确定的散列表数据结构将解析获得的模型类型和模型参数格式信息存储至NoSQL数据库；

模型数据解析模块，用于根据存储的各BPA模型的模型类型和模型参数格式信息解析BPA数据文件，获得各模型的模型数据；

模型数据存储模块，用于将获得的各模型的模型数据存储至NoSQL数据库，并利用预先生成的各模型记录标识码对各模型数据进行标识；

模型数据管理模块，用于根据各模型记录标识码对存储模型数据的NoSQL数据库进行管理。

有益技术效果：

本发明提供基于NoSQL的PSD-BPA数据解析及管理方法及系统，基于NoSQL数据库存储各模型数据，实现了电网数据统一管理、更新，提高电网仿真计算基础数据管理效率，有效避免了多人合作数据混乱的问题；

本发明根据PSD-BPA各类模型的配置格式规范解析获取各BPA模型的模型格式信息，本发明根据PSD-BPA各类模型的配置格式规范，识别各个模型配置的起止标识，区分不同的模型类型，解析获得各模型参数格式信息，参数解析匹配精准，有效确保了仿真计算潮流数据、稳定数据的完整性和准确性。

本发明提出的BPA数据解析、管理及维护方法可在一定程度上提高电网仿真基础数据的管理维护效率，提高电网仿真计算效率。

附图说明

图1为本发明实施例提供的基于NoSQL的PSD-BPA数据解析及管理方法流程图；

具体实施方式

下面结合附图及具体实施例对本发明作进一步的详细说明。

实施例一、基于NoSQL的PSD-BPA数据解析及管理方法，流程如图1所示，包括：

一、解析获取各BPA模型的模型类型和模型格式信息，按照预先确定的散列表数据结构将解析获得的模型类型和模型格式信息存储至NoSQL数据库；

二、根据存储的各BPA模型的模型类型和模型格式信息解析BPA数据文件，获得各模型的模型数据；将获得的各模型的模型数据存储至NoSQL数据库，并利用预先生成的各模型记录标识码对各模型数据进行标识；

三、根据各模型记录标识码对存储模型数据的NoSQL数据库进行管理数据文件。

目前PSD-BPA数据文件中的数据卡采用FORTRAN固定输入格式，每一行数据卡对应一种仿真模型，每种BPA仿真模型由多个模型参数组合而成，每个模型参数都有各自固定格式要求。模型的每个参数则根据数据卡中规定的格式由规定的列中的数据组成。PSD-BPA仿真应用智能集成平台工具软件PSDEdit附带有潮流模型、稳定模型格式配置说明文件(即配置格式规范)，详细说明了所有模型的参数配置、各模型的参数格式、参数数据所在列的起止位置等必要信息，文件中的模型格式配置内容与“PSD-BPA潮流程序用户手册”、“PSD-ST暂态稳定程序用户手册”中的模型格式说明相符合。

具体实施例中，步骤一包括：通过解析CSV格式的潮流模型、稳定模型格式配置说明文件，获取BPA潮流计算模型、稳定计算模型格式解析内容，即各BPA模型的模型格式信息，按照预先确定的散列表数据结构将解析获得的模型类型和模型参数格式信息存储至NoSQL数据库。BPA的潮流模型、稳定模型格式信息包括该模型拥有的参数个数和每个参数的格式信息具体地所述模型格式信息包括模型类型和模型参数格式信息，所述模型参数格式信息主要包括参数所在起止列位置、数据类型、模型标识、参数注释说明等配置项。

通过解析BPA潮流模型、稳定模型格式说明文件，可获取BPA潮流模型、稳定模型格式信息，并将BPA潮流模型、稳定模型格式信息存储至NoSQL数据库中。

本实施例中具体解析流程包括：(1)准确识别各个模型配置的起止标识，准确区分不同的模型类型；(2)解析各模型参数格式信息；包括参数所在起止列位置、数据类型、模型标识、参数注释说明等配置项信息。

模型的参数格式信息是由参数起止列位置、数据类型、模型标识、参数注释说明、参数名称、参数的配置项信息等固定信息字段组成，但不同模型之间的参数数量、种类、含义各不相同，同时考虑到数据库存储的需要，因此本实施例设计了一种多重散列表的数据结构来组织所有的模型信息，具体为：对于模型配置，以模型类型作为键(key)，以模型的参数名称作为值(value)；对于参数配置，以参数名称作为键(key)，以参数的各项配置信息作为值(value)；对于参数的配置项，以配置项名称作为键(key)，以配置项数据内容作为值(value)。

由于BPA模型参数配置存在多层级多重的对应关系，若采用传统的关系型数据库很难满足对BPA各种模型的普遍适配性，因此采用了更适用的NoSQL数据库存储BPA模型格式解析结果。

本实施例中，依据PSD-BPA仿真应用智能集成平台工具软件PSDEdit附带有潮流模型格式说明文件(pfcard.csv)和稳定模型格式说明文件(BPASWCard.csv)；

1)准确识别各个模型配置的起止标识，区分不同的模型类型；所有模型说明均以冒号和模型类型组合为起始标识，以B卡为例，其起始标识为：“:B”；模型说明结束以分号(“；”)为标识。

2)解析各模型参数格式信息；包括参数所在起止列位置、数据类型、模型标识、参数注释说明等信息。其中参数所在起始列位置标识：Start、参数所在结束列位置标识：End、参数数据类型标识：Format；模型标识：bKey和Key；参数注释说明标识：Comment；

3)设计BPA模型格式数据结构。使用json格式的数据类型存储BPA模型格式数据：对于模型配置，以模型类型作为键(key)，以模型的参数名称作为值(value)；对于参数配置，以参数名称作为键(key)，以参数的各项配置信息作为值(value)；对于参数的配置项，以配置项名称作为键(key)，以配置项数据内容作为值(value)。以B卡为例，B卡有17个参数，其json格式数据为：

model_type:"B",

param_1:{bKey:"1",blank:"1",caption:"",comment:"CARD TYPE",comp:"＝",defaultValue:"",end:"1",format:"A1",key:"B",start:"1"},

param_2:{bKey:"1",blank:"9",caption:"",comment:blank,comp:"",defaultValue:"",end:"2",format:"A1",key:"",start:"2"}

……

BPA模型格式解析结果数据库存储；使用NoSQL数据库MongoDB数据库存储BPA模型格式解析结果，以B卡为例，解析获得的模型格式信息在数据库中的存储如表1所示。

表1实施例一模型格式信息的存储方式

二、根据存储的各BPA模型的模型格式信息(即模型类型和模型格式信息)解析BPA数据文件，获得各模型的模型数据；将获得的各模型的模型数据存储至NoSQL数据库，并利用预先生成的各模型记录标识码对各模型数据进行标识。

BPA潮流、稳定数据文件内容主要为电网进行潮流计算、稳定计算所需的各种仿真模型及参数数据。首先读取数据库，获取BPA潮流、稳定模型格式信息；依据BPA潮流、稳定模型格式信息，识别匹配BPA潮流、稳定数据文件各行数据卡的模型类型和对应的模型参数格式信息。依据数据卡的模型类型和模型参数格式信息，对BPA数据文件中的数据卡进行解析；具体流程为：

参数解析：模型参数格式信息中数据起止列位置信息，以参数名称作为键(key)，从数据卡对应列中获取该参数的实际数据作为值(value)，生成该参数解析结果；

模型解析：待该模型全部参数解析完毕后，以模型类型为键(key)，以该模型的全部参数解析结果为值(value)，生成该模型的解析结果；

生成模型记录标识码(14位数)：标识码高8位以当前时间世纪秒为基础，低6位的则采用自增计数的方法，两者拼接可生成唯一的标识码，以该标识码唯一标识该模型记录。

模型数据存储：判断识别解析后的BPA潮流、稳定数据文件内容，舍去注释模型数据，将有效的电网模型数据存储至NoSQL数据库中。

本实施例首先从数据库中获取BPA潮流、稳定模型格式信息，依据BPA潮流、稳定模型格式信息，识别匹配BPA潮流、稳定数据文件各行数据卡的模型类型和对应的模型参数格式信息。

依据数据卡的模型类型和模型参数格式，对数据卡进行解析；

以B卡为例，源数据卡为：

B NF MW-HLZ 230.N6 720.

解析后模型数据格式如表2所示：

表2实施例一模型数据的存储方式

三、根据各模型记录标识码对存储模型数据的NoSQL数据库进行管理。

具体包括对数据库内BPA潮流、稳定模型数据新增、查询、删除、更新等；

模型数据新增：首先读取数据库，获取BPA潮流、稳定模型格式信息，

依据BPA潮流、稳定模型格式信息，识别匹配BPA潮流、稳定数据文件各行数据卡的模型类型和对应的模型参数格式信息。将解析后的模型数据存储至对应数据库表中。

模型数据查询、删除、更新：模型数据查询、删除、更新可采用数据库标准检索语句操作符合条件的模型数据记录。当电网规模为省级电网时，BPA潮流、稳定模型数据记录可达数十万条，为提高数据库检索效率，对于经常用于检索条件的模型类型、设备名称等字段添加索引，可极大提高搜索效率。

本实施例中，模型数据新增包括：首先读取数据库，获取BPA潮流、稳定模型格式信息，依据BPA潮流、稳定模型格式信息，识别匹配BPA潮流、稳定数据文件各行数据卡的模型类型和对应的模型参数格式。

将解析后的模型数据存储至对应数据库表中。

以新增一条LD卡数据为例，新增数据卡为

LD NF TSQ_POS 209.1GNG_POS 198.180022.16 R800.500.15.18.960

解析后新增数据如表3所示：

表3实施例一新增模型数据示意

模型数据查询、删除、更新可采用数据库标准检索语句操作符合条件的模型数据。

在以上实施例的基础上，具体实施例可选的还包括：步骤四、根据存储的各模型数据生成规范的数据文件。

本实施例生成规范的BPA潮流、稳定数据文件，包括：从数据库中获取BPA潮流、稳定模型数据信息，对于每条模型数据记录，依据模型类型检索相关的模型参数格式信息，依据模型参数格式信息中的起止列位置、数据类型、模型标识等字段将模型数据拼接成BPA数据卡格式的文本数据；依据数据库中获取BPA潮流、稳定模型数据的模型记录标识码对全部模型数据按照升序进行排序，并将排序后的数据写入文件(.dat/.swi格式)，即可生成符合规范的BPA潮流、稳定数据文件。

本实施例BPA潮流、稳定数据文件生成包括：从数据库中获取BPA潮流和稳定模型数据信息，对于每条模型数据记录，依据模型类型检索相关的模型参数格式信息，依据模型参数格式信息中的起止列位置、数据类型、模型标识等字段将模型数据拼接成BPA数据卡格式的文本数据；依据数据库中获取BPA潮流、稳定模型数据的模型记录标识码对全部模型数据按照升序进行排序，并将排序后的数据写入文件(.dat/.swi格式)，即可生成符合规范的BPA潮流、稳定数据文件。

潮流数据文件生成示例如表4所示。

表4实施例一潮流数据文件生成示例

稳定数据文件生成示例如表5所示

表5实施例一稳定数据文件生成示例

潮流数据在数据库中的存放形式如表6所示。

表6潮流数据在数据库中的存放形式

稳定数据在数据库中的存放形式如表7所示。

表7稳定数据在数据库中的存放形式

实施例二、基于NoSQL的PSD-BPA数据解析及管理方法，在以上实施例的基础上，还包括当数据库中模型数据发生改动后，推动提醒消息并生成新的数据文件。电网潮流、稳定模型数据变动后，主动同步更新相关电网工作人员的本地模型数据当数据库中电网潮流、稳定模型数据发生改动后(新增、删除、更新)，主动推送消息提醒给使用该电网潮流、稳定模型数据的工作人员，主动生成新的潮流、稳定数据文件，通过网络远程传输至本地，更新替换本地数据文件。

基于BS架构开发电网仿真计算数据管理系统，在服务器端实时监测电网潮流、稳定模型数据变动情况，当数据库中电网潮流、稳定模型数据发生改动后(新增、删除、更新)，通过消息队列主动将变动后的电网潮流、稳定模型数据发送至相应客户端，生成新的潮流、稳定数据文件，更新客户端本地数据文件。

实施例三、基于NoSQL的PSD-BPA数据解析及管理系统，包括：

模型格式解析模块，用于解析获取各BPA模型的模型类型和模型参数格式信息；

模型格式信息存储模块，用于按照预先确定的散列表数据结构将解析获得的模型类型和模型参数格式信息存储至NoSQL数据库；

模型数据解析模块，用于根据存储的各BPA模型的模型类型和模型参数格式信息解析BPA数据文件，获得各模型的模型数据；

模型数据存储模块，用于将获得的各模型的模型数据存储至NoSQL数据库，并利用预先生成的各模型记录标识码对各模型数据进行标识；

模型数据管理模块，用于根据各模型记录标识码对存储模型数据的NoSQL数据库进行管理。进一步地，在实施例三的基础上，所述系统还包括数据文件生成模块，用于根据模型数据生成规范的数据文件。

模型格式解析模块，解析获取各BPA模型的模型参数格式信息的方法包括：根据PSD-BPA各类模型的配置格式规范，识别各个模型配置的起止标识，区分不同的模型类型，解析获得各模型参数格式信息。所述各模型参数格式信息包括参数名称、参数的配置项以、配置项信息、参数所在起止列位置、数据类型、模型标识和/或参数注释说明。

预先确定的散列表数据结构为：以模型类型作为键，以模型中所有参数格式信息作为值；对于单个的参数格式，以参数名称作为键以参数的所有配置项信息作为值；对于参数的单个配置项，以参数的配置项名称作为键，以配置项数据内容作为值。

模型数据解析模块，根据存储的各BPA模型的模型格式信息解析BPA数据文件，获得各模型的模型数据的方法包括：

读取数据库获取各BPA模型的模型格式信息，依据模型格式信息识别出匹配各数据卡的模型类型和模型对应的参数格式信息；通过对模型参数格式信息中的数据起止列位置信息，以参数名称作为键，从数据卡对应列中获取该参数的实际数据作为值，生成该参数解析结果；待确定的模型全部参数解析完毕后，以模型类型为键，以该模型的全部参数解析结果为值，生成该模型的解析结果获得各模型的模型数据。

所述模型记录标识码为14位数，标识码高8位以当前时间世纪秒为基础，低6位的则采用自增计数的方法。

数据文件生成模块，根据模型数据生成规范的数据文件的方法具体包括：

从数据库中获取模型格式信息，依据模型格式信息识别出匹配各数据卡的模型类型和模型对应的模型参数格式信息，对每条模型数据记录，依据模型参数格式信息中的起止列位置、数据类型、模型标识等字段将模型数据拼接成BPA数据卡格式的文本数据；依据数据库中获取模型记录标识码对全部模型数据进行排序，并将排序后的数据写入文件生成规范的数据文件。

模型数据管理模块，对存储模型数据的NoSQL数据库进行管理包括：采用数据库标准检索语句操作符合条件的模型数据记录，实现对模型数据的新增、查询、删除和/或更新。当电网规模为省级电网时，BPA潮流、稳定模型数据记录可达数十万条，为提高数据库检索效率，对于经常用于检索条件的模型类型、设备名称等字段添加索引，可极大提高搜索效率。

实施例四、在实施例三的基础上，所述系统还包括消息推送模块，用于实现当数据库中模型数据发生改动后，推动提醒消息并生成新的数据文件。当数据库中电网潮流、稳定模型数据发生改动后(新增、删除、更新)，主动推送消息提醒给使用该电网潮流、稳定模型数据的工作人员，主动生成新的潮流、稳定数据文件，通过网络远程传输至本地，更新替换本地数据文件。保障所有相关工作人员使用的电网模型数据统一。

本发明提供的基于NoSQL的PSD-BPA数据解析及管理方法及系统，与现有技术相比，主要有以下优势：

(1)基于NoSQL存储BPA潮流、稳定数据，电网数据统一管理、更新，有效避免了多人合作数据混乱的问题。

(2)参考官方BPA潮流模型、稳定模型格式说明文件，参数解析匹配精准，有效确保了仿真计算潮流数据、稳定数据的完整性和准确性。

(3)本发明提出的BPA数据解析、管理及维护方法可在一定程度上提高电网仿真基础数据的管理维护效率，提高电网仿真计算效率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。