掌桥专利:专业的专利平台
掌桥专利
首页

一种调控数据存证共享方法及系统

文献发布时间:2023-06-19 12:11:54


一种调控数据存证共享方法及系统

技术领域

本发明属于电力自动化技术领域,涉及区块链及调控数据处理领域,特别涉及一种调控数据存证共享方法及系统。

背景技术

目前,调控数据量呈爆发式增长,涉及的数据类型多样化;在数据使用与维护方面,数据维护流程愈发复杂,跨部门跨调度的数据交互愈发频繁,对调控数据的可靠性和交互性提出了更高的要求。例如,调控云是“云大物移智链”等信息通信技术在调控领域的创新应用,调控云平台结合调控业务生产组织模式,遵循调控系统“统一调度、分级管理”原则,构建了跨调度机构的两级部署调控云体系。随着调控云建设持续推进,调控云成为调控业务重要的数据汇集中心之一,调控云上汇集的数据量呈爆发式增长,涉及的数据类型多样化。

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。从应用本质来看,区块链是一个分布式的共享账本和数据库,具有去中心化、不可篡改、全程留痕、可以追溯、集体维护、公开透明等特点。随着区块链技术在货币金融领域取得的巨大成功,物联网、社会管理、医药、交通运输等各行业的专家学者也逐渐开始研究探索区块链的行业应用价值。当前通用区块链系统,大多是围绕金融领域的“货币”、“交易”开展设计的,将通用区块链直接作为数据存证共享的平台,其业务场景相当有限,原因在于:区块链最初指代的是数字货币系统“比特币”系统中底层的数据存储结构,后来随着数字货币的发展,区块链作为一种解决数据存储中“信任”问题的技术被研究者所青睐,所以大部分成熟的区块链系统在数据存储类型,数据存储接口方面都更多地适用于金融领域而非其他领域。

发明内容

本发明的目的在于提供一种调控数据存证共享方法及系统,以解决上述存在的一个或多个技术问题。本发明基于区块链进行功能上的改进,提出了调控数据存证共享方法,可适用于电网场景中涉及到的数据存证共享,能够满足对调控数据可靠性和交互性的要求。

为达到上述目的,本发明采用以下技术方案:

本发明的一种调控数据存证共享方法,包括以下步骤:

数据输入端区块链节点获取数据录入请求;

根据数据录入请求,所述数据输入端区块链节点获取源端数据,并解析获得所述源端数据的数据类型;

根据所述源端数据的数据类型,将结构化数据的源端数据写入数据输入端区块链节点进行本地存储;

根据所述源端数据的数据类型,将非结构化数据的源端数据的存储地址转化为结构化字符串,并将所述结构化字符串写入数据输入端区块链节点进行本地存储;

基于区块链节点之间预设的共识算法将源端数据的数据类型和源端数据输出进行分布式账本存储。

本发明的进一步改进在于,所述将结构化数据的源端数据写入数据输入端区块链节点进行本地存储的步骤具体包括:

将结构化数据的源端数据的数据ID和结构化字符串写入数据输入端区块链节点进行本地存储。

本发明的进一步改进在于,所述将非结构化数据的源端数据的存储地址转化为结构化字符串,并将所述结构化字符串写入数据输入端区块链节点进行本地存储的步骤具体包括:

为非结构化数据的源端数据生成表示非结构化数据的源端数据指针的内部结构化字符串,将非结构化数据的源端数据的数据ID和所述内部结构化字符串写入数据输入端区块链节点进行本地存储。

本发明的进一步改进在于,完成本地存储之后,还包括:

数据输入端区块链节点获取数据验证请求;

根据数据验证请求,所述数据输入端区块链节点获取源端数据的数据ID并进行本地验证,获得本地验证结果。

本发明的进一步改进在于,所述源端数据包括格式为(ID,结构化字符串)的结构化数据和格式为(ID,文件)的非结构化数据。

本发明的一种调控数据存证共享方法,包括以下步骤:

数据存储端区块链节点获取源端数据的数据类型,所述源端数据的数据类型是由数据输入端区块链节点根据源端数据解析获得的;

将结构化数据的源端数据写入数据存储端区块链节点进行分布式账本存储;

将非结构化数据的源端数据的存储地址转化为结构化字符串,并将所述结构化字符串写入数据存储端区块链节点进行分布式账本存储。

本发明的进一步改进在于,所述将结构化数据的源端数据写入数据存储端区块链节点进行分布式账本存储的步骤具体包括:

将结构化数据的源端数据的数据ID和结构化字符串基于区块链节点之间预设的共识算法写入数据存储端区块链节点进行同步存储,形成分布式账本存储。

本发明的进一步改进在于,所述将非结构化数据的源端数据的存储地址转化为结构化字符串,并将所述结构化字符串写入数据存储端区块链节点进行分布式账本存储的步骤具体包括:

为非结构化数据的源端数据生成表示非结构化数据的源端数据指针的内部结构化字符串,将非结构化数据的源端数据的数据ID和所述内部结构化字符串基于区块链节点之间预设的共识算法写入数据存储端区块链节点进行同步存储,形成分布式账本存储。

本发明的进一步改进在于,完成分布式账本存储之后,还包括:

数据存储端区块链节点获取本地验证结果,所述本地验证结果是由数据输入端区块链节点进行本地验证获得的;

判断本地验证结果是否通过;本地验证结果通过时,获取本地验证的数据验证请求,基于共识算法在数据存储端区块链节点中进行同步验证,获得验证查询结果;本地验证结果不通过时,停止查询并输出验证不通过结果。

本发明的一种调控数据存证共享方法,包括以下步骤:

数据输入端区块链节点获取数据录入请求;根据数据录入请求,所述数据输入端区块链节点获取源端数据,并解析获得所述源端数据的数据类型;根据所述源端数据的数据类型,将结构化数据的源端数据写入数据输入端区块链节点进行本地存储;根据所述源端数据的数据类型,将非结构化数据的源端数据的存储地址转化为结构化字符串,并将所述结构化字符串写入数据输入端区块链节点进行本地存储;

基于区块链节点之间预设的共识算法将源端数据的数据类型和源端数据输出给数据存储端区块链节点;将结构化数据的源端数据写入数据存储端区块链节点进行分布式账本存储;将非结构化数据的源端数据的存储地址转化为结构化字符串,并将所述结构化字符串写入数据存储端区块链节点进行分布式账本存储。

本发明的一种调控数据存证共享系统,包括:

请求获取模块,用于数据输入端区块链节点获取数据录入请求;

数据解析模块,用于根据数据录入请求,所述数据输入端区块链节点获取源端数据,并解析获得所述源端数据的数据类型;

数据分配模块,用于根据所述源端数据的数据类型,将结构化数据的源端数据写入数据输入端区块链节点进行本地存储;根据所述源端数据的数据类型,将非结构化数据的源端数据的存储地址转化为结构化字符串,并将所述结构化字符串写入数据输入端区块链节点进行本地存储;基于区块链节点之间预设的共识算法将源端数据的数据类型和源端数据输出进行分布式账本存储。

本发明的一种调控数据存证共享系统,包括:

数据类型获取模块,数据存储端区块链节点获取源端数据的数据类型,所述源端数据的数据类型是由数据输入端区块链节点根据源端数据解析获得的;

分布式账本存储控制模块,用于将结构化数据的源端数据写入数据存储端区块链节点进行分布式账本存储;将非结构化数据的源端数据的存储地址转化为结构化字符串,并将所述结构化字符串写入数据存储端区块链节点进行分布式账本存储。

与现有技术相比,本发明具有以下有益效果:

本发明基于区块链分布式账本技术,考虑调控数据交互功能需求,提出了适用于调控数据存证及共享的数据交互方法,可实现调控业务中结构化及非结构化数据的通用存储,实现调控数据的链上存证共享。本发明解决了大批量调控数据共享场景下的存储效率和可信共享问题,能够满足对调控数据可靠性和交互性的要求。

本发明中,为了避免分布式账本数据量过大造成的资源浪费,进一步设计了轻量节点与普通节点,用于支撑数据写入、数据验证等不同业务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面对实施例或现有技术描述中所需要使用的附图做简单的介绍;显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是现有的通用区块链架构示意图;

图2是本发明实施例的一种基于区块链的调控云数据存证共享系统的示意图;

图3是本发明实施例中,客户端示意图;

图4是本发明实施例中,服务端示意图;

图5是本发明实施例中,分布式记账管理示意图。

具体实施方式

为使本发明实施例的目的、技术效果及技术方案更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述;显然,所描述的实施例是本发明一部分实施例。基于本发明公开的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例,都应属于本发明保护的范围。

本发明实施例的一种调控数据存证共享方法,所述调控数据存证共享方法基于区块链架构,所述区块链架构包括多个区块链节点以及所述多个区块链节点之间的共识算法;所述调控数据存证共享方法包括以下步骤:所述多个区块链节点中的一个区块链节点获取请求信息并解析,获得解析结果;所述解析结果为数据录入请求时,所述一个区块链节点获取源端数据并解析,获得源端数据解析结果;所述源端数据解析结果为所述源端数据为结构化数据时,将数据ID和结构化字符串基于所述共识算法写入分布式账本存储;所述源端数据解析结果为所述源端数据为非结构化数据时,为所述源端数据生成表示文件指针的内部结构化字符串,将数据ID和所述内部结构化字符串基于所述共识算法写入分布式账本存储。

本发明基于区块链分布式账本技术,考虑调控数据交互功能需求,提出了适用于调控数据存证及共享的数据交互方法,可实现调控业务中结构化及非结构化数据的通用存储,实现调控数据的链上存证共享。本发明解决了大批量调控数据共享场景下的存储效率和可信共享问题,能够满足对调控数据可靠性和交互性的要求。

请参阅图1,图1示出了一种衍生于数字货币领域的通用区块链架构。区块链技术源于数字货币“比特币”,区块链技术的出现解决了传统货币依赖第三方的信任,其本质特征是构造了一个去中心化的存储结构(在数字货币领域,该存储结构被称为分布式账本),该存储结构存储在网络中的每一个节点上,能够保证区块链技术的“防篡改、可追溯”。

如图1所示,在通用的区块链架构中,任意的数据发起方在需要进行对全局账本的操作时,都通过客户端发起请求。此时与该客户端相连的区块链节点会将本次操作提交到整个区块链网络中,区块链网络上的所有节点都会运行共识算法开始一次全局账本数据的写入工作。一旦全局共识完成,相当于区块链网络中的每一个节点都见证了本次账本的记账过程,这从根本上解决了涉及多主体记账场景中的信任问题。

电网调控系统在长年运行中积累了大量的模型类数据、运行类数据、管理类数据及其他数据等。随着公司能源互联网战略发展,由国调中心牵头建设的调控云平台已成为承载上述模型、运行、管理等各类数据的重要系统,随着调控云的进一步建设,调控云主导节点、协同节点之间的数据交互将更加紧密,这就对调控云对内对外的数据安全交互与共享提出了要求。鉴于此,本发明在现有通用区块链技术的基础上提出了一种改进的技术方案,可实现调控业务数据的链上存证共享。

本发明实施例的一种调控数据存证共享方法,包括以下步骤:

多个区块链节点中的一个区块链节点获取请求信息并解析,获得请求信息解析结果;

所述请求信息解析结果为数据录入请求时,所述一个区块链节点获取源端数据并解析,获得源端数据解析结果;

所述源端数据解析结果显示所述源端数据为结构化数据时,将源端数据的数据ID和结构化字符串写入所述一个区块链节点进行本地存储;将源端数据的数据ID和结构化字符串基于多个区块链节点之间预设的共识算法写入所述多个区块链节点中除去所述一个区块链节点的剩余区块链节点进行同步存储,形成分布式账本存储;

所述源端数据解析结果显示所述源端数据为非结构化数据时,为所述源端数据生成表示文件指针的内部结构化字符串,将源端数据的数据ID和所述内部结构化字符串写入所述一个区块链节点进行本地存储;将源端数据的数据ID和所述内部结构化字符串基于所述共识算法写入所述多个区块链节点中除去所述一个区块链节点的剩余区块链节点进行同步存储,形成分布式账本存储。

本发明实施例优选的,所述获得请求信息解析结果之后还包括:所述请求信息解析结果为数据验证请求时,所述一个区块链节点获取源端数据的数据ID并进行本地验证,本地验证通过后基于所述共识算法在所述多个区块链节点中除去所述一个区块链节点的剩余区块链节点中进行同步验证,获得验证查询结果。

本发明实施例优选的,所述一个区块链节点获取源端数据时:所述源端数据为结构化数据时,格式为(ID,结构化字符串);所述源端数据为非结构化数据时,格式为(ID,文件)。

本发明实施例的一种调控数据存证共享系统,包括:多个区块链节点;每个区块链节点均设置有服务端;

所述多个区块链节点中一个区块链节点的服务端用于获取请求信息并解析,获得请求信息解析结果;所述请求信息解析结果为数据录入请求时,所述一个区块链节点的服务端还用于获取待存证的源端数据并解析,获得源端数据解析结果;

其中,所述源端数据解析结果显示所述源端数据为结构化数据时,将源端数据的数据ID和结构化字符串写入所述一个区块链节点进行本地存储;将源端数据的数据ID和结构化字符串基于多个区块链节点之间预设的共识算法写入所述多个区块链节点中除去所述一个区块链节点的剩余区块链节点进行同步存储,形成分布式账本存储;

所述源端数据解析结果显示所述源端数据为非结构化数据时,为所述源端数据生成表示文件指针的内部结构化字符串,将源端数据的数据ID和所述内部结构化字符串写入所述一个区块链节点进行本地存储;将源端数据的数据ID和所述内部结构化字符串基于所述共识算法写入所述多个区块链节点中除去所述一个区块链节点的剩余区块链节点进行同步存储,形成分布式账本存储。

本发明实施例优选的,所述一个区块链节点的服务端包括:数据接收模块、数据解析模块、账本存储模块和数据存证校验模块;

所述数据接收模块用于获取请求信息、待存证的源端数据;

所述数据解析模块用于输入所述数据接收模块获取的请求信息,并对请求信息进行分析,获得请求信息解析结果并输出;其中,请求信息解析结果为数据写入请求时,用于将请求转发到账本存储模块,请求信息解析结果为数据验证请求时,用于将请求转发到数据存证验证模块;

所述账本存储模块用于接收来自所述数据解析模块的数据写入请求,按照所述数据写入请求将待存证的源端数据进行本地存储;所述账本存储模块用于根据所述共识算法将待存证的源端数据转进行全局同步;

所述数据存证校验模块用于接收来自所述数据解析模块的数据验证请求,按照所述数据验证请求,在服务端进行本地验证;所述数据存证校验模块用于根据所述共识算法进行全局验证。

本发明实施例优选的,所述多个区块链节点中除去所述一个区块链节点的剩余区块链节点的服务端包括:

账本存储模块,用于根据所述共识算法将待存证的源端数据转进行本地存储;

数据存证校验模块,用于根据所述共识算法进行本地验证。

本发明实施例优选的,还包括:第一客户端;所述第一客户端用于向所述服务端输入源端数据和数据ID;其中,所述源端数据为结构化数据时,输入格式为(ID,结构化字符串);所述源端数据为非结构化数据时,输入格式为(ID,文件)。

本发明实施例优选的,还包括:第二客户端;所述第二客户端用于向所述服务端输入数据ID。

本发明上述实施例的方法均基于区块链分布式账本技术,考虑调控数据交互功能需求,提出了适用于调控数据存证及共享的数据交互方法,可实现调控业务中结构化及非结构化数据的通用存储,实现调控数据的链上存证共享。本发明解决了大批量调控数据共享场景下的存储效率和可信共享问题,能够满足对调控数据可靠性和交互性的要求。

请参阅图2,本发明实施例的一种基于区块链的调控云数据存证共享系统,包括:

请参阅图3,客户端,用于提交数据录入与数据验证请求到服务端,包括个模块:数据录入模块及数据验证模块。

(1)数据录入模块负责接收源端数据输入。其输入源可以是调控业务系统的各类数据采集或生成模块;数据录入模块可接收的数据格式包括结构化数据与非结构化数据。结构化的数据以(ID,结构化字符串)的形式提交,非结构化的数据以 (ID,文件)的形式提交,其中ID必须唯一,未提供ID的,ID将由客户端随机生成。数据录入模块将与服务端数据接收模块直接交互。

(2)数据验证模块负责对数据进行查询校验。客户端使用者提供ID作为数据验证模块的输入,数据验证模块与服务端数据存证校验模块直接交互,返回数据在账本存储模块中的查询结果。

(3)数据录入模块是可选功能,调度业务中的部分业务只需要数据验证模块实现业务数据的存证,只部署了数据验证模块的客户端称为“轻客户端”,轻客户端只具备数据验证功能,可进一步提升存储效率。

请参阅图4,服务端,负责接收客户端的数据录入及数据验证请求并返回结果,同时与分布式记账管理模块交互,并在分布式记账管理返回后,将数据存储在账本存储模块中。本发明实施例的服务端包括4个模块:数据接收模块,数据解析模块,账本存储模块、数据存证校验模块。

(1)数据接收模块负责接收客户端数据录入模块请求并返回给客户端结果。数据接收模块接收到请求后,首先请求转发到数据解析模块;其次,在接收到数据解析模块的返回后,根据返回结果与分布式记账管理的账本管理模块进行交互;最后,返回后将数据写入到账本存储模块并返回客户端数据录入结果。其中最后一步写入账本存储模块,需要根据数据解析模块的返回结果(结构化字符串或者文件),调用账本存储模块的不同功能。

(2)数据解析模块负责对数据格式进行解析并返回解析结果。根据数据接收模块提供的数据,数据解析模块对结构化字符串与文件进行区分,根据数据接收模块提供的数据及数据类型参数,数据解析模块将额外为文件格式的数据生成一个表示文件指针的内部结构化串,并将解析结果返回给数据接收模块,数据解析模块是支撑调控业务结构化与非结构化数据存储的关键。

(3)账本存储模块负责对数据进行存储,并返回存储结果。根据数据接收模块提供的数据,账本存储模块包括结构化串与文件两种存储功能。如果是结构化串,将(ID,结构化串)写入分布式账本存储区域,如果是文件则(ID,内部结构化串)写入分布式账本存储区域,并将文件写入文件指针指向地方。

(4)数据存证校验模块负责对数据进行存在性校验并返回校验结果。数据存证校验模块接收到客户端请求内容中的数据ID后,将对本地账本存储模块进行查询,并通过分布式记账管理的账本管理模块与广域网上的其他数据存证校验模块交互,接收广域网上的其他数据存证校验模块在其本地查询的结果。

请参阅图5,分布式记账管理模块,负责与广域网上的其他服务端交互,实现数据的全局存储,包括2个模块:账本管理模块与账本存储模块。

(1)账本管理模块负责接收服务端数据接收模块及数据存证校验模块的请求,并返回结果。账本管理模块接收到请求后,首先与广域网其他服务端(非请求源服务端)的数据接收模块及数据存证校验模块交互;其次,在收到所有其他服务端的返回后,账本管理模块将调用账本存储模块,并将数据结果返回源服务端。

(2)账本存储模块负责对数据进行存储,并返回存储结果。分布式记账管理模块中的账本存储子模块只接收(ID,结构化字符串)的请求格式,并将(ID,结构化字符串)数据写入到分布式账本存储区域。

本发明实施例中示例性的,调控云主导节点、协同节点均可以作为本发明实施例中的区块链节点。底层基于调控云基础平台提供的硬件、存储、网络等资源;通过调控云节点内部本地网络、调控云节点间广域网通信。

本发明实施例中示例性的,客户端可以部署在个人电脑、移动终端或基于web浏览器插件。

本发明实施例中示例性的,服务端部署在一台或多台服务器上,但同一时刻只有一台服务器作为主服务器与所有客户端通信,客户端与主服务器通信传输的数据由主服务器通过实时同步的方式同步到其他服务端所在的服务器。

本发明实施例中示例性的,分布式记账管理模块部署在一台服务器上,与广域网上的其他分布式记账管理模块通过广域网络通信。客户端与服务端通过本地局域网进行通信,服务端与分布式记账管理模块通过广域网络进行通信。

综上,本发明实施例基于区块链技术,设计了包含客户端、服务端、分布式记账管理的调控数据存证共享方法,实现了调控业务系统结构化、非结构化两类数据基于区块链分布式账本的可信共享;同时,利用轻客户端技术,解决了大批量业务数据共享场景下的存储效率问题。提升了调控业务系统数据共享的可靠性与安全性。

示例性的,调控云是“云大物移智链”等信息通信技术在调控领域的创新应用。随着调控云建设持续推进,调控云成为调控业务重要的数据汇集中心之一,调控云上汇集的数据量呈爆发式增长,涉及的数据类型多样化。在数据使用与维护方面,数据维护流程愈发复杂,跨部门跨调度的数据交互愈发频繁,对调控云数据的可靠性和交互性提出了更高的要求。本发明基于区块链分布式账本技术,在架构上可基于现有的调控云基础设施开展实施,在业务层面向调控业务数据交互安全性与可靠性需求。基于以上两点,本发明可高效快速推广到现有国分云及各省级调控云系统。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换,这些未脱离本发明精神和范围的任何修改或者等同替换,均在申请待批的本发明的权利要求保护范围之内。

相关技术
  • 一种调控数据存证共享方法及系统
  • 一种基于区块链的数据加密存证与共享方法
技术分类

06120113207643