一种基于分级的数据传输方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种基于分级的数据传输方法及装置。

背景技术

采用机器学习可以进行各种数据分析，辅助传统人工决策，目前越来越多的应用到大数据、云计算、物联网等领域中。在换流站内存在大量传感器，每时每刻都会产生数据以记录设备运行状态。在电力智能化转型中，需要对输电系统进行网络监控、智能变电站、智能电表等方面进行数字化改造；这使得电力数据的规模和类型迅速增加，巨大的电网产生了大量的数据。这些结构化与非结构化并存的数据中，包含着对换流站安全运行有用的信息，需要对其进行分析处理。具体而言，换流站或电网均采用分布式计算方式，因此需要采集其中每个关键节点的运行状态数据，就会涉及到这些关键节点之间的数据传输，传输的及时性和有效性是重中之重。因此，如何保证高效、及时的传输这些节点的数据成为了目前亟待解决的问题。

发明内容

鉴于上述问题，本发明提出了一种基于分级的数据传输方法及装置，提高了输电系统中各个计算节点的数据传输效率和可靠性。

第一方面，本申请通过一实施例提供如下技术方案：

一种基于分级的数据传输方法，包括：

获取多个计算节点，以及每个计算节点采集的监测数据；其中，所述计算节点为电网设备对监测数据进行分布式采集的节点；将所述监测数据输入预先训练获得的目标属性图，获得所述监测数据的数据特征；基于所述数据特征对所述监测数据分级，获得两个以上的数据集合；每个数据集合对应于不同的重要级别；基于所述多个计算节点之间的连接关系，构建通讯网络图；每个所述计算节点为所述通讯网络图的网络图节点，所述多个计算节点之间的连接关系为所述通讯网络图的边；基于所述通讯网络图和所述重要级别，在所述网络图节点之间传输所述监测数据。

可选的，所述目标属性图的获取步骤包括：

获取样本数据；所述样本数据为计算节点采集的数据，且所述样本数据包括两种以上类型的数据；提取所述样本数据的共有属性，获得属性集合；将所述属性集合输入待训练的图神经网络，获得目标属性图；其中，每个所述样本数据为所述待训练的图神经网络中的一节点，每两个所述样本数据之间的相似度大于预设相似度阈值时，该两个所述样本数据对应的节点之间具有边。

可选的，所述基于所述数据特征对所述监测数据分级，获得两个以上的数据集合，包括：

基于所述数据特征对多数多个监测数据进行聚类，获得两个以上的数据集合。

可选的，所述基于所述通讯网络图和所述重要级别，在所述网络图节点之间传输所述监测数据，包括：

从所述通讯网络图节点中确定需要传输所述监测数据的发送节点和接收节点，以及所述发送节点和所述接收节点之间的传输总带宽；基于所述传输总带宽为每种重要级别的所述监测数据分配传输带宽；基于所述重要级别对应的传输带宽，在所述发送节点和所述接收节点之间传输所述监测数据。

可选的，所述基于所述重要级别对应的传输带宽，在所述发送节点和所述接收节点之间传输所述监测数据之后，还包括：

获取目标级别的监测数据在所述发送节点和所述接收节点之间的传输时间；所述目标级别为任一所述重要级别；判断所述传输时间与预设的理论时间的偏差是否大于预设延迟阈值；若所述偏差大于预设延迟阈值，则确定传输异常并停止向所述接收节点传输所述目标级别的监测数据。

第二方面，基于同一发明构思，本申请通过一实施例提供如下技术方案：

一种基于分级的数据传输装置，包括：

数据获取模块，用于获取多个计算节点，以及每个计算节点采集的监测数据；其中，所述计算节点为电网设备对监测数据进行分布式采集的节点；特征生成模块，用于将所述监测数据输入预先训练获得的目标属性图，获得所述监测数据的数据特征；分级模块，用于基于所述数据特征对所述监测数据分级，获得两个以上的数据集合；每个数据集合对应于不同的重要级别；网络图构建模块，用于基于所述多个计算节点之间的连接关系，构建通讯网络图；每个所述计算节点为所述通讯网络图的网络图节点，所述多个计算节点之间的连接关系为所述通讯网络图的边；传输模块，用于基于所述通讯网络图和所述重要级别，在所述网络图节点之间传输所述监测数据。

可选的，所述基于分级的数据传输装置还包括训练模块，用于：

获取样本数据；所述样本数据为计算节点采集的数据，且所述样本数据包括两种以上类型的数据；提取所述样本数据的共有属性，获得属性集合；将所述属性集合输入待训练的图神经网络，获得目标属性图；其中，每个所述样本数据为所述待训练的图神经网络中的一节点，每两个所述样本数据之间的相似度大于预设相似度阈值时，该两个所述样本数据对应的节点之间具有边。

可选的，所述分级模块还用于：

基于所述数据特征对多数多个监测数据进行聚类，获得两个以上的数据集合。

可选的，所述传输模块还用于：

从所述通讯网络图节点中确定需要传输所述监测数据的发送节点和接收节点，以及所述发送节点和所述接收节点之间的传输总带宽；基于所述传输总带宽为每种重要级别的所述监测数据分配传输带宽；基于所述重要级别对应的传输带宽，在所述发送节点和所述接收节点之间传输所述监测数据。

第三方面，基于同一发明构思，本申请通过一实施例提供如下技术方案：

一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。

本发明实施例提供的一种基于分级的数据传输方法，通过获取多个计算节点，以及每个计算节点采集的监测数据；计算节点为电网设备对监测数据进行分布式采集的节点；然后，将监测数据输入预先训练获得的目标属性图，获得监测数据的数据特征；接着，基于数据特征对监测数据分级，获得两个以上的数据集合；每个数据集合对应于不同的重要级别；基于数据特征的分级可有效利用监测数据的属性和监测数据之间的相似性实现快速分级，提高了数据处理效率，且准确性高；最后，基于所述多个计算节点之间的连接关系，构建通讯网络图；每个计算节点为所述通讯网络图的网络图节点，多个计算节点之间的连接关系为所述通讯网络图的边；基于通讯网络图和重要级别，在网络图节点之间传输所述监测数据。由于数据分级均是在各个计算节点进行的，采用了图神经网络实现分级，提高了分级效率，提高了整个数据传输流程的效率；并且在数据传输的过程中基于数据的重要级别进行传输，能够保证重要数据的及时传输，并且各级别的监测数据之间互不影响，保证了数据传输安全。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了本发明实施例提供的一种基于分级的数据传输方法的流程图；

图2示出了本发明第二实施例提供的一种基于分级的数据传输装置的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在大数据背景下，无法由单机完成数据存储和计算，需要利用分布式深度学习技术，将数据进行划分，并将其分配到不同计算节点上，再利用单机的并行优化能力进行本地计算，最终通过分布式通信将局部模型聚合为全局最优模型。分布式学习与中心式相比，在数据传送方面更具挑战，这主要是因为分布式深度学习面临着通信需求与受限带宽的考验，因而其性能和可扩展性受到了极大限制。由于分布式的节点之间通信通道所支持的数据传输速率是有限的，如果按照数据采集时间存储数据，容易造成各个节点之间，各级别数据分布不均。由于需要优先处理高级别数据，因此会造成本地模型之间训练不同步，继而造成分布式网络整体计算和传输效率低的问题。因此，在本实施例中提供了一种基于分级的数据传输方法，通过该方法可充分利用各个节点的计算资源，实现快速分级和传输，提高了传输效率。下面通过具体实施例对本发明方法的各个步骤进行详细阐述和说明。

请参见图1，示出了本发明实施例提供的一种基于分级的数据传输方法，该方法包括：

步骤S10：获取多个计算节点，以及每个计算节点采集的监测数据；其中，所述计算节点为电网设备对监测数据进行分布式采集的节点。

在步骤S10中，一计算节点可包括输电系统中的设备和具备数据处理能力的处理器。一个计算节点可包括一个设备，也可包括一系列同类型或不同类型的设备。设备可以是输电系统中的网络监控设备、智能变电站、换流站中的设备等等；例如，监控摄像头、电流表、电压表、温度传感器、变压器、逆变器、整流器、等等。因此，每个节点采集的监测数据可包括图像数据、文本数据和数值数据；图像数据可为监控摄像头拍摄的图片，文本数据可以是故障的电气设备输出的故障码，数值数据可以是温度传感器、电流表等设备测得的具体数值。

步骤S20：将所述监测数据输入预先训练获得的目标属性图，获得所述监测数据的数据特征。

在步骤S20中，目标属性图为预先经过样本数据训练获得，样本数据也为从各个计算节点采集的数据，两种以上类型的数据。为了保证较好的训练效果和准确性，样本数据可包括输电系统中每种设备的数据；还可通过人工筛选控制每种数据类型的数据量占比，例如可根据电网系统中实际产生数据比例，来确定样本数据中各数据类型的数据量占比。这样通过训练得到目标属性图将更加准确可靠。

具体的，首先可获取这些样本数据；样本数据为计算节点采集的数据；接着，提取样本数据的共有属性，获得属性集合。例如，属性集合中可包含有：时间、设备名称、运行状态、温度数据等等，从而可将不具备共有属性的数据剔除，也即非共有属性不会被输入待训练的图神经网络中，提高了训练的准确性，避免非共有属性影响分类器。最后，将属性集合输入待训练的图神经网络，获得目标属性图；其中，每个样本数据为待训练的图神经网络中的一节点，每两个样本数据之间的相似度大于预设相似度阈值时，可将这两个样本数据构建为具备对应的边。两个样本数据之间的相似度可基于属性相似度来计算，相似度计算可采用现有技术方案，例如，将两个样本数据进行向量化，然后计算余弦相似度，则可将该余弦相似度作为两个样本数据之间的相似度。

针对任意一计算节点而言，可将采集得到的监测数据输入值目标属性图，即可输出得到监测数据的数据特征；该数据特征可表示为邻接矩阵。

步骤S30：基于所述数据特征对所述监测数据分级，获得两个以上的数据集合；每个数据集合对应于不同的重要级别。

在步骤S30中，在进行数据分级的时候可通过现有的聚类算法进行分级。聚类算法可采用常用的聚类算法，例如，谱聚类等基于邻接矩阵的聚类方法。通过聚类可得到多个数据集合，从而确定不同重要级别。可通过对不同的数据集合进行人工标定，从而确定每个数据集合的重要级别的重要程度。例如，具有三个数据集合时，则可分别对三个数据集合标定重要级别分别为：一级、二级、三级，重要性依次降低。在聚类得到数据的重要级别后，就可基于重要级别来对每个计算节点的监测数据进行处理。

步骤S40：基于所述多个计算节点之间的连接关系，构建通讯网络图；每个所述计算节点为所述通讯网络图的网络图节点，所述多个计算节点之间的连接关系为所述通讯网络图的边。

步骤S50：基于所述通讯网络图和所述重要级别，在所述网络图节点之间传输所述监测数据。

在步骤S40-S50中，可以理解的，每相连的两个网络图节点之间均可存在数据传输关系。任一个计算节点的监测数据可临时存储在该计算节点的存储空间中。在本实施例中，为了保证存储的安全性和可靠性，还基于重要级别对存储空间进行划分，例如，具有三个重要级别时，可对存储空间划分为三部分，分别用来存储这三种重要级别的监测数据。这样可使得不同重要级别之间的监测数据互不影响。在划分存储空间时，可基于实际产生的数据量占比来确定各个重要级别的存储空间大小，实际产生数据量占比与存储空间大小正相关。当然，在实际存储的过程中还可动态调整不同重要级别对应的存储空间大小。

例如，重要级别为重要性依次降低的一级、二级和三级时，对应的存储空间分别为一级存储空间、二级存储空间和三级存储空间。当一级存储空间不足时，则检测三级存储空间；若有三级存储空间存在剩余，则可划分部分三级存储空间补充至一级存储空间，使得一级的监测数据能够完全存放；若三级存储空间无剩余时，则可检测二级存储空间，若有二级存储空间存在剩余，则可划分部分二级存储空间补充至一级存储空间，使得一级的监测数据能够完全存放。当二级存储空间不足时，则检测三级存储空间；若有三级存储空间存在剩余，则可划分部分三级存储空间补充至二级存储空间，使得二级的监测数据能够完全存放。按照上述逻辑进行动态调整，可较好的保证重要性更高的数据能够被有效存储，避免丢失。

进一步的，步骤S50可具体包括：

步骤S51：从所述通讯网络图节点中确定需要传输所述监测数据的发送节点和接收节点，以及所述发送节点和所述接收节点之间的传输总带宽；

步骤S52：基于所述传输总带宽为每种重要级别的所述监测数据分配传输带宽；

步骤S53：基于所述重要级别对应的传输带宽，在所述发送节点和所述接收节点之间传输所述监测数据。

在步骤S51-S53中，任意两个相连的通讯网络图节点均可以是发送节点和接收节点，并且发送节点和接收节点之间的传输总带宽是基本固定的。为了保证各个重要级别的数据均能够正常传输，可为不同重要级别的监测数据划分对应的传输带宽，在划分带宽时可基于数据量进行划分。各个重要级别的监测数据对应的传输带宽之和应当小于等于传输总带宽；各个重要级别的监测数据对应的传输带宽的比例可基于发送节点的存储空间比例确定，可提高带宽利用率。另外，也可以基于重要级别划分，重要级别越高，传输带宽越大，可优先保障最高重要级别的数据传输。还可以在传输数据的过程中也可进行动态调整。

例如，针对一级的监测数据可监控该类监测数据的生成速率或者说采集速率，若监测数据的平均增量速度提高且传输带宽大于预设的第一预警值(与一级的监测数据预先划分的最大传输带宽接近)，则可获取三级的监测数据的传输带宽是否满载，若未满载则可将三级的监测数据的剩余带宽划分给一级的监测数据。若三级的监测数据的传输带宽满载，则可获取二级的监测数据的传输带宽是否满载，若未满载则可将二级的监测数据的剩余带宽划分给一级的监测数据。同样的，针对二级的监测数据可监控该类监测数据的生成速率或者说采集速率，若监测数据的平均增量速度提高且传输带宽大于预设的第二预警值(与二级的监测数据预先划分的最大传输带宽接近)，则可获取三级的监测数据的传输带宽是否满载，若未满载则可将三级的监测数据的剩余带宽划分给二级的监测数据，以此保证更重要的监测数据能够稳定传输，同时提高了传输效率。

进一步的，在步骤S50之后还可包括检测传输稳定性的步骤，具体如下：

首先，获取目标级别的监测数据在发送节点和接收节点之间的传输时间；目标级别为任一重要级别。然后，判断传输时间与预设的理论时间的偏差是否大于预设延迟阈值。理论时间为发送节点和接收节点之间正常传输的平均用时。若偏差大于预设延迟阈值，说明传输稳定性差，波动大，则确定传输异常并停止向接收节点传输目标级别的监测数据。

例如，当前节点为N0，邻居节点为N1；N0中包含的三个级别的数据，所需要传输时间分别为t01、t02、t03。若满足t11-t<＝t01<＝t11+t，则系统判断当前数据传输正常；否则判断传输异常；其中，其中t为系统可接受的延迟时间，也即预设延迟阈值，t11为当前节点N0向节点N1传输一级的监测数据的理论时间。当传输异常时，系统不再向溢出节点传输新的数据，并且会自适应增加对应溢出级别数据的传输速率，减慢其他级别数据的传输速度。例如，节点N1不再接收节点N0的数据，并且可增加节点N1向外传输一级的监测数据的速率，降低其他级别的监测数据的传输速率，以此保证重要数据的安全。

综上所述，本实施例提供的一种基于分级的数据传输方法，通过获取多个计算节点，以及每个计算节点采集的监测数据；计算节点为电网设备对监测数据进行分布式采集的节点；然后，将监测数据输入预先训练获得的目标属性图，获得监测数据的数据特征；接着，基于数据特征对监测数据分级，获得两个以上的数据集合；每个数据集合对应于不同的重要级别；基于数据特征的分级可有效利用监测数据的属性和监测数据之间的相似性实现快速分级，提高了数据处理效率，且准确性高；最后，基于所述多个计算节点之间的连接关系，构建通讯网络图；每个计算节点为所述通讯网络图的网络图节点，多个计算节点之间的连接关系为所述通讯网络图的边；基于通讯网络图和重要级别，在网络图节点之间传输所述监测数据。由于数据分级均是在各个计算节点进行的，采用了图神经网络实现分级，提高了分级效率，提高了整个数据传输流程的效率；并且在数据传输的过程中基于数据的重要级别进行传输，能够保证重要数据的及时传输，并且各级别的监测数据之间互不影响，保证了数据传输安全。

请参阅图2，基于同一发明构思，在本发明的一实施例中还提供了一种基于分级的数据传输装置300，包括：

数据获取模块301，用于获取多个计算节点，以及每个计算节点采集的监测数据；其中，所述计算节点为电网设备对监测数据进行分布式采集的节点；

特征生成模块302，用于将所述监测数据输入预先训练获得的目标属性图，获得所述监测数据的数据特征；

分级模块303，用于基于所述数据特征对所述监测数据分级，获得两个以上的数据集合；每个数据集合对应于不同的重要级别；

网络图构建模块304，用于基于所述多个计算节点之间的连接关系，构建通讯网络图；每个所述计算节点为所述通讯网络图的网络图节点，所述多个计算节点之间的连接关系为所述通讯网络图的边；

传输模块305，用于基于所述通讯网络图和所述重要级别，在所述网络图节点之间传输所述监测数据。

作为一种可选的实施方式，所述基于分级的数据传输装置300还包括训练模块，用于：

获取样本数据；所述样本数据为计算节点采集的数据，且所述样本数据包括两种以上类型的数据；提取所述样本数据的共有属性，获得属性集合；将所述属性集合输入待训练的图神经网络，获得目标属性图；其中，每个所述样本数据为所述待训练的图神经网络中的一节点，每两个所述样本数据之间的相似度大于预设延迟阈值时，该两个所述样本数据对应的节点之间具有边。

作为一种可选的实施方式，所述分级模块303还用于：

基于所述数据特征对多数多个监测数据进行聚类，获得两个以上的数据集合。

作为一种可选的实施方式，所述传输模块305还用于：

从所述通讯网络图节点中确定需要传输所述监测数据的发送节点和接收节点，以及所述发送节点和所述接收节点之间的传输总带宽；基于所述传输总带宽为每种重要级别的所述监测数据分配传输带宽；基于所述重要级别对应的传输带宽，在所述发送节点和所述接收节点之间传输所述监测数据。

作为一种可选的实施方式，所述传输模块305，在基于所述重要级别对应的传输带宽，在所述发送节点和所述接收节点之间传输所述监测数据之后，还用于：

获取目标级别的监测数据在所述发送节点和所述接收节点之间的传输时间；所述目标级别为任一所述重要级别；判断所述传输时间与预设的理论时间的偏差是否大于预设延迟阈值；若所述偏差大于预设延迟阈值，则确定传输异常并停止向所述接收节点传输所述目标级别的监测数据。

需要说明的是，本发明实施例所提供的一种基于分级的数据传输装置300，其具体实现及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

基于同一发明构思，本发明的又一实施例中还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述方法的步骤。需要说明的是，本发明实施例所提供的可读存储介质，其中程序被处理器执行时，每个步骤的具体实现及产生的技术效果和前述方法实施例相同，为简要描述，该实施例部分未提及之处，可参考前述方法实施例中相应内容。

本文中出现的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系；单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。