云边协同方法、系统、计算机设备和存储介质

技术领域

本申请涉及微服务系统技术领域，特别是涉及一种云边协同方法、系统、计算机设备和存储介质。

背景技术

云边协同是云计算与边缘计算的互补协同。通过云计算和边缘计算的紧密协同，可以将网络、基础设施、服务和应用程序等都视为协同的对象，实现包含基础设施即服务、平台即服务、软件服务在内的多种协同服务，更好地满足各种应用场景的需求，从而放大两者的应用价值。

传统技术中，基于云边协同的微服务系统中，边缘端上传至云端分析的数据量大，因此边缘端数据上传云端的耗时长，进而导致数据处理效率低。

针对传统方法中，数据处理效率低的问题，目前还没有提出有效的解决方案。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据处理的云边协同方法、系统、计算机设备和存储介质。

第一方面，本申请提供了一种云边协同方法，应用于边缘节点，所述方法包括：

获取终端设备采集的原始数据和云端下发的第一规则；

基于所述第一规则对所述原始数据进行数据预处理，得到关键数据；

当通信网络处于异常状态时，缓存所述关键数据，直至所述通信网络恢复至正常状态时，将缓存的关键数据上传至所述云端；其中，所述通信网络包括所述边缘节点与所述云端之间的通信网络。

在其中一个实施例中，基于所述第一规则对所述原始数据进行数据预处理，得到关键数据，包括：

根据所述第一规则得到所述原始数据中的无效数据；

在所述原始数据中删除所述无效数据，得到所述关键数据。

在其中一个实施例中，检测所述通信网络的状态，包括：

获取所述关键数据发送至所述云端的过程中，最大延迟时间和最小延迟时间的差值，判断所述差值是否大于预设时间；

若所述差值大于所述预设时间，则判定所述通信网络处于异常状态；若所述差值不大于所述预设时间，则判定所述通信网络处于正常状态。

在其中一个实施例中，上传所述关键数据至云端，包括：

判断是否在预设时间内接收到所述云端发送的响应信息；

若未在预设时间内接收到所述响应信息，则停止上传所述关键数据至云端。

在其中一个实施例中，在上传所述关键数据至所述云端之后，所述方法还包括：

获取所述云端发送的与所述关键数据对应的第二规则；

根据所述第二规则更新所述第一规则。

第二方面，本申请还提供了一种云边协同系统，所述系统包括：终端设备、边缘节点和云端；其中，

所述终端设备用于采集原始数据，并上传所述原始数据至边缘平台；

所述边缘节点用于获取所述原始数据，对所述原始数据进行预处理，得到关键数据，并上传所述关键数据至所述云端；

所述云端，用于分析所述关键数据，根据所述关键数据生成第二规则，下发所述第二规则至所述边缘平台。

在其中一个实施例中，所述云端根据所述关键数据生成第二规则，包括：

根据所述边缘节点的运算能力和所述关键数据，生成与所述第二规则。

在其中一个实施例中，所述云边协同系统包括多个边缘节点，所述云端分析所述关键数据，包括：

融合所述多个边缘节点上传的关键数据；

根据融合后的关键数据，得到所述第二规则。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。

上述云边协同方法、系统、计算机设备和存储介质，通过对原始数据进行数据预处理，仅发送必要的关键数据到云端,可以有效减少传输的数据总量，提高数据处理效率。通信网络异常时，缓存发送数据并停止上传数据，避免关键数据丢失或者重复上传的数据占用网络资源，缩短数据传输时间，提高数据处理效率。

附图说明

图1为一个实施例中云边协同方法的应用环境图；

图2为一个实施例中云边协同方法的流程示意图；

图3为一个实施例中云边协同系统的结构框图；

图4为一个实施例中基于云边协同的微服务系统的流结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的云边协同方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种物联网设备，如智能音箱、智能电视、智能空调、智能车载设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。将服务器作为边缘节点，存储并处理终端设备上传的数据。

在一个实施例中，如图2所示，提供了一种云边协同方法，以该方法应用于图1中的服务器构成的边缘节点为例进行说明，包括以下步骤：

步骤201，获取终端设备采集的原始数据和云端下发的第一规则。

其中，终端设备为物联网设备，包括但不限于智能家居、城市监控摄像、可穿戴设备等等。原始数据为终端设备运行过程中获取的、未经处理的数据。以城市监控摄像为例，终端设备采集的原始数据为视频数据。云端为基于互联网服务，实现海量数据的云计算技术的服务器或服务器集群。第一规则包括边缘节点的应用模型、数据处理策略等等，用于处理终端设备采集的原始数据，以实现边缘节点的微服务。

可选地，边缘节点分别与建立终端设备和云端建立通讯网络。通过边缘节点与终端设备的通讯网络获取原始数据，通过边缘节点与云端的通讯网络获取第一规则。

步骤202，基于第一规则对原始数据进行数据预处理，得到关键数据。

其中，数据预处理包括数据清洗、数据整合、数据转换等等数据处理方法。可选地，以第一规则为云端发布的边缘节点应用模型为例，通过应用模型对原始数据进行数据预处理，得到数据总量小于原始数据的关键数据。

步骤203，当通信网络处于异常状态时，缓存关键数据，直至通信网络恢复至正常状态时，将缓存的关键数据上传至云端；其中，通信网络包括边缘节点与云端之间的通信网络。

其中，通讯网络异常状态包括网络时延不稳定、网络时延增大或传输过程中出现数据包丢失的状况。传输数据过大、网络宽带不足会引发通讯网络异常。可选地，边缘节点与云端建立通信网络，并判断当前通信网络是否处于异常状态。在判断到当前通信网络处于异常状态的情况下，缓存发送的关键数据并停止数据上传。可以避免网络异常，数据重复上传占用网络带宽资源，导致的数据传输时间延长，也可以避免关键数据因网络异常而丢失。

上述云边协同方法中，边缘节点通过对原始数据进行数据预处理，将必要的关键数据发送到云端,可以有效减少传输的数据量，提高数据传输效率，从而提高数据处理效率。通信网络异常时，通过缓存发送数据，避免关键数据丢失、重复处理原始数据；通过停止上传数据，避免重复上传的数据占用网络资源、网络传输速度进一步降低。缩短了通信网络异常情况下数据的传输时间，提高数据处理效率。

在其中一个实施例中，基于第一规则对原始数据进行数据预处理，得到关键数据，包括：根据第一规则得到原始数据中的无效数据；在原始数据中删除无效数据，得到关键数据。

其中，无效数据包括原始数据中的冗余数据，以及由于格式错误、缺失必要值、已被替换等原因导致的不符合预期的数据。可选地，第一规则为云端发布的边缘节点应用模型，边缘节点过滤原始数据中的无效数据，筛选出与边缘节点应用关联的关键数据，上传关键数据到云端，可以有效减少数据传输过程中网络带宽、存储资源和计算资源的消耗。

在其中一个实施例中，检测通信网络的状态，包括：获取关键数据发送至云端的过程中，最大延迟时间和最小延迟时间的差值，判断差值是否大于预设时间；若差值大于预设时间，则判定通信网络处于异常状态；若差值不大于预设时间，则判定通信网络处于正常状态。

其中，关键数据发送至云端的过程中，通信网络上连续传输的数据包即便使用相同的路径，也会有不同的延时。最大延迟时间为关键数据发送至云端的过程中，关键数据进入通信网络到离开通信网络之间的消耗的最长时间；最小延迟时间为关键数据发送至云端的过程中，关键数据进入通信网络到离开通信网络之间的消耗的最段时间。

可选地，若最大延迟时间和最小延迟时间的差值大于预设时间，则判断网络发生抖动。网络抖动会导致网络拥塞、丢包的问题。为避免数据包丢失或者网络拥塞、崩溃，关键数据发送至云端的过程中检测通信网络的状态。若差值大于预设时间，则缓存关键数据，直至差值小于预设时间，将缓存的关键数据上传至所述云端。

在其中一个实施例中，上传关键数据至云端，包括：判断是否在预设时间内接收到云端发送的响应信息；若未在预设时间内接收到响应信息，则停止上传关键数据至云端。

响应信息用于指示云端是否接收到关键数据。其中，若边缘节点的数据达到云端，云端则会返回响应信息；若边缘节点的数据未达到云端，云端不会返回响应信息。可选地，基于ACK确认应答机制，判断关键数据是否传输成功。在规定的时间内，收到的响应信息，即认为传输成功；规定的时间内，没有收到响应信息，即认为传输失败。

在其中一个实施例中，在上传关键数据至云端之后，方法还包括：获取云端发送的与关键数据对应的第二规则；根据第二规则更新第一规则。

其中，第二规则为基于边缘节点的应用模型的管理策略或执行策略。若第二规则为应用模型的管理策略，通过第二规则可以在边缘节点部署、启动、停止、删除、更新应用模型。若第二规则为应用模型的执行策略，通过第二规则可以用于执行应用模型，构建出基于云边协同的微服务系统。可选地，第二规则为云端根据边缘节点上传的数据，进行AI智能处理、数据融合等处理分析得到。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的云边协同方法的云边协同系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个云边协同系统实施例中的具体限定可以参见上文中对于云边协同方法的限定，在此不再赘述。

在一个实施例中，如图3所示，提供了一种云边协同系统，系统包括：终端设备、上述任一方法实施例的边缘节点和云端；其中，终端设备用于采集原始数据，并上传原始数据至边缘平台；边缘节点用于获取原始数据，对原始数据进行预处理，得到关键数据，并上传关键数据至云端；云端，用于分析关键数据，根据关键数据生成第二规则，下发第二规则至边缘平台。

在其中一个实施例中，云端根据关键数据生成第二规则，包括：根据边缘节点的运算能力和关键数据，生成与第二规则。根据边缘节点计算能力适应性地生成第二规则，基于第二规则实现边缘节点的微服务，使边缘节点微服务的实现与边缘节点的运算能力匹配。

在其中一个实施例中，云边协同系统包括多个边缘节点，云端分析关键数据，包括：融合多个边缘节点上传的关键数据；根据融合后的关键数据，得到第二规则。可选地，接收并融合来自不同边缘节点的关键数据后，对融合后的关键数据进行数据挖掘等数据分析工作，得到第二规则。

上述云边协同系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在其中一个实施例中，提供了一种基于云边协同的微服务系统，如图4所示，系统包括数据端、边缘端和云端，其中，数据端包括多个终端设备，边缘端包括多个边缘节点。该系统可以实现资源协同、数据协同和服务协同的功能。

数据端由多个物联网终端设备组成，用于生成大量的原始数据，每个终端设备都连接到边缘端，并将产生的数据发送到边缘端。

边缘端包括多个边缘节点，边缘节点为边缘服务器或者边缘网关，边缘节点部署有应用模型。边缘节点通过应用模型执行对应微服务。边缘节点具有存储数据、预处理数据、与云端协同的能力。

具体的，边缘节点存储数据包括：边缘节点存储数据端上传的海量原始数据，实现原始数据在边缘节点的本地持久化。边缘节点处理数据包括：按照云端下发的规则，规则包括应用模型或数据管理策略，根据应用模型或数据管理策略对原始数据进行预处理及简单分析，过滤掉大量冗余或无效数据，筛选出与微服务关联的关键数据。边缘节点与云端协同包括：根据需要将关键数据上传到云端。以及接受并执行云端下发的应用模型或数据管理策略，根据应用模型或数据管理策略部署微服务应用。

云端为数据处理、管控中心，云端用于接收来自边缘端不同边缘节点的数据并对数据进行融合、挖掘等处理，实现数据的存储、分析和价值挖掘。同时，云端根据数据和边缘节点的具体需求生成应用模型或数据管理策略，并下发应用模型或数据管理策略至边缘节点。具体地，云端可以根据边缘节点上传的数据，训练应用模型，并将应用模型下发给边缘节点；云端还可以根据边缘节点上传的数据，生成数据管理策略，管理边缘节点部署的应用的生命周期，包括对应用进行部署、启动、停止、删除及版本更新等。

可选地，云端根据边缘节点的资源能力，自适应编排边缘节点微服务的规模、数量、以及弹性伸缩策略，以适应在边缘节点弱计算能力的条件下的云服务运行环境。

可选地，云端内部分散分布多个云节点，并由ECS(Elastic Compute Service，云服务器)提供云端内部多节点间的服务发现与协同能力。其中，云端内部包括一个云中心节点，云中心节点用于连接多个边缘节点，不同边缘节点可能处于不同的业务场景中，如智慧城市交通中控系统连接大量的路口摄像头，同一个场景有多个不同角度的摄像头。云中心获取边缘端数据，并聚合边缘端上传的数据，可以实现跨区域、跨系统的多维时空数据融合及协同分析，实现综合管控。根据云端内部的多节点，可以实现跨域跨应用的微服务互操作。云端还可以通过虚拟机、容器的内核协议栈启动tso(TCP Segementation Offload，网卡驱动执行TCP分段)等硬件加速方案，保障微服务端到端的持续服务能力。

云边协同的微服务系统在传输数据时，若通信网络发生抖动或者故障，数据发送端缓存发送数据，等网络恢复后继续发送，并且采用ACK机制完成对数据传送的同步确认，以校验接收的消息，避免消费重复的消息占用资源。同时，还可以采用零拷贝等现有的技术降低数据传输延迟。

本实施例的云边协同系统可以应用于集变电站、数据中心、充电站构成的的多站合一数据中心。其中，数据端可以是部署于变电站、充电站、集装箱式微模块数据中心的物联网设备，边缘节点可以是通信及能源站点，如5G基站、北斗基站、配电站、输电终端站等。本实施例的云边协同系统还可以应用于基于数字电网平台，通过该系统评估各个机柜用电环境的状态，预测供配电系统运行态势，提前发现问题，确保生产用电环境的安全和稳定。或者，应用于智慧输电应用场景，通过该系统实现项目配网设施智能巡检与分析、配网线路验收巡检、配电房安全行为分析、安全生产监控、电网智慧安全监督、电气施工安全监、配电设施巡检、电力运行与电气安全识别等。

本实施例的云边协同的微服务系统中，边缘端具有一定的计算能力，能够处理终端设备采集到原始数据，得到数据量更小的关键数据，通过传输关键数据减少边缘和中心云的数据传输，从而提高数据处理效率。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始数据和关键数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种云边协同方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。