基于云计算的时序日志管理系统及包含该系统的电子设备

技术领域

本发明涉及云计算技术领域，特别是涉及基于云计算的时序日志管理系统及包含该系统的电子设备。

背景技术

随着5G技术的正式商用，边缘计算这一浪潮正在发展，算力和资源靠近客户部署的方式已经成为一种趋势。以大型集中服务器群为基础的云计算系统也逐渐下沉至客户侧，形成边缘计算节点。

随着5G技术在工业领域的普及，海量的5G设备将接入到边缘计算节点中，这对边缘计算节点的处理能力提出了很高的要求。随着接入边缘计算节点的设备增多，设备的管理、监控属于边缘计算节点的基本功能，而每个设备的日志则是边缘计算节点对每个接入设备实现管理、监控的基础。UCM系统正是基于这一新发展趋势而诞生的边缘计算节点管理系统，UCM系统中将每个接入设备视为云计算节点。

在UCM系统中，为了实现对每个云计算节点进行实时监控，必须要处理每个节点的海量日志。作为用户，更加关心的是各个云计算节点的告警级别日志，此类日志能够反正云计算节点的状态。如果UCM系统直接保存每个节点的日志文件，不仅系统存储负荷高，而且日志查询对用于并不友好，不能高效的提供有价值的日志。如果，采取传统的关系数据库(例如：MYSQL)来存储云计算节点的海量时序日志，则需要在传统关系型数据库上加上时间戳一列就能作为时序数据库，那么会遇到以下难题：

1.存储成本大：对于时序数据压缩不佳，需占用大量机器资源；

2.维护成本高：需要在上层人工的分库分表，维护成本高；

3.查询性能差：海量数据的聚合分析性能差；

4.查询性能差：不能很好的利用索引，查询耗时一般在分钟级。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供基于云计算的时序日志管理系统及包含该系统的电子设备，用于解决现有技术中云计算节点时序日志的存储成本大、维护成本高、查询性能差等问题。

为实现上述目的及其他相关目的，本发明提供一种基于云计算的时序日志管理系统，包括：各从时序数据库模块，分别部署于各云计算节点，用于获取对应的云计算节点的日志；主时序数据库模块，能与各所述从时序数据库模块交互，用于按照时序存储各所述云计算节点的告警级别的日志；统一通讯管理模块，能分别与各所述从时序数据库模块、所述主时序数据库模块交互，用于提供对云计算节点的基本管理功能；数据库同步模块，能与所述主时序数据库模块交互，用于在所述统一通讯管理模块增加、删除云计算节点后，协助所述主时序数据库模块和各所述从时序数据库模块完成日志同步、备份。

于本发明一实施例中，所述统一通讯管理模块还用于：提供云计算节点日志的查询功能、提供所述主时序数据库模块和各所述从时序数据库模块的交互流量的监控功能。

于本发明一实施例中，所述统一通讯管理模块提供云计算节点日志的查询功能的实现方式包括：提供人机交互界面，根据用户查询指令提供单个云计算节点的从时序数据库模块与所述主时序数据库模块的交互流量的监测数据，并给出该云计算节点的运行情况的分析结果。

于本发明一实施例中，所述统一通讯管理模块提供云计算节点日志的查询功能的实现方式包括：提供人机交互界面，根据用户查询指令访问所述主时序数据库模块，并展示一或多个目标云计算节点在某个时间段的告警级别的日志。

于本发明一实施例中，所述统一通讯管理模块提供云计算节点日志的查询功能的实现方式包括：提供人机交互界面，根据用户查询指令访问该云计算节点的从时序数据库模块，并展示该云计算节点的普通级别的日志。

于本发明一实施例中，各所述云计算节点分别具有身份标识信息；所述用户查询指令包括目标云计算节点的身份标识信息。

于本发明一实施例中，所述从时序数据库模块还用于：在对应的云计算节点与所述统一通讯管理模块通信连接的状态下，仅保存该云计算节点的普通级别的日志，而将告警级别的日志发送至所述主时序数据库模块，以供所述主时序数据库模块予以保存；在对应的云计算节点与所述统一通讯管理模块断开连接的状态下，保存该云计算节点的所有日志。

于本发明一实施例中，所述从时序数据库模块还用于：当该云计算节点重新与所述统一通讯管理模块通信连接之后，将保存的告警级别的日志发送至所述主时序数据库模块，并删除已保存的普通级别的日志。

于本发明一实施例中，所述数据库同步模块协助所述主时序数据库模块完成日志同步、备份的实现方式包括：当所述统一通讯管理模块断开与一云计算节点的连接时通知所述主时序数据库模块，所述主时序数据库模块将该云计算节点的所有告警级别的日志发送至所述数据库同步模块供其保存，并删除已保存的告警级别的日志；当该云计算节点重新连接所述统一通讯管理模块时，所述主时序数据库模块查询所述数据库同步模块中是否保存有该云计算节点的日志；若有，则保存该日志。

为实现上述目的及其他相关目的，本发明提供一种电子设备，包括所述的基于云计算的时序日志管理系统。

如上所述，本发明的基于云计算的时序日志管理系统及包含该系统的电子设备，利用时序数据库对云计算节点时序日志的写入、存储、查询等流程进行了优化，能够高效地管理云计算节点的海量日志，方便用户及时、快速地获知各云计算节点的运行情况，更加便捷地为用户提供更为关心的告警级别的日志，且大大提高了存储资源利用率。

附图说明

图1显示为本发明一实施例中基于云计算的时序日志管理系统的结构示意图。

图2显示为本发明一实施例中基于云计算的时序日志管理系统的逻辑流程图。

图3显示为本发明一实施例中电子设备的示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

为解决现有技术中云计算节点时序日志的存储成本大、维护成本高、查询性能差等问题，本申请基于时序数据库在处理海量时序数据的优势，提出基于云计算的时序日志管理系统及包含该系统的电子设备。

时序数据库利用时间递增、维度重复、指标平滑变化的特性，能合理选择编码压缩算法，有助于提高数据压缩比；通过预降精度，对历史数据做聚合，可节省存储空间；通过批量写入数据，可降低网络开销；可优化常见的查询模式，通过索引等技术有效降低查询延时。

本申请在时序数据库的基础上，实现了对海量云计算节点的日志的存储、实时查询、区分日志等级查询、日志同步等功能，从而为用户提供更加友好的时序日志管理系统。以下将结合附图做详细介绍。

如图1所示，本实施例提出一种基于云计算的时序日志管理系统10，是基于UCM的统一通信管理平台，以时序数据库为基础，在云计算集群数据库系统中，为处理各个云计算节点的日志而设计的一种全局日志存储同步系统，主要包括以下部分：

各从时序数据库模块11，分别部署于各云计算节点，用于存储对应的云计算节点的日志。

主时序数据库模块12，能与各所述从时序数据库模块交互，用于按照时序存储各所述云计算节点的告警级别的日志。

统一通讯管理模块13，能分别与各所述从时序数据库模块11、所述主时序数据库模块12交互，用于提供对云计算节点的基本管理功能。

数据库同步模块14，能与所述主时序数据库模块12交互，用于在所述统一通讯管理模块13增加、删除云计算节点后，协助所述主时序数据库模块12和各所述从时序数据库模块11完成日志同步、备份。

以下将对每个模块的功能做详细介绍。

各从时序数据库模块11，分别部署于各云计算节点，用于存储对应的云计算节点的日志。

具体的，从时序数据库模块STSDB(Sub Time Series Database)是和云计算节点部署在一起的时序数据库。图1中的Node表示云计算节点，每个云计算节点上都部署有从时序数据模块。每个云计算节点都会将产生的日志写入其从时序数据模块。从时序数据库根据云计算节点与统一通讯信管理模块的连接状态来决定日志的存储：

1)如果云计算节点与统一通讯信管理模块处于连接状态，从时序数据库保存该云计算节点的普通日志，将告警级别日志上传到主时序数据库，本地并不保存告警级别日志；

2)如果云计算节点与统一通讯信管理模块处于断链状态，从时序数据库保存该云计算节点的所有日志，包括：告警级别日志、普通级别日志；

3)在2)的基础上，如果云计算节点在接入统一通讯信管理模块时，发现本地的从时序数据库中存有告警级别日志，则将告警级别日志上传至主时序数据库中，并删除本地的告警级别日志。

主时序数据库模块12，能与各所述从时序数据库模块交互，用于按照时序存储各所述云计算节点的告警级别的日志。

具体的，主时序数据库模块MTSDB(Main Time Series Database)由于只保存各空个云计算节点的告警级别日志，大大减少了主时序数据库模块的存储负荷，从而提高了存储间利用效率，并且，可以快速提供用户最关心的告警级别日志，方便用户查询数据。

统一通讯管理模块13，能分别与各所述从时序数据库模块11、所述主时序数据库模块12交互，用于提供对云计算节点的基本管理功能。

具体的，统一通讯信管理模块UCM(Uniform Communication Manager)是本系统中用于管理各个云计算节点的模块，该模块实现了云计算节点的增加、删除、重启、日志查看等功能。当用户通过UCM界面可对云计算节点进行动态管理，例如删除、增加、启动云计算节点等。

统一通讯信管理模块对各个云计算节点进行统一管理，每个云计算节点在UCM中都有一个唯一的身份标识，用户可以通过身份标识实时查询各个云计算节点的状态、日志。

例如，统一通讯信管理模块提供一人机交互界面，用户在该人机交互界面中选择查看某个云计算节点的状态，统一通讯信管理模块则根据用户查询指令提供该云计算节点的从时序数据库模块与主时序数据库模块的交互流量的监测数据，并给出该云计算节点的运行情况的状态分析结果。本领域技术人员可通过设置不同参数的阈值来规定分析结果，从而利用该预先设置的规则来实时分析监测数据，给出相应状态的分析结果。

又例如，统一通讯管理模块提供一人机交互界面，用户在该人机交互界面中选择查看某个或某几个云计算节点的告警级别的日志，统一通讯管理模块则根据用户查询指令访问所述主时序数据库模块，查询并展示一或多个目标云计算节点在某个时间段的告警级别的日志。

再例如，统一通讯管理模块提供一人机交互界面，用户在该人机交互界面中选择查看某个云计算节点的普通级别的日志，统一通讯管理模块则根据用户查询指令访问该云计算节点的从时序数据库模块，查询并展示该云计算节点的普通级别的日志。

较佳的，用户在通过统一通讯管理模块查看状态、日志时，可以选择设定的时间粒度，如时、天、月等周期，查看各个云计算节点的运行状态、告警级别日志、普通级别日志。

数据库同步模块14，能与所述主时序数据库模块12交互，用于在所述统一通讯管理模块13增加、删除云计算节点后，协助所述主时序数据库模块12和各所述从时序数据库模块11完成日志同步、备份。

具体的，数据库同步模块DS(Database synchronization)实现各个云计算节点上下线时，日志的同步、备份功能。当统一通讯管理模块需要断开一个云计算节点连接时，会通知主时序数据库，主时序数据库将该云计算节点的所有告警级别日志保存至数据库同步模块，然后删除该云计算节点在主时序数据库的日志。在此基础上，当一个云计算节点重新接入统一通讯管理模块时，主时序数据库在数据库同步模块中查询是否保存有该云计算节点的日志，如果有，则将该节点的日志同步到主时序数据库中。较佳的，随后，数据库同步模块删除该云计算节点的日志。

如图2所示，显示为本申请的基于云计算的时序日志管理系统与一实施例中的逻辑流程：

S21：UCM保存有云计算节点标识列表，当用户通过UCM添加新的一个云计算节点后，UCM会给该云计算节点分配一个唯一标识，并记录在该列表中；

S22：当用户添加的新云计算节点启动后，该新的云计算节点开始产生普通级别的日志和告警级别的日志；其中，告警级别日志存储在主时序数据库中，本地仅保存普通级别的日志并不保存告警级别日志；

S23：当用户通过UCM删除一个云计算节点后，主时序数据库首先将该云计算节点的标识和告警级别日志上传至数据库同步模块，并删除该云计算节点在主时序数据库中的日志；

S24：该云计算节点在与UCM断开连接后，如果该云计算节点还继续运行，则需要在本身的从时序数据库中保存普通级别日志和告警级别日志；

S25：当该云计算节点重新被添加到UCM当中，该云计算节点首先在从时序数据库中查找是否有告警级别日志，如果有，则将告警级别日志上传至主时序数据库中，并删除本地的告警级别日志；

S26：当用户通过UCM添加一个之前已删除的云计算节点，主时序数据库会通过该云计算节点的标识，去数据库同步模块获取该云计算节点之前保存的告警级别日志；较佳的，数据库同步模块在将该云计算节点的日志同步完成后，便删除该云计算节点的日志。

需要说明的是，在实际应用中，步骤S21～S26的执行顺序可根据实际要求改变，本申请对此不做限定。

参阅图3，本实施例提供一种电子设备，电子设备可以是台式机、便携式电脑、智能手机等设备。详细的，电子设备至少包括通过总线连接的：存储器、处理器，其中，存储器用于存储前述基于云计算的时序日志管理系统的计算机程序，处理器用于执行存储器存储的计算机程序，以实现前述基于云计算的时序日志管理系统的相关功能。

上述提到的系统总线可以是外设部件互连标准(Peripheral PomponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上，本发明的基于云计算的时序日志管理系统及包含该系统的电子设备，能高效地管理云计算节点的海量日志，便于用户快速获知各节点的运行情况，且大大提高了存储资源利用率，有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。