一种基于大数据的全链路监控系统

技术领域

本发明属于电子系统运维技术领域，具体涉及一种基于大数据的全链路监控系统。

背景技术

随着业务规模的扩展，特别是伴随销售目标的达成，逐渐形成系统用户数日益增加，前端用户的请求频度增加，链路变得更长，应用之间的调用关系变得越来越复杂，系统对业务的支持作用也日益增大，在数字化转型推进时期，为了帮助I T运维团队全面洞察系统运行的状态，在系统遇到故障时能够早发现，根因定位，防止再发，因此需要建立一种全新的全链路监控系统，通过实现可视可控可追溯的全链路监控，强化了系统运维的保障能力，提升故障发现和故障定位的时间效率。

中国专利CN 109962792A公开了一种基于大数据的全链路监控系统，包括监控目标、数据抽取单元、日志传输单元、存储单元、监控展现单元以及任务调度服务框架；其解决的技术问题是通过系统的监控日志，分析并展现当前系统各种状态的平台环境，通过从系统的运行节点获取的日志信息，并对其进行收集清洗、汇总并转换后，将这些信息存储在分布式的搜索引擎环境中，然后通过对这些信息进行分析，最终以图表等方式展现或通知给运维以及系统开发人员。然而该专利的监控数据比较分散，不能及时的对故障进行处理。

发明内容

本发明的目的就在于为了解决上述问题而提供一种结构简单，设计合理的基于大数据的全链路监控系统。

本发明通过以下技术方案来实现上述目的：

一种基于大数据的全链路监控系统，该系统包括监控单元、数据处理单元、传输单元与存储单元；

所述监控单元，其被配置为获得各节点的业务处理数据，基于设定区域内的节点数据的处理效率，判断所述节点是否异常；

所述数据处理单元，其被配置为获得与设定区域对应的终端运行数据，基于终端运行数据判断与设定区域对应的终端是否异常；

所述传输单元，其被配置为基于监控单元与数据处理单元的异常判断结果，获得节点数据与终端数据的汇总数据，传输中监控终端；

所述存储单元，其被配置为存储监控单元与数据处理单元上传的异常的汇总数据，并关联存储基于异常的汇总数据的调整数据。

作为本发明的进一步优化方案，该系统包括若干组子系统，所述存储单元为云存储器，各个子系统中异常的汇总数据统一上传至存储单元内，所述子系统的更新非同步进行。

作为本发明的进一步优化方案，该系统还包括预警提示单元，所述预警提示单元，其被配置为基于存储单元中获得的异常的汇总数据，基于子系统中的待输入的节点数据，获得预警提示单元的提示信息。

作为本发明的进一步优化方案，对比各个子系统的架构与数据类型，基于相同架构与数据类型的子系统，当其中一组子系统中产生异常的汇总数据时，同步提示于其他子系统中。

作为本发明的进一步优化方案，所述存储单元基于子系统的异常的汇总数据获得相应的调整数据后，选择性的同步于其他子系统中。

作为本发明的进一步优化方案，所述终端运行数据包括各端服务器的运行数据。

作为本发明的进一步优化方案，所述监控单元监控包括各数据库以及系统硬件资源的分配情况。

本发明的有益效果在于：该系统可以实现对节点和终端的全链路监控，从而及时检测到任何异常情况，保证系统的稳定运行；该系统基于大数据技术，能够承载巨大的数据量，并快速和准确地对数据进行分析、处理和存储，为系统决策提供有力支持；该系统采用云存储器和子系统非同步更新的方式，能够实现各个子系统之间的数据同步和共享，避免信息孤岛和重复工作，提高系统整体效率；该系统还增加了预警提示单元，可以通过对存储单元中获得的异常汇总数据和待输入的节点数据进行分析，给出及时有效的预警提示，降低系统风险；该系统的存储单元还能够基于异常汇总数据获得相应的调整数据，并选择性地同步于其他子系统中，提高了系统的智能化程度；该系统的监控范围涵盖了数据库和系统硬件资源的分配情况等多个方面，可适用于各行各业的大型系统监控需求，具有广泛的适用性。

附图说明

图1是本发明的一种基于大数据的全链路监控系统的系统结构示意图。

具体实施方式

下面结合附图对本申请作进一步详细描述，有必要在此指出的是，以下具体实施方式只用于对本申请进行进一步的说明，不能理解为对本申请保护范围的限制，该领域的技术人员可以根据上述申请内容对本申请作出一些非本质的改进和调整。

实施例1

如图1所示，一种基于大数据的全链路监控系统，该系统包括监控单元、数据处理单元、传输单元与存储单元；

所述监控单元，其被配置为获得各节点的业务处理数据，基于设定区域内的节点数据的处理效率，判断所述节点是否异常；

所述数据处理单元，其被配置为获得与设定区域对应的终端运行数据，基于终端运行数据判断与设定区域对应的终端是否异常；

所述传输单元，其被配置为基于监控单元与数据处理单元的异常判断结果，获得节点数据与终端数据的汇总数据，传输中监控终端；

所述存储单元，其被配置为存储监控单元与数据处理单元上传的异常的汇总数据，并关联存储基于异常的汇总数据的调整数据。

在本方案中，该系统包括监控单元、数据处理单元、传输单元和存储单元等组成部分。监控单元负责获取各个节点的业务处理数据，并根据设定区域内的节点数据的处理效率来判断节点是否异常；数据处理单元则负责获取与设定区域对应的终端运行数据，以此来判断与设定区域对应的终端是否异常；传输单元则基于监控单元和数据处理单元的异常判断结果，获取节点数据和终端数据的汇总数据，并在传输过程中监控终端。存储单元则被配置为存储监控单元和数据处理单元上传的异常的汇总数据，并关联存储基于异常的汇总数据的调整数据。

进一步的，该系统包括若干组子系统，所述存储单元为云存储器，各个子系统中异常的汇总数据统一上传至存储单元内，所述子系统的更新非同步进行；该系统还包括预警提示单元，所述预警提示单元，其被配置为基于存储单元中获得的异常的汇总数据，基于子系统中的待输入的节点数据，获得预警提示单元的提示信息；对比各个子系统的架构与数据类型，基于相同架构与数据类型的子系统，当其中一组子系统中产生异常的汇总数据时，同步提示于其他子系统中；所述存储单元基于子系统的异常的汇总数据获得相应的调整数据后，选择性的同步于其他子系统中。

具体的，所述终端运行数据包括各端服务器的运行数据；所述监控单元监控包括各数据库以及系统硬件资源的分配情况。

需要补充的是，在本实施例中，监控单元可以由监控工具等组件构成，监控工具包括APEX、EFK、Prometheus、IPaaS、VMware、听云APM、博睿APM和博睿NP等，主要用于监控终端运行数据，其中的终端包括容器化、数据库、服务器、应用服务、中间件、存储设备、安全设备、终端设备、链路和网络设备。

需要说明的是，该基于大数据的全链路监控系统，在使用时，该系统可以实现对节点和终端的全链路监控，从而及时检测到任何异常情况，保证系统的稳定运行；该系统基于大数据技术，能够承载巨大的数据量，并快速和准确地对数据进行分析、处理和存储，为系统决策提供有力支持；该系统采用云存储器和子系统非同步更新的方式，能够实现各个子系统之间的数据同步和共享，避免信息孤岛和重复工作，提高系统整体效率；该系统还增加了预警提示单元，可以通过对存储单元中获得的异常汇总数据和待输入的节点数据进行分析，给出及时有效的预警提示，降低系统风险；该系统的存储单元还能够基于异常汇总数据获得相应的调整数据，并选择性地同步于其他子系统中，提高了系统的智能化程度；该系统的监控范围涵盖了数据库和系统硬件资源的分配情况等多个方面，可适用于各行各业的大型系统监控需求，具有广泛的适用性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。