一种数据监控方法、装置、可读介质及电子设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据监控方法、装置、可读介质及电子设备。

背景技术

在大数据生产过程中，会涉及到不同数据库间的数据传输，在数据传输的过程中需要进行数据监控，以保证数据传输的稳定性和完整性。

目前，在利用现有的数据监控平台的数据监控方法对数据传输进行监控时，会受到数据库类型的限制，现有的数据监控平台的数据监控方法通常仅单独支持某一类型，对于多种数据库类型的数据监控需要选取不同的监控平台。而在大数据信息日益发展的今天，数据库类型越来越多，而现有的数据监控方法无法实现对多种不同类型数据库的数据进行统一的监控管理，从而导致现有的数据监控方法效率较低。

发明内容

本发明提供了一种数据监控方法、装置、可读介质及电子设备，可以对至少两种不同类型的数据库进行监控，有效提高利用该数据监控方法的数据监控平台的效率。

第一方面，本发明提供了一种数据监控方法，应用于数据监控平台，包括：

确定监控对象，所述监控对象包括至少两种不同类型的数据库；

获取不同类型的数据库中的监控属性的当前变化量；

若所述不同类型的数据库中的监控属性的当前变化量不符合该类型的数据库中的监控属性对应的预设可变范围，则进行告警处理。

第二方面，本发明提供了一种数据监控装置，应用于数据监控平台，包括：

确定处理模块，用于确定监控对象，所述监控对象包括至少两种不同类型的数据库；

获取处理模块，用于获取不同类型的数据库中的监控属性的当前变化量；

告警处理模块，用于若所述不同类型的数据库中的监控属性的当前变化量不符合该类型的数据库中的监控属性对应的预设可变范围，则进行告警处理。

第三方面，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面所述的方法。

第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面所述的方法。

本发明提供了一种数据监控方法、装置、计算机可读介质及电子设备；该方法应用于数据监控平台，通过确定监控对象，该监控对象包括至少两种不同类型的数据库，然后获取不同类型的数据库中监控属性的当前变化量，进一步判断不同类型的数据库中的监控属性的当前变化量是否符合该类型的数据库中的监控属性对应的预设可变范围，若否，则进行告警处理，从而实现了对多种不同类型的数据库的数据监控，有效提高利用该数据监控方法的数据监控平台的效率。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的数据监控方法的流程示意图；

图2为本发明另一实施例提供的数据监控方法的流程示意图；

图3为本发明一实施例提供的数据监控方法中配置监控对象的界面示意图；

图4为本发明一实施例提供的数据监控装置的结构示意图；

图5为本发明另一实施例提供的数据监控装置的结构示意图；

图6为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

前述已知，现阶段常用的数据监控平台的数据监控方法仅单独支持对某一类型的数据库的数据传输的监控，而目前数据库的类型已随大数据信息的发展而越来越多，越来越多的非主流的数据库被应用到各个领域，因此现有的数据监控平台的数据监控方法因无法实现对多种不同类型的数据进行统一的监控管理，导致了现有的数据监控方法效率较低。因此，本发明提供的技术方案可以对至少两种不同类型的数据库的进行监控，有效提高利用该数据监控方法的数据监控平台的效率。

参照图1所示，为本发明提供的数据监控方法的一个具体实施例。本实施例中所述方法包括以下步骤：

步骤101，确定监控对象，所述监控对象包括至少两种不同类型的数据库。

本实施例中，确定至少两种不同类型的数据库为监控对象，该数据库类型可以是目前的主流数据库，如MySQL、SQL Server和Oracle等，还可以包括非主流数据库，如MongoDB、Hypertable和Apache CouchDB等。具体的，可以在数据监控平台搭建配置界面，通过该配置界面配置监控对象。

步骤102，获取不同类型的数据库中的监控属性的当前变化量。

本实施例中，确定不同类型的数据库中的监控属性的当前变化量，当前变化量是不同类型的数据库中的监控属性在数据传输前后的实时变化数据。

步骤103，若所述不同类型的数据库中的监控属性的当前变化量不符合该类型的数据库中的监控属性对应的预设可变范围，则进行告警处理。

本实施例中，预先确定不同类型的数据库中的监控属性的预设可变范围，若所述不同类型的数据库中的监控属性的当前变化量不符合该类型的数据库中的监控属性对应的预设可变范围，证明不同类型的数据库中的监控属性在数据传输前后存在着问题，因此需要进行告警处理，以及时提醒相关人员进行处理。其中，告警处理的方式可以为短信、电话或邮件等。举例来说，某一监控对象A每天的预设可变范围为1-5000，发现该监控对象A的当前变化量为0，则可能是数据同步出现了问题，此时则会进行告警处理。

在上述实施例中，通过确定监控对象，该监控对象包括至少两种不同类型的数据库，然后获取不同类型的数据库中监控属性的当前变化量，进一步判断不同类型的数据库中的监控属性的当前变化量是否符合该类型的数据库中的监控属性对应的预设可变范围，若否，则进行告警处理，从而实现了对多种不同类型的数据库的数据监控，有效提高利用该数据监控方法的数据监控平台的效率。

图1所示仅为本发明所述方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到所述方法的其他优选实施例。

如图2所示，为本发明提供的数据监控方法的另一个具体实施例。本实施例中，所述数据监控方法包括以下步骤：

步骤201，确定监控对象，所述监控对象包括至少两种不同类型的数据库。

本实施例中，可以通过配置监控对象方式对监控对象进行确定，其中在配置监控对象时，还可以对不同类型的数据库中监控属性及不同类型的数据库中监控属性的预设可变范围进行一同配置。

具体的，可以利用如图3所示的界面对监控对象和不同类型的数据库中监控属性的预设可变范围进行配置，其中可配置的监控属性包括表结构、表行数总量、表行数百分比或表值，用户可以根据实际业务场景进行监控属性的选择。在图3中，源数据库和目标数据库共同组成了本实施例中的监控对象，其中，源数据库为进行数据抽取并传输的数据库，目标数据库是接收数据传输的数据库。需要说明的是，本实施例中的监控对象在用户有需求时，可以进一步确定为某一数据库中的数据表。

举例来说，现要对3个数据库：MySQL、SQL Server和MongoDB进行数据监控。其中，监控对象1：源数据库MySQL对应的目标数据库为hive1，监控属性为行数总量变化，监控属性的可变范围为1-5000；监控对象2：源数据库SQL Server中一源数据表对应的目标数据库为hive2中一目标数据表，监控属性为行数百分比变化，监控属性的可变范围为0.1％-1％；监控对象3：源数据库MongoDB对应的目标数据库为hive3，监控属性为行数总量变化，监控属性的可变范围为0-300。则会建立3个新增监控表，并将相应内容进行填写。

在对数据库中的数据进行数据传输时，考虑到安全因素，通常会通过数据同步或备份文件的方式把数据传输到前置机上，从而在前置机形成一个备份数据库，然后从备份数据库中进行数据抽取到目标数据库中，如hive库中，因此在部署监控工具时，也需要将监控工具配置到前置机上，实现对前置机中备份数据库的监控。

步骤202，获取不同类型的数据库中的监控属性进行数据传输前在源数据中对应的第一数据值。

本实施例中，获取不同类型的数据库中的监控属性进行数据传输前在源数据中对应的第一数据值，其中源数据为源数据库或源数据库表。举例来说，对于监控对象1和监控对象3，确定的监控属性为行数总量；对于监控对象2，确定的监控属性为行数百分比。因此可以获取以下数据：确定监控对象1源数据库MySQL的行数总量对应的第一数据值为3267937；确定监控对象2源数据库SQL Server中一源数据表中行数百分比对应的第一数据值为2.1％，确定监控对象3源数据库MongoDB的行数总量对应的第一数据值为1999525。

步骤203，获取所述不同类型的数据库中的监控属性进行数据传输后在目标数据中对应的第二数据值。

本实施例中，同样的，需要确定不同类型的数据库中的监控属性数据传输后在目标数据中的第二数据值，其中目标数据为目标数据库或目标数据库表。举例来说，可以获取以下数据：确定监控对象1源数据库MySQL的行数总量对应的第二数据值为3269679；确定监控对象2源数据库SQL Server中一源数据表中行数百分比对应的第二数据值为2.3％；确定监控对象3源数据库MongoDB的行数总量对应的第二数据值为1999000。

步骤204，根据所述第一数据值和所述第二数据值，获取所述不同类型的数据库中的监控属性的当前变化量。

本实施例中，第一数据值和第二数据值分别为不同类型的数据库中的监控属性数据传输前后各自对应的数据值，因此可以根据第一数据值和第二数据值确定不同类型的数据库中的监控属性的当前变化量。举例来说，通过上述监控对象1、监控对象2和监控对象3分别对应的第一数据值和第二数据值，可以获取到监控对象1的行数总量的当前变化量为+1742，监控对象2的行数百分比的当前变化量为+0.2％，监控对象3的行数总量的当前变化量-525。

步骤205，根据所述不同类型的数据库中的监控属性的当前变化量，生成数据监控日志。

本实施例中，在确定了不同类型的数据库中的监控属性的当前变化量后，将不同类型的数据库中的监控属性的当前变化量进行记录，生成数据监控日志，以便在有需要时可以进行查看。在一种可能的实现方式中，将不同类型的数据库中的监控属性对应的源数据库、源数据库中的第一数据值、目标数据库、目标数据库中的第二数据值和当前变化量等监控信息进行记录，以生成数据监控日志。

举例来说，对于上述监控对象1、监控对象2和监控对象3将增加3条日志记录：

源数据库MySQL、目标数据库hive1、源数据库行数总量3267937、目标数据库行数总量3269679、监控属性当前变化量+1742。

源数据库SQL Server中一源数据库表、目标数据库hive2中一目标数据库表、源数据库行数百分比2.1％、目标数据库行数百分比2.3％、监控属性当前变化量+0.2％。

源数据库MongoDB、目标数据库hive3、源数据库行数总量1999525、目标数据库行数总量1999000、监控属性当前变化量-525。

具体的，在前置机上部署监控工具的同时部署MySQL数据库，用于记录对监控对象的监控信息，监控信息可以通过openapi查看。

步骤206，若所述不同类型的数据库中的监控属性的当前变化量不符合该类型的数据库中的监控属性对应的预设可变范围，则进行告警处理。

本实施例中，在不同类型的数据库中的监控属性的当前变化量不符合该类型的数据库中的监控属性对应的预设可变范围时，证明该监控对象在数据传输过程中出现了问题，则进行告警处理，例如向相关人员发送告警信息等。

举例来说，上述监控对象1和监控对象2的当前变化量均符合预设可变范围，则继续进行监控；监控对象3的当前变化量为-525，而监控对象3的预设可变范围为0-300，则监控对象3的当前变化量不符合预设可变范围，因此会发送与监控对象3有关的告警信息。

步骤207，基于所述源数据和所述目标数据，确定所述不同类型的数据库中的监控属性的当前变化量不符合该类型的数据库中的监控属性对应的预设可变范围的原因。

本实施例中，在不同类型的数据库中的监控属性的当前变化量不符合该类型的数据库中的监控属性对应的预设可变范围时，说明监控对象在数据传输过程中存在问题，因此为了确定数据传输过程中可能存在问题，对源数据对应的第一备份数据进行确定。为了保证数据的安全，目标数据也会有备份数据库，因此同样也需要确定目标数据对应的第二备份数据。在确定出第一备份数据后第二备份数据后，可以确定出在数据传输中当前变化量不符合预设可变范围的原因，例如在数据传输过程中数据丢失等，通过比对第一备份数据和第二备份数据，确定丢失数据，进而确定可能存在的原因，以便相关人员尽快的解决问题。

通过以上技术方案可知，本实施例中可以对不同类型的数据库中的监控属性的当前变化量等监控信息进行记录，以方便相关人员进行查询，进一步通过确定源数据对应的第一备份数据和目标数据对应的第二备份数据确定出当前变化量不符合预设可变范围的原因，以便相关人员尽快的解决存在的问题，从而可以有效的增加使用该数据监控方法的数据监控平台的效率和实用性。

如图4所示，为本发明提供的数据监控装置的一个具体实施例。本实施例所述装置，即用于执行图1～2所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中所述装置包括：

确定处理模块41，用于确定监控对象，所述监控对象包括至少两种不同类型的数据库；

获取处理模块42，用于获取不同类型的数据库中的监控属性的当前变化量；

告警处理模块43，用于若所述不同类型的数据库中的监控属性的当前变化量不符合该类型的数据库中的监控属性对应的预设可变范围，则进行告警处理。

如图5所示，在本发明一个实施例中，所述获取处理模块42，包括：

第一获取单元421，用于获取不同类型的数据库中的监控属性进行数据传输前在源数据中对应的第一数据值；

第二获取单元422，用于获取所述不同类型的数据库中的监控属性进行数据传输后在目标数据中对应的第二数据值；

第三获取单元423，用于根据所述第一数据值和所述第二数据值，获取所述不同类型的数据库中的监控属性的当前变化量。

图6是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成数据监控装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的数据监控方法。

上述如本发明图4或图5所示实施例提供的数据监控装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

本发明实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本发明任一实施例中提供的数据监控方法，并具体用于执行如图1或图2所示的方法。

前述各个实施例中所述的电子设备可以为计算机。

本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。