一种多数据源项目服务监控方法及装置

技术领域

本发明涉及服务监控领域，特别涉及一种多数据源项目服务监控的方法及装置。

背景技术

目前，对数据源进行服务监控常采用以下两种方法，一是人为的查看数据源是否正常运行，二是通过查看服务运行日志来判断数据源的问题。但是当监控服务部署在多个不同的服务器上时，这两种方法存在很大的缺陷，当受监控的数据源出现未知异常或莫名的停止服务等问题时，对受监控的数据源出错的反应往往不够及时和迅速，进而无法通知工作人员及时进行排查，待得知异常后才逐一排查，无法快速定位和及时修复问题，耗时久、效率低，会给用户带来极差的使用体验。

发明内容

本发明解决的问题是针对现有的服务监控技术在数据源服务出错时排查过程耗时久、效率低，且无法快速定位出错点等问题。

为解决上述问题，本发明提供一种多数据源项目服务监控的方法及装置。

第一方面，本发明提供了一种多数据源项目服务监控方法,包括：

分别配置多个数据源的服务监控任务；

每间隔标定时间运行所述服务监控任务，分别对各个所述数据源进行检查，其中，检查项目包括各个所述数据源的地址是否可连通，是否可采集到各个所述数据源的反馈数据，各个所述多数据查询任务是否完成，各个所述数据源的所述反馈数据与预先确定的预测值之间的差值是否超过预设阈值，根据检查结果确定各个所述数据源是否出现异常；

当所述数据源出现异常时，输出预警信号，所述预警信号包括出现异常的所述数据源的信息。

进一步地，所述分别配置多个数据源的服务监控任务包括：

部署多个所述数据源的所述服务监控任务，所述服务监控任务包括数据源的地址、监控频率、所述预设阈值和所述预警信号通知方式。

进一步地，所述分别对各个所述数据源进行检查包括：

分别检查各个所述数据源的地址是否可连通；

当各个所述数据源的地址均可连通时，分别检查各个所述数据源的反馈数据是否可采集；当所述数据源的地址无法连通时，将连通异常信息记录至服务监控记录文件，所述连通异常信息包括无法连通的所述数据源的信息。

进一步地，所述分别检查各个所述数据源的反馈数据是否可采集包括：

当各个所述数据源的反馈数据采集正常时，则监控各个所述数据源；当所述数据源的反馈数据采集异常时，将反馈数据采集异常信息记录至所述服务监控记录文件，所述反馈数据采集异常信息包括无法采集反馈数据的所述数据源的信息。

进一步地，所述监控各个所述数据源包括：

监控各个所述数据源的反馈数据，当所述各个所述数据源的反馈数据采集已完成时，记录各个所述数据源的监控数据，并存储至所述服务监控记录文件，所述监控数据包括数据源执行服务的数量、采集时间、采集时长和数据源的标识，并获取采集的各个所述数据源的反馈数据与预先确定的预测值之间的差值；当所述数据源的反馈数据采集未完成时，返回监控各个所述数据源的反馈数据。

进一步地，所述获取采集的各个所述数据源的反馈数据与预先确定的预测值之间的差值包括:

分别确定各个所述数据源的反馈数据与所述预测值之间的差值，比对所述差值和预设阈值；

当所述差值大于或等于所述预设阈值时，记录反馈数据异常信息至所述服务监控记录文件，所述反馈数据采集异常信息包括对应的所述数据源的信息；当所述差值小于所述预设阈值时，则所述数据源工作正常。

进一步地，所述输出预警信号和对应的所述数据源的信息包括：

根据服务监控记录文件确定发生异常的所述数据源以及异常类型，输出所述异常类型和发生异常的所述数据源的信息进行预警。

进一步地，所述输出预警信号和对应的所述数据源的信息还包括：

将所述服务监控记录文件中的信息按所述数据源进行分类，并输出分类结果进行可视化展示。

第二方面，本发明提供的一种多数据源项目服务监控装置，包括：

配置模块，用于分别配置多个数据源的服务监控任务；

检查模块，用于每间隔标定时间运行所述服务监控任务，分别对各个所述数据源进行检查，其中，检查项目包括各个所述数据源的地址是否可连通，是否可采集到各个所述数据源的反馈数据，各个所述数据源的所述反馈数据与预先确定的预测值之间的差值是否超过预设阈值；

输出模块，用于根据检查结果确定各个所述数据源是否出现异常，当所述数据源出现异常时，输出预警信号，所述预警信号包括出现异常的所述数据源的信息。

第三方面，本发明提供的一种多数据源项目服务监控装置，包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如上所述的多数据源项目服务监控方法。

本发明的多数据源项目服务监控方法及装置的有益效果是：针对多数据源项目分别配置服务监控任务后，监控数据源运行状态，检查数据源状态，并反馈服务监控的异常信息，进行界面化展示；这样当服务监控任务出现无法连通、无法采集各个数据源反馈数据、或者所述数据源的所述反馈数据与预先确定的预测值之间的差值超过预设阈值等停止问题时，可以对异常点进行迅速定位，并及时和迅速的做出反应，不仅能减少错误任务排查时间，提高效率，而且还可以对问题任务快速定位、及时修复问题，给用户带来极好的使用体验。

附图说明

图1为本发明实施例的一种多数据源项目服务监控方法流程图；

图2为本发明一种多数据源项目服务监控方法在实施例中的流程示意图；

图3为本发明一种多数据源项目服务监控方法在实施例中的配置服务监控任务的流程示意图；

图4为本发明一种多数据源项目服务监控方法在实施例中的服务监控任务运行过程的流程示意图；

图5为本发明实施例的一种多数据源项目服务监控装置的结构示意图；

图6为本发明另一实施例的一种多数据源项目服务监控装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

如图1和图2所示的一种多数据源项目服务监控方法流程图，本发明实施例提供的一种多数据源项目服务监控方法,包括：

分别配置多个数据源的服务监控任务；

每间隔标定时间运行所述服务监控任务，分别对各个所述数据源进行检查，其中，检查项目包括各个所述数据源的地址是否可连通，是否可采集到各个所述数据源的反馈数据，各个所述多数据查询任务是否完成，各个所述数据源的所述反馈数据与预先确定的预测值之间的差值是否超过预设阈值，根据检查结果确定各个所述数据源是否出现异常；

当所述数据源出现异常时，输出预警信号，所述预警信号包括出现异常的所述数据源的信息。

本实施例中，针对多数据源项目配置了多个数据源服务监控任务后，判断数据源运行状态，并将数据与阈值进行比较判断后反馈服务的异常信息，进行界面化展示；这样当服务监控任务出现无法连通、无法采集各个数据源反馈数据、或者所述数据源的所述反馈数据与预先确定的预测值之间的差值是超过预设阈值等停止问题时，可以对任务出错的部分，及时和迅速的做出反应，并进行排查，不仅能减少错误任务排查时间，提高效率，而且还可以对问题任务快速定位、及时修复问题，给用户带来极好的使用体验。

可选地，首先要接受服务监控任务信息S01，包括受监控数据源地址、监控频率、数据量预测值及差距阈值、预警通知方式的相关信息，然后分别配置多个数据源的服务监控任务。所述多数据源服务监控配置包括：账号、密码、密钥库、监控频率、设定阈值及差距阈值、预警提示方式、受监控服务源配置地址。

如图3所示，本发明一种多数据源项目服务监控方法在实施例中的服务监控装置配置待服务监控任务信息图，即上述步骤S01的细化。所述监控服务部署到指定服务器上或集群中，包括需明确多数据源来源及其状态，多数据源服务数据查询监控装置所涉及的配置可选择在单点或者集群配置，在所述多数据源服务数据查询监控装置中输入相关数据。

可选地，在S0101中，在服务监控装置中需将监控源整体环境配置完成，配置包括：搭载服务器宽口开发、服务注册、反馈数据输入配置、数据图形化展示输入配置。在步骤S0102在服务监控装置中配置数据源地址、IP、服务接口等受监控数据、数据量预测值及差距阈值、预警通知方式。

多个数据源的服务监控任务配置完成后，开启或者关闭对服务的监控S02，即服务监控装置依据配置的受服务监控任务频率启动服务监控任务，服务监控装置依据配置的服务任务频率启动或关闭服务监控任务。

可选地，所述分别配置多个数据源的服务监控任务包括：部署多个所述数据源的所述服务监控任务，所述服务监控任务包括数据源的地址、监控频率、所述预设阈值和所述预警信号通知方式。

具体地，分别检查各个所述数据源的地址是否可连通，当各个所述数据源的地址均可连通时，分别检查各个所述数据源的反馈数据是否可采集；当所述数据源的地址无法连通时，将连通异常信息记录至服务监控记录文件，所述连通异常信息包括无法连通的所述数据源的信息。

本可选的实施例中，通过分别为各个数据源配置服务监控任务，监控各个数据源的状态，当任一数据源发生异常时，能够迅速定位该数据源，减少异常排查时间，提高排查效率。

如图4所示，本发明一种多数据源项目服务监控方法在实施例中的服务监控任务启动运行后的具体流程图。包括所述多数据源地址是否可连通S0201；所述多数据源判断各数据源是否可监控；所述多数据源监控任务进行服务监控；所述多数据源服务监控装置控的各个服务是否有反馈S0202,并记录受监控反馈数据S0203；所述多数据源服务监控装置比设置的数据源采集结果数与数据量预测值的差距是否超过差距阈值S0204；所述多数据源服务监控装置可将数据记录下来，存储在汇总文件夹中S0205。

服务监控任务记录本次采集该数据源反馈异常信息到服务监控记录文件，所述信息包括：数据源是否可连通、数据源反馈是否可采集、数据源预期值、服务反馈结果数据、尽快时间、监控时长、数据源标识等信息中异常信息负责者发送服务异常预警；所述多数据源查询监控装置对服务监控反馈记录结果，对监控输入结果信息进行界面化展示。这样服务监控装置即可直观化展示数据源监控过程详细信息。其能减少错误排查时间、能快速定位出错数据源，并对异常信息及时预警，数据质量实时展示，提高服务出错排查效率。

可选地，根据服务控制流程S03中各个所述数据源的情况，分别对各个所述数据源进行检查，要判断服务监控任务检查受监控数据源地址是否可连通，即检查受监测服务源是否可连通S0301，当所述服务监控任务检查受监控数据源地址不连通时，则输出预警信号，并将所述预警信号包括出现异常的所述数据源的信息，记录本次监控该数据源连通异常信息到服务监控记录文件S0302，即服务监控任务记录本次采集该数据源连通异常信息到服务监控记录文件中；当所述服务监控任务检查受监控数据源地址连通时，则是否可采集到各个所述数据源的反馈数据，即检查服务源是否可以反馈S0303,判断数据源地址可以连通，服务监控任务判断数据源反馈是否可采集。

可选地，所述分别检查各个所述数据源的反馈数据是否可采集包括：当各个所述数据源的反馈数据采集正常时，则监控各个所述数据源；当所述数据源的反馈数据采集异常时，将反馈数据采集异常信息记录至所述服务监控记录文件，所述反馈数据采集异常信息包括无法采集反馈数据的所述数据源的信息。

具体地，根据所述数据源的所述反馈数据与预先确定的预测值之间的差值是否超过预设阈值的条件，判断当不能采集到各个所述数据源的反馈数据时，则记录判断采集到各个所述数据源的反馈数据S0303结果为否，输出预警信号，并将所述预警信号包括出现异常的所述数据源的信息，记录在本次服务监控任务无法取得反馈异常信息到服务监控记录文件S0304中。

可选地，所述监控各个所述数据源包括：监控各个所述数据源的反馈数据，当所述各个所述数据源的反馈数据采集已完成时，记录各个所述数据源的监控数据，并存储至所述服务监控记录文件，所述监控数据包括数据源执行服务的数量、采集时间、采集时长和数据源的标识，并获取采集的各个所述数据源的反馈数据与预先确定的预测值之间的差值；当所述数据源的反馈数据采集未完成时，返回监控各个所述数据源的反馈数据。

具体地，当能采集到各个所述数据源的反馈数据时，服务监控任务进行服务，即根据监控源设置待监控服务，启动监控S0305,数据源反馈数据可采集。在服务监控任务中判断采集反馈数据是否完成，判断是否有异常发生S0306，当服务监控任务判断采集反馈数据未完成时，则记录本次服务反馈数据S0308，返回监控各个所述数据源的反馈数据。

可选地，所述获取采集的各个所述数据源的反馈数据与预先确定的预测值之间的差值包括:分别确定各个所述数据源的反馈数据与所述预测值之间的差值，比对所述差值和预设阈值；当所述差值大于或等于所述预设阈值时，记录反馈数据异常信息至所述服务监控记录文件，所述反馈数据采集异常信息包括对应的所述数据源的信息；当所述差值小于所述预设阈值时，则所述数据源工作正常。

具体地，服务监控任务对比该服务反馈数据结果数值，比较是否超过预定数值和设定阈值S0307，当所述差值小于所述预设阈值时，则所述数据源工作正常，监控装置正常运行监控S0308；当所述差值大于所述预设阈值时，记录本次采集该数据源数据结果数异常信息到服务监控记录文件，服务即可任务记录本次采集该服务反馈数据结果异常信息到服务监控记录文件，本次服务监控任务结束,即记录本次服务监控反馈数据，停止监控此服务任务S0309。

本可选的实施例中，首先检查各个数据源的地址是否可连通，确定各个数据源的地址是否配置错误；当数据源的地址可连通时，检查是否能采集到各个数据源的反馈数据，当无法采集到数据源的反馈数据时，表示数据源产生或输出反馈数据时出现异常；将数据源的反馈数据和预设数值的差值与预设阈值进行对比，当差值大于预设阈值时，表示反馈数据的生成过程可能出现了异常；逐步检查数据源的状态，当数据源出现异常时，能够精准定位出现异常的环节，减少了排查时间，提高了排查效率，便于及时对异常信息进行处理。

可选地，所述输出预警信号和对应的所述数据源的信息包括：根据服务监控记录文件确定发生异常的所述数据源以及异常类型，输出所述异常类型和发生异常的所述数据源的信息进行预警。

具体地，在服务监控任务结束服务监控任务S0309后，多数据源服务监控装置依据已设定的预警方式，向管理员发出预警S04,值得一提的是，本实施例中，采集服务反馈异常数据包括数据源不可连通、数据源不可采集、数据源预期值不达标等信息；异常预警的方式包括日志定制提示、Webhook推送、短信通知、邮件通知。

本可选的实施例中，遍历服务监控记录文件中的数据，当服务监控记录文件中为空时，表示各个数据源工作正常，当服务监控记录文件中有数据时，根据记载的数据就可快速确定发生异常的数据源，以及异常的类型，提高了异常排查效率。

可选地，所述的多数据源项目服务监控方法，还包括：将所述服务监控记录文件中的信息按所述数据源进行分类，并输出分类结果进行可视化展示。

具体地，多数据源服务系统对服务反馈结果文件按服务数据分类，对服务反馈结果，服务异常结果进行图形化展示S05；值得一提的是，本实施例中，服务监控记录文件信息包括数据源是否可连通、数据源是否有正常反馈数据、数据源预期值、服务监控结果数据、监控时间、监控时长、数据源标识等信息；界面化展示形式包括网页列表展示、自定义仪表盘展示、自定义图形化展示等方式。

本可选的实施例中，将服务监控记录文件中的信息按数据源进行分类，并将分类结果进行可视化展示，在数据源出错时，相对于在数据源反馈过程日志中逐一排查出错点，本发明中通过可视化展示界面能够快速定位出错的数据源，并且在出错的数据源的分类结果中能够快速定位异常信息，大幅减少了错误排查时间，提高了排查效率。

如图5所示的本发明实施例的一种多数据源项目服务监控装置的结构示意图，包括：配置模块1，用于分别配置多个数据源的服务监控任务；检查模块2，用于每间隔标定时间运行所述服务监控任务，分别对各个所述数据源进行检查，其中，检查项目包括各个所述数据源的地址是否可连通，是否可采集到各个所述数据源的反馈数据，各个所述数据源的所述反馈数据与预先确定的预测值之间的差值是否超过预设阈值；输出模块3，用于根据检查结果确定各个所述数据源是否出现异常，当所述数据源出现异常时，输出预警信号，所述预警信号包括出现异常的所述数据源的信息。

如图6所示的本发明另一实施例的一种多数据源项目服务监控装置的结构示意图，所述配置模块1，包括服务监控任务配置信息输入模块11，用于分别配置多个数据源的服务监控任务；在配置模块中，只要将数据源相关的服务监控任务配置信息配置成功后，则进入检查模块2。

所述检查模块2，包括受监控服务源连通判断模块21、受监控服务源数据反馈采集模块22、受监控服务源监控记录模块23，受监控服务源任务结束模块24。通过检查模块的受监控服务源连通判断模块21、用于服务监控任务检查数据源地址是否可连通、数据源是否有反馈；受监控服务源数据反馈采集模块22，用于采集数据源反馈数据；受监控服务源监控记录模块23，用于所述服务监控任务记录本次采集该数据源反馈异常信息到服务监控记录文件；受监控服务源任务结束模块24：用于结束本次服务任务，最后通过输出模块3中的服务监控展示单元进行时间源采集效果的直观化展示。

所述输出模块3，包括服务监控预警模块31和服务监控反馈展示模块32，所述服务监控预警模块31，用于根据检查结果确定各个所述数据源是否出现异常，当所述数据源出现异常时，输出预警信号，所述预警信号包括出现异常的所述数据源的信息；所述服务监控展示模块32：所述服务监控装置对服务监控记录表结果按数据源分类，对反馈结果信息、反馈异常信息进行界面化展示；这样就不需对数据源出错进行对每个数据源反馈过程日志进行排查，以便及时修复问题，所以其能减少错误排查时间、能快速定位出错数据源，并对异常信息及时预警，数据质量实时展示，提高服务出错排查效率。

本发明再一实施例提供的一种多数据源项目服务监控装置包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时，实现如上所述的多数据源项目服务监控方法。

虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。