一种批量作业的分布异常检查方法及系统

技术领域

本发明涉及批量作业处理技术领域，尤指一种批量作业的分布异常检查方法及系统。

背景技术

在计算机应用系统中，特别是银行系统中通常使用批量作业处理例如计结息、收取卡年费、执行预约交易等操作，此过程需要避开营业网点营业时间以及非营业时间的交易高峰期，减少因系统资源的抢占导致的联机交易缓慢等问题，当日内又必须完成全行所有业务数据的处理，因此常采用多作业并行处理全行数据的方式，例如采用分账号段并行计结息，才能在短时间处理完所有业务数据处理，在有些业务场景下，需保证交易发生时间上的先后顺序，那么就需要将这些数据放入同一个作业依照业务实际发生时间进行处理，例如追平数据时，A转账给B，B转账给C，C又转账给D那么这些数据就需要放在同一个作业中追平，且追平顺序需要与A、B、C、D账户时间业务发生时间的顺序一致，此时就需要先进行业务数据分组，将关联数据分到同一组，然后再均衡每个作业作业处理组的数据量，达到在系统上限控制要求的作业量内，短时间完成数据追平工作，当数据分组分配异常时，若单个作业分配的业务数据处理量较大，会发生在银行网点开门营业前无法处理完业务数据的情况，这是不可接受的。

通常在银行系统中可以设置批量作业运行监控，实时跟踪批量处理业务数据的进度，如发现不能再时间窗口内完成时，采取干预措施。但是，实时进度监控的方式，存在以下缺点：及时性差，需要作业已经提交运行并开始业务数据的处理，才能够跟踪,并且运行一段时间后才能发现异常。人工干预难度加大，因为已经有一部分业务数据已经完成处理，不能重复处理；应急措施需要加以甄别，甄别时间会增异常处理的时间。

综上来看，亟需一种可以克服上述缺陷，能够及时发现批量作业异常并降低人工干预难度的技术方案。

发明内容

为解决现有技术存在的问题，本发明提出了一种批量作业的分布异常检查方法及系统，可以在批量作业处理数据量分配异常后，及时发现、告警，使运维人员在业务数据正式处理前进行干预调整，确保生产安全的功能。

在本发明实施例的第一方面，提出了一种批量作业的分布异常检查方法，该方法包括：

配置批量作业控制信息；

采集当日作业的待处理总量；

在启动批量作业前，调用告警程序，获取批量作业控制信息及当日作业的待处理总量并进行比对；

若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，发出告警信息，告警程序结束运行；

若当日作业的待处理总量未超过批量作业控制信息中的预设阀值，判定本日时间窗口满足完成作业处理的要求，告警程序结束运行，调度批量作业，并提交作业进行处理。

进一步的，配置的批量作业控制信息至少包括：

作业名称及作业名称对应分组的预设阀值；其中，所述批量作业控制信息在每次提交批量作业前根据需要进行动态调整。

进一步的，该方法还包括：

封装第一子程序，在被调用时，提供所述批量作业控制信息；

采集当日作业的待处理总量，包括：

封装第二子程序，在被调用时统计当日作业中作业名称对应分组的待处理总量。

进一步的，在启动批量作业前，调用告警程序，获取批量作业控制信息及当日作业的待处理总量并进行比对，包括：

在调用告警程序时，调用第一子程序获取批量作业控制信息，调用第二子程序统计当日作业中作业名称对应分组的待处理总量。

进一步的，若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，发出告警信息，告警程序结束运行，包括：

停止调度批量作业并显示作业异常值，向运维人员发出告警信息，请求人工干预。

进一步的，若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，发出告警信息，告警程序结束运行，包括：

根据当日作业的待处理总量与批量作业控制信息中的预设阀值，得到超出的作业数量；

根据超出的作业数量启动备用线程。

在本发明实施例的第二方面，提出了一种批量作业的分布异常检查系统，该系统包括：

配置单元，用于配置批量作业控制信息；

作业信息采集单元，用于采集当日作业的待处理总量；

比对单元，用于在启动批量作业前，调用告警程序，获取批量作业控制信息及当日作业的待处理总量并进行比对；

若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，由告警单元发出告警信息，告警程序结束运行；

若当日作业的待处理总量未超过批量作业控制信息中的预设阀值，判定本日时间窗口满足完成作业处理的要求，告警程序结束运行，由调度单元调度批量作业，并提交作业进行处理。

进一步的，所述配置单元配置的批量作业控制信息至少包括：

作业名称及作业名称对应分组的预设阀值；其中，所述批量作业控制信息在每次提交批量作业前根据需要进行动态调整。

进一步的，该系统还包括：控制信息获取单元；

所述控制信息获取单元用于封装第一子程序，在被调用时，提供所述批量作业控制信息；

所述作业信息采集单元具体用于：

封装第二子程序，在被调用时统计当日作业中作业名称对应分组的待处理总量。

进一步的，所述比对单元具体用于：

在调用告警程序时，调用第一子程序获取批量作业控制信息，调用第二子程序统计当日作业中作业名称对应分组的待处理总量。

进一步的，若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，所述调度单元还用于：

停止调度批量作业；

所述告警单元具体用于：

显示作业异常值，向运维人员发出告警信息，请求人工干预。

进一步的，该系统还包括：线程启动单元；

若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，所述线程启动单元用于：

根据当日作业的待处理总量与批量作业控制信息中的预设阀值，得到超出的作业数量；

根据超出的作业数量启动备用线程。

在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现批量作业的分布异常检查方法。

在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现批量作业的分布异常检查方法。

本发明提出的批量作业的分布异常检查方法及系统通过配置批量作业控制信息；采集当日作业的待处理总量；在启动批量作业前，调用告警程序，获取批量作业控制信息及当日作业的待处理总量并进行比对；若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，发出告警信息，告警程序结束运行；若当日作业的待处理总量未超过批量作业控制信息中的预设阀值，判定本日时间窗口满足完成作业处理的要求，告警程序结束运行，调度批量作业，并提交作业进行处理，本发明可以在提交批量作业前进行分布异常检查，灵活性高，可根据以往批量作业运行效率，动态调整控制阀值，时效性强，在批量业务数据分组后，处理前及时发现异常，提前告警便于运维人员及时发现异常，并提前人工干预。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明第一实施例的批量作业的分布异常检查方法流程示意图。

图2是本发明第二实施例的批量作业的分布异常检查方法流程示意图。

图3是本发明第一实施例的批量作业的分布异常检查系统架构示意图。

图4是本发明第二实施例的批量作业的分布异常检查系统架构示意图。

图5是本发明第三实施例的批量作业的分布异常检查系统架构示意图。

图6是本发明一实施例的计算机设备结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

在本发明实施例中，需要说明的术语有：

批量作业：为提升数据处理效率，采取的批量处理业务数据的方式，处理一组数据的应用程序，称为一个作业。通常使用JCL开发语言进行书写。

提交作业：由作业调度工具，将批量作业交易操作系统运行，进行业务数据处理的过程。

根据本发明的实施方式，提出了一种批量作业的分布异常检查方法及系统，涉及批量作业处理技术领域。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

图1是本发明第一实施例的批量作业的分布异常检查方法流程示意图。如图1所示，该方法包括：

S101，配置批量作业控制信息；

S102，采集当日作业的待处理总量；

S103，在启动批量作业前，调用告警程序，获取批量作业控制信息及当日作业的待处理总量并进行比对；

S104，若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，发出告警信息，告警程序结束运行；

S105，若当日作业的待处理总量未超过批量作业控制信息中的预设阀值，判定本日时间窗口满足完成作业处理的要求，告警程序结束运行，调度批量作业，并提交作业进行处理。

在S101中，配置的批量作业控制信息至少包括：

作业名称及作业名称对应分组的预设阀值；其中，所述批量作业控制信息在每次提交批量作业前根据需要进行动态调整。

参考图2，为本发明第二实施例的批量作业的分布异常检查方法流程示意图。如图2所示，该方法还包括：

S200，封装第一子程序，在被调用时，提供所述批量作业控制信息；

在S102中，采集当日作业的待处理总量的具体流程为：

S1021，封装第二子程序，在被调用时统计当日作业中作业名称对应分组的待处理总量。

在S103中，在启动批量作业前，调用告警程序，获取批量作业控制信息及当日作业的待处理总量并进行比对的具体流程为：

S1031，在调用告警程序时，调用第一子程序获取批量作业控制信息，调用第二子程序统计当日作业中作业名称对应分组的待处理总量。

在S104中，若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，发出告警信息，告警程序结束运行，包括：

停止调度批量作业并显示作业异常值，向运维人员发出告警信息，请求人工干预。

在S104中，若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，发出告警信息，告警程序结束运行，包括：

根据当日作业的待处理总量与批量作业控制信息中的预设阀值，得到超出的作业数量；

根据超出的作业数量启动备用线程。

这里可以基于当日作业的待处理总量与批量作业控制信息中的预设阀值之间的差值，得到到超出的作业数量，进而根据到超出的作业数量，依据不同的线程启动规则，启动相应数量的新线程；

触发所述新线程处理所述超出的作业。

其中，备用线程可以是其它作业所闲置的线程或系统中为应对特殊情况预留的线程。

需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

在介绍了本发明示例性实施方式的方法之后，接下来，参考图3对本发明示例性实施方式的批量作业的分布异常检查系统进行介绍。

批量作业的分布异常检查系统的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

基于同一发明构思，本发明还提出了一种批量作业的分布异常检查系统，如图3所示，该系统包括：

配置单元310，用于配置批量作业控制信息；

作业信息采集单元320，用于采集当日作业的待处理总量；

比对单元330，用于在启动批量作业前，调用告警程序，获取批量作业控制信息及当日作业的待处理总量并进行比对；

若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，由告警单元340发出告警信息，告警程序结束运行；

若当日作业的待处理总量未超过批量作业控制信息中的预设阀值，判定本日时间窗口满足完成作业处理的要求，告警程序结束运行，由调度单元350调度批量作业，并提交作业进行处理。

在本实施例中，所述配置单元310配置的批量作业控制信息至少包括：

作业名称及作业名称对应分组的预设阀值；其中，所述批量作业控制信息在每次提交批量作业前根据需要进行动态调整。

参考图4，为本发明第二实施例的批量作业的分布异常检查系统架构示意图。如图4所示，该系统还包括：控制信息获取单元360；

所述控制信息获取单元360用于封装第一子程序，在被调用时，提供所述批量作业控制信息；

所述作业信息采集单元320具体用于：

封装第二子程序，在被调用时统计当日作业中作业名称对应分组的待处理总量。

在本实施例中，所述比对单元330具体用于：

在调用告警程序时，调用第一子程序获取批量作业控制信息，调用第二子程序统计当日作业中作业名称对应分组的待处理总量。

在本实施例中，若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，所述调度单元350还用于：

停止调度批量作业；

所述告警单元340具体用于：

显示作业异常值，向运维人员发出告警信息，请求人工干预。

参考图5，为本发明第三实施例的批量作业的分布异常检查系统架构示意图。如图5所示，该系统还包括：线程启动单元370；

若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，所述线程启动单元370用于：

根据当日作业的待处理总量与批量作业控制信息中的预设阀值，得到超出的作业数量；

根据超出的作业数量启动备用线程。

应当注意，尽管在上文详细描述中提及了批量作业的分布异常检查系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

为了对上述批量作业的分布异常检查方法进行更为清楚的解释，下面结合一具体实施例进行详细说明。

以大型机应用系统进行批量作业处理为例，在该系统提交批量作业之前，通过以下功能单元进行检查：

控制信息配置单元，控制信息包括作业名称、阀值，每次提交作业前均可动态调整。

在实际应用场景下，工作人员可以配置控制信息，如系统中控制信息满足系统功能要求，可保持控制信息不变，通常控制信息很少变动。

控制信息采集单元，是一个封装好的子程序，供批量作业程序调用采集控制信息。

业务信息采集单元，是一个封装好的子程序，用于统计对应作业名称本日分组后待处理的数据总量。

检查批量作业分布异常，对业务数据进行判断及预警处理，具体的检查流程为：增加独立批量作业，调用告警程序，告警程序首先使用控制信息采集模块，获取本作业对应的阀值，再使用业务信息采集模块获取本日作业待处理数据量并比对上述两个值的大小。

若待处理数据超过预设阀值，则认为本日时间窗口内无法完成系统处理要求，需要人工干预，则告警程序结束运行，返回非零的返回值，批量作业接收到非零返回值，会结束运行，作业返回值同样返回非零值，此时批量作业调度系统即可停止调度并显示异常的返回值，运维人员即可发现异常值，开始进行人工干预。

若待处理数据未超过预设阀值，则认为本日时间窗口内可以完成数据处理，告警程序结束运行，返回零作为返回值，批量作业接收到零返回值，会结束运行，调度系统发现返回值为零，会继续调度业务处理批量作业，开始提交业务处理作业进行业务处理。

基于前述发明构思，如图6所示，本发明还提出了一种计算机设备600，包括存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序630，所述处理器620执行所述计算机程序630时实现前述批量作业的分布异常检查方法。

基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述批量作业的分布异常检查方法。

本发明提出的批量作业的分布异常检查方法及系统通过配置批量作业控制信息；采集当日作业的待处理总量；在启动批量作业前，调用告警程序，获取批量作业控制信息及当日作业的待处理总量并进行比对；若当日作业的待处理总量超过批量作业控制信息中的预设阀值，判定本日时间窗口内无法完成作业处理，发出告警信息，告警程序结束运行；若当日作业的待处理总量未超过批量作业控制信息中的预设阀值，判定本日时间窗口满足完成作业处理的要求，告警程序结束运行，调度批量作业，并提交作业进行处理，本发明可以在提交批量作业前进行分布异常检查，灵活性高，可根据以往批量作业运行效率，动态调整控制阀值，时效性强，在批量业务数据分组后，处理前及时发现异常，提前告警便于运维人员及时发现异常，并提前人工干预。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。