一种用于时间事件管理的方法和装置

技术领域

本文公开的主题总体上涉及计算机领域，并且更具体地涉及一种用于时间事件管理的方法以及使用该方法的装置。

背景技术

目前，各类企业，尤其是大中型金融企业，都在不同程度地面对着数据体量趋大的问题。这些企业的日常业务及数据复杂多元，因此，对系统调度软件的实时性、可靠性、灵活性要求就越来越高。通常来说，在这个调度的过程中，相应的调度系统能支持的时间粒度越小，对宕机异常的响应与恢复就会越快，那么其市场竞争力将得到提升。时间事件管理模块正是用于处理上述用户需求或产品需求，支撑调度系统更加灵活高效运行，降低由底层环境事故带来的成本损耗。

对于通常的调度产品，有可能间隔相同周期需要进行一样的固定的作业或任务，也可能在某个特定的时间点触发某个任务。时间事件管理模块的主要作用就是按时触发，调起作业/作业流，解决时间事件配置、作业触发、时间事件删除、应对错误或意外情况等问题。

基于调度产品的应用场景，其主要具有如下特点：

实时性：按用户期望的时间，配置时间事件，为了实时调起作业/作业流，需要尽可能不造成作业堆积，尤其对于有大量作业需要调度的场景。

高可用：当发生环境错误等意外情况，如服务器宕机，需要有相关策略来完成主机与备机的切换和接管，而不能影响到调度系统的正常运行。

高性能：程序逻辑需要尽可能精简优化，减少多余的逻辑损耗，提高作业处理效率。

当前业内用于时间事件管理的技术方案有Airflow调度产品中的定时任务部分。Airflow的scheduler(调度器)会按固定时间隔，去轮询元数据库中已注册的DAG(有向无环图)是否需要被执行。

由于Airflow是按固定时间隔间去轮循待执行任务列表，因此随着并发作业的增加，一些作业可能无法被实时调起触发。

考虑到现有技术的调度产品无法满足用户对实时性、高可用和高性能的需求，需要一种改进的方法来克服现有技术存在的缺陷。

发明内容

针对上文所提的定时任务时间事件管理模块特点，以及比对业界现有的调度产品的定时任务管理模块的缺点，做出了本发明。本发明提供一种用于时间事件管理的方法和装置。

在一个实施例中，一种用于时间事件管理的方法，该方法包括：通过用户选择用于管理作业或作业流的第一作业管理模块；使用所述第一作业管理模块管理所述作业或作业流；确定所述第一作业管理模块是否正常运行；如果所述第一作业管理模块正常运行，则根据第一处理逻辑，基于触发条件调起所述作业或作业流；如果所述第一作业管理模块正常不运行，则切换到使用第二作业管理模块管理所述作业或作业流，并且根据第二处理逻辑，基于所述触发条件调起所述作业或作业流，其中，所述触发条件是关于时间事件的条件。

优选地，该方法进一步包括：通过所述第一作业管理模块进行主从节点选举和接管。

优选地，所述第一作业管理模块运行在服务器级别，所述第一作业管理模块是zookeeper或者redis(Remote Dictionary Server)锁，并且所述第一处理逻辑是zookeeper逻辑或者redis逻辑。

优选地，所述第一作业管理模块运行在存储单元级别，所述第一作业管理模块是redis锁，并且所述第一处理逻辑是redis逻辑。

优选地，所述第一作业管理模块是oracle数据库，并且所述第二处理逻辑是oracle逻辑。

优选地，该方法进一步包括：根据用户定义的时间间隔，定时扫描所述时间事件。

优选地，所述第一处理逻辑和所述第二处理逻辑包括将满足所述触发条件的所述作业或作业流发送到消息队列。

优选地，所述第一处理逻辑包括对所述时间事件进行排序。

优选地，该方法进一步包括：在所述第一作业管理模块恢复正常运行之后，切换回使用所述第一作业管理模块管理所述作业或作业流，并且在切换回使用所述第一作业管理模块管理所述作业或作业流之前执行接管逻辑预处理，其中，所述接管逻辑预处理包括将所述第一作业管理模块和所述第二作业管理模块的状态进行同步。

根据本发明的另一个实施例，一种用于时间事件管理的装置包括：通信单元，被配置为执行数据的发送和接收；存储器，被配置为存储数据和指令；处理器，所述处理器可操作性地耦合到所述通信单元和所述存储器，并且被配置为：通过用户选择用于管理作业或作业流的第一作业管理模块；使用所述第一作业管理模块管理所述作业或作业流；确定所述第一作业管理模块是否正常运行；如果所述第一作业管理模块正常运行，则根据第一处理逻辑，基于触发条件调起所述作业或作业流；如果所述第一作业管理模块正常不运行，则切换到使用第二作业管理模块管理所述作业或作业流，并且根据第二处理逻辑，基于所述触发条件调起所述作业或作业流，其中，所述触发条件是关于时间事件的条件。

根据本发明的又一个实施例，一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序当被处理器执行时使所述处理器执行上述用于时间事件管理的方法。

利用本发明提出的方法和装置，能够实现有益的技术效果。

业界调度产品普遍采用的定时轮循方式，本发明方法以时间事件做触发源，可以即时调起作业/作业流，从而实现高的效率。

本发明方法具备两个维度的高可用管理，第一维度是服务器级别，第二维度是存储单元级别。

对于服务器级别的宕机，本发明可以兼容两套方式，一种是通过zookeeper进行主从节点选举与接管。而对于希望轻量级部署的用户，可以不部署zookeeper，而用redis锁进行主从选举与接管。

针对存储单元的崩溃，本发明优先选择在redis进行高效的时间事件管理与发送。若redis集群出现异常，则程序会切换为在oracle数据库进行时间事件管理与发送，完成快速接管。之后，在redis集群恢复正常后还能切换回redis。

本发明处理单条时间事件所花费的时间是1～2毫秒。可以说，作业/作业流的执行几乎是依赖其本身逻辑，而没有额外时间损耗。

通过本发明所能获得的技术效果不限于以上这些。其他的有益效果可以通过本领域技术人员实施本发明而了解。

附图说明

通过参考在附图中图示的特定实施例，将呈现以上简要描述的实施例的更具体的描述。应理解，这些附图仅描绘一些实施例，并且因此不应认为是对范围的限制，将通过使用附图以附加的特征和细节来描述和解释实施例。

图1描绘了根据本发明的一个实施例的用于时间事件管理的方法的流程图。

图2描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性配置图。

图3描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性配置图。

图4描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性配置图。

图5描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性状态图。

图6描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性结果图。

图7描绘根据本发明的一个实施例的用于执行时间事件管理方法的装置的示例性框图。

具体实施方式

如本领域的技术人员将理解的，实施例的各方面可以体现为系统、装置、方法或程序产品。因此，实施例可以采用完全硬件实施例、完全软件实施例或者组合软件和硬件方面的实施例的形式。此外，实施例可以采取体现为存储在一个或多个计算机可读存储设备中的程序产品的形式。

本说明书中描述的某些功能单元可以被标记为模块，以便于更具体地强调它们的实现独立性。例如，模块可以实现为包括定制的超大规模集成电路或门阵列、诸如逻辑芯片、晶体管或其他分立组件的现成半导体的硬件电路。模块还可以在诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等的可编程硬件设备中实现。模块还可以用代码和/或软件实现，以由各种类型的处理器执行。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是存储代码的存储设备。存储设备可以是，例如，但不一定限于电子、磁、光、电磁、红外、全息、微机械或半导体系统、装置或设备、或前述的任何合适的组合。

存储设备的更具体示例的非详尽列表将包括下述：具有一条或多条电线的电气连接、便携式计算机磁盘、硬盘、随机存取存储器(“RAM”)、只读存储器(“ROM”)、可擦除可编程只读存储器(“EPROM”或“闪存”)、便携式紧凑光盘只读存储器(“CD-ROM”)、光学存储装置、磁性存储装置、或前述的任何合适的组合。在本文件的上下文中，计算机可读存储介质可以是任何有形介质，其能够包含或存储程序以供指令执行系统、装置或设备使用或与其结合使用。

用于执行实施例的操作的代码可以是任何数量的行，并且可以以包括诸如Python、Ruby、Java、Smalltalk、C++等的面向对象的编程语言、和诸如“C”编程语言等的传统的过程编程语言、和/或诸如汇编语言的机器语言中的一种或多种编程语言的任何组合来编写。代码可以完全地在用户的计算机上执行，部分地在用户的计算机上执行，作为独立的软件包，部分地在用户的计算机上，并且部分地在远程计算机上或完全地在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(“LAN”)或广域网(“WAN”)，或者可以连接到外部计算机(例如，通过使用互联网服务提供商的互联网)。

本说明书中对“一个实施例”、“实施例”或类似语言的引用意指结合该实施例描述的特定特征、结构或特性包括在至少一个实施例中。因此，除非另有明确说明，否则在整个说明书中出现的短语“在一个实施例中”、“在实施例中”和类似语言可以但不一定全部指代相同的实施例，而是意指“一个或多个但不是所有实施例”。除非另有明确说明，否则术语“包括”、“包含”、“具有”及其变体意指“包括但不限于”。除非另有明确说明，否则列举的项目列表并不暗示任何或所有项目是互斥的。

此外，所描述的实施例的特征、结构或特性可以以任何合适的方式组合。在以下描述中，提供许多具体细节，诸如编程、软件模块、用户选择、网络事务、数据库查询、数据库结构、硬件模块、硬件电路、硬件芯片等的示例，以提供对实施例的彻底理解。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节的情况下，或者利用其他方法、组件、材料等来实践实施例。在其他情况下，未详细示出或描述公知的结构、材料或操作以避免使实施例的一些方面模糊。

下面参考根据实施例的方法、装置、系统和程序产品的示意性流程图和/或示意性框图来描述实施例的各方面。

附图中的示意性流程图或示意性框图图示根据各种实施例的装置、系统、方法和程序产品的可能实现的架构、功能和操作。在这方面，示意性流程图或示意性框图中的每个块可以表示代码的模块、片段或部分，其包括用于实现指定的逻辑功能的代码的一个或多个可执行指令。

还应注意，在一些替代性实施方式中，块中注释的功能可以不按附图中注释的顺序发生。例如，连续示出的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行，这取决于所涉及的功能。可以设想其他步骤和方法，其在功能、逻辑或效果上等同于所图示的附图的一个或多个块或其部分。

尽管可以在流程图或框图中采用各种箭头类型和线类型，但是应理解它们不限制相应实施例的范围。实际上，一些箭头或其他连接器可以仅用于指示所描绘实施例的逻辑流程。例如，箭头可以指示所描绘的实施例的枚举步骤之间的未指定持续时间的等待或监视时段。还将会注意，框图或流程图的每个块以及框图和/或流程图中的块的组合，能够由执行特定功能或操作的基于专用硬件的系统，或专用硬件和代码的组合来实现。

每个附图中的元件的描述可以参考前述附图的元件。相同的数字指代所有附图中的相同元件，包括相同元件的替代实施例。

在本发明的实施例介绍中，出现的一些名词的释义如下：

作业：又称任务，作业流中的一个节点，即由用户定义的完成一定工作的逻辑单元。在作业调度模型中，作业(或任务)是最小执行单元；

作业流：作业组织的基本单元，一般来讲，将一组功能相近、频度相近或者有依赖关系的作业组合成一个作业流，作业流也是调度的基本单元；

事件：表述某个预设消息的产生，比如一个文件到达消息、一个作业完成消息或是某个作业依赖的时间点到达都可以看作事件，事件最终会转化成作业的输入条件；

Zookeeper：ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是是Apache Hadoop的一个子项目。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

Redis：一个开源的、使用ANSI C语言编写、支持网络、可基于内存亦可持久化的Key-Value类型数据库。Redis提供字符串(string)、哈希(hash)、列表(list)、集合(set)和有序集合(sortset)类型数据结构的存储。Redis支持数据的备份，即主-从(master-slave)模式的数据备份。

MQ：消息队列，如RabbitMQ、ocketMQ等开源消息软件；

DAG：有向无环图，一般调度以DAG的方式组织一个作业流，且只有一个连通分支，本文的作业流组织方式比较灵活，允许单个作业流存在多个连通分支；

Oracle：本文指的是甲骨文股份有限公司的数据库产品；

lua脚本：lua是一种轻量小巧的脚本语言，用标准C语言编写并以源代码形式开放，其设计目的是为了嵌入应用程序中，从而为应用程序提供灵活的扩展和定制功能。redis配置文件包含lua脚本。

下面将参考附图描述本发明的实施例。

图1描绘了根据本发明的一个实施例的用于时间事件管理的方法的流程图。

如图1所示，根据本发明的一个实施例的用于时间事件管理的方法100包括步骤S101-S109。

在步骤S101，程序根据用户配置信息，选择使用例如zookeeper或者redis锁实现服务器级别的高可用性。当定时任务程序被部署且运行在多台服务器上时，它们会通过竞争选举出一台master主机，其余的则作为slave从机。当主机宕机后，从机将通过竞争选举出新的主机，进行任务接管。

本发明方法具备两个维度的高可用管理，第一个维度是服务器级别，第二个维度是存储单元级别。具体地，对于服务器级别，例如可以通过zookeeper或redis进行主从节点选举与接管。而对于存储单元级别，例如可以通过redis进行主从节点选举与接管。

对于希望轻量级部署的用户，可以不部署zookeeper。下文中，将重点针对部署redis的方案进行描述。当然，这些描述也可以应用于zookeeper。

在步骤S102，master主机根据用户设定的扫描间隔T，定时查看是否有满足发送条件的时间事件，若有，则进行核心处理逻辑，若没有则等待T后，进行下一轮扫描。

在步骤S103，程序会通过对应的逻辑，识别当前redis的运行状态。若redis正常运行(S103为“是”)，则程序进行到S104，在redis缓存中执行核心处理逻辑。若redis宕机(S103为“否”)，则程序进行到S106，将在oracle数据库中执行核心处理逻辑。

在步骤S104，即，redis状态正常，根据redis逻辑进行时间事件管理。具体地，可以根据redis的SortSet数据结构，将对应key键值下的member成员进行分值排序，将分值最小的记录确定为需要最优先被发送的任务(即，预计发送时间最早)。若该记录还不满足时间事件发送条件，则程序返回S102，等待休眠T后重新进行逻辑判断(此情况未在图1中示出)，否则，若该记录满足时间事件发送条件，那么该时间事件将被发送至MQ队列，作为作业/作业流可以运行的触发条件。

在步骤S106，也就是在时间事件将被发送至MQ队列之后，删除缓存的清理以节省存储空间，也为了SortSet排序能够从下一个最优先事件开始进行排序。

接下来，程序返回步骤S102，等待进行下一轮定时扫描。

上文描述了redis逻辑的情况。下文将描述oracle逻辑的情况。

在步骤S106，即，在redis状态异常的情况下，根据oracle逻辑进行时间事件管理。具体地，根据事件标识字段进行排序，若没有找到满足时间事件发送条件的记录，则程序返回S102，等待休眠T后重新进行逻辑判断(此情况未在图1中示出)，否则，若该记录满足时间事件发送条件，该时间事件将被发送至MQ队列，作为作业/作业流可以运行的触发条件。

在步骤S107，更新oracle数据库中对应记录字段的值。而后进行oracle后处理流程。

在步骤S108，判断redis是否恢复正常。如果redis尚未恢复(即，S108为“否”)，则程序返回步骤S106，继续进行oracle扫描逻辑。如果redis已经恢复(即，S108为“是”)，则程序进行到步骤S109。

在步骤S109，将进行接管任务所需的相关逻辑的预处理。例如，通过lua脚本，将redis与oracle的状态进行同步，避免漏发或多发了时间事件。在该步骤之后，程序返回步骤S102。

以上结合图1详细描述了根据本发明的用于时间事件管理的方法的流程。

除了上述核心流程之外，根据本发明的用于时间事件管理的方法还可以具有一些额外模块，作用主要是提高逻辑的可靠性，或者提升处理性能。比如，在zookeeper和redis竞争主从服务器的过程中采用的隔离逻辑，在时间事件排序或接管/恢复时所设计的数据库性能算法，主机与从机的逻辑协调的算法，服务器、redis或MQ出现异常时的告警处理等。本发明不限于此。

图2描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性配置图。

参见图2，其给出了用于作业流的操作界面。其中，“基本信息”页面呈现有关作业流的基本信息。在图2的示例中，基本信息包含作业流名“lin_test”，以及首次生效日期“2020-09-16”。这里展现的基本信息仅仅是示例，根据各种应用场景，基本信息所包含的信息项可以相应地改变，本发明不限于此。

图3描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性配置图。

参见图3，其给出了用于作业流的操作界面。其中，“频度参数”页面用于用户设置有关作业流的频度参数信息。在图4的示例中，频度参数包含日期偏移量“T(0)”，以及计划开始时点“20:00”。这里展现的频度参数仅仅是示例，根据各种应用场景，频度参数所包含的参数项可以相应地改变，本发明不限于此。

通过图2-图3所给出的示例性参数设置，配置了作业的计划时间和生效时间。接下来，进一步配置作业的运行频度。

图4描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性配置图。

参见图4，其给出了用于作业流的操作界面。其中，“频度参数”页面给出了用于用户进一步设置有关作业流的频度参数的选项。在图4的示例中，频度参数包含“频度选择”，具体可以是“固定频度”、“自定义频度(正则)”、“自定义值频度(cron)”、“自定义日期”、“固定频率-星期”、“固定频率-日”。用户还可以设置节假日是否运行，以及自动运行次数。这里展现的频度参数仅仅是示例，根据各种应用场景，频度参数所包含的参数项可以相应地改变，本发明不限于此。

图5描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性状态图。

参见图5，其给出了用于作业条件就绪情况的操作界面。其中，在“条件信息”栏，用户可以选择“就绪状态”或“条件方向”。系统根据用户的选择筛选条件。在图5所示的示例中，给出了一个筛选出的条码“time_ok”，其条件类型为“2020-09-16 20:00:00”。批次号“0001”，业务日期“20200916”，条件就绪的状态为“就绪”，条件处理时间“2020-09-16 20:18:50”。在列表的下方是该条目的属性信息，例如，条件类别是“作业”，条件调度域是“本域”，条件Id的“Ez3U6rgoYkM0oEfWh”。这里展现的条件信息仅仅是示例，根据各种应用场景，条件信息所包含的参数项可以相应地改变，本发明不限于此。

如图5所示，作业被配置好后，时间事件管理模块将在2020/09/1620:20对其进行调用触发。

图6描绘了根据本发明的一个实施例的用于时间事件管理的方法的示例性结果图。

参见图6，其给出了通过RocketMQ console进行查询的结果。对比查询结果中的第一条消息的Key值与图5中给出的条件Id，可知该时间事件确已被发送至消息队列，实现触发下游作业的效果。

以上结合图2-6描述了根据本发明的实施例的用于时间事件管理的方法的示例。

根据另一个实施例，本发明还包括一种用于时间事件管理的装置。

图7描绘可以用于时间事件管理的装置700的一个实施例。

装置700可以包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考图1描述的方法可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的用于时间事件管理的方法。

本发明公开了一种用于时间事件管理的方法。该方法以时间事件做触发源，可以即时调起作业/作业流，比业界常用的定时轮循方法效率高。

本发明的方法具备两个维度的高可用管理，第一个维度是服务器级别，第二个维度是存储单元级别。可以有效应对灾备情况，且能自主在各种逻辑中完成自动切换/接管/恢复。

利用本发明的方法，处理单条时间事件所花费的时间通常是是1～2毫秒。这是因为，通过本发明的方法实现了逻辑结构的优化。这样的高性能使得作业/作业流的执行几乎是依赖其本身的逻辑，而没有额外时间损耗。

可以以其他特定形式实践实施例。所描述的实施例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附权利要求而不是前面的描述来指示。在权利要求的含义和等同范围内的所有变化都包含在其范围内。