一种数据处理方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

目前数据的加工多采用批量系统进行批量处理。具体地，可以先将待处理的数据根据业务逻辑分为多个作业，然后根据每个作业的优先级依次处理作业。但在实际的应用中，作业中的数据受到作业本身的限制，需要完成整个作业才可以获得。而且由于部分系统中业务逻辑较为复杂，处理一个作业的耗时较长。因此，急需一种更灵活且更快速的数据处理方法。

发明内容

有鉴于此，本申请的目的在于提供了一种数据处理方法、装置、设备及计算机可读存储介质，用于更加灵活且更加快速地生成作业中的特定数据，其具体技术方案如下：

第一方面，本申请提供了一种数据处理方法，所述方法包括：

获得待划分作业，所述待划分作业包括源数据和作业加工逻辑；

基于所述源数据的业务属性，对所述作业加工逻辑进行拆分，得到属性加工逻辑；

基于所述源数据的所属时区，对所述待划分作业进行划分，得到时区作业；

基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表。

在一种可能的实现方式中，所述基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表，包括：

确定所述时区作业中优先级最高的第一时区作业；

根据所述第一时区作业中所述源数据的业务属性，确定所述第一时区作业中所述源数据对应的属性加工逻辑；

按照所述第一时区作业中所述源数据对应的属性加工逻辑，对所述第一时区作业中的所述源数据进行加工处理，得到第一时区数据报表。

在一种可能的实现方式中，在所述得到第一时区数据报表之后，所述方法还包括：

确定所述时区作业中优先级次高的第二时区作业；

根据所述第二时区作业中所述源数据的业务属性，确定所述第二时区作业中所述源数据对应的属性加工逻辑；

按照所述第二时区作业中所述源数据对应的属性加工逻辑，对所述第二时区作业中的所述源数据进行加工处理，得到第二时区数据报表。

在一种可能的实现方式中，在所述得到时区作业之后，所述方法还包括：

基于所述时区作业中所述源数据的业务属性，对所述时区作业进行划分，得到时区子作业；

所述基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表，包括：

基于所述属性加工逻辑，对所述时区子作业中的所述源数据进行加工处理，得到时区数据子报表；

对时区数据子报表进行整合，得到所述时区数据报表。

在一种可能的实现方式中，在所述得到时区数据报表之后，所述方法还包括：

若存在多个时区数据报表，对所述多个时区数据报表进行整合，得到作业数据报表。

第二方面，本申请还提供了一种数据处理装置，所述装置包括：

获取模块，用于获得待划分作业，所述待划分作业包括源数据和作业加工逻辑；

拆分模块，用于基于所述源数据的业务属性，对所述作业加工逻辑进行拆分，得到属性加工逻辑；

划分模块，用于基于所述源数据的所属时区，对所述待划分作业进行划分，得到时区作业；

处理模块，用于基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表。

在一种可能的实现方式中，所述处理模块，包括：

第一作业确定单元，用于确定所述时区作业中优先级最高的第一时区作业；

第一逻辑确定单元，用于根据所述第一时区作业中所述源数据的业务属性，确定所述第一时区作业中所述源数据对应的属性加工逻辑；

第一处理单元，用于按照所述第一时区作业中所述源数据对应的属性加工逻辑，对所述第一时区作业中的所述源数据进行加工处理，得到第一时区数据报表。

在一种可能的实现方式中，所述装置还包括：

作业划分模块，用于基于所述时区作业中所述源数据的业务属性，对所述时区作业进行划分，得到时区子作业；

所述处理模块，包括：

处理单元，用于基于所述属性加工逻辑，对所述时区子作业中的所述源数据进行加工处理，得到时区数据子报表；

整合单元，用于对时区数据子报表进行整合，得到所述时区数据报表。

第三方面，本申请还提供了一种计算机设备，其特征在于，包括：存储器以及处理器；

其中，所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器中的计算机程序，以实现上述第一方面或第一方面任一项所述的方法。

第四方面，本申请还提供了一种计算机可读存储介质，其特征在于，存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的方法。

在本申请实施例中，获得待划分作业；基于源数据的业务属性，对作业加工逻辑进行拆分，得到属性加工逻辑；基于源数据的所属时区，对待划分作业进行划分，得到时区作业；基于属性加工逻辑，对时区作业中的源数据进行加工处理，得到时区数据报表。本申请实施例可以根据时区对待划分作业进行划分，得到更细粒度的时区作业，从而满足同一时区的数据集中加工的要求，而不必在加工整个待划分作业后，才从得到的报表中选取特定时区的数据，使得获得特定时区的数据更加快速和灵活。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的一种数据处理方法实施例的流程图；

图2示出了本申请实施例提供的另一种数据处理方法实施例的流程图；

图3示出了本申请实施例提供的一种数据处理装置的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

海外信息报表加工系统是指国内银行在海外开展业务，根据需要，面对全球分行进行数据加工、生产报表的系统。海外信息报表加工系统的数据加工采用批量处理，处理的优先级根据作业确定。目前可以将涉及海外业务的作业划分为欧非、北美、亚洲三个实例。但是一个作业包含的数据较多，例如一个作业可以包含多个时区、属性或维度等，仅根据欧非、北美、亚洲三个实例划分作业，会使得作业涵盖过大的数据范围。现实应用中，往往一个作业里的特定目标数据才是可用数据，因而在数据处理加工过程中，加工一个作业耗时较长，特定目标数据受到作业的限制，不能被快速获取。在一个实例下，有些国家时区相差几个小时，然而报表的使用方对报表生成的时效要求较高。在数据处理加工过程中，仅按照实例的优先级对数据进行处理，会使得部分数据不能被及时处理，影响用户对报表的使用。

因此，本申请提供了一种数据处理方法，能够对作业进行细粒度地划分，高效地计算优先级高的数据。

请参见图1，示出了本申请实施例提供的一种数据处理方法实施例的流程图，本申请实施例至少包括以下步骤：

S11，获得待划分作业。

在本申请实施例中，待划分作业可以包括源数据和待划分作业对应的作业加工逻辑。源数据为需要进行加工处理的数据。

S12，基于源数据的业务属性，对作业加工逻辑进行拆分，得到属性加工逻辑。

作业加工逻辑是针对整个待划分作业的，需要对作业加工逻辑进行逻辑拆分，得到每个业务属性对应的属性加工逻辑。

S13，基于源数据的所属时区，对待划分作业进行划分，得到时区作业。

一个作业中源数据的所属时区可以有多个，因此为了对作业进行细粒度的划分，根据待划分作业中源数据的所属时区，对待划分作业进行划分，得到时区作业。每个时区作业中只包括一个时区的源数据。

S14，基于属性加工逻辑，对时区作业中的源数据进行加工处理，得到时区数据报表。

本申请实施例对时区作业中的源数据进行加工处理，得到时区数据报表。由于每个时区作业中只包括一个时区的源数据，所以每个时区数据报表也只对应一个时区。

基于属性加工逻辑，对时区作业中的源数据进行加工处理，得到时区数据报表的一种实现方式可以是，根据第一源数据的业务属性，确定第一源数据对应的属性加工逻辑，按照第一源数据对应的属性加工逻辑，对第一源数据进行加工处理，得到时区数据报表中的第一数据。时区作业中的源数据包括第一源数据。

若待划分作业被划分为多个时区作业，则会得到多个时区数据报表，此时，可以对多个时区数据报表进行整合，得到待划分作业对应的作业数据报表，从而方便对数据报表的统计和存储。

在本申请实施例中，获得待划分作业；基于源数据的业务属性，对作业加工逻辑进行拆分，得到属性加工逻辑；基于源数据的所属时区，对待划分作业进行划分，得到时区作业；基于属性加工逻辑，对时区作业中的源数据进行加工处理，得到时区数据报表。本申请实施例可以根据时区对待划分作业进行划分，得到更细粒度的时区作业，从而满足同一时区的数据集中加工的要求，而不必在加工整个待划分作业后，才从得到的报表中选取特定时区的数据，使得获得特定时区的数据更加快速和灵活。

接下来对本申请实施例中步骤S14进行介绍，在本申请实施例中，基于属性加工逻辑，对时区作业中的源数据进行加工处理，得到时区数据报表，可以包括以下步骤：

S141，确定时区作业中优先级最高的第一时区作业；

S142，根据第一时区作业中源数据的业务属性，确定第一时区作业中源数据对应的属性加工逻辑；

S143，按照第一时区作业中源数据对应的属性加工逻辑，对第一时区作业中的源数据进行加工处理，得到第一时区数据报表；

S144，确定时区作业中优先级次高的第二时区作业；

S145，根据第二时区作业中源数据的业务属性，确定第二时区作业中源数据对应的属性加工逻辑；

S146，按照第二时区作业中源数据对应的属性加工逻辑，对第二时区作业中的源数据进行加工处理，得到第二时区数据报表。

可以继续根据时区作业的优先级对时区作业的源数据进行加工处理，直到所有时区作业都得到对应的时区数据报表。在本申请实施例中，一个作业可以被划分为多个时区作业，每个时区作业对应一个时区，按照时区的优先级处理时区作业，从而满足高优先级的数据优先被加工的要求，提高获得高优先级时区的数据的效率。

请参见图2，示出了本申请实施例提供的另一种数据处理方法实施例的流程图，本申请实施例至少包括以下步骤：

S21，获得待划分作业。

在本申请实施例中，待划分作业可以包括源数据和待划分作业对应的作业加工逻辑。源数据为需要进行加工处理的数据。

S22，基于源数据的业务属性，对作业加工逻辑进行拆分，得到属性加工逻辑。

作业加工逻辑是针对整个待划分作业的，需要对作业加工逻辑进行逻辑拆分，得到每个业务属性对应的属性加工逻辑。

S23，基于源数据的所属时区，对待划分作业进行划分，得到时区作业。

一个作业中源数据的所属时区可以有多个，因此为了对作业进行细粒度的划分，根据待划分作业中源数据的所属时区，对待划分作业进行划分，得到时区作业。每个时区作业中只包括一个时区的源数据。

S24，基于时区作业中源数据的业务属性，对时区作业进行划分，得到时区子作业。

本申请实施例还可以对时区作业进行更细粒度的划分，即根据时区作业中源数据的业务属性进行划分，得到时区子作业。每个时区子作业对应一个时区的一个业务属性。

S25，基于属性加工逻辑，对时区子作业中的源数据进行加工处理，得到时区数据子报表。

S26，对时区数据子报表进行整合，得到时区数据报表。

本申请实施例的每个时区子作业对应一个时区的一个业务属性，则基于属性加工逻辑对时区子作业中的源数据进行加工处理，可以得到一个时区的一个业务属性对应的时区数据子报表。在对时区作业中每个业务属性的源数据都进行加工处理后，可以得到多个时区数据子报表，对多个时区数据子报表进行整合，即可得到时区数据报表。需要说明的是，在得到时区数据子报表后，时区数据子报表中的数据就可以被用户获取，无需等到得到时区数据报表后才进行获取。

在本申请实施例中，不仅根据时区对作业进行划分，还根据属性对作业进行划分，使作业能够被划分为更细粒度的子作业，进一步满足高优先级的数据优先被加工的要求。

接下来对本申请实施例中步骤S25进行介绍，在本申请实施例中，基于属性加工逻辑，对时区子作业中的源数据进行加工处理，得到时区数据子报表，可以包括以下步骤：

S251，确定时区子作业中优先级最高的第一时区子作业；

S252，根据第一时区子作业中源数据的业务属性，确定第一时区子作业中源数据对应的属性加工逻辑；

S253，按照第一时区子作业中源数据对应的属性加工逻辑，对第一时区子作业中的源数据进行加工处理，得到第一时区数据子报表；

S254，确定时区子作业中优先级次高的第二时区子作业；

S255，根据第二时区子作业中源数据的业务属性，确定第二时区子作业中源数据对应的属性加工逻辑；

S256，按照第二时区子作业中源数据对应的属性加工逻辑，对第二时区子作业中的源数据进行加工处理，得到第二时区数据子报表。

可以继续根据时区子作业的优先级对时区子作业的源数据进行加工处理，直到所有时区子作业都得到对应的时区数据子报表。在本申请实施例中，一个作业可以被划分为多个时区作业，每个时区作业对应一个时区，一个时区作业可以被划分为多个时区子作业，每个时区子作业对应一个时区的一个业务属性，按照时区和业务属性的优先级处理时区子作业，从而满足高优先级的数据优先被加工的要求，提高获得高优先级时区的数据的效率。

在本申请实施例中，优先级是根据时区和业务属性设定的，但是不对优先级的内容进行限定。例如，一个作业被划分为第一时区作业和第二时区作业，第一时区作业被划分为第一时区子作业和第二时区子作业，第二时区作业被划分为第三时区子作业和第四时区子作业，第一时区作业的优先级高于第二时区作业的优先级，第一时区子作业的优先级高于第二时区子作业的优先级，第三时区子作业的优先级高于第四时区子作业的优先级。此时，第三时区子作业的优先级和/或第四时区子作业的优先级可以高于第二时区子作业的优先级。也就是说，虽然第一时区的优先级高于第二时区的优先级，但是第二时区的特定业务属性的优先级可以高于第一时区的特定业务属性的优先级。

接下来对本申请提供的一种数据处理装置进行介绍，下文介绍的一种数据处理装置与上文介绍的一种数据处理方法可相互对应参照。

请参见图3，示出了本申请提供的一种数据处理装置的结构示意图，所述装置包括：

获取模块301，用于获得待划分作业，所述待划分作业包括源数据和作业加工逻辑；

拆分模块302，用于基于所述源数据的业务属性，对所述作业加工逻辑进行拆分，得到属性加工逻辑；

划分模块303，用于基于所述源数据的所属时区，对所述待划分作业进行划分，得到时区作业；

处理模块304，用于基于所述属性加工逻辑，对所述时区作业中的所述源数据进行加工处理，得到时区数据报表。

在本申请实施例中，所述处理模块304，包括：

第一作业确定单元，用于确定所述时区作业中优先级最高的第一时区作业；

第一逻辑确定单元，用于根据所述第一时区作业中所述源数据的业务属性，确定所述第一时区作业中所述源数据对应的属性加工逻辑；

第一处理单元，用于按照所述第一时区作业中所述源数据对应的属性加工逻辑，对所述第一时区作业中的所述源数据进行加工处理，得到第一时区数据报表。

在本申请实施例中，所述处理模块304，还包括：

第二作业确定单元，用于确定所述时区作业中优先级次高的第二时区作业；

第二逻辑确定单元，用于根据所述第二时区作业中所述源数据的业务属性，确定所述第二时区作业中所述源数据对应的属性加工逻辑；

第二处理单元，用于按照所述第二时区作业中所述源数据对应的属性加工逻辑，对所述第二时区作业中的所述源数据进行加工处理，得到第二时区数据报表。

在本申请实施例中，所述装置还包括：

作业划分模块，用于基于所述时区作业中所述源数据的业务属性，对所述时区作业进行划分，得到时区子作业；

所述处理模块304，包括：

处理单元，用于基于所述属性加工逻辑，对所述时区子作业中的所述源数据进行加工处理，得到时区数据子报表；

整合单元，用于对时区数据子报表进行整合，得到所述时区数据报表。

在本申请实施例中，所述装置还包括：

整合模块，用于若存在多个时区数据报表，对所述多个时区数据报表进行整合，得到作业数据报表。

本申请实施例还提供了一种计算机设备，包括：存储器以及处理器；

其中，所述存储器用于存储计算机程序；

所述处理器用于执行所述存储器中的计算机程序，以实现如上述方法实施例所述的方法。

本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述方法实施例所述的方法。

在本申请实施例中，获取模块，用于获得待划分作业，待划分作业包括源数据和作业加工逻辑；拆分模块，用于基于源数据的业务属性，对作业加工逻辑进行拆分，得到属性加工逻辑；划分模块，用于基于源数据的所属时区，对待划分作业进行划分，得到时区作业；处理模块，用于基于属性加工逻辑，对时区作业中的源数据进行加工处理，得到时区数据报表。本申请实施例可以根据时区对待划分作业进行划分，得到更细粒度的时区作业，从而满足同一时区的数据集中加工的要求，而不必在加工整个待划分作业后，才从得到的报表中选取特定时区的数据，使得获得特定时区的数据更加快速和灵活。

本申请提供的一种数据处理方法、装置、设备及计算机可读存储介质可用于大数据领域或金融领域。上述仅为示例，并不对本申请提供的一种数据处理方法、装置、设备及计算机可读存储介质的应用领域进行限定。

需要说明的是，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

对于前述的各实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。