基于表达式的分布式分级计算系统、电子设备及存储介质

技术领域

本发明属于分布式分级计算领域，尤其涉及基于表达式的分布式分级计算系统、电子设备及存储介质。

背景技术

通常表达式的计算有落地和不落地两种方案，不落地的方案存在明显的短板，需要在每次查询数据的时候对表达式进行实时计算，这种方案对接口性能影响会比较大，而且不能对表达式的值进行筛选和统计。

落地的方案传统方案的实现方式，是在数据创建或者改变时，通过同步或异步的接口去更新表达式的值，这些方案的痛点在于：

第一，同步的接口效率比较低下会影响用户操作体验，异步的接口存在并发更新的问题，可能导致数据不一致；

第二，普遍无法支持存量数据的运算，导致当计算公式发生变化后只能影响新的数据；即便是支持存量数据运算，对于运算效率和数据最终一致性，在海量数据下依然是非常大的挑战；而且大量数据可能会造成计算拥堵，导致需要实时计算的数据无法及时计算，影响用户业务；

第三，数据的变更来源多种多样，包括但不限于用户直接从界面提交、通过API写入、通过导入工具直接入库，变更来源的多样性导致计算覆盖的难度极大提升。

发明内容

为解决上述技术问题，本发明提出一种基于表达式的分布式分级计算系统、电子设备及存储介质的技术方案，以解决上述技术问题。

本发明第一方面公开了一种基于表达式的分布式分级计算系统，所述系统包括：

所述系统包括：表达式管理模块、业务数据模块、任务调度模块、计算预处理模块、消息聚合分发模块、计算模块、业务库、任务库以及消息库；

所述业务库：一种数据库存储，结构化存储业务数据信息；

所述任务库：一种数据库存储，结构化存储所述任务调度模块的计算任务的信息；

所述消息库：一种数据库存储，结构化存储所述消息聚合分发模块的计算聚合消息；

所述表达式管理模块：配置表达式规则，表达式配置完成以后向所述任务调度模块提交存量数据的全量的计算任务的请求，并把配置后的表达式规则发送给所述业务库；

所述业务数据模块：维护业务数据，数据变更成功之后向所述计算预处理模块发送数据变更消息，并将变更后数据保存到所述业务库；

所述任务调度模块：根据所述计算任务的请求，向所述消息聚合分发模块发送提交任务的第二计算消息CLMsg2和取消任务，向所述计算模块做任务回调；将计算任务的信息发送给所述任务库；

所述计算预处理模块：接收业务数据模块发出的数据变更消息，根据数据变更前后数据解析表达式依赖关系，生成第一计算消息CLMsg1，并将所述第一计算消息CLMsg1发送至消息聚合分发模块；

所述消息聚合分发模块：接收计算预处理模块发送的所述第一计算消息CLMsg1与任务调度模块发出的第二计算消息CLMsg2，将所述第一计算消息CLMsg1或所述第二计算消息CLMsg2聚合，得到计算聚合消息并存入消息库，定时查询消息库中的计算聚合消息并分发给计算模块；

所述计算模块：接收消息聚合分发模块发出的计算聚合消息，计算表达式的值并保存至业务库，返回处理结果。

根据本发明第一方面的系统，所述业务数据信息包含：对象描述信息、字段描述信息以及对象实例信息；

所述对象描述信息的具体内容包含：对象ID、对象名称以及字段列表；

表达式规则属于字段描述信息，其具体内容包含：字段ID、字段名称、所属对象ID、字段类型、表达式的返回值类型以及表达式的计算公式；

所述对象实例信息的具体内容包含：数据ID、所属对象ID、版本号以及各字段的值。

根据本发明第一方面的系统，所述数据变更消息包括：数据操作类型、数据ID、变更前数据以及变更后数据；

所述维护业务数据，数据变更成功之后向所述计算预处理模块发送数据变更消息，并将变更后数据保存到所述业务库的方法包括：

用户通过网页或终端提交操作业务数据的请求，请求的参数包含数据操作类型、数据ID、所属对象ID以及数据内容；

根据所述数据ID和所属对象ID从业务库查询业务数据，将查询到的数据内容和请求的参数中的数据内容进行比较，生成变更前数据和变更后数据；

根据所述请求的参数，按数据操作类型和数据ID将请求的参数中的变更后数据保存到业务库，并将数据的版本号加一；

根据变更前后数据，生成数据变更消息，发送至计算预处理模块。

根据本发明第一方面的系统，所述根据所述计算任务的请求，向所述消息聚合分发模块发送提交任务的第二计算消息CLMsg2的方法包括：

接收表达式管理模块的计算任务的请求，生成计算任务Job1将其保存到任务库；

存在一个或一组线程，定时轮训查询出任务状态为待处理的计算任务Job1，同时将任务状态设置为处理中；

根据轮训到的计算任务Job1中的对象ID，从业务库分批查询数据ID，生成多条第二计算消息CLMsg2并发送至消息聚合分发模块；第二计算消息CLMsg2的消息体包含：任务ID、字段ID列表、所属对象ID以及数据ID；

向所述计算模块做任务回调的方法包括：

接收来自计算模块任务回调的请求，根据任务ID将任务库中的计算任务的计算状态更新为已完成。

根据本发明第一方面的系统，所述根据数据变更前后数据解析表达式依赖关系，生成第一计算消息CLMsg1，并将所述第一计算消息CLMsg1发送至消息聚合分发模块的方法包括：

多台计算机设备多个进程同时接收数据变更消息，从数据变更消息的消息体的变更前后数据解析出变更的字段列表FL1；

根据数据变更消息的所属对象ID，查询数据所属对象描述信息以及关联对象描述信息，查找其中所有的表达式规则字段，解析其计算公式中的变量，根据所述变量之间的依赖关系生成有向无环图GP1；所述有向无环图GP1的节点为对象中存在关联关系的字段，边为依赖关系，边的方向由依赖方指向被依赖方；

根据生成的有向无环图GP1和解析的字段列表FL1，遍历有向无环图GP1中所有节点查找属于FL1的节点，得到所述FL1的节点的前置节点字段列表FL2；

根据前置节点字段列表FL2和数据变更消息查询需要计算的数据ID，生成所述第一计算消息CLMsg1，并发送至消息聚合分发模块；

所述第一计算消息CLMsg1的消息体包含：字段ID列表、所属对象ID以及数据ID。

根据本发明第一方面的系统，所述将所述第一计算消息CLMsg1或所述第二计算消息CLMsg2聚合的方法包括：

从所述第一计算消息CLMsg1或所述第二计算消息CLMsg2的消息体解析出数据ID、所属对象ID和字段ID列表；

基于数据ID的大小、所属对象ID或字段ID列表中的字段类型，计算消息优先级的值；

根据解析的数据ID，从消息库查询待处理的计算聚合消息，如查询结果为空，则设置消息优先级为P，将所述待处理的计算聚合消息保存至消息库；如查询结果不为空，则与查询结果的数据比较取优先级最高值P1，与查询结果的数据的字段ID列表计算合集，将新的优先级P1与计算合集后的字段ID列表保存至消息库。

根据本发明第一方面的系统，所述定时查询消息库中的计算聚合消息并分发给计算模块的方法包括：

将消息优先级分成若干个区间：R1,R2...Rn，每个区间均有起始优先级SP和终止优先级EP，区间之间不重叠，区间加一起为所有优先级，各区间均执行以下流程；

根据所述区间分配线程资源，各线程均执行以下流程；

线程定期查询优先级属于本区间消息状态为待处理的计算聚合消息，查询到的计算聚合消息按优先级从高至低排序，让所述计算模块可按优先级从高至低进行计算；

将查询到的计算聚合消息的消息状态更新为处理中，并将查询到的计算聚合消息发送至计算模块进行处理，计算模块经过计算后返回处理结果；

根据所述处理结果，若处理成功，则将处理后的计算聚合消息从消息库中删除，否则更新计算聚合消息的状态为待处理，等待再次重试处理。

根据本发明第一方面的系统，所述接收消息聚合分发模块发出的计算聚合消息，计算表达式的值并保存至业务库，返回处理结果的方法包括：

多台计算机设备多个进程同时接收消息聚合分发模块发出的计算聚合消息，从所述计算聚合消息的消息体解析出数据、数据ID、所属对象ID和字段ID列表；

根据析出的数据从业务库查询数据的业务数据信息、表达式信息以及关联关系的数据的信息；

根据查询出的结果，解析表达式的计算公式中的变量，从所述数据的业务数据信息中查找变量的值并代入计算公式，计算出表达式的值；

根据查询出的结果，基于业务库数据版本号V1生成新版本号V2，使用V1作为条件，将表达式的值以及新版本号V2更新到业务库，如更新失败则表示所述数据在业务库被其他线程修改过，则回到业务库查询，重新计算当前数据，直至成功更新到业务库为止；

所述表达式的值以及新版本号V2成功更新到业务库后，返回处理结果成功。

本发明第二方面提供了一种电子设备，所述设备包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如本发明第一方面所述的一种基于表达式的分布式分级计算系统中的方法。

本发明第三方面提供了一种存储介质，该存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现如本发明第一方面所述的一种基于表达式的分布式分级计算系统中的方法。

本发明提出的方案，针对基于业务数据的表达式计算场景，使用消息机制实现表达式的分布式异步计算。对于新增数据通过计算预处理模块进行预处理确认计算任务，对于存量数据通过任务调度模块处理海量数据的重新计算，通过消息聚合分发模块对计算消息进行聚合再分发，在聚合重复计算任务提升整体计算效率的同时，通过优先级分发方法，赋予指定的计算任务以更高优先级执行，进一步提升关键业务的计算效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明实施例的一种基于表达式的分布式分级计算系统的结构图；

图2为根据本发明实施例的字段依赖关系生成有向无环图；

图3为根据本发明实施例的一种电子设备的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一方面公开了一种基于表达式的分布式分级计算系统，图1为根据本发明实施例的一种基于表达式的分布式分级计算系统的结构图，具体如图1所示，所述系统包括：表达式管理模块、业务数据模块、任务调度模块、计算预处理模块、消息聚合分发模块、计算模块、业务库、任务库以及消息库；

所述业务库：一种数据库存储，结构化存储业务数据信息；

所述任务库：一种数据库存储，结构化存储所述任务调度模块的计算任务的信息；

所述消息库：一种数据库存储，结构化存储所述消息聚合分发模块的计算聚合消息；

所述表达式管理模块：配置表达式规则，表达式配置完成以后向所述任务调度模块提交存量数据的全量的计算任务的请求，并把配置后的表达式规则发送给所述业务库；

所述业务数据模块：维护业务数据，数据变更成功之后向所述计算预处理模块发送数据变更消息，并将变更后数据保存到所述业务库；

所述任务调度模块：根据所述计算任务的请求，向所述消息聚合分发模块发送提交任务的第二计算消息CLMsg2和取消任务，向所述计算模块做任务回调；将计算任务的信息发送给所述任务库；

所述计算预处理模块：接收业务数据模块发出的数据变更消息DCMsg，根据数据变更前后数据解析表达式依赖关系，生成第一计算消息CLMsg1，并将所述第一计算消息CLMsg1发送至消息聚合分发模块；

所述消息聚合分发模块：接收计算预处理模块发送的所述第一计算消息CLMsg1与任务调度模块发出的第二计算消息CLMsg2，将所述第一计算消息CLMsg1或第二计算消息CLMsg2聚合，得到计算聚合消息并存入消息库，定时查询消息库中的计算聚合消息并分发给计算模块；

所述计算模块：接收消息聚合分发模块发出的计算聚合消息，计算表达式的值并保存至业务库，返回处理结果。

业务库：一种数据库存储，结构化存储业务数据信息。

在一些实施例中，所述业务数据信息包含：对象描述信息、字段描述信息以及对象实例信息；

所述对象描述信息的具体内容包含：对象ID、对象名称以及字段列表；

表达式规则属于字段描述信息，其具体内容包含：字段ID、字段名称、所属对象ID、字段类型、表达式的返回值类型以及表达式的计算公式；

所述对象实例信息的具体内容包含：数据ID、所属对象ID、版本号以及各字段的值。

以对象A、对象B举例，对象A关联到对象B，即二者关系为N:1。该示例仅做专利描述模型之用，实际应用中不限于示例中的对象ID、名称以及字段名称、类型。

对象A定义如表1所示。

表1

对象B定义如表2所示。

表2

对象A数据示例如表3所示。

表3

对象B数据示例如表4所示。

表4

任务库：一种数据库存储，结构化存储所述任务调度模块的计算任务的信息，计算任务的具体内容包含：任务ID、任务状态、待计算字段ID、创建时间以及完成时间等信息，任务状态至少包括待处理、处理中、已完成三种状态。

消息库：一种数据库存储，结构化存储所述消息聚合分发模块的计算聚合消息，计算聚合消息的具体内容包含：消息ID、消息优先级、消息状态、数据ID、所属对象ID、字段ID列表等信息，消息状态至少包括待处理、处理中两种状态。

业务数据模块：维护业务数据，数据变更成功之后向所述计算预处理模块发送数据变更消息，并将变更后数据保存到所述业务库。

在一些实施例中，所述数据变更消息包括：数据操作类型、数据ID、变更前数据以及变更后数据；

所述维护业务数据，数据变更成功之后向所述计算预处理模块发送数据变更消息，并将变更后数据保存到所述业务库的方法包括：

用户通过网页或终端提交操作业务数据的请求，请求的参数包含数据操作类型、数据ID、所属对象ID以及数据内容；

以对象A-表3数据A-1为例，请求中将N2字段由10改为20，如表5所示。

表5

/>

根据所述数据ID和所属对象ID从业务库查询业务数据，将查询到的数据内容和请求参数中的数据内容进行比较，生成变更前数据和变更后数据；

根据所述请求的参数，按数据操作类型和数据ID将请求的参数中的变更后数据保存到业务库，并将数据的版本号加一；

以数据A-1为例，修改保存到业务库后的数据如表6所示。

表6

根据变更前后数据，生成数据变更消息DCMsg，发送至计算预处理模块。

以数据A-1为例，表5请求生成的DCMsg如表7所示。

表7

任务调度模块：根据所述计算任务的请求，向所述消息聚合分发模块发送提交任务的第二计算消息CLMsg2和取消任务，向所述计算模块做任务回调；将计算任务的信息发送给所述任务库。

在一些实施例中，所述根据所述计算任务的请求，向所述消息聚合分发模块发送提交任务的第二计算消息CLMsg2的方法包括：

接收表达式管理模块的计算任务的请求，生成计算任务Job1将其保存到任务库；

存在一个或一组线程，定时轮训查询出任务状态为待处理的计算任务Job1，同时将任务状态设置为处理中，避免同一个Job1被重复调度；

根据轮训到的计算任务Job1中的对象ID，从业务库分批查询数据ID，生成多条第二计算消息CLMsg2并发送至消息聚合分发模块；第二计算消息CLMsg2的消息体包含：任务ID、字段ID列表、所属对象ID以及数据ID；

向所述计算模块做任务回调的方法包括：

接收来自计算模块任务回调的请求，根据任务ID将任务库中的计算任务的计算状态更新为已完成。

所述计算预处理模块：接收业务数据模块发出的数据变更消息DCMsg，根据数据变更前后数据解析表达式依赖关系，生成第一计算消息CLMsg1，并将所述第一计算消息CLMsg1发送至消息聚合分发模块。

在一些实施例中，所述根据数据变更前后数据解析表达式依赖关系，生成第一计算消息CLMsg1，并将所述第一计算消息CLMsg1发送至消息聚合分发模块的方法包括：

多台计算机设备多个进程同时接收数据变更消息DCMsg，从数据变更消息DCMsg的消息体的变更前后数据解析出变更的字段列表FL1；

根据数据变更消息DCMsg的所属对象ID，查询数据所属对象描述信息以及关联对象描述信息，查找其中所有的表达式规则字段，解析其计算公式中的变量，根据所述变量之间的依赖关系生成有向无环图GP1；所述有向无环图GP1的节点为对象中存在关联关系的字段，边为依赖关系，边的方向由依赖方指向被依赖方；

以表1与表2的对象A与对象B举例，其字段依赖关系生成有向无环图如图2所示。

根据生成的有向无环图GP1和解析的字段列表FL1，遍历有向无环图GP1中所有节点查找属于FL1的节点，得到所述节点的前置节点字段列表FL2；

根据前置节点字段列表FL2和数据变更消息查询需要计算的数据ID，生成所述第一计算消息CLMsg1，并发送至消息聚合分发模块；

以表7的DCMsg为例，FL1为[ObjA.N2]，FL2为[ObjA.F4,OjbB.C1]，生成的CLMsg如表8所示。

表8

所述第一计算消息CLMsg1的消息体包含：字段ID列表、所属对象ID以及数据ID。

所述消息聚合分发模块：接收计算预处理模块发送的所述第一计算消息CLMsg1与任务调度模块发出的第二计算消息CLMsg2，将所述第一计算消息CLMsg1或第二计算消息CLMsg2聚合，得到计算聚合消息并存入消息库，定时查询消息库中的计算聚合消息并分发给计算模块。

在一些实施例中，所述将所述第一计算消息CLMsg1或第二计算消息CLMsg2聚合的方法包括：

从所述第一计算消息CLMsg1或第二计算消息CLMsg2的消息体解析出数据ID、所属对象ID和字段ID列表；

基于数据ID的大小、所属对象ID或字段ID列表中的字段类型，计算消息优先级的值；计算方法包括但不限于基于数据ID的大小、或所属对象ID、或字段类型、或消息中其他信息等方法，可按实际应用场景自行计算P的值；例如，来自业务数据模块用户通过网页或终端提交的数据期望尽快看到计算结果，可设置为较高优先级，来自任务调度模块计算表达式修改后存量数据的计算数据量很大且对计算结果延迟容忍度较高，可设置为较低优先级；

根据解析的数据ID，从消息库查询待处理的计算聚合消息，如查询结果为空，则设置消息优先级为P，将所述待处理的计算聚合消息保存至消息库；如查询结果不为空，则与查询结果的数据比较取优先级最高值P1，与查询结果的数据的字段ID列表计算合集，将新的优先级P1与计算合集后的字段ID列表保存至消息库。

以表8的CLMsg为例，该数据来自页面提交假定ObjA优先级P为1、ObjB为100，生成计算聚合消息如表9所示。

表9

在一些实施例中，所述定时查询消息库中的计算聚合消息并分发给计算模块的方法包括：

将消息优先级分成若干个区间：R1,R2...Rn，每个区间均有起始优先级SP和终止优先级EP，区间之间不重叠，区间加一起为所有优先级，例如：R1[0,99],R2[100,999),R3[1000,+∞)，其中R1表示0到99，R2表示100到999，R3表示1000到无穷大，各区间均执行以下流程；

根据步所述区间分配线程资源，可按照应用场景与硬件资源调配个区间线程数量，例如分别上a步骤的R1、R2、R3区间分配线程池T1、T2、T3，各线程均执行以下流程；

线程定期查询优先级属于本区间消息状态为待处理的计算聚合消息，即消息优先级大于等于起始优先级SP且小于等于终止优先级EP的数据，查询到的计算聚合消息按优先级从高至低排序，让所述计算模块可按优先级从高至低进行计算；以表9的计算聚合消息为例，T1线程池可查询出消息M2，T2线程池可查询出消息M2：

将查询到的计算聚合消息的消息状态更新为处理中，并将查询到的计算聚合消息发送至计算模块进行处理，计算模块经过计算后返回处理结果；

根据所述处理结果，若处理成功，则将处理后的计算聚合消息从消息库中删除，否则更新计算聚合消息的状态为待处理，等待再次重试处理。

所述接收消息聚合分发模块发出的计算聚合消息，计算表达式的值并保存至业务库，返回处理结果的方法包括：

多台计算机设备多个进程同时接收消息聚合分发模块发出的计算聚合消息，从所述计算聚合消息的消息体解析出数据、数据ID、所属对象ID和字段ID列表；

根据析出的数据从业务库查询所述数据的业务数据信息、表达式信息以及关联关系的数据的信息；

根据查询出的结果，解析表达式的计算公式中的变量，从所述数据的业务数据信息中查找变量的值并代入计算公式，计算出表达式的值；

根据查询出的结果，基于业务库数据版本号V1生成新版本号V2，使用V1作为条件，将表达式的值以及新版本号V2更新到业务库，如更新失败则表示所述数据在业务库被其他线程修改过，则回到业务库查询，重新计算当前数据，直至成功更新到业务库为止；此处使用乐观锁原理更新计算结果，保证并发下计算结果的最终一致性；

所述表达式的值以及新版本号V2成功更新到业务库后，返回处理结果成功。

如以上步骤发生超时等异常情况，则返回处理结果失败，由消息聚合分发模块尝试再次分发。如本次计算数据来自任务调度模块的第二计算消息CLMsg2，且为最后一批待计算数据，则处理结果成功调用任务调度模块任务回调接口，通知任务计算完成。

对象A数据经过计算后如表10示例。

表10

对象B数据经过计算后如表11示例。

表11

综上，本发明各个方面的技术方案与现有技术相比具有如下优点：针对基于业务数据的表达式计算场景，使用消息机制实现表达式的分布式异步计算。对于新增数据通过计算预处理模块进行预处理确认计算任务，对于存量数据通过任务调度模块处理海量数据的重新计算，通过消息聚合分发模块对计算消息进行聚合再分发，在聚合重复计算任务提升整体计算效率的同时，通过优先级分发方法，赋予指定的计算任务以更高优先级执行，进一步提升关键业务的计算效率。

本发明第二方面公开了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本发明公开第一方面中任一项的一种基于表达式的分布式分级计算系统中方法的步骤。

图3为根据本发明实施例的一种电子设备的结构图，如图3所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信（NFC）或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本发明第三方面公开了一种存储介质，具体涉及计算机的可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本发明公开第一方面中任一项的一种基于表达式的分布式分级计算系统中方法的步骤。

请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。