一种数据处理方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，更具体的说是涉及一种数据处理方法、装置及电子设备。

背景技术

在实际工业应用中，原始数据需要经过一系列的数据处理以及算法模型信息提取后，才能将数据处理结果反馈给前端用户界面，对应的数据处理流程可以包括数据采集存储、数据预处理、文本信息提取、算法模型推荐以及信息存储展示等。

但是，目前的数据处理流程无法满足实际工业多种处理需求，降低了数据处理效率。

发明内容

有鉴于此，本申请提供如下技术方案：

一种数据处理方法，包括：

获得与数据处理任务对应的消息队列；

基于所述消息队列的任务时间敏感度特征，确定与所述消息队列对应的目标执行模板，所述目标执行模板配置不同的任务处理模块，每一任务处理模块对应于有特定的任务处理需求特征，且所述目标执行模板的任务配置信息可实时进行配置；

基于所述目标执行模板对所述消息队列中的数据处理任务进行处理，得到处理结果。

可选地，所述基于所述消息队列的任务时间敏感度特征，确定与所述消息队列对应的目标执行模板，包括：

基于所述消息队列的任务时间敏感度特征，确定第一类任务，所述第一类任务的时间敏感度特征表征在对所述消息队列中的任务进行处理时，所述第一类任务一直处于运行状态；

确定与所述第一类任务对应的第一任务处理模块；

将所述第一任务处理模块的状态切换至持续启动状态，并将包括所述第一任务处理模块的执行模板确定为目标执行模板；

其中，所述基于所述目标执行模板对所述消息队列中的数据处理任务进行处理，包括：

基于所述目标执行模板中的第一任务处理模块对与所述第一类任务对应的待处理数据进行实时处理，以实现对所述消息队列中的第一类任务的处理。

可选地，所述基于所述消息队列的任务时间敏感度特征，确定与所述消息队列对应的目标执行模板，包括：

基于所述消息队列的任务时间敏感度特征，确定第二类任务，所述第二类任务的任务时间敏感度特征表征所述第二类任务仅在所述消息队列中的任务处理的特定执行时间段运行；

对所述第二类任务的任务流特征进行解析，获得任务流中的任务关联关系；

基于所述任务关联关系，对初始执行模板中的任务配置信息进行配置；

根据配置后的任务配置信息，生成与所述消息队列对应的目标执行模板。

可选地，所述对所述第二类任务的任务流特征进行解析，获得任务流中的任务关联关系，包括：

对所述第二类任务的任务流特征进行解析，确定与所述第二类任务对应的任务流图，所述任务流图表征对所述第二类任务进行处理时，与所述第二类任务对应的各个子任务的执行流程图；

基于所述任务流图，确定操作流和执行配置信息；

根据所述操作流，确定任务流中的任务关联关系，其中，所述执行配置信息用于对初始执行模板进行配置。

可选地，所述确定与所述消息队列对应的目标执行模板，包括：

获得所述消息队列中各个数据处理任务，并对所述数据处理任务进行解析，得到与每一数据处理任务对应的子任务；

基于每一子任务的任务特征，确定第一并行处理线程；

生成与所述第一并行处理线程对应的并行处理模块，并基于所述并行处理模块生成目标执行模板。

可选地，还包括：

基于各个数据处理任务的任务特征，确定可并行处理的若干个数据处理任务；

确定与若干个所述数据处理任务对应的第二并行处理线程，以使得所述目标执行模板包括所述第二并行处理线程。

可选地，所述目标执行模板包括内存监控模块，所述方法还包括：

响应于基于所述目标执行模板对所述消息队列中的数据处理任务进行处理，调取所述内存监控模块对系统内存进行监控，得到监控结果；

基于所述监控结果，释放所述目标执行模板中的目标任务处理模块。

可选地，所述方法还包括：

响应于基于所述目标执行模板对所述数据处理任务进行处理，获得目标任务的处理结果；

基于所述目标任务的处理结果，确定与所述目标任务对应的关联任务的配置信息；

基于所述配置信息调整所述目标执行模板中针对所述关联任务的任务处理模块的配置信息，以使得基于配置后的任务处理模块对所述关联任务进行处理。

一种数据处理装置，包括：

获取单元，用于获得与数据处理任务对应的消息队列；

确定单元，用于基于所述消息队列的任务时间敏感度特征，确定与所述消息队列对应的目标执行模板，所述目标执行模板配置不同的任务处理模块，每一任务处理模块对应于有特定的任务处理需求特征，且所述目标执行模板的任务配置信息可实时进行配置；

处理单元，用于基于所述目标执行模板对所述消息队列中的数据处理任务进行处理，得到处理结果。

一种电子设备，包括：

存储器，用于存储应用程序和所述应用程序运行所产生的数据；

处理器，用于执行所述应用程序，以实现如上述中任一项所述的数据处理方法。

经由上述的技术方案可知，本申请公开了一种数据处理方法、装置及电子设备，包括：获得与数据处理任务对应的消息队列；基于消息队列的任务时间敏感度特征，确定与消息队列对应的目标执行模板，目标执行模板配置不同的任务处理模块，每一任务处理模块对应于有特定的任务处理需求特征，且目标执行模板的任务配置信息可实时进行配置；基于目标执行模板对消息队列中的数据处理任务进行处理，得到处理结果。本申请能够基于目标执行模板对复杂的数据处理任务进行处理，提升了数据处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的流程示意图；

图2为本申请实施例提供的一种支持常驻型服务任务模块的示意图；

图3为本申请实施例提供的一种执行模板的组成示意图；

图4为本申请实施例提供的一种任务操作执行器的示意图；

图5为本申请实施例提供的一种上下游任务并行运行示意图；

图6为本申请实施例提供的一种应用系统的示意图；

图7为本申请实施例提供的一种基于图6应用系统的任务处理流程图；

图8为本申请实施例提供的一种数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别把不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在本申请实施例中提供了一种数据处理方法，该方法可以应用在进行数据处理的终端设备上，如手机、电脑等，还可以应用在进行数据处理的平台设备上，如服务器。该数据处理方法可以应用于在对业务数据进行处理的场景中，能够满足实际工业需求，适配业务数据处理过程中的全流程处理。

参见图1，为本申请实施例提供的一种数据处理方法的流程示意图，该方法可以包括以下步骤：

S101、获得与数据处理任务对应的消息队列。

当该数据处理方法应用在业务数据处理平台时，数据处理任务为该业务数据处理平台当前需要进行处理的数据任务，可以基于不同的业务需求确定不同的数据处理任务，也可以根据任务类型确定对应的数据处理任务。消息队列可以理解为是存放消息的容器，当系统需要使用消息的时候可以取出消息使用，其是分布式系统中重要组件，使用消息队列主要是为了通过一部处理提高系统性能和削峰、降低系统耦合性等。在本申请实施例中可以消息队列中可以包括多个数据处理任务，可以通过对应的数据处理执行流程来自动对消息队列中的各个数据处理任务进行处理。具体的，消息队列中可以包括不同类型的数据处理任务，即具有不同任务处理需求特征的数据处理任务。通过对消息队列的应用可以高效处理各个数据处理任务。

S102、基于消息队列的任务时间敏感度特征，确定与消息队列对应的目标执行模板。

S103、基于目标执行模板对消息队列中的数据处理任务进行处理，得到处理结果。

在本申请实施例中为了提高数据处理效率，可以根据不同任务处理需求预先生成多个可以进行数据处理的执行模板，然后根据实际要进行处理的任务特征来选定对应的执行模板，自动完成数据处理任务。具体的，可以根据消息队列中的任务时间敏感度特征在若干个执行模板中确定目标执行模板，目标执行模板配置不同的任务处理模块，每一任务处理模块对应于有特定的任务处理需求特征，且目标执行模板的任务配置信息可实时进行配置。其中，消息队列的任务时间敏感度特征是根据数据处理任务在整个业务数据处理过程中的运行状态确定的，基于不同的任务时间敏感特征可以确定不同的任务类型，如可以包括常驻型任务，常驻型任务是指任务服务一直运行中状态，能够实时处理队列数据，优化服务调度及预加载实现，能对算法推理模型进行支持的任务。

在本申请实施例的一种实施方式中，所述基于消息队列的任务时间敏感度特征，确定与所述消息队列对应的目标执行模板，包括：基于消息队列的任务时间敏感度特征，确定第一类任务；确定与第一类任务对应的第一任务处理模块；将第一任务处理模块的状态切换至持续启动状态，并将包括第一任务处理模块的执行模板确定为目标执行模板。

对应的，所述基于目标执行模板对消息队列中的数据处理任务进行处理，包括：基于目标执行模板中的第一任务处理模块对与第一类任务对应的待处理数据进行实时处理，以实现对消息队列中的第一类任务的处理。

其中，第一类任务的时间敏感度特征表征在对消息队列中的任务进行处理时，第一类任务一直处于运行状态。例如，第一类任务可以是常驻型任务，具体的可以是数据采集任务，其需要在整个数据处理任务运行过程中实时进行数据采集。在确定目标执行模板的过程中，需要确定能够支持第一类任务处理需求的执行模板作为目标执行模板。并且需要将能够处理第一类任务的第一任务处理模块保持持续启动状态，以保证能够实时对第一类任务进行处理。由于第一任务处理模块为持续启动状态，这样使得该第一任务处理模块仅需启动一次，减少其对应的启动时间。例如，第一类任务为基于算法模型进行处理的任务，可以使得算法模型等服务容器只需启动一次，减少模型推理服务加载模型及启动时间，进一步地，第一任务处理模块能够不断检测消息队列信息，关于第一类任务的新数据到达时能实时处理，没有任务调度时间间隔及容器重启时间。

参见图2，为本申请实施例提供的一种支持常驻型服务任务模块的示意图，在图2中常驻型服务服务任务可以是算法模型服务。通过轮询调度器获取消息队列中的消息，根据该消息对应的数据处理任务所携带的任务时间敏感度特征来选定该目标执行模板，然后通过该轮询调度器运行该目标执行模板，实现对消息队列的监控，调度容器化部署的计算及算法模型服务，一个消息处理结束后循环监控流程。轮询调度器与目标执行模板中的持久型容器化部署服务共同实现支持多种常驻型服务任务功能。这样可以实时对队列1、队列2和队列3中的相关服务容器中的数据处理。可见，基于该常驻型服务对应的处理模块在保持持久运行状态时，可以使得算法模型服务容器只需启动一次，减少模型推理服务加载模型及启动时间。轮询调度器服务能够不断检测消息队列信息，新数据到达时能实时处理。没有任务调度时间间隔及容器重启时间。提升了针对常驻型服务任务的处理效率。

除了表征在对消息队列中的任务进行处理时，一直处于运行状态的第一类任务外，在实际的业务数据处理过程中，还包括第二类任务，该第二类任务的时间敏感度特征表征第二类任务仅在消息队列中的任务处理的特定执行时间段运行。具体的，所述基于消息队列的任务时间敏感度特征，确定与消息队列对应的目标执行模板，包括：基于消息队列的任务时间敏感度特征，确定第二类任务；对第二类任务的任务流进行解析，获得任务流中的任务关联关系；基于任务关联关系，对初始执行模板中的任务配置信息进行配置；根据配置后的任务配置信息，生成与消息队列对应的目标执行模板。进一步地，所述对第二类任务的任务流特征进行解析，获得任务流中的任务关联关系，包括：对第二类任务的任务流特征进行解析，确定与第二类任务对应的任务流图，该任务流图表征对该第二类任务进行处理时，与第二类任务对应的各个子任务的执行流程图；基于任务流图，确定操作流和执行配置信息；根据操作流，确定任务流中的任务关联关系，其中，所述执行配置信息用于对初始执行模板进行配置。

第二类任务仅在消息队列中的任务处理的特定执行时间段运行，例如可以是固定的时间段执行，如进行数据汇总的时间段，还可以是执行完成某些数据处理任务之后的时间段内运行，如第二类任务可以表征数据修正任务，在执行完数据计算或数据处理后，对得到的计算或处理结果进行修正。第二类任务的任务流特征可以是指该第二类任务在执行过程中的相关数据的处理流程特征，可以包括与第二类任务关联的上游任务和/或下游任务的一些特征，也可以是第二类任务在执行过程中可以拆分成的不同子任务之间的关联特征。从而可以根据任务流特征确定对应的任务关联关系，对应的，该任务关联关系也可以是当前第二类任务与上游或下游任务的关联关系，也可以是第二类任务本身执行过程中包括的各个子任务的关联关系。初始执行模板为预先生成的可以对数据处理任务进行自动执行的模板，为了满足实际的数据处理需求，可以对预先生成的初始执行模板中的任务配置信息就行实时调整，如根据当前需要处理的任务的任务关联关系，对初始模板中的任务配置信息进行配置。具体的，可以添加、修改或者删除在初始模板中与第二类任务相关的配置信息。如初始执行模板中的原始配置信息是在执行完数据采集任务后执行第二类任务，可以将该原始配置信息修改为执行完数据计算任务后再执行第二类任务，然后基于配置后的任务配置信息，更新该初始执行模板，从而得到目标执行模板。

在本申请实施例中预先生成的执行模板中的各个操作模板均支持动态配置流程图的功能。例如，在对第二类任务的任务流特征进行解析的时候，可以先确定任务流图，该任务流图可以是与第二类任务对应的各个子任务的执行流程图，然后确定操作流及执行配置信息，操作流表征对该类任务进行处理时的操作相关信息，如操作顺序、数据获取流程等。执行配置信息用于对初始模板进行配置，进一步地执行配置信息还可以包括轮转配置信息，该信息用于对子任务的执行顺序进行配置。

具体的，任务流图可以通过执行模板进行配置，进行数据处理的平台系统通过消息队列获取预先生成的模板信息后，在一个任务流图执行过程中可以更改模板(template)配置，同时可以动态更改任务流图，具体的可以结合实际的任务处理流程更改包括上下游依赖关系以及增删任务等。可以通过操作模板配置选项以及操作任务执行器共同实现动态配置任务流图的过程，这样可以在任务流执行中可以重新配置执行模板，定义新的执行模板从而处理新的一批数据，不同任务流图还可以实现共享、复用相同服务。

参见图3，为本申请实施例提供的一种执行模板的组成示意图，执行模板包括多个服务(service)，该服务用于对数据进行处理，不同服务直接具有上下游依赖关系并通过消息队列来传递消息，一个服务中包括operator-flow(操作流)及runner-config(轮转配置)两部分，操作流主要由操作算子组成，操作算子按顺序执行，并将后续算子需要信息保存到本地共享文件供后续算子使用。操作算子主要由输入和输出两部分组成。轮转配置定义一些常量数据，如可以定义超时停止时间，内存大小等。

对应的，任务流图由多个具有上下游依赖的子任务组成一个任务时，可以主要执行以下任务即消费队列信息中待处理任务或数据，执行算子服务计算，将消息传入下游任务队列。可以通过任务操作执行器来完成相关任务的操作。参见图4，为本申请实施例提供的一种任务操作执行器的示意图。该任务可以是对超时或内存进行监视的任务，具体的，第一子任务可以从消息队列中加载消息，然后通过若干个操作流和服务进行处理，然后执行下一个子任务如第二子任务，第二子任务将第一子任务的处理结果作为加载消息继续执行，直到第n个子任务处理完成。

需要说明的是，上述是以第二类任务为例说明了可进行动态配置任务流图的过程，该执行方法同样适用于对第一类任务的任务流图进行配置的过程。可以预先对初始执行模板的相关信息进行配置，也可以在相应数据处理任务的执行过程中对相关的信息进行配置，还可以是根据上游的任务处理结果对下游任务的相关信息进行配置，即本申请实施例中的执行模板的任务配置信息可实时进行配置。

在本申请实施例的另一实施方式中，还包括：响应于基于目标执行模板对数据处理任务进行处理，获得目标任务的处理结果；基于目标任务的处理结果，确定与目标任务对应的关联任务的配置信息，基于配置信息调整目标执行模板中针对关联任务的任务处理模块的配置信息，以使得基于配置后的任务处理模块对关联任务进行处理。

在该实施方式中是基于选定的目标执行模板自动执行数据处理任务，并且可以实时根据得到相关任务(如目标任务)的处理结果来动态调整关联任务的配置信息。以保证任务处理过程中处理的准确性和效率。例如，可以根据完成的数据处理任务的数据处理结果中包括的数据处理量、处理时长，动态调整后续任务的处理线程如是否启动并行处理，以及后续任务的监控时长等信息。

为了进一步提升数据处理效率，在本申请实施例的执行模板中均包括可以支持上下游任务并行运行的数据处理模块。对应的，所述确定与消息队列对应的目标执行模板，包括：获得消息队列中各个数据处理任务，并对数据处理任务进行解析，得到与每一数据处理任务对应的子任务；基于每一子任务的任务特征，确定第一并行处理线程；生成与第一并行处理线程对应的并行处理模块，并基于并行处理模块生成目标执行模板。

该实施方式针对于能够对数据处理任务进行拆分的场景中，如数据处理任务可以是对不同来源的数据进行统计处理，可以将该数据处理任务拆分为数据采集子任务、数据清洗子任务以及数据统计子任务，将针对不同采集源的数据采集子任务进行并行处理，即同时对不同数据源的数据进行数据采集，然后对采集后的数据进行清洗及处理。此时将针对各个不同数据源的数据采集子任务确定第一并行处理线程，即并行采集各个数据源的数据，从而可以提升该数据处理任务的整体处理效率。

对应的，还可以对当前待处理的各个数据处理任务进行解析，以确定能够进行并行处理的数据处理任务。在本申请实施例的另一种实施方式中，还包括：基于各个数据处理任务的任务特征，确定可并行处理的若干个数据处理任务，确定与若干个数据处理任务对应的第二并行处理线程，以使得目标执行模板包括第二并行处理线程。

其中，任务特征可以包括该任务的执行需求特征，前后依赖数据特征等，以及数据输入、输出对应的条件特征等。从而可以将可以并行处理的任务基于第二并行处理线程进行并行处理。即在本申请实施例中的执行模板，可以基于待处理的多个数据处理任务的特征进行并行处理，也可以是对数据处理任务进行拆分后得到的子任务进行并行处理等。从而提升了数据处理效率。

参见图5，为本申请实施例提供的一种上下游任务并行运行示意图。以数据处理任务为常驻型服务任务为例，数据处理系统中不同常驻型服务任务通过消息队列传递消息，只要服务监听到对应队列消息，则消息队列消息并行执行计算任务，即一个任务流图中下游任务无需等待上游任务执行结束后才能执行。常驻型任务模块及消息队列机制共同实现支持上下游任务并行运行功能。在图5中常驻型任务1是常驻型任务2的上游任务，常驻型任务2是常驻型任务n的上游任务，各个常驻型任务可以基于对应的消息队列加载消息，然后通过其中的服务模块进行处理，得到处理结果。例如，常驻型任务1从第一消息队列(Queue-1)中加载消息，然后通过第一服务模块(Service-1)进行处理，将处理结果输入到第二消息队列(Queue-2)，以供常驻型任务2进行加载和处理。在图5中各个常驻型任务进行并行处理，而无需在对常驻型任务1完成后才对常驻型任务2进行处理，使得上下游任务并行运行，可以提高数据处理速度，还能够最大化利用机器资源。

为了能够提升数据处理的效率以及最大化利用处理资源，在本申请实施例的目标执行模板中还包括内存监控模块，对应的该方法还包括：响应于基于目标执行模板对消息队列中的数据处理任务进行处理，调取内存监控模块对系统内存进行监控，得到监控结果；根据监控结果，释放目标执行模块中的目标任务处理模块。内存监控模块用于对内存状态进行监控，如对内存存储空间，处理资源等信息进行监控。若监测到内存存储空间小于设定的阈值，可以对目标执行模板中已完成数据处理任务的的目标任务处理模块进行释放，以释放内存空间。

下面以应用实例对本申请实施例中的数据处理方法进行说明。参见图6，其为本申请实施例提供的一种应用系统架构示意图。该应用系统可以支持常驻型服务任务，支持动态配置流图，还可以实现上下游任务并行运行。在该应用系统中，多源数据为编译器获得实时数据的数据源，编译器还可以通过模板库获得对应的执行模板，然后编译器将获得的数据和模板发送至操作执行器，通过操作执行器中对应的服务(service)完成数据处理，操作执行器可以将数据缓存至消息队列，也可以从消息队列中获取数据。此外，该应用系统还包括内存监控、状态更新和超时处理等模块，对应的还可以基于实际的业务需求添加其他模块。该业务系统还包括分布式文件存储数据库，用于提供数据的存储。还包括搜索和分析模块，该模块用于对数据库中的数据进行搜索，具体的执行搜索的过程可以由上述编译器进行处理。

参见图7，为本申请实施例提供的一种基于图6应用系统的任务处理流程图。首先编译器获取消息队列消息，确定消息是否存在，如果不存在循环获取消息队列信息。如果存在，根据消息队列携带信息读取对应模板。然后执行器解析当前服务对应的操作流并定义执行流。执行器可以模板定义执行流执行算子的输入信息，然后得到参数后，输入到操作算子并执行。执行器执行该操作算子后处理，将信息写入本地文件等，查看状态是否有错误信息，如果有错误信息则重新回到开始监控消息队列的步骤。否则，循环执行操作流定义执行流的算子直至结束，将相关消息传入下游任务的消息队列。继续对下游任务以上述流程进行处理，得到处理结果。

在该应用实施例中支持常驻型任务，能够实时处理数据流，减少任务调度及服务预加载时间，支持动态配置多个任务流图，并支持不同任务流图共享、复用统一服务。支持上下游任务的并行运行，从而提升了数据处理的效率。

在本申请的另一实施例中还提供了一种数据处理装置，参见图8，该装置包括：

获取单元10，用于获得与数据处理任务对应的消息队列；

确定单元11，用于基于所述消息队列的任务时间敏感度特征，确定与所述消息队列对应的目标执行模板，所述目标执行模板配置不同的任务处理模块，每一任务处理模块对应于有特定的任务处理需求特征，且所述目标执行模板的任务配置信息可实时进行配置；

处理单元12，用于基于所述目标执行模板对所述消息队列中的数据处理任务进行处理，得到处理结果。

可选地，确定单元包括：

第一确定子单元，用于基于所述消息队列的任务时间敏感度特征，确定第一类任务，所述第一类任务的时间敏感度特征表征在对所述消息队列中的任务进行处理时，所述第一类任务一直处于运行状态；

第二确定子单元，用于确定与所述第一类任务对应的第一任务处理模块；

第三确定子单元，用于将所述第一任务处理模块的状态切换至持续启动状态，并将包括所述第一任务处理模块的执行模板确定为目标执行模板；

其中，处理单元具体用于：

基于所述目标执行模板中的第一任务处理模块对与所述第一类任务对应的待处理数据进行实时处理，以实现对所述消息队列中的第一类任务的处理。

在另一种实施方式中，确定单元包括：

第四确定子单元，用于基于所述消息队列的任务时间敏感度特征，确定第二类任务，所述第二类任务的任务时间敏感度特征表征所述第二类任务仅在所述消息队列中的任务处理的特定执行时间段运行；

解析子单元，用于对所述第二类任务的任务流特征进行解析，获得任务流中的任务关联关系；

配置子单元，用于基于所述任务关联关系，对初始执行模板中的任务配置信息进行配置；

生成子单元，用于根据配置后的任务配置信息，生成与所述消息队列对应的目标执行模板。

进一步地，所述解析子单元具体用于：

对所述第二类任务的任务流特征进行解析，确定与所述第二类任务对应的任务流图，所述任务流图表征对所述第二类任务进行处理时，与所述第二类任务对应的各个子任务的执行流程图；

基于所述任务流图，确定操作流和执行配置信息；

根据所述操作流，确定任务流中的任务关联关系，其中，所述执行配置信息用于对初始执行模板进行配置。

可选地，所述确定单元包括第一并行处理单元，用于：

获得所述消息队列中各个数据处理任务，并对所述数据处理任务进行解析，得到与每一数据处理任务对应的子任务；

基于每一子任务的任务特征，确定第一并行处理线程；

生成与所述第一并行处理线程对应的并行处理模块，并基于所述并行处理模块生成目标执行模板。

进一步，还包括：第二并行处理单元，用于

基于各个数据处理任务的任务特征，确定可并行处理的若干个数据处理任务；

确定与若干个所述数据处理任务对应的第二并行处理线程，以使得所述目标执行模板包括所述第二并行处理线程。

可选地，所述目标执行模板包括内存监控模块，所述装置还包括：监控单元，用于：

响应于基于所述目标执行模板对所述消息队列中的数据处理任务进行处理，调取所述内存监控模块对系统内存进行监控，得到监控结果；

基于所述监控结果，释放所述目标执行模板中的目标任务处理模块。

可选地，所述装置还包括：信息配置单元，用于：

响应于基于所述目标执行模板对所述数据处理任务进行处理，获得目标任务的处理结果；

基于所述目标任务的处理结果，确定与所述目标任务对应的关联任务的配置信息；

基于所述配置信息调整所述目标执行模板中针对所述关联任务的任务处理模块的配置信息，以使得基于配置后的任务处理模块对所述关联任务进行处理。

需要说明的是，本实施例中各个单元以及子单元的具体实现可以参考前文中的相应内容，此处不再详述。

在本申请的另一实施例中，还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的数据处理方法的各个步骤。

在本申请的另一实施例中，还提供了一种电子设备，所述电子设备可以包括：

存储器，用于存储应用程序和所述应用程序运行所产生的数据；

处理器，用于执行所述应用程序，以实现如上述中任一项所述数据处理方法。

需要说明的是，本实施例中处理器的具体实现可以参考前文中的相应内容，此处不再详述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。