一种数据处理方法和装置

技术领域

本发明涉及一种数据处理方法和装置。

背景技术

大数据时代的到来，使得在进行数据处理时，待处理的数据通常需要从不同应用场景中获取得到，而不同的应用场景中的数据采用的数据库可能存在一定的差异，即不同的数据库中的数据的格式可能不同，那么，数据处理模型从不同的数据库中获取数据时需要进行模型调整，只要数据库的格式发生变化，就要对数据处理模型的算法进行调整，不但增大了数据处理难度，而且，可能会频繁调整数据处理模型，数据处理效率较低。

发明内容

本发明提供一种数据处理方法和装置，用于解决现有的数据处理方法的处理效率低的技术问题。

一种数据处理方法，包括：

从目标数据库中获取初始数据；

根据预先配置的数据预处理模块，对所述初始数据进行格式转换，得到目标数据；

获取所述目标数据的目标元数据；

根据预设的数据处理数据库，获取与所述目标元数据相对应的目标数据处理类型，所述目标数据处理类型包括至少一个目标数据处理项目；其中，所述数据处理数据库包括至少两个元数据，以及与各元数据相对应的数据处理类型，各数据处理类型包括至少一个数据处理项目；

根据各目标数据处理项目生成与各目标数据处理项目相对应的数据处理程序；

执行各数据处理程序，对所述目标数据进行数据处理，得到与各目标数据处理项目相对应的数据处理结果。

优选地，所述从目标数据库中获取初始数据之前，所述数据处理方法还包括：

配置所述数据预处理模块。

优选地，所述配置所述数据预处理模块具体为：

获取所述目标数据库的数据库信息，并基于所述数据库信息确定所述目标数据库的数据库语言；

根据预设的关键词获取机制，获取所述目标数据的各个检索关键词；

根据所述数据库语言，构建与所述各个检索关键词相对应的数据采集语段；

将所有的数据采集语段进行封装，生成所述数据预处理模块。

优选地，所述根据各目标数据处理项目生成与各目标数据处理项目相对应的数据处理程序具体为：

获取与各目标数据处理项目相对应的初始数据处理程序文本；

将所述目标元数据写入各目标数据处理项目对应的初始数据处理程序文本中，得到与各目标数据处理项目相对应的数据处理程序。

优选地，所述初始数据处理程序文本为将对应的目标数据处理项目写入预先配置的通用SQL脚本中而得到的数据处理程序文本。

一种数据处理装置，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的数据处理方法。

本发明提供的数据处理方法的技术效果包括：

从目标数据库中获取到初始数据之后，根据预先配置的数据预处理模块，即调用数据预处理模块，对初始数据进行格式转换，得到目标数据，通过数据预处理模块对初始数据进行格式转换，能够保证数据格式符合要求，因此，通过数据预处理模块对初始数据进行预处理，然后进行后续的数据处理，从而解耦目标数据库与后续的数据处理模型，当目标数据库的数据格式发生变更时，只需调整对应的数据预处理模块，无需对后续的数据处理对应的整个数据处理模型的算法进行调整，不但降低了后续数据处理难度，而且，避免频繁调整数据处理模型，提升数据处理效率。而且，元数据为能够体现对应数据相关信息的数据，根据目标数据的目标元数据以及预设的数据处理数据库，确定目标元数据对应的目标数据处理类型，并确定目标数据处理类型所包括的各目标数据处理项目，那么，在对目标数据进行数据处理处理时，相同的元数据就会有相同的数据处理类型，即相同的数据处理项目，就无需针对每个数据均单独配置数据处理项目，实现了相同元数据下的数据处理类型的重复使用，即无需重复配置相同的数据处理类型，大幅度降低重复配置数据处理类型的工作量，进而大幅度提升数据处理效率；而且，根据各目标数据处理项目生成与各目标数据处理项目相对应的数据处理程序，进而执行各数据处理程序，对目标数据进行与各目标数据处理项目相对应的数据处理过程，得到与各目标数据处理项目相对应的数据处理结果，实现了可靠全面地数据处理，提升数据处理的准确性和可靠性。

附图说明

图1是本发明提供的一种数据处理方法的流程图。

具体实施方式

本实施例提供一种数据处理方法，该数据处理方法的硬件执行主体可以为电脑设备、服务器设备、智能移动终端等等。而且，该数据处理方法的硬件执行主体的应用场景不做限定，由实际需要进行设置。

如图1所示，该数据处理方法包括如下步骤：

步骤1：从目标数据库中获取初始数据：

从目标数据库中获取初始数据，其中，初始数据为数据格式转换之前的数据。初始数据经过数据预处理模块的格式转换之后，得到目标数据，即目标数据与初始数据之间除了格式不同之外，数据本身是相同的。目标数据库为初始数据(即待处理的数据)所处的数据库，由具体的应用场景决定。

由于后续需要根据预先配置的数据预处理模块对初始数据进行数据预处理，因此，本实施例中，在步骤1之前，数据处理方法还包括配置数据预处理模块的步骤。作为一个具体实施方式，以下给出配置数据预处理模块的一种具体实现过程：

获取目标数据库的数据库信息，并基于数据库信息确定目标数据库的数据库语言。其中，数据库信息可以包括目标数据库的数据库语言，那么，根据得到的目标数据库的数据库信息，就可以对数据库信息进行解析，获取数据库信息中用于标记数据库语言的相关字段，基于该字段内对应的参数值，得到目标数据库的数据库语言。或者，数据库信息不包含目标数据库的数据库语言，但包含数据库类型、版本编号等其他相关信息，那么，就可以根据数据库类型、版本编号等相关信息，得到数据库语言。

根据预设的关键词获取机制，获取目标数据的各个检索关键词。其中，关键词获取机制可以由实际需要或者由实际应用场景确定，比如：预设有一个关键词数据集合，根据该关键词数据集合确定目标数据中的各个检索关键词。或者，根据目标数据所包含的数据项确定各个检索关键词，比如：获取目标数据中属于各个数据项的词语，得到的各个词语为各检索关键词。

根据数据库语言，构建与各个检索关键词相对应的数据采集语段。作为一个具体实施方式，若目标数据库为基于MySQL语言搭建的数据库，则可以生成包含各检索关键词的SQL语句，从而可以通过SQL语句从目标数据库中获取与数据项相关的数据。

将所有的数据采集语段进行封装，生成数据预处理模块。进一步地，还可以将目标数据库的数据库语言与可能应用的所有数据格式之间的转换算法封装到数据预处理模块内，从而便于将获取到的初始数据进行数据格式转换。

步骤2：根据预先配置的数据预处理模块，对所述初始数据进行格式转换，得到目标数据：

数据预处理模块是一个软件模块，由对应的数据预处理程序构成。数据预处理模块的功能为对初始数据进行格式转换，转换成能够进行后续处理的统一格式。由于不同的数据库中的初始数据的格式不同，因此，需要将不同格式的初始数据进行格式转换，转换成统一的格式(即标准格式)。

数据预处理模块中设置有多种数据格式转换程序，比如包括：目前所有已知的数据格式与标准格式之间的数据格式转换程序。那么，数据预处理模块在进行格式转换时，根据目标数据库的初始数据的格式确定对应的数据格式转换程序，并根据确定得到的数据格式转换程序对初始数据进行格式转换，转换成标准格式的目标数据。

因此，当初始数据的格式发生变化时，就可以调整数据预处理模块中的数据格式转换程序，并根据确定得到的数据格式转换程序对初始数据进行格式转换，转换成标准格式的目标数据。

步骤3：获取所述目标数据的目标元数据：

获取目标数据的目标元数据。元数据(Metadata)，又称中介数据、中继数据，为描述数据的数据(data about data)，主要是描述数据属性(property)的信息。

步骤4：根据预设的数据处理数据库，获取与所述目标元数据相对应的目标数据处理类型，所述目标数据处理类型包括至少一个目标数据处理项目；其中，所述数据处理数据库包括至少两个元数据，以及与各元数据相对应的数据处理类型，各数据处理类型包括至少一个数据处理项目：

预设有数据处理数据库，该数据处理数据库包括至少两个元数据(元数据的个数由实际需要进行设置，本实施例中，可以囊括目前所知的所有元数据)，以及与各元数据相对应的数据处理类型，即包括各元数据与对应的数据处理类型之间的对应关系。对于任意一个数据处理类型而言，该数据处理类型包括至少一个数据处理项目。应当理解，数据处理类型所包含的数据处理项目的个数，以及各数据处理项目的具体内容均由具体的数据处理类型决定。那么，根据预设的数据处理数据库以及目标元数据，就可以获取与目标元数据相对应的目标数据处理类型，目标数据处理类型包括至少一个目标数据处理项目。

因此，具有相同元数据的多个数据而言，具有相同的数据处理类型，即具有相同的数据处理项目。

步骤5：根据各目标数据处理项目生成与各目标数据处理项目相对应的数据处理程序：

得到各目标数据处理项目之后，生成与各目标数据处理项目相对应的数据处理程序。数据处理程序为用于对目标数据进行数据处理的程序。以下给出数据处理程序的一种具体生成过程：

首先，获取与各目标数据处理项目相对应的初始数据处理程序文本，本实施例中，初始数据处理程序文本为将对应的目标数据处理项目写入预先配置的通用SQL脚本中而得到的数据处理程序文本。

然后，将目标元数据写入各目标数据处理项目的初始数据处理程序文本中，得到与各目标数据处理项目相对应的数据处理程序。

作为其他的实施方式，还可以采用其他的数据处理程序的生成过程，比如：预设有数据处理程序数据库，该数据处理程序数据库包括已知的所有数据处理项目，以及与各数据处理项目相对应的数据处理程序，那么，得到各目标数据处理项目之后，将各目标数据处理项目输入至数据处理程序数据库中，得到与各目标数据处理项目相对应的数据处理程序。

步骤6：执行各数据处理程序，对所述目标数据进行数据处理，得到与各目标数据处理项目相对应的数据处理结果：

得到各数据处理程序之后，执行各数据处理程序，对目标数据进行数据处理，得到与各目标数据处理项目相对应的数据处理结果。应当理解，每执行一个数据处理程序时，将目标数据进行与该数据处理程序相对应的数据处理，即将目标数据进行与该数据处理程序相对应的目标数据处理项目的数据处理，得到与该目标数据处理项目相对应的数据处理结果。

本实施例还提供一种数据处理装置，包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机程序，处理器执行计算机程序时实现上文中的数据处理方法，由于该方法在上文已给出了详细说明，不再赘述。