数据构建方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据构建方法、装置、电子设备及计算机可读存储介质。

背景技术

现有技术中，系统需要支持能够在大量业务数据情况下进行正常运作，因此在功能测试阶段，需提前模拟大量用户数据量及复杂的数据结构，并进行相关功能的验证及质量保障工作。如何基于一些常见的数据类型构建大量数据，成为亟需解决的问题。

发明内容

为了解决上述技术问题，本申请提供了一种数据构建方法、装置、电子设备及计算机可读存储介质。

第一方面，本申请提供了一种数据构建方法，所述方法包括：

基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；

根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；

通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；

对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；

通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在一实施方式中，所述主工程文件包括基础业务API，所述基于主工程文件确定业务逻辑，包括：

从多个业务方向中确定所述目标业务方向；

根据所述目标业务方向确定多个所述业务处理接口；

基于所述基础业务API编写多个所述业务处理接口的分发逻辑。

在一实施方式中，多个所述数据模型包括第一数据模型、第二数据模型及第三数据模型，其中，所述第一数据模型的数据量小于所述第二数据模型的数据量，且所述第三数据模型的数据量小于所述第三数据模型的数据量；

所述根据所述业务逻辑从多个数据模型中确定目标数据模型，包括：

确定所述业务逻辑对应的目标数据量；

从所述第一数据模型、所述第二数据模型及所述第三数据模型中确定与所述目标数据量匹配的所述目标数据模型。

在一实施方式中，所述通过py文件根据所述目标数据模型生成基础数据源，包括：

从所述业务逻辑对应的基础业务API中获取初始数据；

通过所述py文件根据所述初始数据及所述目标数据模型生成所述基础数据源。

在一实施方式中，所述对所述基础数据源的所述业务属性及其键值进行逻辑拆分，包括：

确定所述业务逻辑对应的目标py文件；

获取所述目标py文件中存储的拆分方式，按照所述拆分方式对所述基础数据源进行逻辑拆分。

在一实施方式中，所述通过所述py文件根据所述基础数据源及所述拆分结果构建数据集，包括：

根据所述业务逻辑的数据量及算法确定线程数量；

按照所述线程数量，分线程通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在一实施方式中，所述方法还包括：

在构建所述数据集时，输出插入信息；

设置休眠时间，在构建所述数据集过程中确定占用系统资源大于等于预设资源阈值的持续时间；

在所述持续时间大于等于预设时间阈值的情况下，暂停所述休眠时间。

第二方面，本申请提供了一种数据构建装置，所述装置包括：

第一确定模块，用于基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；

第二确定模块，用于根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；

生成模块，用于通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；

拆分模块，用于对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；

构建模块，用于通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

第三方面，本申请提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的数据构建方法。

第四方面，本申请提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的数据构建方法。

上述本申请提供的数据构建方法、装置、电子设备及计算机可读存储介质，基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；通过所述py文件根据所述基础数据源及所述拆分结果构建数据集，快速构建大量数据集，提高数据集的构建效率。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请提供的数据构建方法的一流程示意图；

图2示出了本申请提供的数据构建方法的另一流程示意图；

图3示出了本申请提供的数据构建方法的另一流程示意图；

图4示出了本申请提供的数据构建方法的另一流程示意图；

图5示出了本申请提供的数据构建方法的另一流程示意图；

图6示出了本申请提供的数据构建方法的另一流程示意图；

图7示出了本申请提供的数据构建装置的一结构示意图；

图8示出了本申请提供的电子设备的一结构示意图。

图标：700-数据构建装置，701-第一确定模块，702-第二确定模块，703-生成模块，704-拆分模块，705-构建模块，800-电子设备，801-收发机，802-处理器，803-存储器。

具体实施方式

下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。

实施例1

本申请提供了一种数据构建方法。

参见图1，数据构建方法包括步骤S101-S105，下面对各步骤进行说明。

步骤S101，基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑。

在本实施例中，主工程文件为Dataset-benchmark工程文件，该Dataset-benchmark工程文件非常灵活，涉及两个方向：1、自定义需要插入的数据量；2、根据其它业务数据模版，快速构建所需的业务数据结构并插入数据到系统中，该工程能够方便快捷的构造系统各项复杂的业务数据。Dataset-benchmark工程文件主要包括：confing(配置文件)、execute(执行文件集合)、logs(执行日志集合)、utils(基础应用方法)及requests(基础业务API)部分，其作用分别为：confing主要作用是环境、账号、密码、Team的相关配置；execute主要作用是具体的执行模块文件归类，logs主要作用是执行过程中，日志文件输出的存放路径集合；utils主要为执行脚本过程中，基本方法的存放路径脚本集合；requests主要作用是存放各种业务API代码，用于执行脚本过程中对调用。基于以上主工程文件及模块能力，编写对应业务逻辑，去分发处理不同接口之间的逻辑，为后期的灵活编写数据结构节约了大量时间。

在一实施方式中，所述主工程文件包括基础业务API，所述基于主工程文件确定业务逻辑，包括：

从多个业务方向中确定所述目标业务方向；

根据所述目标业务方向确定多个所述业务处理接口；

基于所述基础业务API编写多个所述业务处理接口的分发逻辑。

在本实施例中，基础业务API即为requests模块，基于以上主工程文件及模块能力，编写对应业务逻辑，去分发处理不同接口之间的逻辑。多个业务方向可以根据实际软件开发情况确定，例如，多个业务方向可以包括Project、TestCase、Wiki、Performance、plan、Pipelins、Product等，在此不做限制。在本实施例中的py文件为公用的模版，是在多个业务方向上构建的py业务模版。

步骤S102，根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配。

在本实施例中，可以根据小、中、大数据模型构建不同的数据结构，从而达到需要的数据量，为后期的灵活编写数据结构节约了大量时间。

在一实施方式中，多个所述数据模型包括第一数据模型、第二数据模型及第三数据模型，其中，所述第一数据模型的数据量小于所述第二数据模型的数据量，且所述第三数据模型的数据量小于所述第三数据模型的数据量。

参见图2，步骤S102包括：

步骤S1021，确定所述业务逻辑对应的目标数据量；

步骤S1022，从所述第一数据模型、所述第二数据模型及所述第三数据模型中确定与所述目标数据量匹配的所述目标数据模型。

在本实施例中，通过execute模块处理从各业务requests模块获取来的数据，进行结构化构建，最终创建的数据结构符合小、中、大数据模型定义的预期。示例性的，小、中、大数据模型分别对应第一数据模型、第二数据模型及第三数据模型。

步骤S103，通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值。

涉及到的业务主要有核心关键业务(例如，用户侧使用的高频场景及系统关键路径)，业务数据包括user、project、task、testcase、permission、page、space、hour、product等，通过py文件根据所述目标数据模型生成基础数据源。目标数据模型可以包含各个业务的数据结构，例如：系统中需要构建多少用户、需要构建多少部门或需要构建多少全局属性等等，其中，用户、部门可以理解为业务属性，用户的数量、部门的数量可以理解为键值。其中，基础数据源包括业务属性及其键值，例如，一个用户下创建多少个工作项目，或者能够看到多少个项目等，工作项目可以理解为业务属性，该工作项目的数量，可以理解为键值。

参见图3，步骤S103包括：

步骤S1031，从所述业务逻辑对应的基础业务API中获取初始数据；

步骤S1032，通过所述py文件根据所述初始数据及所述目标数据模型生成所述基础数据源。

补充说明的是，初始数据为基础业务API对应的配置数据。在本实施例中，可以基于业务方向构建所述py文件。其中，业务方向包括：Project、TestCase、Wiki、Performance、plan、Pipelins、Product等业务，在前述业务方向上，构建公用的py文件，py文件为公用的模版。py文件包括：新脚本业务构建定义、新脚本API接口预处理方式、新脚本API处理数据方式、新脚本创建数据的API调用、新脚本属性自定义、常规新建数据并发方法等。通过该py文件可以任意快速构建不同业务数据结构，从而达到适应业务测试要求，为业务性能优化方案提供了一定基础。

需要说明的是，python作为编码语言进行工具的编写工作；requests模块是python基于urllib，采用Apache2 Licensed开源协议的HTTP库；3threading模块中包含了关于线程操作的丰富功能，包括：常用线程函数，线程对象，锁对象，递归锁对象，事件对象，条件变量对象，信号量对象，定时器对象，栅栏对象。

步骤S104，对数据源进行逻辑拆分，得到拆分结果。

在本实施例中，对数据源做个性化逻辑拆分，拆分方式也会在execute模块的各业务线的.py文件中处理。例如，例如：一个用户下创建多少个工作项目，或者能够看到多少个项目。

参见图4，步骤S104包括：

步骤S1041，确定所述业务逻辑对应的目标py文件；

步骤S1042，获取所述目标py文件中存储的拆分方式，按照所述拆分方式对所述基础数据源进行逻辑拆分。

步骤S105，通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在本实施例中，在构建大量数据时，实时启动Thread多线程构建方案。通过构建大量数据集，可以模拟实际情况，发现更多大数据下的功能或性能问题。

参见图5，步骤S105包括：

步骤S1051，根据所述业务逻辑的数据量及算法确定线程数量；

步骤S1052，按照所述线程数量，分线程通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在同一类型的数据上(例如：所有项目中，需要构建相同数据的工作项)，如果数据量较大，则根据业务数据量及算法编排启动线程数量，以此将提升构建数据速率，例如：需要在每个project下，挂载大量的不同类型及数据量的task数据，则在构建处理代码逻辑时，不会将构建project作为启动多Thread的方案，而是在构建每个project完成后，再启动多Thread的方式，去构建大量的task，这样构建的目的将极大提升了插入数据的速率，从而提升效能；

参见图6，该方法还包括：

步骤S106，在构建所述数据集时，输出插入信息；

步骤S107，设置休眠时间，在构建所述数据集过程中确定占用系统资源大于等于预设资源阈值的持续时间；

步骤S108，在所述持续时间大于等于预设时间阈值的情况下，暂停所述休眠时间。

每次构建数据集的过程中，实时输出详细的插入信息，可以方便用户及时看到及目前插入数据的进度，以便更好的实时掌握剩余数据量及实效。此外，还对构建时系统的各项资源进行及时的监控，当构建数据集时间较久时，即持续时间大于等于预设时间阈值，设置好处理逻辑，即：设置休眠时间，以便系统CPU及Memory的释放，比如：在构建大量Task数据时，将会启动大量的线程去构建，那么将会对系统造成一个比较大的资源消耗，在运行一段时间后，让系统休眠一段时间，再继续构建数据集。

本实施例中，通过采用以上步骤，可以快速构建系统不同数据的数据模型，提供.py文件作为构建模版，快速构建不同数据类型的基础数据源，模拟系统实际情况，发现大数据下的更多功能问题及性能问题。

本实施例提供的数据构建方法，基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；通过所述py文件根据所述基础数据源及所述拆分结果构建数据集，快速构建大量数据集，提高数据集的构建效率。

实施例2

此外，本申请提供了一种数据构建装置。

具体的，如图7所示，数据构建装置700包括：

第一确定模块701，用于基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；

第二确定模块702，用于根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；

生成模块703，用于通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；

拆分模块704，用于对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；

构建模块705，用于通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在一实施方式中，所述主工程文件包括基础业务API，第一确定模块701，用于从多个业务方向中确定所述目标业务方向；

根据所述目标业务方向确定多个所述业务处理接口；

基于所述基础业务API编写多个所述业务处理接口的分发逻辑。

在一实施方式中，多个所述数据模型包括第一数据模型、第二数据模型及第三数据模型，其中，所述第一数据模型的数据量小于所述第二数据模型的数据量，且所述第三数据模型的数据量小于所述第三数据模型的数据量；

第二确定模块702，用于确定所述业务逻辑对应的目标数据量；

从所述第一数据模型、所述第二数据模型及所述第三数据模型中确定与所述目标数据量匹配的所述目标数据模型。

在一实施方式中，生成模块703，用于从所述业务逻辑对应的基础业务API中获取初始数据；

通过所述py文件根据所述初始数据及所述目标数据模型生成所述基础数据源。

在一实施方式中，拆分模块704，用于确定所述业务逻辑对应的目标py文件；

获取所述目标py文件中存储的拆分方式，按照所述拆分方式对所述基础数据源进行逻辑拆分。

在一实施方式中，构建模块705，用于根据所述业务逻辑的数据量及算法确定线程数量；

按照所述线程数量，分线程通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在一实施方式中，构建模块705，用于在构建所述数据集时，输出插入信息；

设置休眠时间，在构建所述数据集过程中确定占用系统资源大于等于预设资源阈值的持续时间；

在所述持续时间大于等于预设时间阈值的情况下，暂停所述休眠时间。

本实施例提供的数据构建装置700可以实现实施例1所提供的数据构建方法，为避免重复，在此不再赘述。

本实施例提供的数据构建装置，基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；通过所述py文件根据所述基础数据源及所述拆分结果构建数据集，快速构建大量数据集，提高数据集的构建效率。

实施例3

此外，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行实施例1所提供的数据构建方法。

具体的，参见图8，所述电子设备800包括：收发机801、总线接口及处理器802，所述处理器802，用于：基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；

根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；

通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；

对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；

通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在一实施方式中，所述处理器802还用于：从多个业务方向中确定所述目标业务方向；

根据所述目标业务方向确定多个所述业务处理接口；

基于所述基础业务API编写多个所述业务处理接口的分发逻辑。

在一实施方式中，多个所述数据模型包括第一数据模型、第二数据模型及第三数据模型，其中，所述第一数据模型的数据量小于所述第二数据模型的数据量，且所述第三数据模型的数据量小于所述第三数据模型的数据量；所述处理器802还用于：确定所述业务逻辑对应的目标数据量；

从所述第一数据模型、所述第二数据模型及所述第三数据模型中确定与所述目标数据量匹配的所述目标数据模型。

在一实施方式中，所述处理器802还用于：从所述业务逻辑对应的基础业务API中获取初始数据；

通过所述py文件根据所述初始数据及所述目标数据模型生成所述基础数据源。

在一实施方式中，所述处理器802还用于：确定所述业务逻辑对应的目标py文件；

获取所述目标py文件中存储的拆分方式，按照所述拆分方式对所述基础数据源进行逻辑拆分。

在一实施方式中，所述处理器802还用于：根据所述业务逻辑的数据量及算法确定线程数量；

按照所述线程数量，分线程通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在一实施方式中，所述处理器802还用于：在构建所述数据集时，输出插入信息；

设置休眠时间，在构建所述数据集过程中确定占用系统资源大于等于预设资源阈值的持续时间；

在所述持续时间大于等于预设时间阈值的情况下，暂停所述休眠时间。

在本发明实施例中，电子设备800还包括：存储器803。在图8中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器802代表的一个或多个处理器和存储器803代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机801可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器802负责管理总线架构和通常的处理，存储器803可以存储处理器802在执行操作时所使用的数据。

本发明实施例提供的电子设备800，可以执行上述方法实施例1所提供的数据构建方法的步骤，为避免重复，在此不再赘述。

本实施例提供的电子设备，基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；通过所述py文件根据所述基础数据源及所述拆分结果构建数据集，快速构建大量数据集，提高数据集的构建效率。

实施例4

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例1所提供的数据构建方法。

在本实施例中，所述计算机可读存储介质可以为非易失性存储介质，也可以为易失性存储介质。例如，计算机可读存储介质可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

在一实施方式中，所述计算机程序被处理器执行时实现以下步骤：

基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；

根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；

通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；

对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；

通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在一实施方式中，所述主工程文件包括基础业务API，所述计算机程序被处理器执行时实现以下步骤：

基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；

根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；

通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；

对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；

通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在一实施方式中，多个所述数据模型包括第一数据模型、第二数据模型及第三数据模型，其中，所述第一数据模型的数据量小于所述第二数据模型的数据量，且所述第三数据模型的数据量小于所述第三数据模型的数据量；

所述计算机程序被处理器执行时实现以下步骤：

确定所述业务逻辑对应的目标数据量；

从所述第一数据模型、所述第二数据模型及所述第三数据模型中确定与所述目标数据量匹配的所述目标数据模型。

在一实施方式中，所述计算机程序被处理器执行时实现以下步骤：

从所述业务逻辑对应的基础业务API中获取初始数据；

通过所述py文件根据所述初始数据及所述目标数据模型生成所述基础数据源。

在一实施方式中，所述计算机程序被处理器执行时实现以下步骤：

确定所述业务逻辑对应的目标py文件；

获取所述目标py文件中存储的拆分方式，按照所述拆分方式对所述基础数据源进行逻辑拆分。

在一实施方式中，所述计算机程序被处理器执行时实现以下步骤：

根据所述业务逻辑的数据量及算法确定线程数量；

按照所述线程数量，分线程通过所述py文件根据所述基础数据源及所述拆分结果构建数据集。

在一实施方式中，所述计算机程序被处理器执行时实现以下步骤：

在构建所述数据集时，输出插入信息；

设置休眠时间，在构建所述数据集过程中确定占用系统资源大于等于预设资源阈值的持续时间；

在所述持续时间大于等于预设时间阈值的情况下，暂停所述休眠时间。

本实施例提供的计算机可读存储介质可以实现实施例1所提供的数据构建方法，为避免重复，在此不再赘述。

本实施例提供的计算机可读存储介质，基于主工程文件确定业务逻辑，所述业务逻辑为针对目标业务方向的多个业务处理接口之间的逻辑；根据所述业务逻辑从多个数据模型中确定目标数据模型，所述目标数据模型的数据量与所述业务逻辑的数据量相匹配；通过py文件根据所述目标数据模型生成基础数据源，所述基础数据源包括业务属性及其键值；对所述基础数据源的所述业务属性及其键值进行逻辑拆分，得到拆分结果；通过所述py文件根据所述基础数据源及所述拆分结果构建数据集，快速构建大量数据集，提高数据集的构建效率。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。