数据处理方法、装置、电子设备及计算机介质

技术领域

本公开属于数据库技术领域，尤其涉及一种数据处理方法、装置、电子设备及计算机介质。

背景技术

结构化查询语言(Structured Query Language)简称SQL，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。SQL式数据分析逻辑执行系统是一种基于SQL语言的数据分析系统，主要功能是执行和管理SQL查询语句以进行数据分析。相关技术中，SQL式数据分析逻辑执行系统，仅支持查询语句，而无法进行更为广泛的数据处理和分析，导致数据处理和分析效率较低。

发明内容

本公开实施例提供一种与相关技术不同的实现方案，以解决相关技术中数据处理和分析效率较低的技术问题。

第一方面，本公开提供一种数据处理方法，包括：

获取用户上传的待处理业务数据；

将所述待处理业务数据添加至预设元数据表中，得到目标元数据表；

基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果，所述第一脚本信息中至少包括用于以下至少一种操作的第一SQL语句：更新数据、新增数据、删除数据、创建数据库表，所述分析结果用于提供目标业务所需的目标业务数据。

第二方面，本公开提供一种数据处理装置，包括：

获取单元，用于获取用户上传的待处理业务数据；

添加单元，用于将所述待处理业务数据添加至预设元数据表中，得到目标元数据表；

处理单元，用于基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果，所述第一脚本信息中至少包括用于以下至少一种操作的第一SQL语句：更新数据、新增数据、删除数据、创建数据库表，所述分析结果用于提供目标业务所需的目标业务数据。

第三方面，本公开提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面、第一方面各可能的实施方式中的任一方法。

第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面、第一方面各可能的实施方式中的任一方法。

本公开提供的获取用户上传的待处理业务数据；将所述待处理业务数据添加至预设元数据表中，得到目标元数据表；基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果，所述第一脚本信息中至少包括用于以下至少一种操作的第一SQL语句：更新数据、新增数据、删除数据、创建数据库表，所述分析结果用于提供目标业务所需的目标业务数据的方案，可利用第一SQL语句对目标元数据表中的待处理业务数据进行更新、新增、删除、创建数据库表等操作，从而对待处理业务数据进行较广泛的加工和处理方式，以提高数据处理的分析效率。

附图说明

为了更清楚地说明本公开实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本公开一示例性实施例提供的一种数据处理方法的流程示意图；

图2为本公开一示例性实施例提供的一种数据处理方法的流程示意图；

图3为本公开一示例性实施例提供的数据处理装置的结构示意图；

图4为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

本公开实施例的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，下面对本公开实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

MySQL是一种开源的关系型数据库管理系统，用于管理和存储数据。

Creenplum数据库，简称GP数据库，是一个关系型数据库集群,是由数个独立的数据库服务组合成的逻辑数据库。

SQLite，是一个轻量级的嵌入式关系型数据库管理系统，它以C语言编写，是一个服务器无关的无配置数据库引擎。

H2数据库是一个用Java编写的嵌入式关系型数据库管理系统，它以纯Java代码实现，适用于轻量级应用程序和嵌入式系统。

应用程序接口(英语：Application Programming Interface，简称：API)，又称为应用编程接口，是软件系统不同组成部分衔接的约定。

结构化查询语言(Structured Query Language)简称SQL，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。SQL式数据分析逻辑执行系统是一种基于SQL语言的数据分析系统，主要功能是执行和管理SQL查询语句以进行数据分析。相关技术中，SQL式数据分析逻辑执行系统，仅支持查询语句，而无法进行更为广泛的数据处理和分析，导致数据处理和分析效率较低。因此，本公开提供了一种数据处理方法、装置、电子设备及计算机介质，用于解决相关技术中数据处理及分析效率较低的技术问题。

下面以具体的实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本公开的实施例进行描述。

图1为本公开一示例性实施例提供的一种数据处理方法的流程示意图，该方法可以适用于终端设备(如手机、笔记本电脑、平板电脑等)，该方法至少包括以下步骤S11-S13：

S11、获取用户上传的待处理业务数据；

在一些实施例中，上述终端设备中可以用于显示图形用户界面，以通过图形用户界面与用户进行交互，例如用户通过终端设备下载安装相应的客户端并运行。例如，所述客户端可以为SQL执行系统。

在一些实施例中，所述待处理业务数据可以为用户的账单数据，例如，用户可以通过上传账单数据以提升自身的信用值。其中，用户的信用值可以指根据用户的个人信息、历史行为、信用记录等方面的数据来评估用户的信用状况的一个数值化指标。信用值可以是由金融机构、征信机构或其他相关机构使用专门的信用评估模型或算法计算得出的，用于判断用户在金融交易、借贷、租赁等方面的信用可靠性和风险程度，以辅助金融机构或其他企业做出与用户相关的决策，如授信额度、贷款利率、保险费率等。

S12、将所述待处理业务数据添加至预设元数据表中，得到目标元数据表；

在一些实施例中，预设元数据表可以用于存储关于数据库中其他表、列、索引、视图等对象的描述信息。具体地，预设元数据表可以用于存储所述待处理业务数据。

在本公开提供的一些可选的实施例中，在S12中，将所述待处理业务数据添加至预设元数据表中，得到目标元数据表，包括S121-S122：

S121、基于所述待处理业务数据，确定所述待处理业务数据对应的第二SQL语句；

在本公开提供的一些可选的实施例中，在S121中，基于所述待处理业务数据，确定所述待处理业务数据对应的第二SQL语句，包括：

将所述待处理业务数据输入预设模型，得到所述预设模型输出的所述待处理业务数据对应的第二SQL语句，其中，所述预设模型用于将输入的待处理业务数据转换成预设格式的数据库语句。

S122、执行所述第二SQL语句，以将所述待处理业务数据添加至预设元数据表中，得到目标元数据表。

在一些实施例中，所述预设模型可以包括基于业务维度预先定制的数据格式化代码，所述第二SQL语句可以具体为INSERT语句。INSERT语句是一种用于将新的行(记录)插入数据库表中的SQL语句，用于向数据库表中添加新数据，并通过指定要插入的列以及相应的数据值来定义新行。

该方案中，通过调用基于业务维度预先定制的数据格式化代码，可以实现将待处理业务数据到SQL语句的转化，得到INSERT语句并执行，从而将待处理业务数据添加至预设元数据表中，得到目标元数据表，可以保证数据的规范性，以及有效地管理和维护数据，便于后续对待处理数据进行分析。

S13、基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果，所述第一脚本信息中至少包括用于以下至少一种操作的第一SQL语句：更新数据、新增数据、删除数据、创建数据库表，所述分析结果用于提供目标业务所需的目标业务数据。

在一些实施例中，第一脚本信息可以为相关编程人员预先配置的。

在一些实施例中，所述分析结果可以包括所述目标业务所需的目标业务数据。

在本公开提供的一些可选的实施例中，在S13中，基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果，包括S131-S132：

S131、获取所述第一脚本信息中包括的第一SQL语句；

S132、针对所述目标元数据表，逐条执行所述第一脚本信息中包括的第一SQL语句，得到所述待处理业务数据对应的分析结果。

在一些实施例中，所述第一脚本信息中可以包括至少一个第一SQL语句，用于对所述目标数据元数据表中的待处理数据进行分析和加工。

在本公开提供的一些可选的实施例中，在S13中，基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果，包括：

基于第一脚本信息，利用目标执行引擎对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果。

在本公开提供的一些可选的实施例中，所述目标执行引擎为用户确定的，所述方法还包括：

获取所述用户确定的目标执行引擎信息，所述目标执行引擎信息用于唯一标识目标执行引擎，所述目标执行引擎用于对所述待处理业务数据进行分析。

在一些实施例中，可以通过嵌入式数据库的API对所述目标执行引擎进行初始化。利用嵌入式数据库，可以对待处理业务数据进行实时分析和处理。

在一些实施例中，所述目标执行引擎可以包含于多个执行引擎中，所述多个执行引擎可以支持MySQL数据库、GP数据库、SQLite、H2数据库等多种数据库语法。用户可以根据实际情况在多个执行引擎中确定出合适的目标执行引擎，而无需使用固定的数据库语法，避免了数据库语法差异，无需进行数据库语法的转换，节省了时间，减少了数据处理量，有效提高了数据处理的灵活性以及数据处理和分析效率。

在本公开提供的一些可选的实施例中，所述方法还包括S21-S22：

S21、获取目标业务所需的目标业务数据信息，所述目标业务数据信息用于唯一标识对应的目标业务数据；

S22、基于所述目标业务数据信息，自所述分析结果中获取所述目标业务数据信息对应的目标业务数据。

在一些实施例中，所述目标业务可以为上述客户端提供的业务，例如可以为线上风控决策业务，线上风控决策业务可以指在线或数字化环境中，通过采用各种数据和算法技术，对涉及金融、交易、用户行为等方面的业务进行风险评估和决策制定的一种业务流程，主要目标是识别、评估和管理潜在的风险，以确保业务的安全性、可靠性和合规性。

在一些实施例中，当目标业务为线上风控决策业务时，目标业务所需的目标业务数据信息可以包括用户的账单数据对应的标识信息，对应的目标业务数据即用户的账单数据。

在本公开提供的一些可选的实施例中，所述分析结果存储于所述第一脚本信息对应的业务数据表中，所述业务数据表可以为临时的数据表。

在本公开提供的一些可选的实施例中，在S22中，基于所述目标业务数据信息，自所述分析结果中获取所述目标业务数据信息对应的目标业务数据，包括S221-S222：

S221、基于所述目标业务数据信息确定第二脚本信息，所述第二脚本信息中包括用于进行查询数据的第三SQL语句；

在一些实施例中，在S221中，基于所述目标业务数据信息确定第二脚本信息，包括：

获取初始查询语句；

对所述初始查询语句和所述目标业务数据信息进行拼接处理，得到用于进行查询数据的第三SQL语句，进而得到第二脚本信息。

其中，相关编程人员可以预先配置初始查询语句，初始查询语句中可以不包括具体的数据表的标识，进而与目标业务数据信息拼接生成第三SQL语句，即得到最终的用于查询目标业务数据信息对应的目标业务数据的SQL语句，提高了代码的可维护性，以及提高查询到的数据的准确性。

S222、针对所述业务数据表，执行所述第三SQL语句，以自所述分析结果中获取所述目标业务数据信息对应的目标业务数据。

通过执行第三SQL语句，从上述业务数据表查询目标业务数据信息对应的目标业务数据，进而可以将目标业务数据作为数据点在目标业务数据对应的目标业务中使用。

本公开提供的获取用户上传的待处理业务数据；将所述待处理业务数据添加至预设元数据表中，得到目标元数据表；基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果，所述第一脚本信息中至少包括用于以下至少一种操作的第一SQL语句：更新数据、新增数据、删除数据、创建数据库表，所述分析结果用于提供目标业务所需的目标业务数据的方案，可利用第一SQL语句对目标元数据表中的待处理业务数据进行更新、新增、删除、创建数据库表等操作，从而对待处理业务数据进行较广泛的加工和处理方式，以提高数据处理的分析效率。

以下结合具体场景对上述方案进行进一步说明，图2为本公开一示例性实施例提供的一种数据处理方法的流程示意图，如图2所示，用户可以上传自身账单数据用于增信，客户端设备获取用户上传的待处理业务数据(即账单数据)以及获取用户在MySQL数据库、GP数据库、SQLite、H2数据库等多种数据库语法对应的多个执行引擎信息中确定的目标执行引擎信息，并利用预设模型包括的预先定制的数据格式化代码进行业务维度个性化处理，得到INSERT语句；进而执行INSERT语句，以将待处理业务数据添加至预设元数据表中，得到目标元数据表；针对目标元数据表，逐条执行预先配置的第一SQL语句，得到待处理业务数据对应的分析结果，并将分析结果存储至临时的数据表中，执行预先配置的第三SQL语句，以自分析结果中获取目标业务数据信息对应的目标业务数据，可以将目标业务数据作为数据点在目标业务数据对应的目标业务中使用。

图3为本公开一示例性实施例提供的一种数据处理装置的结构示意图；

其中，该装置包括：

获取单元31，用于获取用户上传的待处理业务数据；

添加单元32，用于将所述待处理业务数据添加至预设元数据表中，得到目标元数据表；

处理单元33，用于基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果，所述第一脚本信息中至少包括用于以下至少一种操作的第一SQL语句：更新数据、新增数据、删除数据、创建数据库表，所述分析结果用于提供目标业务所需的目标业务数据。

在本公开提供的一些可选的实施例中，添加单元32，在用于将所述待处理业务数据添加至预设元数据表中，得到目标元数据表时，具体用于：

基于所述待处理业务数据，确定所述待处理业务数据对应的第二SQL语句，所述第二SQL语句用于插入数据；

执行所述第二SQL语句，以将所述待处理业务数据添加至预设元数据表中，得到目标元数据表。

在本公开提供的一些可选的实施例中，添加单元32，在用于基于所述待处理业务数据，确定所述待处理业务数据对应的第二SQL语句时，具体用于：

将所述待处理业务数据输入预设模型，得到所述预设模型输出的所述待处理业务数据对应的第二SQL语句，其中，所述预设模型用于将输入的待处理业务数据转换成预设格式的数据库语句。

在本公开提供的一些可选的实施例中，处理单元33，在用于基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果时，具体用于：获取所述第一脚本信息中包括的第一SQL语句；

针对所述目标元数据表，逐条执行所述第一脚本信息中包括的第一SQL语句，得到所述待处理业务数据对应的分析结果。

在本公开提供的一些可选的实施例中，所述装置还用于：

获取所述用户确定的目标执行引擎信息，所述目标执行引擎信息用于唯一标识目标执行引擎，所述目标执行引擎用于对所述待处理业务数据进行分析；

在本公开提供的一些可选的实施例中，处理单元33，在用于基于第一脚本信息，对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果时，具体用于：

基于第一脚本信息，利用所述目标执行引擎对所述目标元数据表进行分析处理，得到所述待处理业务数据对应的分析结果。

在本公开提供的一些可选的实施例中，所述装置还用于：

获取目标业务所需的目标业务数据信息，所述目标业务数据信息用于唯一标识对应的目标业务数据；

基于所述目标业务数据信息，自所述分析结果中获取所述目标业务数据信息对应的目标业务数据。

在本公开提供的一些可选的实施例中，所述分析结果存储于所述第一脚本信息对应的业务数据表中，所述装置在用于基于所述目标业务数据信息，自所述分析结果中获取所述目标业务数据信息对应的目标业务数据时，具体用于：

基于所述目标业务数据信息确定第二脚本信息，所述第二脚本信息中包括用于进行查询数据的第三SQL语句；

针对所述业务数据表，执行所述第三SQL语句，以自所述分析结果中获取所述目标业务数据信息对应的目标业务数据。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，该装置可以执行上述方法实施例，并且该装置中的各个模块的前述和其它操作和/或功能分别为了上述方法实施例中的各个方法中的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本公开实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本公开实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本公开实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图4是本公开实施例提供的电子设备的示意性框图，该电子设备可包括：

存储器701和处理器702，该存储器701用于存储计算机程序，并将该程序代码传输给该处理器702。换言之，该处理器702可以从存储器701中调用并运行计算机程序，以实现本公开实施例中的方法。

例如，该处理器702可用于根据该计算机程序中的指令执行上述方法实施例。

在本公开的一些实施例中，该处理器702可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本公开的一些实施例中，该存储器701包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本公开的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器701中，并由该处理器702执行，以完成本公开提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。

如图4所示，该电子设备还可包括：

收发器703，该收发器703可连接至该处理器702或存储器701。

其中，处理器702可以控制该收发器703与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器703可以包括发射机和接收机。收发器703还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本公开还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本公开实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本公开实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以该权利要求的保护范围为准。