一种数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

随着大数据和人工智能的不断发展，对大数据的分析应用场景越来越多，通过对数据的分析，为生产提供决策支持。随着大数据相关技术的不断发展，不同类型的数据会存储在不同类别的数据库中，如非关系型数据库Elastic Search(ES)、关系型数据库管理系统MySQL、数据仓库平台HIVE等。这样，使得对数据进行查询、汇总应用时，需要根据不同的数据库来定制代码进行查询解析，对接的数据库较多，大大降低数据处理效率，耗费大量人力时间成本。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质。

根据本申请实施例的一个方面，提供了一种数据处理方法，包括：

接收来自于前端交互界面的数据查询请求，所述数据查询请求包括至少两个目标数据库的数据库标识及查询参数，所述至少两个目标数据库的数据库类型不同；

根据所述数据库标识确定各所述目标数据库的特征信息，基于所述特征信息接入所述目标数据库；

根据所述查询参数从各所述目标数据库中查询得到目标数据。

可选的，

所述根据各所述目标数据库的特征信息，接入各所述目标数据库，包括：

根据所述特征信息，生成对各所述目标数据库对应的接入参数；

通过所述接入参数接入所述目标数据库。

可选的，所述根据所述查询参数从各所述目标数据库中查询得到目标数据，包括：

获取所述目标数据库的数据库类型；

根据所述数据库类型确定所述目标数据库的数据存储方式；

根据所述数据存储方式，生成所述查询参数对应的数据查询脚本；

根据所述数据查询脚本在所述目标数据库中进行查询，得到所述目标数据。

可选的，所述方法还包括：

接收来自于所述前端交互界面的数据展示请求，所述数据展示请求包括展示样式脚本；

根据所述展示样式脚本生成所述目标数据对应的图表，并对所述图表进行展示。

可选的，所述数据展示请求还包括：展示数据范围和/或数据刷新频率；

所述根据所述展示样式脚本生成所述目标数据对应的图表，包括：

根据所述展示数据范围从所述目标数据中筛选待展示数据，和/或，根据所述数据刷新频率，周期性根据所述查询参数从所述目标数据库中查询目标数据，将每次查询得到的目标数据作为待展示数据；

根据所述展示样式脚本生成所述待展示数据对应的图表。

可选的，所述数据展示请求还包括：图表整体样式；

所述根据所述展示样式脚本生成所述目标数据对应的图表，还包括：

按照所述图表整体样式生成所述图表。

可选的，所述根据所述展示样式脚本生成所述目标数据对应的图表，包括：

接收来自于所述前端交互界面的数据转换请求，所述数据转换请求包括数据转换函数；

根据所述数据转换函数对所述目标数据进行格式转换，得到待展示数据；

根据所述展示样式脚本生成所述待展示数据对应的图表。

根据本申请实施例的另一个方面，提供了一种数据处理装置，包括：

接收模块，用于接收来自于前端交互界面的数据查询请求，所述数据查询请求包括至少两个目标数据库的数据库标识及查询参数，所述至少两个目标数据库的数据库类型不同；

接入模块，用于根据所述数据库标识确定各所述目标数据库的特征信息，基于所述特征信息接入所述目标数据库；

查询模块，用于根据所述查询参数从各所述目标数据库中查询得到目标数据。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的步骤。

根据本申请实施例的另一个方面，提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行计算机程序时，实现上述方法步骤。

根据本申请实施例的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

在确定所要查询的多个不同类型数据库后，数据处理平台即可根据各个数据库的数据库特征自动接入数据库，以在不同类型的数据库中进行数据查询统计等处理操作。这样，数据处理平台可以接入不同类型的数据库，用户通过平台统一的对外接口即可简单、快速、灵活地实现对多个数据库的数据查询操作，无需针对每个数据库来定制代码进行查询解析并到多个数据库操作数据，提高数据处理效率，节约人力时间成本。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理方法的流程图；

图2为本申请实施例提供的数据处理平台接入多类型数据库的示意图；

图3为本申请实施例提供的前端交互界面的示意图；

图4本申请另一实施例提供的一种数据处理方法的流程图；

图5为本申请另一实施例提供的前端交互界面的示意图；

图6为本申请另一实施例提供的前端交互界面的示意图；

图7为本申请另一实施例提供的前端交互界面的示意图；

图8为本实施例提供的展示图表的示意图；

图9本申请另一实施例提供的一种数据处理方法的流程图；

图10为本申请实施例提供的一种数据处理装置的框图；

图11为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例，提供一个数据处理平台，该平台可以接入多种不同类型的数据库，提供对多个不同类型数据的数据查询服务，用户无需针对每个数据库来定制代码进行查询解析，提高数据处理效率，节约人力时间成本。

下面首先对本发明实施例所提供的一种数据处理方法进行介绍。

本实施例的方法应用于接入不同类型数据库的数据处理平台。图1为本申请实施例提供的一种数据处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S11，接收来自于前端交互界面的数据查询请求，数据查询请求包括至少两个目标数据库的数据库标识及查询参数，至少两个目标数据库的数据库类型不同；

步骤S12，根据数据库标识确定各目标数据库的特征信息，基于特征信息接入目标数据库；

步骤S13，根据查询参数从各目标数据库中查询得到目标数据。

图2为本申请实施例提供的数据处理平台接入多类型数据库的示意图。如图2所示，由于不同应用场景下获取到的数据可能存储在不同类型的数据库中。例如，由于HIVE数据库存储离线数据，实效性差，但查询统计功能强大且比较灵活，因此，历史营销数据和历史业务数据等一般存储在HIVE数据库中。ES数据库一般是存储实时数据，时效性高，适合展示实时趋势的数据报表，因此，流量数据、审批数据、数字化数据、实时营销数据、实时业务数据等可以存储在ES数据库中。MySQL数据库实效性较好，查询灵活度较高，且能够保证事务一致性，因此，可采用MySQL数据库来存储权限数据。综上，本实施例的数据处理平台可以对接多种类型、存储不同数据的数据库。

图3为本申请实施例提供的前端交互界面的示意图。如图3所示，在数据处理平台的前端交互界面上，提供该数据处理平台已接入数据库，用户可通过下拉菜单选择数据处理所需的数据库，并在前端交互界上的sql脚本输入框中，输入数据查询语句，作为数据查询的查询参数。另外，数据处理平台还可提供与用户账户对应的历史查询参数或常用查询参数，供用户直接选择使用。上述步骤S11中，根据用户在前端交互界面上选择的目标数据库和输入的查询参数，生成数据查询请求，发送到数据处理平台的后端服务器上。

不同类型数据库，其接入方式也各不相同。上述步骤S12包括：

步骤A1，根据特征信息，生成对各所述目标数据库对应的接入参数；

步骤A2，通过接入参数接入目标数据库。

其中，目标数据库的特征信息，包括数据库类型及属性信息，如该数据库为ES、HIVE或MySQL等类型，数据库的属性信息包括数据库编码方式、接入地址、接入用户名和密码、数据库驱动等等。基于这些特征信息，使得数据处理平台可以接入目标数据库。

对于上述步骤S13，基于查询参数对目标数据库中的数据进行查询。可选的，由于不同类型数据库数据存储方式不同，因此，针对不同数据库，需要将查询参数转换为该数据库对应的查询脚本来进行查询。上述步骤S13包括：

步骤B1，获取所述目标数据库的数据库类型；

步骤B2，根据数据库类型确定目标数据库的数据存储方式；

步骤B3，根据数据存储方式，生成查询参数对应的数据查询脚本；

步骤B4，根据数据查询脚本在目标数据库中进行查询，得到目标数据。

例如，若查询参数以SQL脚本方式编写，则可直接使用该查询参数查询MySQL数据库中的数据；对于ES数据库，可以将SQL查询脚本的查询参数转换为领域特定语言(DomainSpecific Language，DSL)查询脚本，使用DSL查询脚本在ES数据库进行数据查询；对于HIVE数据库，则可以将SQL查询脚本转换为HIVE-SQL查询脚本，在HIVE数据库进行查询。

在上述步骤中，用户在前端交互页面上可以选择多个目标数据库，多个目标数据库类型可以不同，基于每个数据库的特征信息接入各数据库，并生成每个数据库所对应的查询脚本，在各个数据库中进行数据查询。

通过上述步骤S11至步骤S13，在确定所要查询的多个不同类型数据库后，数据处理平台即可根据各个数据库的数据库特征自动接入数据库，以在不同类型的数据库中进行数据查询统计等处理操作。这样，数据处理平台可以接入不同类型的数据库，用户通过平台统一的对外接口即可简单、快速、灵活地实现对多个数据库的数据查询操作，无需针对每个数据库来定制代码进行查询解析并到多个数据库操作数据，提高数据处理效率，节约人力时间成本。

在可选实施例中，用户也可在数据分析平台上新增接入的数据库，对于新增数据库，用户需要输入新增数据库的特征信息，如数据库类型、数据库编码方式、接入地址、接入用户名和密码等等，这样，数据处理平台，可根据特征信息接入该新增数据库。接入新增数据库后，用户即可在数据处理平台上针对新增数据库进行数据查询、展示等处理操作。

在另一可选实施例中，由于各数据库可能设有接入权限，数据处理平台可根据预先协商的权限获取方式，获取各数据库的接入权限。数据处理平台也可与各数据库设置数据传输密钥，通过数据传输密钥对传输数据进行加密传输。

在另一可选实施例中，数据处理平台可以根据预设的数据检查规则或预设数据格式，对来自于各数据库的数据进行数据清洗和数据格式转换，以便后续统计分析展示。

在另一可选实施例中，对于查询得到的目标数据，还可根据用户需求进行相应的报表展示。图4本申请另一实施例提供的一种数据处理方法的流程图。如图4示，该方法还包括以下步骤：

步骤S21，接收来自于前端交互界面的数据展示请求，数据展示请求包括展示样式脚本；

步骤S22，根据展示样式脚本生成目标数据对应的图表，并对图表进行展示。

图5为本申请另一实施例提供的前端交互界面的示意图，如图5所示，前端交互页面提供“页面布局”的界面，在该界面上，用户可以对数据展示样式进行选择、修改、删除等操作。例如，对于已有的数据展示样式，用户可以在其基础上新增行布局、新增块布局，也可以删除布局，或者对全局样式进行设定，并对修改后的数据展示样式进行保存。基于编辑得到的数据展示样式，可以得到展示样式脚本，在后续对目标数据进行展示时，生成目标数据对应的图标。

可选的，在前端交互界面上，也可由用户直接编写展示样式脚本。图6为本申请另一实施例提供的前端交互界面的示意图，如图6所示，通过html代码输入框61来编写展示样式脚本。

可选的，如图6所示，用户还可在前端交互界面的CSS样式输入框62中输入/选择样式名，可使用已有CSS样式对数据进行图表展示。

通过上述步骤S21和步骤S22，用户可以在前端交互界面上，根据自身需求设置数据展示样式脚本，从而根据展示样式脚本，对查询到的目标数据进行图表展示。这样，无需用户对多个数据库分别查询数据获得报表，再对所有报表进行汇总，可直接对不同数据库的查询结果进行报表展示，从而使得数据展示操作更加灵活、简单、快速，提高数据处理效率，节约人力时间成本。

在可选实施例中，用户还可通过设定参数控制数据动态展示，如采用开源工具ECharts(Enterprise Charts，商业级数据图表库)，来对图片展示样式进行设置。数据展示请求还包括：展示数据范围和/或数据刷新频率。上述步骤S22包括：

步骤C1，根据展示数据范围从目标数据中筛选待展示数据，和/或，根据数据刷新频率，周期性根据查询参数从目标数据库中查询目标数据，将每次查询得到的目标数据作为待展示数据；

步骤C2，根据展示样式脚本生成待展示数据对应的图表。

图7为本申请另一实施例提供的前端交互界面的示意图，如图7所示，通过展示数据范围，可以对查询得到的目标数据进行筛选，选择用户所需部分数据进行展示，如可以在“默认数据TOP条数”输入框71中，输入所需展示的数据条数，若输入7，则在所有目标数据中选择前7条数据进行展示。通过数据刷新频率，可以周期性更新目标数据，并更新展示图表，如可以在“实时刷新”输入框72中输入10(单位：秒)，则每隔10秒重新查询数据并根据重新查询得到的目标数据生成展示图表，即周期性对图表进行更新。

在另一可选实施例中，数据展示请求还包括：图表整体样式；上述步骤S22还包括：按照图表整体样式生成图表。

如图7所示，用户在前端交互界面上图表整体样式输入框73中，可以对图表的整体样式进行设置，如图表尺寸、背景颜色、线条颜色、线条粗细等等样式参数。例如，在图表整体样式输入框73中输入“width:100％；height:250px；”，表示图表宽度100％时，高度为250像素，即设置最终生成的图表尺寸为高度250像素，宽度为实际大小。

如图7所示，基于ECharts设置图表样式时，用户还可在图表代码输入框74中输入展示样式脚本，来设置展示图表。

通过上述多个可选实施例，可以对数据展示进行进一步设置，可以对待展示数据进行设置，也可对展示图表的样式进行进一步设置，从而使得最终的展示图表符合用户需求，且无需用户进行复杂的设置操作，提高数据展示效率，降低人力时间成本。

图8为本实施例提供的展示图表的示意图，如图8所示，基于图7中设置的展示数据范围、数据刷新频率、图表整体样式及展示样式脚本，生成营销费用的展示图表。

在可选实施例中，由于不同数据库中对同一类型数据的存储格式可能不同，且在进行数据展示时，数据存储格式与用户所需的数据展示格式也可能不同，因此，在数据分析平台中，还提供多种数据转换函数，对目标数据进行格式转换。

图9本申请另一实施例提供的一种数据处理方法的流程图。如图9示，上述步骤S22包括以下步骤：

步骤S31，接收来自于前端交互界面的数据转换请求，数据转换请求包括数据转换函数；

步骤S32，根据数据转换函数对目标数据进行格式转换，得到待展示数据；

步骤S33，根据展示样式脚本生成待展示数据对应的图表。

用户可以根据需要选择已有数据转换函数，或编辑所需的数据转换函数。通过数据转换函数将目标数据转换为用户需要的格式，以便后续进行图表展示。

例如，可通过日期数据转换函数对日期数据进行格式化。

日期类型