一种数据导出方法及装置

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种数据导出方法及装置。

背景技术

随着计算机网络的迅速发展，用户可以通过网络访问远端服务器的数据，并将数据以文件形式导出。现有的数据导出方法，通常先根据导出请求获取对应的待导出数据，并根据待导出数据生成数据文件，然后将数据文件存储至中间服务器中；最后，客户端再从中间服务器中下载该完整文件。然而，在实践中发现，现有的数据导出方法中，当用户发送导出请求之后，在数据导出过程中系统如果发生异常，则导出任务可能会异常退出，用户最终收不到导出数据。可见，现有的数据导出方法可靠性差，进而导致数据导出效率低。

发明内容

本申请实施例的目的在于提供一种数据导出方法及装置，能够快速进行数据导出操作，可靠性好，有利于提升数据导出效率，进而提升用户体验。

本申请实施例第一方面提供了一种数据导出方法，包括：

在监听到预设任务同步消息系统发生数据变更时，根据所述数据变更获取目标用户的新增导出任务信息；

根据所述新增导出任务信息获取数据查询条件和用户信息；

根据所述数据查询条件和所述用户信息获取待导出文件；

将所述待导出文件对应的文件存储地址发送至所述目标用户的通信地址，以使所述目标用户通过所述文件存储地址获取所述待导出文件。

在上述实现过程中，在监听到预设任务同步消息系统发生数据变更时，根据所述数据变更获取目标用户的新增导出任务信息；然后根据所述新增导出任务信息获取数据查询条件和用户信息；再根据所述数据查询条件和所述用户信息获取待导出文件；最后，将所述待导出文件对应的文件存储地址发送至所述目标用户的通信地址，进而，目标用户能够通过该所述文件存储地址获取所述待导出文件，能够快速进行数据导出操作，可靠性好，有利于提升数据导出效率，进而提升用户体验。

进一步地，所述方法还包括：

在接收到目标用户输入的数据导出请求时，根据所述数据导出请求获取所述目标用户的数据查询条件和所述目标用户的用户信息；

根据所述数据查询条件和所述用户信息生成目标导出任务；

将所述目标导出任务存储至预设数据库中，并同步所述目标导出任务至预设任务同步消息系统，以使所述预设任务同步消息系统发生数据变更，并执行所述的根据所述数据变更获取所述目标用户的新增导出任务信息。

在上述实现过程中，在收到目标用户的数据导出请求之后，根据数据查询条件及用户信息生成目标导出任务，并能够将目标导出任务存储至预设数据库中，目标导出任务不会丢失，导出操作可靠性高。

进一步地，所述根据所述数据查询条件和所述用户信息获取待导出文件，包括：

获取与所述数据查询条件和所述用户信息相匹配的目标数据；

根据所述目标数据生成待导出文件，并将所述待导出文件存储到预设的存储服务器中。

在上述实现过程中，先根据数据查询条件和用户信息查询相匹配的目标数据，然后再根据目标数据生成待导出文件，并将该待导出文件存储到预设的存储服务器中，便于目标用户后续下载获取。

进一步地，所述将所述待导出文件对应的文件存储地址发送至所述目标用户的通信地址，包括：

获取所述待导出文件在所述存储服务器中的文件存储地址；

将所述文件存储地址发送至所述目标用户的通信地址。

在上述实现过程中，在数据导出时，将待导出文件的文件存储地址发送至目标用户的通信地址，而不是直接发送待导出文件，能够避免由于待导出文件过大导致文件发送时间长、文件发送失败等问题的出现，进而提升数据导出的稳定性，同时也缩短了数据导出请求的响应时长。

进一步地，在将所述待导出文件对应的文件存储地址发送至所述目标用户的通信地址之后，还包括：

根据预设时间间隔获取所述预设数据库中的所有导出任务；

根据所述所有导出任务生成导出任务报告。

在上述实现过程中，根据预设时间间隔生成导出任务报告，能够展示导出任务的相关数据信息，便于数据管理员管理和维护。

本申请实施例第二方面提供了一种数据导出装置，所述数据导出装置包括：

第一获取单元，用于在监听到预设任务同步消息系统发生数据变更时，根据所述数据变更获取目标用户的新增导出任务信息；

第二获取单元，用于根据所述新增导出任务信息获取数据查询条件和用户信息；

第三获取单元，用于根据所述数据查询条件和所述用户信息获取待导出文件；

发送单元，用于将所述待导出文件对应的文件存储地址发送至所述目标用户的通信地址，以使所述目标用户通过所述文件存储地址获取所述待导出文件。

在上述实现过程中，第一获取单元在监听到预设任务同步消息系统发生数据变更时，根据所述数据变更获取目标用户的新增导出任务信息；然后第二获取单元根据所述新增导出任务信息获取数据查询条件和用户信息；第三获取单元再根据所述数据查询条件和所述用户信息获取待导出文件；最后，发送单元将所述待导出文件对应的文件存储地址发送至所述目标用户的通信地址，进而目标用户能够通过该所述文件存储地址获取所述待导出文件，能够快速进行数据导出操作，可靠性好，有利于提升数据导出效率，进而提升用户体验。

进一步地，所述数据导出装置还包括：

第四获取单元，用于在接收到目标用户输入的数据导出请求时，根据所述数据导出请求获取所述目标用户的数据查询条件和所述目标用户的用户信息；

生成单元，用于根据所述数据查询条件和所述用户信息生成目标导出任务；

存储单元，用于将所述目标导出任务存储至预设数据库中；

同步单元，用于同步所述目标导出任务至预设任务同步消息系统，以使所述预设任务同步消息系统发生数据变更，并触发所述第一获取单元根据所述数据变更获取所述目标用户的新增导出任务信息。

在上述实现过程中，在收到目标用户的数据导出请求之后，生成单元能够根据数据查询条件及用户信息生成目标导出任务，然后存储单元再将目标导出任务存储至预设数据库中，目标导出任务不会丢失，导出操作可靠性高。

进一步地，所述第二获取单元包括：

获取子单元，用于获取与所述数据查询条件和所述用户信息相匹配的目标数据；

生成子单元，用于根据所述目标数据生成待导出文件；

存储子单元，用于将所述待导出文件存储到预设的存储服务器中。

在上述实现过程中，获取子单元先根据数据查询条件和用户信息查询相匹配的目标数据，然后生成子单元再根据目标数据生成待导出文件，最后存储子单元将该待导出文件存储到预设的存储服务器中，便于目标用户后续下载获取。

本申请实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例第一方面中任一项所述的数据导出方法。

本申请实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例第一方面中任一项所述的数据导出方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种数据导出方法的流程示意图；

图2为本申请实施例提供的另一种数据导出方法的流程示意图；

图3为本申请实施例提供的一种数据导出装置的结构示意图；

图4为本申请实施例提供的另一种数据导出装置的结构示意图；

图5为本申请实施例提供的一种数据导出系统的系统架构示意图。

图示：500-客户端，600-服务器，700-数据库，800-邮件系统，900-消息系统。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参看图1，图1为本申请实施例提供了一种数据导出方法的流程示意图。其中，该数据导出方法包括：

S101、在监听到预设任务同步消息系统发生数据变更时，根据数据变更获取目标用户的新增导出任务信息。

本申请实施例中，该方法的应用于数据导出场景中，具体应用于用户查询数据的导出场景，对此本申请实施例不作限定。

本申请实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。

在本申请实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。

本申请实施例中，预设任务同步消息系统具体可以为KAFKA消息系统，对此本申请实施例不作限定。

本申请实施例中，KAFKA消息系统是一个分布式消息系统，使用Scala语言进行编写，具有高水平扩展以及高吞吐量特性。能够通过分片增加并行度，通过副本增加可靠性。其中，Scala语言是一种多范式的编程语言，类似于java的编程语言，具有语言可伸缩，集成面向对象编程和函数式编程的各种特性。

本申请实施例中，在实际使用中，设本方法的执行主体为服务器，当一目标用户需要导出数据时，则可以通过客户端发送数据导出请求至服务器，然后服务器在接收到数据导出请求时，根据数据导出请求获取相应的数据查询条件和用户信息，并根据数据查询条件和用户信息生成数据导出表，将该数据导出表进行存储，同时将该数据导出表同步至该预设任务同步消息系统中，此时，服务器可以检测到预设任务同步消息系统发生数据变更，则可确定为接收到目标用户输入的数据导出请求。

本申请实施例中，当预设任务同步消息系统发生数据变更时，表示需要进行数据导出操作，则可以根据该数据变更获取对应的新增导出任务信息。

S102、根据新增导出任务信息获取数据查询条件和用户信息。

本申请实施例中，预设任务同步消息系统的数据变更包括新增导出任务信息，该新增导出任务信息包括数据查询条件和用户信息等，对此本申请实施例不作限定。

S103、根据数据查询条件和用户信息获取待导出文件。

本申请实施例中，可以根据数据查询条件和用户信息从预先配置的数据库中查询满足条件的数据，进而得到待导出文件。

本申请实施例中，预先配置的数据库具体可以为MYSQL数据库、数据存储装置等，对此本申请实施例不作限定。

S104、将待导出文件对应的文件存储地址发送至目标用户的通信地址，以使目标用户通过文件存储地址获取待导出文件。

本申请实施例中，该通信地址具体可以为IP地址、邮件收件地址、短信收信地址、社交账号等，对此本申请实施例不作限定。

本申请实施例中，文件存储地址可以以网络链接(如数据下载链接)等形式发送给目标用户，然后目标用户可以通过网络链接获取相应的待导出文件。

当然，文件存储地址还可以由二维码、条形码等形式发送给目标用户，对此不做任何限定。

作为一种可选的实施方式，可以通过邮件服务将待导出文件的文件存储地址发送到目标用户的用户邮箱，然后目标用户可以通过文件存储地址获取该待导出文件。

可见，实施图1所描述的数据导出方法，能够快速进行数据导出操作，可靠性好，有利于提升数据导出效率，进而提升用户体验。

请参看图2，图2为本申请实施例提供的另一种数据导出方法的流程示意图。如图2所示，其中，该数据导出方法包括：

S201、在接收到目标用户输入的数据导出请求时，根据数据导出请求获取目标用户的数据查询条件和目标用户的用户信息。

作为一种可选的实施方式，目标用户可以通过客户端发送数据导出请求。

作为一种可选的实施方式，目标用户使用的客户端具体可以运行于智能手机、平板电脑、可穿戴设备、计算机等智能设备。

S202、根据数据查询条件和用户信息生成目标导出任务。

作为一种可选的实施方式，在收到目标用户的数据导出请求之后，可以根据数据查询条件及用户信息生成目标导出任务，并将目标导出任务存储在MYSQL数据库中的导出任务表中。

在上述实施方式中，将目标导出任务存入MYSQL数据库之后，目标导出任务不会丢失，导出操作可靠性高。

需要说明的是，目标导出任务和导出任务信息的格式和所含内容可以相同，也可以不同，例如导出任务信息中包括目标导出任务以及其他属性信息，例如目标导出任务的预计导出时间、文件大小、以及导出地址等，对此不做赘述。

作为一种可选的实施方式，在得到将目标导出任务之后，可以将导出任务表中目标导出任务对应的任务状态标记为未完成状态，便于管理人员对目标导出任务进行管理和维护。

S203、将目标导出任务存储至预设数据库中，并同步目标导出任务至预设任务同步消息系统，以使预设任务同步消息系统发生数据变更，并执行步骤S204。

作为一种可选的实施方式，当预设任务同步消息系统为KAFKA消息系统时，可以通过其他中间件系统实时同步目标导出任务的信息到KAFKA消息系统，并监听KAFKA消息系统的数据变更。

作为一种可选的实施方式，当同一时间有多个目标用户同时发送数据导出请求时，则可以同时根据每个数据导出请求中的数据查询条件和用户信息生成对应的目标导出任务，进一步地，还可以同时将目标导出任务存储到MYSQL数据库中的导出任务表中，然后，在同步数据到KAFKA消息系统时，可以仅同步该导出任务表，进而实现一键同步多个目标导出任务，有利于减少处理量，减少排队等待时间，进而有利于提升数据导出效率。

在步骤S203之后，还包括以下步骤：

S204、根据数据变更获取目标用户的新增导出任务信息。

本申请实施例中，当监听到预设任务同步消息系统发生数据变更时，则表示有新增导出任务，则可以根据该数据变更获取对应的新增导出任务信息。

S205、根据新增导出任务信息获取数据查询条件和用户信息。

在步骤S205之后，还包括以下步骤：

S206、获取与数据查询条件和用户信息相匹配的目标数据。

作为一种可选的实施方式，可以根据数据查询条件和用户信息从预先配置的数据库中查询满足条件的目标数据。

S207、根据目标数据生成待导出文件，并将待导出文件存储到预设的存储服务器中。

作为一种可选的实施方式，在匹配到目标数据之后，可以根据预设的文件生成脚本将该目标数据全部写入文件，得到待导出文件，然后将该待导出文件上传到预设的存储服务器中进行存。

本申请实施例中，实施上述步骤S206～步骤S207，能够根据数据查询条件和用户信息获取待导出文件。

在步骤S207之后，还包括以下步骤：

S208、获取待导出文件在存储服务器中的文件存储地址。

S209、将文件存储地址发送至目标用户的通信地址，以使目标用户通过文件存储地址获取待导出文件。

作为一种可选的实施方式，可以通过邮件服务将待导出文件的文件存储地址发送到目标用户的用户邮箱，然后目标用户可以通过文件存储地址获取该待导出文件。

作为一种可选的实施方式，在将文件存储地址发送至目标用户的通信地址之后，还可以将导出任务表中目标导出任务对应的任务状态标记为已完成的状态，便于管理人员对目标导出任务进行管理和维护。

在一些可能的实施方式中，在将导出任务表中目标导出任务对应的任务状态标记为已完成的状态之后，还可将相应的文件存储地址清空或者将存储在相应的文件存储地址上的数据移动至其它备份空间，以保证有足够的存储空间可以用来存储后续需要导出的文件，对此不做赘述。

在一些可能的实施方式中，还可以对导出文件对应的文件存储地址设置下载有效期，对于超过有效期的下载请求，可以提供新地址或者无法下载，以保证导出文件的安全。其中，新地址可以保存在数据库中的新旧地址映射表中，此处不做限定。

本申请实施例中，实施上述步骤S206～步骤S207，能够将待导出文件对应的文件存储地址发送至目标用户的通信地址，以使目标用户通过文件存储地址获取待导出文件。

请一并参阅图5，图5是本申请实施例提供的一种数据导出系统的系统构架示意图。如图5所示，该数据导出系统包括客户端500、服务器600、数据库700、邮件系统800和消息系统900，其中，目标用户可以通过客户端500发送包括数据查询条件和用户信息的数据导出请求至服务器600，然后服务器600可以根据数据导出请求生成目标导出任务，并将目标导出任务存储到数据库700中，并将目标导出任务同步至消息系统900中，然后服务器600可以监听到消息系统900发生数据变更，则可以获取相应的数据查询条件和用户信息，并根据数据查询条件和用户信息获取相应的待导出文件，最后通过邮件系统800将待导出文件的文件存储地址发送至客户端500。

其中，该待导出文件可以存储至图5所示的数据库700中，对此本申请实施例不作限定。

作为一种可选的实施方式，在将待导出文件对应的文件存储地址发送至目标用户的通信地址之后，还可以包括以下步骤：

根据预设时间间隔获取预设数据库中的所有导出任务；

根据所有导出任务生成导出任务报告。

在上述实施方式中，该导出任务报告可以包括数据查询条件、用户信息、用户信息对应的数据导出权限、任务状态等，对此本申请实施例我不作限定。

在上述实施方式中，导出任务报告能够展示进行过数据导出的用户、查询条件、任务是否完成的状态等，便于数据管理员管理和维护。

可见，实施图2所描述的数据导出方法，能够快速进行数据导出操作，可靠性好，有利于提升数据导出效率，进而提升用户体验。

请参看图3，图3为本申请实施例提供的一种数据导出装置的结构示意图。如图3所示，该数据导出装置包括：

第一获取单元310，用于在监听到预设任务同步消息系统发生数据变更时，根据数据变更获取目标用户的新增导出任务信息。

第二获取单元320，用于根据新增导出任务信息获取数据查询条件和用户信息。

第三获取单元330，用于根据数据查询条件和用户信息获取待导出文件。

发送单元340，用于将待导出文件对应的文件存储地址发送至目标用户的通信地址，以使目标用户通过文件存储地址获取待导出文件。

可见，实施图3所描述的数据导出装置，能够快速进行数据导出操作，可靠性好，有利于提升数据导出效率，进而提升用户体验。

请一并参阅图4，图4是本申请实施例提供的另一种数据导出装置的结构示意图。其中，图4所示的数据导出装置是由图3所示的数据导出装置进行优化得到的。如图4所示，该数据导出装置还包括：

第四获取单元350，用于在接收到目标用户输入的数据导出请求时，根据数据导出请求获取目标用户的数据查询条件和目标用户的用户信息。

生成单元360，用于根据数据查询条件和用户信息生成目标导出任务。

存储单元370，用于将目标导出任务存储至预设数据库中。

同步单元380，用于同步目标导出任务至预设任务同步消息系统，以使预设任务同步消息系统发生数据变更，并触发第一获取单元根据数据变更获取目标用户的新增导出任务信息。

作为一种可选的实施方式，第二获取单元320包括：

获取子单元321，用于获取与数据查询条件和用户信息相匹配的目标数据；

生成子单元322，用于根据目标数据生成待导出文件；

存储子单元323，用于将待导出文件存储到预设的存储服务器中。

作为一种可选的实施方式，发送单元340包括：

地址获取子单元341，用于获取待导出文件在存储服务器中的文件存储地址。

发送子单元342，用于将文件存储地址发送至目标用户的通信地址。

作为一种可选的实施方式，该数据导出装置还包括：

报告生成单元390，用于在将待导出文件对应的文件存储地址发送至目标用户的通信地址之后，根据预设时间间隔获取预设数据库中的所有导出任务；以及根据所有导出任务生成导出任务报告。

在上述实施方式中，发送单元340在将待导出文件对应的文件存储地址发送至目标用户的通信地址之后，还可以触发报告生成单元390根据预设时间间隔获取预设数据库中的所有导出任务。

可见，实施图4所描述的数据导出装置，能够快速进行数据导出操作，可靠性好，有利于提升数据导出效率，进而提升用户体验。

本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本申请实施例描述的数据导出方法。

本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本申请实施例描述的数据导出方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。