一种数据处理方法、装置、电子设备及存储介质

技术领域

本发明属于数据处理技术领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

目前，随着云端数据的应用普及，多台终端共用一套数据场景也随之增多，所以对于数据提供方而言，通常会出现一对多的数据使用场景，当前为了应对高并发场景，数据提供方的解决方式为，建立消息队列，当数据请求方提交用于获取数据的请求时，将请求入队，并通知数据请求方预估获取数据时间，数据请求方可再通过设置定时任务的形式使用该数据，以避免数据请求的高并发场景，使数据请求方等待时间过长，造成不好的体验。

然而，数据提供方能够提供的数据始终只有一套，虽然数据请求方可以通过设定定时任务使用数据的形式避免等待时长，但是等待数据周期过长的问题仍然存在，影响数据请求方的工作进程。

发明内容

本发明提供了一种数据处理方法、装置、电子设备及存储介质，以解决现有技术等待数据周期过长，影响数据请求方的工作进程的问题。

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

接收数据请求方发送的用于获取数据的第一请求；

向所述数据请求方发送用于获取数据处理任务和所述数据处理任务所依赖的运行环境的第二请求；

接收到所述数据请求方返回的与所述第二请求对应的数据处理任务和运行环境时，从镜像仓库中调用与所述运行环境对应的镜像环境；

在所述镜像环境中执行所述数据处理任务，以将数据处理结果返回所述数据请求方。

可选地，还包括：

建立所述数据处理任务与所述数据处理结果的对应关系；

将所述数据处理任务与所述数据处理结果以及两者的对应关系存储至历史数据库中。

可选地，所述从镜像仓库中调用与所述运行环境对应的镜像环境之前，还包括：

从所述历史数据库中查找与所述数据处理任务对应的数据处理结果；

若在所述历史数据库中查找到与所述数据处理任务对应的数据处理结果，则将所述数据处理结果发送至所述数据请求方。

可选地，当数据管理方对数据进行更新时，初始化所述历史数据库，以删除所述历史数据库中存储的数据处理任务和数据处理结果。

可选地，还包括：

接收数据维护方发送的用于更新数据的多个请求；

在所述多个请求中确定用于更新不存在依赖关系的数据的目标请求；

根据所述目标请求更新所述数据。

可选地，还包括：

确定所述多个请求中剩余的用于更新存在依赖关系的数据的第三请求；

根据与所述第三请求对应的待更新数据确定所述第三请求的更新优先级，以根据所述第三请求的更新优先级对所述数据进行更新。

可选地，所述数据包括：待更新数据A和待更新数据B，所述待更新数据A依赖于所述待更新数据B，则用于更新所述待更新数据B请求的更新优先级高于所述用于更新所述待更新数据A请求的更新优先级。

第二方面，本发明实施例提供一种数据处理装置，包括：

接收模块，用于接收数据请求方发送的用于获取数据的第一请求；

发送模块，用于向所述数据请求方发送用于获取数据处理任务和所述数据处理任务所依赖的运行环境的第二请求；

调用模块，用于接收到所述数据请求方返回的与所述第二请求对应的数据处理任务和运行环境时，从镜像仓库中调用与所述运行环境对应的镜像环境；

返回模块，用于在所述镜像环境中执行所述数据处理任务，以将数据处理结果返回所述数据请求方。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

第三方面，本发明实施例提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面所述方法。

本发明实施例提供的技术方案中，通过接收数据请求方发送的用于获取数据的第一请求，向数据请求方发送用于获取数据处理任务和数据处理任务所依赖的运行环境的第二请求，接收到数据请求方返回的与第二请求对应的数据处理任务和运行环境时，从镜像仓库中调用与运行环境对应的镜像环境，在镜像环境中执行数据处理任务，以将数据处理结果返回数据请求方，能够减少等待数据周期，加快数据请求方的工作进程。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种数据处理方法流程图；

图2是本发明实施例的另一种数据处理方法流程图；

图3是本发明实施例的一种数据处理装置的结构示意图；

图4是本发明实施例的一种电子设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在对本发明实施例所提供的一种数据处理方法的流程进行介绍之前，先对现有技术的数据处理方法进行简单介绍：

随着云端数据的应用普及，多台终端共用一套数据场景也随之增多，所以对于数据提供方而言，通常会出现一对多的数据使用场景。在现有技术中，为了应对高并发场景，数据提供方的解决方式为，建立消息队列，当数据请求方提交用于获取数据的请求时，将请求入队，并通知数据请求方预估获取数据时间，数据请求方可再通过设置定时任务的形式使用该数据，以避免数据请求的高并发场景，使数据请求方等待时间过长，造成不好的体验。

然而，现有技术的数据处理流程中，数据提供方能够提供的数据始终只有一套，虽然数据请求方可以通过设定定时任务使用数据的形式避免等待时长，但是等待数据周期过长的问题仍然存在，影响数据请求方的工作进程。

基于此，本发明所要解决的技术问题是：如何解决数据请求方等待时间过长的问题。因此本发明实施例提供的一种数据处理方法，具体地，图1为本发明一实施例提供的一种数据处理方法的流程图，如图1所示，该方法包括：

步骤101，接收数据请求方发送的用于获取数据的第一请求。

在该步骤中，数据请求方可理解为数据订阅者。数据可包括云端数据，例如，云端数据可包括用户行为数据等。

本发明实施例中，各步骤由数据提供方执行。当数据提供方获取到数据请求方发送第一请求后，能够执行后续步骤返回数据请求方所需的数据。

步骤102，向所述数据请求方发送用于获取数据处理任务和所述数据处理任务所依赖的运行环境的第二请求。

在该步骤中，数据处理任务可理解为数据请求方处理获取的数据所对应的任务。运行环境用于指示把半编译的执行代码放在目标机器上运行的环境，其中，运行环境包括但不限于操作系统、XP，Linux以及各类语言所对应的运行环境。

本发明实施例中，通过执行步骤102，以使数据提供方能够获取数据处理任务和所述数据处理任务所依赖的运行环境，并通过获取数据处理任务和所述数据处理任务所依赖的运行环境，以便后续步骤从历史数据库中查询与数据处理任务对应数据处理结果，或者从镜像仓库中调用与所述运行环境对应的镜像环境，从而能够在镜像环境中执行数据处理任务，相对于现有技术而言，避免了数据请求方的等待数据周期，从而提高了数据请求方的工作进程。

步骤103，接收到所述数据请求方返回的与所述第二请求对应的数据处理任务和运行环境时，从所述历史数据库中查找与所述数据处理任务对应的数据处理结果，若查找到，执行步骤104；若未查找到，执行步骤105。

在该步骤中，当数据提供方能够获取数据处理任务和所述数据处理任务所依赖的运行环境后，首先需要从历史数据库中查找与所述数据处理任务对应的数据处理结果，若在所述历史数据库中查找到与所述数据处理任务对应的数据处理结果，则将所述数据处理结果发送至所述数据请求方；若在所述历史数据库中未查找到与所述数据处理任务对应的数据处理结果，则执行步骤105从镜像仓库中调用与所述运行环境对应的镜像环境，并在所述镜像环境中执行所述数据处理任务，以将数据处理结果返回所述数据请求方。

本发明实施例中，通过步骤103，根据不同方式获取数据处理结果，能够避免历史数据库存储有所述数据处理任务对应的数据处理结果时，仍然调动的镜像环境，造成数据处理结果获取时间增加的问题，从而有效减少等待数据周期，加快数据请求方的工作进程。

需要说明的是，在步骤103之前，还包括：建立所述数据处理任务与所述数据处理结果的对应关系；将所述数据处理任务与所述数据处理结果以及两者的对应关系存储至历史数据库中。

本发明实施例中，通过所述数据处理任务与所述数据处理结果以及两者的对应关系存储至历史数据库，以使得在接收到所述数据请求方返回的与所述第二请求对应的数据处理任务时，能够从所述历史数据库中查找与所述数据处理任务对应的数据处理结果，避免了通过所述镜像环境中执行所述数据处理任务增加获取数据处理结果的时间，从而有效减少等待数据周期。

步骤104，若在所述历史数据库中查找到与所述数据处理任务对应的数据处理结果，则将所述数据处理结果发送至所述数据请求方，流程结束。

步骤105，若在所述历史数据库中未查找到与所述数据处理任务对应的数据处理结果，从镜像仓库中调用与所述运行环境对应的镜像环境。

在该步骤中，镜像环境可理解为在数据提供方中建立的与运行环境相同的环境。

本发明实施例中，从镜像仓库中调用与所述运行环境对应的镜像环境，使得后续步骤106能够在所述镜像环境中执行所述数据处理任务，以将数据处理结果返回所述数据请求方。

步骤106，在所述镜像环境中执行所述数据处理任务，以将数据处理结果返回所述数据请求方。

本发明实施例中，若在所述历史数据库中未查找到与所述数据处理任务对应的数据处理结果，则数据提供方在所述镜像环境中执行所述数据处理任务，以将数据处理结果返回所述数据请求方，相对于现有技术而言，避免了数据请求方的等待数据周期，从而提高了数据请求方的工作进程。

进一步地，该方法还包括：

步骤107，接收数据维护方发送的用于更新数据的多个请求。

本发明实施例中，当每个数据发生更新后，数据数据方即生成该数据对应的请求，并将该请求发送至数据提供方，以使得数据提供方接收数据维护方发送的用于更新数据的多个请求后，基于多个请求执行后续的数据处理流程。

步骤108，在所述多个请求中确定用于更新不存在依赖关系的数据的目标请求。

在该步骤中，依赖关系用于指示数据之间的依赖关系，例如所述数据包括：待更新数据A和待更新数据B，所述待更新数据A依赖于所述待更新数据B，则待更新数据A和待更新数据B之间具有依赖关系。

本发明实施例中，由于更新不存在依赖关系的数据的请求在更新数据时，并不会对数据处理结果产生影响，因此需要执行步骤108从多个请求中确定出更新不存在依赖关系的数据的目标请求。

步骤109，根据所述目标请求更新所述数据。

在该步骤中，目标请求包括更新不存在依赖关系的数据的请求。

本发明实施例中，由于更新不存在依赖关系的数据的请求在更新数据时，并不会对数据处理结果产生影响，因此需要执行步骤109根据所述目标请求更新所述数据。

需要说明的是，当数据管理方对数据进行更新时，初始化所述历史数据库，以删除所述历史数据库中存储的数据处理任务和数据处理结果。

进一步地，如图2所示，在步骤109之后，还包括：

步骤110，确定所述多个请求中剩余的用于更新存在依赖关系的数据的第三请求。

本发明实施例中，由于更新存在依赖关系的数据的请求在更新数据时，会对数据处理结果产生影响，因此需要执行步骤110确定所述多个请求中剩余的用于更新存在依赖关系的数据的第三请求。

步骤111，根据与所述第三请求对应的待更新数据确定所述第三请求的更新优先级，以根据所述第三请求的更新优先级对所述数据进行更新。

在该步骤中，所述数据包括：待更新数据A和待更新数据B，所述待更新数据A依赖于所述待更新数据B，则用于更新所述待更新数据B请求的更新优先级高于所述用于更新所述待更新数据A请求的更新优先级。

本发明实施例中，以待更新数据包括待更新数据A和待更新数据B为例，若用于更新所述待更新数据B请求的更新优先级高于所述用于更新所述待更新数据A请求的更新优先级，则根据第三请求先对所述待更新数据B对应的数据进行更新，在对待更新数据A请求对应的数据进行更新。基于更新优先级对所述数据进行更新的方式，能够提高数据的更新效率，以便在数据更新后，对获取的数据处理任务进行处理时，保证了数据处理结果的准确性。

本发明实施例提供的技术方案中，接收数据请求方发送的用于获取数据的第一请求，向数据请求方发送用于获取数据处理任务和数据处理任务所依赖的运行环境的第二请求，接收到数据请求方返回的与第二请求对应的数据处理任务和运行环境时，从镜像仓库中调用与运行环境对应的镜像环境，在镜像环境中执行数据处理任务，以将数据处理结果返回数据请求方，能够减少等待数据周期，加快数据请求方的工作进程。

图3为本发明一实施例提供的一种数据处理装置的结构示意图，如图2所示，包括：

接收模块01，用于接收数据请求方发送的用于获取数据的第一请求；

发送模块02，用于向所述数据请求方发送用于获取数据处理任务和所述数据处理任务所依赖的运行环境的第二请求；

处理模块03，用于接收到所述数据请求方返回的与所述第二请求对应的数据处理任务和运行环境时，从镜像仓库中调用与所述运行环境对应的镜像环境；

执行模块04，用于在所述镜像环境中执行所述数据处理任务，以将数据处理结果返回所述数据请求方。

图4为本发明一实施例提供的一种电子设备的示意图，如图4所示，所述电子设备包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现方法实施例所述的数据处理方法。

本发明实施例提供的电子设备，处理器通过接收数据请求方发送的用于获取数据的第一请求，向数据请求方发送用于获取数据处理任务和数据处理任务所依赖的运行环境的第二请求，接收到数据请求方返回的与第二请求对应的数据处理任务和运行环境时，从镜像仓库中调用与运行环境对应的镜像环境，在镜像环境中执行数据处理任务，以将数据处理结果返回数据请求方，能够减少等待数据周期，加快数据请求方的工作进程。上述电子设备提到的通信总线1140可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口1120用于上述电子设备与其他设备之间的通信。

存储器1130可以包括随机存取存储器(RandomAccessMemory，简称RAM)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器1110可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。