一种数据存储方法、装置、设备和存储介质

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据存储方法、装置、设备和存储介质。

背景技术

随着物流业务快速扩张，人员规模和业务规模大幅增长，涉及到多个作业人员对物流动作的记录和签核，具体可以涉及货运代理公司、物流管理人员和结报人员等，企业运营和生产面临着越来越多的劳动力管理和业务管理挑战。

劳动力管理系统和业务管理系统等的数据可以为业务数据，进而业务数据可以包括作业人员的工作量和物流系统的业务量等，现有技术中，需要通过人力手工汇总方式对业务数据进行汇总。

在实现本发明的过程中，发现现有技术中至少存在以下技术问题：

1、人力手工汇总业务数据，工作量巨大且缺乏准确性；

2、人力手工汇总速度较慢不便于存档；

3、人工手工汇总业务数据后，不便于查询历史业务数据。

发明内容

本发明提供一种数据存储方法、装置、设备和存储介质，以实现对任务数据的标准化存储，提升对数据的存储的效率和准确性。

第一方面，本发明实施例提供了一种数据存储方法，应用于数据处理系统，所述数据处理系统包括数据接入层、数据处理层和数据存储层，该方法包括：

将所述数据接入层接收到的业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层；

将所述任务数据从所述数据存储层发送至所述数据处理层；

基于所述数据处理层处理所述任务数据，得到标准任务数据；

将所述标准任务数据标准化存储在所述数据存储层中。

第二方面，本发明实施例还提供了一种数据存储装置，包括：

关联模块，用于将所述数据接入层接收到的业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层；

发送模块，用于将所述任务数据从所述数据存储层发送至所述数据处理层；

处理模块，用于基于所述数据处理层处理所述任务数据，得到标准任务数据；

存储模块，用于将所述标准任务数据标准化存储在所述数据存储层中。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任一所述的数据存储方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的数据存储方法。

上述发明中的实施例具有如下优点或有益效果：

本发明实施例提供一种数据存储方法，应用于数据处理系统，所述数据处理系统包括数据接入层、数据处理层和数据存储层，该方法包括：基于所述数据接入层接收业务数据，将所述业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层；将所述任务数据从所述数据存储层发送至所述数据处理层；基于所述数据处理层处理所述任务数据，得到标准任务数据；将所述标准任务数据标准化存储在所述数据存储层中。上述技术方案，数据处理系统的数据接入层可以将上游系统发送至数据处理系统的业务数据确定为任务数据，并将任务数据通过数据存储层发送至数据处理层，数据处理层可以对任务数据进行处理，以得到标准任务数据，并将标准任务数据存储在数据存储层中，实现了对任务数据的标准化存储，提升了对数据的存储的效率和准确性，并且标准化存储的任务数据便于对历史任务数据进行查询。

附图说明

图1为本发明实施例一提供的一种数据存储方法的流程图；

图2为本发明实施例一提供的一种数据存储方法中数据处理系统的结构图；

图3为本发明实施例二提供的一种数据存储方法的流程图；

图4为本发明实施例二提供的一种数据存储方法中将业务数据存入MySql任务表的流程图；

图5为本发明实施例三提供的一种数据存储装置的结构示意图；

图6为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1为本发明实施例一提供的一种数据存储方法的流程图，图2为本发明实施例一提供的一种数据存储方法中数据处理系统的结构图，本发明实施例适用于需要对任务数据进行标准化存储，以提升数据的存储的效率和准确性的情况。该方法可以由数据存储装置来执行，该装置可以由软件和/或硬件的方式来实现。可选的，该数据存储装置应用于如图2所示的数据处理系统，所述数据处理系统包括数据接入层、数据处理层和数据存储层，还包括输出层，该数据处理系统可配置于终端中，该终端可以是笔记本电脑，智能平板、手机等计算机设备。如图1所述，该方法具体包括以下步骤：

S110、将所述数据接入层接收到的业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层。

其中，数据接入层可以基于消息中间件平台接收上游系统发送的业务数据，具体地，可以基于JMQ2接收大数据推送的第一业务数据，还可以基于JMQ4接收开发平台推送的第二业务数据，另外，还可以通过表格导入、定时任务推送或者JFS接口将业务数据推送至数据接入层。

上游系统可以包括考勤系统、计费价格本系统、绩效价格本系统、物流管道系统、账号系统、组织机构系统、运输管理系统和仓库管理系统等。

业务数据的标识信息可以为业务数据对应的业务唯一主键(RowKey)，各RowKey可以对业务数据进行唯一标注。

具体地，数据接入层可以与上游系统通信连接，接收上游系统发送的业务数据，数据接入层在接收到业务数据后，可以确定业务数据的标识信息，即业务数据对应的RowKey，进而关联业务数据和业务数据对应的RowKey，以生成任务数据，具体可以将业务数据和业务数据对应的RowKey对应存储在MySql任务表中。当然，在业务数据和业务数据对应的RowKey对应存储在MySql任务表的同时，可以将业务数据和业务数据对应的RowKey同时发送至数据存储层，以将其对应存储在MySql任务表中。

S120、将所述任务数据从所述数据存储层发送至所述数据处理层。

具体地，在对任务数据进行处理之前，可以将任务数据从数据存储层的MySql任务表中发送到数据处理层。

其中，数据处理层可以对任务数据进行标准化处理，以使得处理后的任务数据可以更加便于查询和修改。

S130、基于所述数据处理层处理所述任务数据，得到标准任务数据。

具体地，数据处理层可以依次对任务数据进行转换处理、校验处理、补齐处理和打标处理，以得到标准任务数据。

其中，转换处理的具体实现方式可以根据具体的上游系统进行定制，例如可以基于BinLake转换方式对任务数据进行转换处理，或者可以将业务数据从实体对象转换成JSONObject，以得到转换后任务数据。

需要说明的是，转换任务数据得到的转换后任务数据可以用于进行业务计算。

校验处理的实现方式可以包括：a)判断转换后的任务数据是否为空对象，若为空则不做处理，并记录数据异常；b)判断企业资源计划(Enterprise Resource Planning，ERP)是否为空，若为空不做处理，并记录数据异常；c)判断日期是否为空，若为空则不做处理，并记录数据异常；d)判断不同业务数据参与计算的维度数据是否为空，若为空则不做处理，并记录数据异常。当然，在实际应用中，可以根据上游系统的需要，选择对应的校验处理的实现方式，以确定上游系统对应的校验方式，进一步可以确定上游系统对应的处理方式。

补齐处理的实现方式可以包括：a)获取上游系统的ERP字段、业务数据的推送时间、业务数据的推送时间维度，例如，月和日；b)根据ERP中的业务推送，获取人员信息，例如，从物流管道系统的快照中获取人员信息，具体可以i.补齐作业人员姓名、作业人员编号、标准岗位、所属部门和区域信息等相关信息，ii.根据ERP部门查询部门组织机构接口补齐部门信息、上级部门、部门全路径和部门全路径名称等相关信息；c)根据作业人员所属部门与标准岗位查询绩效类型与绩效方案并补齐；d)补齐其他相关业务数据，各业务条线进行重写操作，例如，可以补齐城配司机的件均重量以及岗位类别等相关信息。当然，在实际应用中，可以根据上游系统的需要，选择对应的补齐处理的实现方式，以确定上游系统对应的补齐方式，进一步可以确定上游系统对应的处理方式。

需要说明的是，在对业务数据进行补齐处理时，该数据的人员信息为齐全的，人员信息可以包括人员姓名、人员所属部门、标准岗位和人员所属部门等。

打标处理的实现方式可以包括：a)在业务数据补齐完成后，可以根据业务条线特性，从不同的价值属性值本中心获取到价值属性值本数据，例如可以从不同的价格本中心获取到价格本数据；b)对业务数据进行打标，将价值属性值本数据以{priceNoteCode:””}标准化格式扩展到业务数据中，并返回JSON对象。当然，在实际应用中，可以根据上游系统的需要，选择对应的打标处理的实现方式，以确定上游系统对应的打标方式，进一步可以确定上游系统对应的处理方式。

本发明实施例中，数据处理层在接收到数据存储层发送的任务数据后，可以对任务数据进行转换处理，得到转换后任务数据，再对转换后任务数据进行校验，以确定转换后任务数据的状态信息，并在转换后任务数据不为空时，继续对转换后任务数据进行补齐处理，以补齐用于业务计算的，且与转换后任务数据对应的相关数据信息，最后可以对转换后任务数据进行打标，以得到标准任务数据。

S140、将所述标准任务数据标准化存储在所述数据存储层中。

具体地，可以将标准任务数据异步发送至数据存储层中，数据存储层在接收到标准任务数据之后，可以将标准任务数据拆分为基础查询信息和转换后业务数据，并分别将基础查询信息和转换后业务数据存储在数据存储层的不同存储模块中。

本发明实施例中，可以将基础查询信息存储在数据库中，还可以将转换后业务数据存储在分布式存储系统(HBase–Hadoop Database，Hbase)中，Hbase可以为一种高可靠性、高性能、面向列、可伸缩的分布式存储系统。另外，还可以在基础查询信息存储在数据库之后，以及在转换后业务数据存储在Hbase之后，还可以继续将基础查询信息和转换后业务数据存储在搜索与数据分析引擎(Elasticsearch，Es)中，Es可以为一种分布式、高扩展、高实时的搜索与数据分析引擎，可以很方便得使大量的业务数据具有搜索、分析和探索的能力，以实现对业务数据的搜索查询。

本发明实施例一提供的一种数据存储方法，应用于数据处理系统，所述数据处理系统包括数据接入层、数据处理层和数据存储层，该方法包括：基于所述数据接入层接收业务数据，将所述业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层；将所述任务数据从所述数据存储层发送至所述数据处理层；基于所述数据处理层处理所述任务数据，得到标准任务数据；将所述标准任务数据标准化存储在所述数据存储层中。上述技术方案，数据处理系统的数据接入层可以将上游系统发送至数据处理系统的业务数据确定为任务数据，并将任务数据通过数据存储层发送至数据处理层，数据处理层可以对任务数据进行处理，以得到标准任务数据，并将标准任务数据存储在数据存储层中，实现了对任务数据的标准化存储，提升了对数据的存储的效率和准确性，并且标准化存储的任务数据便于对历史任务数据进行查询。

实施例二

图3为本发明实施例二提供的一种数据存储方法的流程图，本发明实施例适用于需要对任务数据进行标准化存储，以提升数据的存储的效率和准确性的情况。本发明实施例在上述实施例的基础上，在数据处理系统增加了输出层，进而在将所述标准任务数据标准化存储在所述数据存储层中之后，增加了“基于所述输出层的查询接口查询所述标准任务数据；基于所述输出层的修改接口修改所述标准任务数据；基于所述输出层的变更接口获取上游系统的变化；基于所述输出层的异常接口监控上游系统的发送状态。”，其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图3，本发明实施例提供的数据存储方法包括：

S310、将所述数据接入层接收到的业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层。

其中，任务数据可以包括任务数据和该任务数据对应的标识信息。

一种实施方式中，将所述数据接入层接收到的业务数据和所述业务数据的标识信息进行关联生成任务数据，包括：

确定所述业务数据对应的标识信息；将所述业务数据和所述业务数据的标识信息对应存储至任务表，以生成所述任务数据。

具体地，可以基于雪花算法生成业务数据对应的RowKey，即可以实现确定业务数据对应的标识信息。之后可以将业务数据和业务数据对应的RowKey对应存储至任务表，以生成任务数据。

当然，在实际应用中，在将业务数据和业务数据对应的RowKey对应存储至任务表之前，还可以将业务数据和业务数据对应的RowKey存储在Hbase中，具体可以将业务数据和业务数据对应的RowKey异步存储在Es中，可以很方便得使大量的业务数据具有搜索、分析和探索的能力，以实现对业务数据的搜索查询。

可选的，为了提高查询效率，确定所述业务数据对应的标识信息，包括：确定所述业务数据对应的原始标识信息；对所述原始标识信息进行反转，以生成所述标识信息。

具体地，可以基于雪花算法生成业务数据的原始业务唯一主键，即原始标识信息，再对原始业务唯一主键进行反转，得到RowKey，即标识信息。经过反转得到的RowKey，可以将RowKey和其对应的任务数据均分在各服务器上进行处理，以减少热点问题的发生。并且，可以从多台服务器上读取任务数据，以提供一种高可用方案。

需要说明的是，图4为本发明实施例二提供的一种数据存储方法中将业务数据存入MySql任务表的流程图，如图4所示，将业务数据存入MySql任务表的步骤具体可以包括：

S3110、接收上游系统发送的业务数据。

S3120、对基于雪花算法生成的原始业务唯一主键进行反转，得到RowKey。

S3130、将RowKey存入Hbase中。

S3140、判断是否存储成功，若存储成功，则继续执行S3150，若存储失败，则记录失败日志，触发报警业务，并返回执行S3110。

S3150、将RowKey存入MySql任务表中。

S3160、判断是否存储成功，若存储成功，则继续执行S3170，若存储失败，则记录失败日志，触发报警业务，并返回执行S3110。

S3170、存储结束。

经过上述步骤，可以实现将业务数据和业务数据对应的标识信息关联，以生成业务数据，再将业务数据对应存储至数据存储层的MySql任务表中。

S320、将所述任务数据从所述数据存储层发送至所述数据处理层。

S330、基于所述数据处理层处理所述任务数据，得到标准任务数据。

其中，数据处理层对任务数据的处理过程可以包括转换处理、校验处理、补齐处理和打标处理。

另外，数据接入层接收到的业务数据可能来自不同的上游系统，各上游系统所对应的对任务数据的处理方式可以不同。

一种实施方式中，S330具体可以包括：

根据所述任务数据所属上游系统确定所述任务数据对应的处理方式；基于所述任务数据对应的处理方式对所述任务数据进行处理，得到所述标准化数据。

其中，当任务数据所属的上游系统不同时，对应的上游系统所需要对任务数据的处理方式也不同。

具体地，当上游系统为物流管道系统时，若需要对任务数据进行特殊的补齐处理，例如需要补齐司机信息和计件信息等，则可以确定物流管道系统的包含特殊补齐处理的处理方式，以从物流管道系统中调取所需的司机信息和计件信息对任务数据进行补齐；当上游系统为考勤系统时，若需要对任务数据进行特殊的转换处理，例如需要将文字信息转换为字符信息，则可以确定考勤系统的包含特殊转换处理的处理方式，以将任务数据中所包含的文字信息转换为字符信息。

当然，还可以基于处理方式对任务数据进行其他处理，以得到标准化数据。

在实际应用中，当上游系统为其他系统时，可以根据需要对任务数据进行的特殊处理确定该上游系统对应的处理方式，以实现基于上游系统对应的处理方式对任务数据进行处理，以得到标准化数据。

可选的，处理方式可以包括转换方式、检验方式、补齐方式和打标方式，根据所述任务数据所属上游系统确定所述任务数据对应的处理方式，包括：

根据所述任务数据所属上游系统确定所述任务数据的转换方式、检验方式、补齐方式和打标方式。

可选的，基于所述任务数据对应的处理方式对所述任务数据进行处理，得到所述标准化数据，包括：

基于所述上游系统对应的所述转换方式将所述任务数据转换为预设格式，得到转换后任务数据；基于所述上游系统对应的所述检验方式对所述转换后任务数据进行数据校验，以确定所述转换后任务数据的状态信息；基于所述上游系统对应的所述补齐方式以及所述上游系统所包含的上游数据补齐所述转换后任务数据的相关数据信息；基于所述上游系统对应的所述打标方式对所述转换后任务数据进行打标，以得到所述标准任务数据。

具体地，如前实施例一所述，可以基于BinLake转换方式对任务数据进行转换处理，或者可以将业务数据从实体对象转换成JSONObject，以得到转换后任务数据；可以通过判断转换后的任务数据是否为空对象、判断ERP是否为空以及判断不同业务数据参与计算的维度数据是否为空，若为空则不做处理，并记录数据异常，以实现对转换后任务数据的校验；可以根据上游系统数据以补齐任务数据所缺失的对应的相关数据信息，以实现对转换后任务数据的补齐；可以根据任务数据对应的价值属性值本数据对任务数据进行打标，例如可以根据任务数据所属的上游系统确定任务数据对应的价格本数据，进而根据价格本数据对任务数据进行打标处理，以得到标准任务数据。

进一步地，基于所述上游系统对应的所述打标方式对所述转换后任务数据进行打标，以得到所述标准任务数据，包括：

根据所述转换后任务数据所属的上游系统，确定所述转换后任务数据的价值属性值；打包所述转换后任务数据、所述转换后任务数据对应的所述价值属性值和所述转换后任务数据的相关数据信息，得到所述标准任务数据。

具体地，在对转换后任务数据校验处理结束后，可以确定转换后任务数据所属的上游系统的价值属性值本数据，以确定转换后任务数据的价值属性值。进而可以将转换后任务数据、转换后任务数据的价值属性值以及前述补齐处理中得到的转换后任务数据的相关数据信息进行打包，以得到标准任务数据。

S340、将所述标准任务数据标准化存储在所述数据存储层中。

具体地，数据存储层可以接收数据处理层异步发送的标准任务数据，并将标准任务数据异步存储在数据存储层中。

一种实施方式中，所述数据存储层包括第一存储模块和第二存储模块，

相应地，S340具体可以包括：

对所述标准任务数据进行数据拆分，得到基础查询信息和转换后业务数据；将所述基础查询信息存储在所述数据存储层的第一存储模块中，并所述转换后业务数据存储在所述数据存储层的第二存储模块中。

其中，基础查询信息可以用于进行业务数据查询，进而可以根据查询结果对业务数据进行校对或者修改等操作；转换后业务数据可以用于进行业务计算。

具体地，可以将标准任务数据进行差分，以得到基础查询信息和转换后业务数据，并将基础查询信息和转换后业务数据异步存储在数据存储层的不同存储模块中，例如，本发明实施例中数据存储层包括第一存储模块和第二存储模块，进而可以将基础查询信息存储在数据存储层的第一存储模块中，并转换后业务数据存储在数据存储层的第二存储模块中。

需要说明的是，本发明实施例中，第一存储模块可以为数据库，第二存储模块可以为Hbase，因此，可以将基础查询信息存储在数据存储层的数据库中，可以将转换后业务出具存储在数据存储层的Hbase中。

进一步地，所述数据存储层还包括备份存储模块，

相应地，在将所述基础查询信息存储在所述数据存储层的第一存储模块中，并所述转换后业务数据存储在所述数据存储层的第二存储模块中之后，还包括：

将所述基础查询信息和所述转换后业务数据存储在备份存储模块中。

其中，备份存储模块可以为ES。

具体地，在将基础查询信息存储在数据存储层的第一存储模块中之后，还可以将基础查询信息存储在数据存储层的备份存储模块的第一存储单元中，以实现对基础查询信息的备份，例如可以将基础查询信息存储在数据存储层的ES中；在将转换后业务数据存储在数据存储层的第二存储模块中之后，还可以将转换后业务数据存储在数据存储层的备份存储模块的第二存储单元中，以实现对转换后业务数据的备份，例如可以将转换后业务数据存储在数据存储层的ES中。

更进一步地，所述数据存储层还包括归档存储模块，

相应地，在将所述转换后业务数据存储在所述第二存储模块中之后，还包括：

基于归档存储模块对所述转换后业务数据进行归档和备份。

其中，归档存储模块可以为云存储模块，例如归档存储模块可以为对象存储(Object Storage Service，OSS)，OSS为一种可以提供的海量、安全和高可靠的云存储服务。

具体地，若数据存储层的Hbase或者备份存储单元的第二存储单元为满存储状态时，可以将转换后任务数据存储在归档存储模块中，以对转换后业务数据进行归档和备份。

当然，在实际应用中，若数据存储层的数据库、Hbase和备份存储单元终的任一个为满存储状态时，可以将基础查询信息和\或转换后任务数据存储在归档存储模块中，以对基础查询信息和\转换后业务数据进行归档和备份。

S350、基于所述输出层的查询接口查询所述标准任务数据。

其中，输出层可以包括查询接口、修改接口、变更接口和异常接口至少之一，以对数据处理层处理后得到的标准任务数据进行查询、修改或者其他操作等。

具体地，可以调用查询接口，并基于基础查询信息快速高效查询对应的标准任务数据。

S360、基于所述输出层的修改接口修改所述标准任务数据。

具体地，在调用查询接口查询到对应的标准任务数据后，可以继续调用修改接口对标准任务数据进行修改。

S370、基于所述输出层的变更接口获取上游系统的变化信息。

具体地，在上游系统的业务数据发生改变时，可以基于变更接口调用上游系统的变化信息，还可以将变化信息发送至下游系统，以将上游系统的业务数据已经发生改变的信息通知至下游系统。

S380、基于所述输出层的异常接口监控上游系统的发送状态。

具体地，预设延迟消息队列可以基于异常接口监控上游系统发送任务数据时的发送状态，并且在发送状态为异常时间隔预设时间段对该上游系统的发送状态进行持续监控，直至该上游系统的发送状态恢复正常。

需要说明的是，输出层步骤的执行与否以及执行顺序在此可以不做具体限定，根据实际需求进行确定。

因此，在执行完成S310-S340之后，可以继续执行S350、S350-S360、S370和S380中的任意一个或者多个步骤，当然，如果可以继续执行S350、S350-S360、S370和S380中的多个步骤，则对该多个步骤的执行顺序不做具体限定，可以根据实际需求进行确定。

本发明实施例二提供的一种数据存储方法，应用于数据处理系统，所述数据处理系统包括数据接入层、数据处理层和数据存储层，该方法包括：基于所述数据接入层接收业务数据，将所述业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层；将所述任务数据从所述数据存储层发送至所述数据处理层；基于所述数据处理层处理所述任务数据，得到标准任务数据；将所述标准任务数据标准化存储在所述数据存储层中。上述技术方案，数据处理系统的数据接入层可以将上游系统发送至数据处理系统的业务数据确定为任务数据，并将任务数据通过数据存储层发送至数据处理层，数据处理层可以对任务数据进行处理，以得到标准任务数据，并将标准任务数据存储在数据存储层中，实现了对任务数据的标准化存储，提升了对数据的存储的效率和准确性，并且标准化存储的任务数据便于对历史任务数据进行查询。

另外，本发明实施例中，可以基于输出层的查询接口、修改接口、变更接口和异常接口以实现对任务数据的查询、对任务数据的修改、通知下游系统上游系统发送任务数据的变化信息以及对上游系统发送任务数据的发送状态的监控。

实施例三

图5为本发明实施例三提供的一种数据存储装置的结构示意图。该装置与上述各实施例的数据存储方法属于同一个发明构思，在数据存储装置的实施例中未详尽描述的细节内容，可以参考上述数据存储方法的实施例。

该数据存储装置的具体结构如图5所示，包括：

关联模块510，用于将所述数据接入层接收到的业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层；

发送模块520，用于将所述任务数据从所述数据存储层发送至所述数据处理层；

处理模块530，用于基于所述数据处理层处理所述任务数据，得到标准任务数据；

存储模块540，用于将所述标准任务数据标准化存储在所述数据存储层中。

本发明实施例三提供的一种数据存储装置，应用于数据处理系统，所述数据处理系统包括数据接入层、数据处理层和数据存储层，该方法包括：基于所述数据接入层接收业务数据，将所述业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层；将所述任务数据从所述数据存储层发送至所述数据处理层；基于所述数据处理层处理所述任务数据，得到标准任务数据；将所述标准任务数据标准化存储在所述数据存储层中。上述技术方案，数据处理系统的数据接入层可以将上游系统发送至数据处理系统的业务数据确定为任务数据，并将任务数据通过数据存储层发送至数据处理层，数据处理层可以对任务数据进行处理，以得到标准任务数据，并将标准任务数据存储在数据存储层中，实现了对任务数据的标准化存储，提升了对数据的存储的效率和准确性，并且标准化存储的任务数据便于对历史任务数据进行查询。

在上述实施例的基础上，关联模块510，具体用于：

确定所述业务数据对应的标识信息；

将所述业务数据和所述业务数据的标识信息对应存储至任务表，以生成所述任务数据。

一种实施方式中，确定所述业务数据对应的标识信息，包括：

确定所述业务数据对应的原始标识信息；

对所述原始标识信息进行反转，以生成所述标识信息。

在上述实施例的基础上，处理模块530，具体用于：

根据所述任务数据所属上游系统确定所述任务数据对应的处理方式；

基于所述任务数据对应的处理方式对所述任务数据进行处理，得到所述标准化数据。

一种实施方式中，根据所述任务数据所属上游系统确定所述任务数据对应的处理方式，包括：

根据所述任务数据所属上游系统确定所述任务数据的转换方式、检验方式、补齐方式和打标方式。

一种实施方式中，基于所述任务数据对应的处理方式对所述任务数据进行处理，得到所述标准化数据，包括：

基于所述上游系统对应的所述转换方式将所述任务数据转换为预设格式，得到转换后任务数据；

基于所述上游系统对应的所述检验方式对所述转换后任务数据进行数据校验，以确定所述转换后任务数据的状态信息；

基于所述上游系统对应的所述补齐方式以及所述上游系统所包含的上游数据补齐所述转换后任务数据的相关数据信息；

基于所述上游系统对应的所述打标方式对所述转换后任务数据进行打标，以得到所述标准任务数据。

进一步地，基于所述上游系统对应的所述打标方式对所述转换后任务数据进行打标，以得到所述标准任务数据，包括：

根据所述转换后任务数据所属的上游系统，确定所述转换后任务数据的价值属性值；

打包所述转换后任务数据、所述转换后任务数据对应的所述价值属性值和所述转换后任务数据的相关数据信息，得到所述标准任务数据。

在上述实施例的基础上，所述数据存储层包括第一存储模块和第二存储模块，相应地，存储模块540，具体用于：

对所述标准任务数据进行数据拆分，得到基础查询信息和转换后业务数据；

将所述基础查询信息存储在所述数据存储层的第一存储模块中，并所述转换后业务数据存储在所述数据存储层的第二存储模块中。

一种实施方式中，所述数据存储层还包括备份存储模块，

相应地，在将所述基础查询信息存储在所述数据存储层的第一存储模块中，并所述转换后业务数据存储在所述数据存储层的第二存储模块中之后，还包括：

将所述基础查询信息和所述转换后业务数据存储在备份存储模块中。

一种实施方式中，所述数据存储层还包括归档存储模块，

相应地，在将所述转换后业务数据存储在所述第二存储模块中之后，还包括：

基于归档存储模块对所述转换后业务数据进行归档和备份。

在上述实施例的基础上，所述数据处理系统还包括：输出层，该装置还包括：

查询模块，用于基于所述输出层的查询接口查询所述标准任务数据；

修改模块，用于基于所述输出层的修改接口修改所述标准任务数据；

变化信息获取模块，用于基于所述输出层的变更接口获取上游系统的变化信息；

发送状态监控模块，用于基于所述输出层的异常接口监控上游系统的发送状态。

可选的，所述业务数据包括通过大数据推送的第一业务数据和通过开发平台推送的第二业务数据。

本发明实施例所提供的数据存储装置可执行本发明任意实施例所提供的数据存储方法，具备执行数据存储方法相应的功能模块和有益效果。

值得注意的是，上述数据存储装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例四

图6为本发明实施例四提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性计算机设备6的框图。图6显示的计算机设备6仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机设备6以通用计算计算机设备的形式表现。计算机设备6的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备6典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备6访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备6可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机设备6也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备6交互的设备通信，和/或与使得该计算机设备6能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备6还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器20通过总线18与计算机设备6的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备6使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及页面显示，例如实现本发实施例所提供的数据存储方法，

其中，该方法包括：

将所述数据接入层接收到的业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层；

将所述任务数据从所述数据存储层发送至所述数据处理层；

基于所述数据处理层处理所述任务数据，得到标准任务数据；

将所述标准任务数据标准化存储在所述数据存储层中。

当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的数据存储方法的技术方案。

实施例五

本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如本发实施例所提供的数据存储方法，

其中，该方法包括：

将所述数据接入层接收到的业务数据和所述业务数据的标识信息进行关联生成任务数据，并将所述任务数据发送至所述数据存储层；

将所述任务数据从所述数据存储层发送至所述数据处理层；

基于所述数据处理层处理所述任务数据，得到标准任务数据；

将所述标准任务数据标准化存储在所述数据存储层中。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。