一种数据清洗方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据清洗方法、装置、设备及计算机可读存储介质。

背景技术

目前进行数据清洗时，具体过程如下：首先解析原始协议数据并转换成JSON格式的原始事件数据，根据预设的清洗函数对原始事件数据进行二次处理，输出二次处理结果。其中，数据清洗的关键步骤在于清洗函数，清洗函数一般都是通过编程内置在数据清洗服务端的二进制代码中，从而使得数据清洗的业务逻辑可配置性不好，如若要新增设备数据的类型，或者修改业务清洗的逻辑，就需要修改二进制代码并构建数据清洗服务端的二进制代码模块。

因此，当前数据清洗方式存在可配置性的问题，故需要提高数据清洗的可配置性。

发明内容

有鉴于此，本发明的目的在于提供一种数据清洗方法、装置、设备及计算机可读存储介质，解决了现有技术中数据清洗过程中不可配置的技术问题。

为解决上述技术问题，本发明提供了一种数据清洗方法，包括：

获取待清洗数据，并根据所述待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置；

根据所述目标数据清洗配置创建待执行清洗脚本；其中，所述待执行清洗脚本为包括各个所述目标数据清洗配置顺序的脚本；

利用所述待清洗脚本对所述待清洗数据进行清洗，得到清洗结果数据。

可选的，在所述获取待清洗数据之后，还包括：

确定所述待清洗数据的有效性；

当确定所述待清洗数据有效时，执行确定所述目标数据清洗配置的步骤。

可选的，在所述利用所述待清洗脚本对所述待清洗数据进行清洗，得到清洗结果数据之后，还包括：

将预设清洗结果结构数据和所述清洗结果数据对比，确定所述待清洗数据是否清洗成功；

当确定所述待清洗数据清洗成功时，输出所述清洗结果数据；

当确定所述待清洗数据未清洗成功时，确定是否存在未执行的数据清洗配置。

可选的，所述根据所述待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置，包括：

根据数据清洗配置的优先级和所述参数信息从所述数据清洗配置数据库中确定所述目标数据清洗配置。

可选的，在所述根据数据清洗配置的优先级和所述参数信息从所述数据清洗配置数据库中确定所述目标数据清洗配置之前，还包括：

确定每个所述数据清洗脚本配置的成功率，根据所述清洗脚本配置的成功率确定所述数据清洗配置的优先级；其中，所述数据清洗脚本配置的成功率为使用次数和清洗成功次数的比值。

可选的，所述根据所述待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置，包括：

根据所述待清洗数据的数据类型参数信息从所述数据清洗配置数据库中确定所述目标数据清洗配置。

可选的，所述根据所述目标数据清洗配置创建待执行清洗脚本，包括：

根据所述目标数据清洗配置创建清洗JOb；其中，所述清洗JOb为配置所述目标数据清洗配置中的清洗任务的执行顺序，且存储每步清洗任务的执行结果的容器。

本发明还提供了一种数据清洗装置，包括：

待清洗数据获取模块，用于获取待清洗数据，并根据所述待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置；

待执行清洗脚本获取模块，用于根据所述目标数据清洗配置创建待执行清洗脚本；其中，所述待执行清洗脚本为包括各个所述目标数据清洗配置顺序的脚本；

清洗模块，用于利用所述待清洗脚本对所述待清洗数据进行清洗，得到清洗结果数据。

本发明还提供了一种数据清洗设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述的数据清洗方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现上述的数据清洗方法。

可见，本发明通过获取待清洗数据，并根据所待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置。根据目标数据清洗配置创建待执行清洗脚本；其中，待执行清洗脚本为包括各个目标数据清洗配置顺序的脚本。利用待清洗脚本对待清洗数据进行清洗，得到清洗结果数据。可见，本申请在需要新增或者修改数据清洗业务逻辑时，用户可以根据数据清洗配置重新创建待执行清洗脚本，而不用新增或者修改整个模块，从而提高了数据清洗的可配置性。

此外，本发明还提供了一种数据清洗装置、设备及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据清洗方法的流程图；

图2为本发明实施例提供的一种数据清洗方法的流程示例图；

图3为本发明实施例提供的另一种数据清洗方法的流程示例图；

图4为本发明实施例提供的一种优先级确定方法的流程示例图；

图5为本发明实施例提供的一种JOB模块的内部结构示意图；

图6为本发明实施例提供的一种数据清洗装置的结构示意图；

图7为本发明实施例提供的一种数据清洗设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例提供的一种数据清洗方法的流程图。该方法可以包括：

S100，获取待清洗数据，并根据待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置。

该实施例并不限定具体的待清洗数据。例如，该实施例中的待清洗数据可以是int(取整函数)数据类型的数据；或者该实施例中的待清洗数据还可以是array(数组)数据类型的数据；或者该实施例中的待清洗数据可以是50％的数据类型是int，30％的数据是varchar(字符数据)，还有20％的数据是array。该实施例并不限定具体的参数信息。例如，该参数信息可以是数据来源信息；或者该参数信息还可以是数据类型信息。该实施例并不限定目标数据清洗配置中包括多种数据清洗规则。

需要说明的是，在获取待清洗数据之后，还可以包括：确定待清洗数据的有效性；当确定待清洗数据有效时，执行确定目标数据清洗配置的步骤。该实施例由于只对有效的待清洗数据进行清洗，防止对无效的数据进行清洗，影响清洗效率。

需要说明的是，上述根据待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置，可以包括：根据数据清洗配置的优先级和参数信息从数据清洗配置数据库中确定目标数据清洗配置。该实施例会优先确定优先级最高的数据清洗配置作为目标数据清洗配置，提高数据清洗的成功率。

需要说明的是，在根据数据清洗配置的优先级和参数信息从所述数据清洗配置数据库中确定目标数据清洗配置之前，还包括：

确定每个数据清洗脚本配置的成功率，根据清洗脚本配置的成功率确定数据清洗配置的优先级；其中，数据清洗脚本配置的成功率为使用次数和清洗成功次数的比值。该实施例会根据每个数据清洗脚本配置的成功率确定各个数据清洗脚本的优先级，从而提高优先级确定准确性。

需要说明的是，上述根据待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置，可以包括：根据待清洗数据的数据类型参数信息从数据清洗配置数据库中确定目标数据清洗配置。该实施例会根据数据类型参数信息确定目标数据清洗配置，由于不同数据类型对应的清洗规则不同，故根据数据类型参数信息确定目标数据清洗配置，会使得数据清洗更加符合要求。

S101，根据目标数据清洗配置创建待执行清洗脚本；其中，待执行清洗脚本为包括各个目标数据清洗配置顺序的脚本。

该实施例中的待执行清洗脚本是对目标数据清洗配置中数据清洗配置的顺序进行配置后的脚本。

需要说明的是，上述根据目标数据清洗配置创建待执行清洗脚本，可以包括：根据目标数据清洗配置创建清洗JOb；其中，清洗JOb为配置目标数据清洗配置中的清洗任务的执行顺序，且存储每步清洗任务的执行结果的容器。该实施例中的待执行清洗脚本是清洗JOb(清洗模块)，由于清洗JOb中可以存储每步清洗任务的执行结果的容器，可以得到满足目标顺序的清洗数据。

S102，利用待清洗脚本对待清洗数据进行清洗，得到清洗结果数据。

该实施例利用待清洗脚本对待清洗数据进行清洗，得到清洗结果数据。该实施例中的清洗结果数据是按照目标顺序排序后的结果数据。

需要说明的是，在利用待清洗脚本对待清洗数据进行清洗，得到清洗结果数据之后，还可以包括：将预设清洗结果结构数据和清洗结果数据对比，确定待清洗数据是否清洗成功；当确定待清洗数据清洗成功时，输出清洗结果数据；当确定待清洗数据未清洗成功时，确定是否存在未执行的数据清洗配置。该实施例在确定待清洗数据未清洗成功时，会确定是否存在未执行的数据清洗配置，以便利用未执行的数据清洗配置重新对待清洗数据进行清洗。

本发明实施例提供的数据清洗方法，可以包括：获取待清洗数据，并根据所待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置。根据目标数据清洗配置创建待执行清洗脚本；其中，待执行清洗脚本为包括各个目标数据清洗配置顺序的脚本。利用待清洗脚本对待清洗数据进行清洗，得到清洗结果数据。本申请通过待执行清洗脚本对待清洗数据进行数据清洗，即数据清洗的过程中，在需要新增或者修改数据清洗业务逻辑时，用户可以根据数据清洗配置确定待执行清洗脚本，而不用新增或者修改整个模块，从而提高了数据清洗的可配置性。并且，会对待清洗数据的有效性进行验证，确保数据是有效的，提高数据清洗成功率；并且，会判断清洗结果数据是否符合要求，以便及时进行重新清洗；并且，会根据优先级进行数据清洗，提高数据清洗成功率；并且，会利用成功率确定优先级，提高优先级确定的准确性；并且，会数据类型参数信息确定目标数据清洗配置，提高数据清洗配置确定的准确性；并且，会根据目标数据清洗配置创建清洗JOb，确定得到的清洗结果数据的顺序符合要求。

为了使本发明更便于理解，具体请参考图2，图2为本发明实施例提供的一种数据清洗方法的流程示例图，具体可以包括：

S200，接收待清洗数据。

S201，根据待清洗数据的数据类型参数信息和清洗优先级确定待清洗数据对应的优先级最高的数据清洗配置；其中，数据清洗配置包含着一套或者多套的数据清洗脚本配置和数据清洗结果的数据结构。

S202，根据数据清洗配置创建清洗容器；其中，清洗容器中包括数据清洗的顺序。

S203，利用清洗容器对待清洗数据进行清洗，得到清洗结果。

S204，根据预设数据清洗结果结构对清洗结果进行校验。

S205，当确定清洗成功时，输出清洗结果。

S206，当清洗失败时，确定是否存在其他数据清洗配置。

S207，当存在其他数据清洗配置时，利用其他数据清洗配置对待清洗数据进行重新清洗。

S208，确定停止清洗。

该发明实施例可以在不进行代码开发的情况下，通过配置的方式生成数据清洗脚本配置。本发明的数据清洗框架支持在清洗数据的时候使用多种的数据清洗方式去完成，比如一条数据用A方式清洗不成功的情况下，再使用B方式去清洗数据，直到清洗成功或者用完了所有清洗方式。

为了使本发明更便于理解，具体请参考图3，图3为本发明实施例提供的另一种数据清洗方法的流程示例图，具体可以包括：

步骤1：接收外部数据。

该实施例收到外部数据后，会先保存外部传入数据的原始数据，以便清洗失败时，可以根据保存的原始数据重新进行数据清洗。

步骤2：从数据库读取数据清洗配置。

该实施例根据外部数据传入的originType(来源类型)值区分传入的数据类型，通过这个值去查找对应的数据清洗配置。数据清洗配置里面包含着一套或者多套的数据清洗脚本配置和数据清洗结果的数据结构。查到配置后，系统会根据这个配置创建一个数据清洗任务。该实施例中每套数据清洗脚本配置都有一个order值(排序值)代表该条配置的优先级。数据清洗从优先级最高的数据清洗脚本配置开始执行。为便于理解，请参考图4，图4为本发明实施例提供的一种优先级确定方法的流程示例图，该流程示例图，包括：(1)获取数据清洗任务数据；(2)根据数据清洗任务数据计算清洗任务中各个清洗脚本配置在任务中的成功率；其中，成功率为使用次数与清洗成功次数的比值；(3)根据成功率确定清洗脚本配置优先级。

步骤3：根据数据清洗配置创建数据清洗JOB。

该实施例根据数据清洗脚本配置开始构建数据清洗JOB(清洗工作)，和内部使用的TASK模块(任务模块)的类型、参数和PLUGIN模块(调用模块)类型，还有TASK模块的执行顺序都是在构建的时候确定下来的。请参考图5，图5是本发明实施例提供的一种JOB模块的内部结构示意图。该JOB模块包括TASK模块和PLUGIN模块。其中，JOB模块(工作配置模块)。该模块一个最小的数据清洗单元，每个JOB模块包含若干个TASK模块，JOB模块的主要作用是作为一个容器可以按照配置模块给的配置信息对TASK模块进行配置，并且按照配置的顺序进行执行。JOB模块还是一上下文容器，会缓存TASK模块执行结果数据。TASK模块(数据处理模块)。该模块分为三种类型，数据映射、数据调用、数据保存。数据映射类型的模块主要的功能是做字段名称的转换和字段类型的转换。数据调用类型的模块主要的功能是通过调用其他服务的接口获取的数据清洗需要的数据。数据保存类型的模块主要的功能是整合数据，把前面TASK模块产生的数据和原始数据进行整合按照要求的格式输出。PLUGIN模块。该模块是TASK模块的插件模块，每个TASK都可以有1个PLUGIN模块，PLUGIN模块主要功能的是抽象了TASK调用二方能力的功能，PLUGIN有两个实现分别是dubbo调用(远程调用服务框架)的实现、jdbc调用(数据库连接)的实现、构建Excel(表格)的实现、http请求(资源请求)的实现。需要说明的是，该数据清洗方法还包括配置模块。该模块的功能是保存各种数据清洗的配置，和数据清洗的流程。在收到数据清洗请求的时候，根据不同的类型创建数据清洗的JOB。以及脚本配置优先级计算模块。该模块会每天会把最新一段时间的数据清洗任务拉出来进行，对数据清洗脚本配置的清洗的成功率进行计算，并且按照成功率对脚本配置的order值(优先值)进行更新。

步骤4：根据数据清洗配置清洗外部数据。

该实施例主要对JOB模块进行执行，JOB模块是一个TASK模块的执行容器，每个TASK的执行结果都会保存在JOB模块容器中，这样后面执行的TASK模块可以获得前面已经执行的成功的TASK模块的输出结果。

步骤5：确定外部数据是否清洗成功。

该实施例主要目的是对清洗结果进行校验，结果校验模块会根据JOB模块的输出结果，和数据清洗配置的和数据清洗结果的数据结构进行比较，如果清洗结果符合预期则清洗成功。如果清洗结果不符合预期则清洗失败。

步骤6：确定清洗失败时，确定是否存在其他未执行的数据清洗配置。

该实施例在清洗失败的情况下，系统会去查询是否还有其它未执行的数据清洗脚本配置，如果有则会跳回【JOB模块的创建】这个节点进行一次新的数据清洗。如果没有其它未执行的数据清洗脚本配置，则清洗任务结束。

步骤7：确定清洗成功时，输出JOB执行结果。

步骤8：输出清洗结果数据。

该实施例中如果数据清洗成功，系统会根据配置把清洗结果输出到指定的数据库。

步骤9：任务结束，更新数据清洗任务执行结果。

由此流程可见，本发明实施例的优点在于：1)可配置的JOB模块，模块内的TASK模块的类型和执行顺序是可以配置的，TASK模块使用的PLUGIN也是可以动态配置的。对不同数据类型的清洗只要通过配置就可以实现。2)数据清洗脚本配置可以动态添加，如果出现现有清洗脚本配置执行完后，还是有清洗失败的情况，可以根据失败的原因，再添加新的数据清洗脚本配置。然后再重新执行数据清洗任务，直到数据清洗成功。3)每天会定时计算每个数据清洗脚本配置的成功率，调整脚本的order值，每次清洗任何会优先使成功率最高的脚本配置，提高数据清洗效率。

下面对本发明实施例提供的一种数据清洗装置进行介绍，下文描述的数据清洗装置与上文描述的一种数据清洗方法可相互对应参照。

具体请参考图6，图6为本发明实施例提供的一种数据清洗装置的结构示意图，可以包括：

待清洗数据获取模块100，用于获取待清洗数据，并根据所述待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置；

待执行清洗脚本获取模块200，用于根据所述目标数据清洗配置创建待执行清洗脚本；其中，所述待执行清洗脚本为包括各个所述目标数据清洗配置顺序的脚本；

清洗模块300，用于利用所述待清洗脚本对所述待清洗数据进行清洗，得到清洗结果数据。

进一步地，基于上述实施例，上述数据清洗装置，还可以包括：

有效性判断模块，用于确定所述待清洗数据的有效性；

确定执行清洗过程模块，用于当确定所述待清洗数据有效时，执行确定所述目标数据清洗配置的步骤。

进一步地，基于上述任意实施例，上述数据清洗装置，还可以包括：

清洗结果确定模块，用于将预设清洗结果结构数据和所述清洗结果数据对比，确定所述待清洗数据是否清洗成功；

清洗结果数据输出模块，用于当确定所述待清洗数据清洗成功时，输出所述清洗结果数据；

未执行数据清洗配置是否存在确定模块，用于当确定所述待清洗数据未清洗成功时，确定是否存在未执行的数据清洗配置。

进一步地，基于上述任意实施例，上述待清洗数据获取模块100，可以包括：

根据优先级确定目标数据清洗配置单元，用于根据数据清洗配置的优先级和所述参数信息从所述数据清洗配置数据库中确定所述目标数据清洗配置。

进一步地，基于上述实施例，上述数据清洗装置，还可以包括：

优先级确定模块，用于确定每个所述数据清洗脚本配置的成功率，根据所述清洗脚本配置的成功率确定所述数据清洗配置的优先级；其中，所述数据清洗脚本配置的成功率为使用次数和清洗成功次数的比值。

进一步地，基于上述任意实施例，上述待清洗数据获取模块100，可以包括：

根据数据类型参数信息确定目标数据清洗配置单元，用于根据所述待清洗数据的数据类型参数信息从所述数据清洗配置数据库中确定所述目标数据清洗配置。

进一步地，基于上述任意实施例上述，待执行清洗脚本获取模块200，可以包括：

清洗JOb创建单元，用于根据所述目标数据清洗配置创建清洗JOb；其中，所述清洗JOb为配置所述目标数据清洗配置中的清洗任务的执行顺序，且存储每步清洗任务的执行结果的容器。

需要说明的是，上述一种数据清洗装置中的模块以及单元在不影响逻辑的情况下，其顺序可以前后进行更改。

本发明实施例提供的一种数据清洗装置，可以包括：待清洗数据获取模块100，用于获取待清洗数据，并根据所述待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置；待执行清洗脚本获取模块200，用于根据所述目标数据清洗配置创建待执行清洗脚本；其中，所述待执行清洗脚本为包括各个所述目标数据清洗配置顺序的脚本；清洗模块300，用于利用所述待清洗脚本对所述待清洗数据进行清洗，得到清洗结果数据。本申请通过待执行清洗脚本对待清洗数据进行数据清洗，即数据清洗的过程中，在需要新增或者修改数据清洗业务逻辑时，用户可以根据数据清洗配置确定待执行清洗脚本，而不用新增或者修改整个模块，从而提高了数据清洗的可配置性。并且，会对待清洗数据的有效性进行验证，确保数据是有效的，提高数据清洗成功率；并且，会判断清洗结果数据是否符合要求，以便及时进行重新清洗；并且，会根据优先级进行数据清洗，提高数据清洗成功率；并且，会利用成功率确定优先级，提高优先级确定的准确性；并且，会数据类型参数信息确定目标数据清洗配置，提高数据清洗配置确定的准确性；并且，会根据目标数据清洗配置创建清洗JOb，确定得到的清洗结果数据的顺序符合要求。

下面对本发明实施例提供的一种数据清洗设备进行介绍，下文描述的一种数据清洗设备与上文描述的一种数据清洗方法可相互对应参照。

请参考图7，图7为本发明实施例提供的一种数据清洗设备的结构示意图，可以包括：

存储器10，用于存储计算机程序；

处理器20，用于执行计算机程序，以实现上述的数据清洗方法。

存储器10、处理器20、通信接口30均通过通信总线40完成相互间的通信。

在本发明实施例中，存储器10中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本发明实施例中，存储器10中可以存储有用于实现以下功能的程序：

获取待清洗数据，并根据待清洗数据的参数信息从数据清洗配置数据库中确定目标数据清洗配置；

根据目标数据清洗配置创建待执行清洗脚本；其中，待执行清洗脚本为包括各个目标数据清洗配置顺序的脚本；

利用待清洗脚本对待清洗数据进行清洗，得到清洗结果数据。

在一种可能的实现方式中，存储器10可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能所需的应用程序等；存储数据区可存储使用过程中所创建的数据。

此外，存储器10可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括NVRAM。存储器存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可以包括各种系统程序，用于实现各种基础任务以及处理基于硬件的任务。

处理器20可以为中央处理器(Central ProcessingUnit，CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件，处理器20可以是微处理器或者也可以是任何常规的处理器等。处理器20可以调用存储器10中存储的程序。

通信接口30可以为通信模块的接口，用于与其他设备或者系统连接。

当然，需要说明的是，图7所示的结构并不构成对本发明实施例中一种数据清洗设备的限定，在实际应用中一种数据清洗设备可以包括比图7所示的更多或更少的部件，或者组合某些部件。

下面对本发明实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的一种数据清洗方法可相互对应参照。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的一种数据清洗方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本发明的范围。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

以上对本发明所提供的一种数据清洗方法、装置、设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。