数据检查方法及装置

技术领域

本发明涉及数据处理技术领域，尤指一种数据检查方法及装置。

背景技术

随着银行业务的发展，银行产品的应用场景不断丰富，对数据的使用也日趋复杂。对于数据的使用，需要满足各种银行产品的应用场景，不同应用场景对数据的使用标准也不一样，因此对数据质量的要求也非常高，需要制定不同的数据检查标准，提前对数据进行检查并修复，以减少对数据使用的错误。而传统的数据检查方法主要是手工检查，在检查方式、检查内容、检查开销、检查效率等方面存在诸多弊端，检查结果不规范、错漏多、检查效率低下，在数据量大、银行业务益多的今天，该方式已远远无法满足对数据的检查需求。

综上所述，急需一种能够替代人工检查的高效的数据检查方法。

发明内容

针对现有技术中存在的问题，本发明实施例的主要目的在于提供一种数据检查方法及装置，实现替代传统的人工检查数据方式，以提高数据检查的效率和质量。

为了实现上述目的，本发明实施例提供一种数据检查方法，所述方法包括：

根据数据检查请求，从数据库中获取对应的原始数据，以及从预设的数据检查规则中，获取与所述数据检查请求对应的数据检查规则；

利用与所述数据检查请求对应的数据检查规则，对所述原始数据进行解析，并对解析后的原始数据进行组装，得到组装数据；

根据与所述数据检查请求对应的数据检查规则，对所述组装数据进行数据检查，得到检查结果。

可选的，在本发明一实施例中，所述方法还包括：根据预设的数据修复规则，对所述检查结果中的异常数据进行数据修复。

可选的，在本发明一实施例中，所述数据检查请求包括原始数据对应的业务场景及产品条件。

可选的，在本发明一实施例中，所述从预设的数据检查规则中，获取与所述数据检查请求对应的数据检查规则包括：

根据所述数据检查请求中原始数据对应的业务场景及产品条件，从预设的数据检查规则中，获取与所述业务场景及所述产品条件对应的数据检查规则。

本发明实施例还提供一种数据检查装置，所述装置包括：

检查请求模块，用于根据数据检查请求，从数据库中获取对应的原始数据，以及从预设的数据检查规则中，获取与所述数据检查请求对应的数据检查规则；

解析组装模块，用于利用与所述数据检查请求对应的数据检查规则，对所述原始数据进行解析，并对解析后的原始数据进行组装，得到组装数据；

数据检查模块，用于根据与所述数据检查请求对应的数据检查规则，对所述组装数据进行数据检查，得到检查结果。

可选的，在本发明一实施例中，所述装置还包括数据修复模块，用于根据预设的数据修复规则，对所述检查结果中的异常数据进行数据修复。

可选的，在本发明一实施例中，所述数据检查请求包括原始数据对应的业务场景及产品条件。

可选的，在本发明一实施例中，所述检查请求模块还用于根据所述数据检查请求中原始数据对应的业务场景及产品条件，从预设的数据检查规则中，获取与所述业务场景及所述产品条件对应的数据检查规则。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明通过对数据自动进行检查，大大提高了检查的开销和效率，利用不同的检查标准，提高了数据检查的规范和质量，可以满足大数据量的数据检查，以适应日后的大数据使用，能够及时发现数据质量问题，检查条件的可重复利用性强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种数据检查方法的流程图；

图2为本发明实施例中应用数据检查方法的系统结构示意图；

图3为本发明实施例中应用数据检查方法的系统中检查模块结构示意图；

图4为本发明实施例中应用数据检查方法的系统中规则制定模块工作流程图；

图5为本发明实施例一种数据检装置的结构示意图；

图6为本发明一具体实施例中数据检装置的结构示意图；

图7为本发明一实施例所提供的电子设备的结构示意图。

具体实施方式

本发明实施例提供一种数据检查方法及装置，可用于金融领域或其他领域，需要说明的是，本发明的数据检查方法及装置可用于金融领域，也可用于除金融领域之外的任意领域，本发明的数据检查方法及装置应用领域不做限定。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明实施例一种数据检查方法的流程图，本发明实施例提供的数据检查方法的执行主体包括但不限于计算机。图中所示方法包括：

步骤S1，根据数据检查请求，从数据库中获取对应的原始数据，以及从预设的数据检查规则中，获取与所述数据检查请求对应的数据检查规则。

其中，数据检查请求可以通过预设方式发起，或者人工发起。预设方式可以为在预设时间间隔后，自动发起数据检查请求。具体的，数据检查请求包括待检查的原始数据所在的数据库、原始数据对应的业务场景及产品条件等信息。

进一步的，根据数据检查请求，从对应对数据库中获取原始数据，并根据数据检查请求中对业务场景及产品条件，从预设的数据检查规则中获取对应的数据检查规则。具体的，业务场景可以为是否开通微信、支付宝、银联以及各种产品的个性化设置等等，产品条件可以为支付方式、费率、结算方式等等。不同的业务场景及不同的产品条件，对应的数据检查规则不同，因此，需要根据原始数据的业务场景及产品条件选取对应的数据检查规则。

步骤S2，利用与所述数据检查请求对应的数据检查规则，对所述原始数据进行解析，并对解析后的原始数据进行组装，得到组装数据。

其中，根据数据检查请求对应的数据检查规则，对原始数据进行解析及组装。具体的，针对不同产品条件及业务场景的原始数据用不同的解析方式和组装方式，如前面所述，当一个商户开通支付宝时，支付方式产品条件必须包括支付宝，还有费率设置，结算信息设置等等，即数据检查规则。同时商户还可以开通微信、银联、外卡等等，根据不同产品条件进行组装。在数据解析及组装后，将经过组装后的数据作为组装数据。

步骤S3，根据与所述数据检查请求对应的数据检查规则，对所述组装数据进行数据检查，得到检查结果。

其中，将组装数据与数据检查请求对应的数据检查规则进行比较，具体的，数据检查规则可以为要求支付方式、用户银行卡号、用户姓名等信息不能为空，以及各个信息所具有的具体格式等。将得到的组装数据与数据检查规则进行比较，判断组装数据是否满足数据检查规则。若不满足，则判断为异常数据，检查结果为不通过，若满足，则检查结果为检查通过。此外，将得到的检查结果及异常数据输出。

作为本发明的一个实施例，方法还包括：根据预设的数据修复规则，对所述检查结果中的异常数据进行数据修复。

其中，对数据完成检查之后，需要对异常数据进行输出，输出的内容包括错误检查关键字，错误条数，不符合的原因，以及原始数据。检查结果输出方式是使用日志输出，对所有校验不通过的异常数据进行日志打印输出，用于对检查结果进行统计并修复。

进一步的，取得检查结果输出模块输出结果后，对异常数据进行复核，并制定异常数据修复方法。具体的，对异常数据进行修复可以采取两种方式，一种是通过维护数据的系统，人工对单条数据进行正确的维护；另一种就是通过数据方式，执行变更脚本来纠正错误数据。第一种方式的维护效率比较低，第二种修复方式是通过数据变更的形式，具体的，把异常数据按照符合标准的形式变更正确，在对检查结果进行核对后，需要人工编写正确的数据变更SQL来由版本执行。

作为本发明的一个实施例，所述数据检查请求包括原始数据对应的业务场景及产品条件。

其中，数据检查请求包括待检查的原始数据所在的数据库、原始数据对应的业务场景及产品条件等信息。

作为本发明的一个实施例，所述从预设的数据检查规则中，获取与所述数据检查请求对应的数据检查规则包括：根据所述数据检查请求中原始数据对应的业务场景及产品条件，从预设的数据检查规则中，获取与所述业务场景及所述产品条件对应的数据检查规则。

其中，根据数据检查请求，从对应对数据库中获取原始数据，并根据数据检查请求中对业务场景及产品条件，从预设的数据检查规则中获取对应的数据检查规则。具体的，业务场景可以为是否开通微信、支付宝、银联以及各种产品的个性化设置等等，产品条件可以为支付方式、费率、结算方式等等。不同的业务场景及不同的产品条件，对应的数据检查规则不同，因此，需要根据原始数据的业务场景及产品条件选取对应的数据检查规则。

进一步的，数据检查规则与业务场景及产品条件的对应关系具体可为：不同的业务场景下具有多种不同的产品条件，各产品条件与数据检查规则相对应，可以为一对一或多对一的关系；或者，不同产品条件下具有多种不同的业务场景，各业务场景与数据检查规则相对应，可以为一对一或多对一的关系；或者，数据检查规则仅与业务场景及产品条件中的一个相对应，可以为一对一或一对多的关系。

在本发明一具体实施例中，如图2所示为本发明实施例中应用数据检查方法的系统结构示意图，图中所示系统包括：自动监测发起模块、检查模块、检查结果输出模块及修复异常数据模块。

自动监测发起模块是对自动检查进行自动调起，较佳的，使用定时批量的方式调起，一天会定时几次对数据进行检查。进一步的，可以根据实际情况设置自动监测发起的机制。

检查模块负责实现对数据的检查功能，如图3所示，检查模块包括：制定检查标准单元、数据查询单元及数据比对单元。

1)制定检查标准单元：制定检查标准主要是数据检查的规则制定，如图4所示，制定检查标准单元具体用于建立数据使用模型、数据使用实例、创建数据检查模板、对模板模板进行组装。

其中，建立数据使用模型：可以从两部分来抽取模型，一是数据的存储结构是否正确，如涉及的数据按产品条件来进行划分，产品条件包括：支付方式、费率、结算方式等等，不同产品条件的数据存储结构不一样，数据以JSON格式存储，那包括的key值和value值的格式也不一样，如支付方式，存储结构为Map，包括是否开通支付宝、微信、银联等数据字典，而费率的存储结构是数组，存储的是开通各种产品设置的费率，因此需要根据数据的存储结构来制定不一样的检查模型；二是从数据使用的角度出发，划分不同的数据使用场景，如是否开通微信、支付宝、银联以及各种产品的个性化设置，对于不同业务场景下的数据使用也是不一样，因此需要根据不同场景来划分不同的检查模型，抽取成一个个小的检查模块，如支付方式的检查可以划分为一个模块，费率的检查又划分为另一模块。

创建数据检查模板：根据上一步已建立的数据使用模型，把各检查模型进行实例化。该环节所实现的内容就是把上一步模型给具体实现，根据不同的数据结构和使用场景的具体，用不同的检查算法封装检查标准，形成可以使用的各个检查模板，上一步只是根据实际使用情况创建模板，这一步要做的就是算法实现，根据数据要求用代码实现，写在各个模块。

对模板进行组装：这一步骤要实现的是根据不同业务场景来对前面已创建的模板进行组装，形成一个实际可用的完整的数据检查用例，模拟在实际使用时对数据的使用处理。在这一步骤最重要的是根据已有的数据结构和业务使用场景来划分不同的数据检查场景，然后用上一步的各个检查模板来对进行拼装，如开通了支付宝，那么数据中支付方式必须包括支付宝的支持方式，费率中也包括支付宝的相关费率等等。

2)数据查询单元：在调起检查的程序时，会先从数据库中查询需要检查的数据，取得需要检查的原始数据，根据实际使用的数据库，使用对应的数据库查询方式即可。例如，分布式数据库，可直接根据查询条件对数据库发起查询。

3)数据解析组装单元：根据制定检查标准，按照检查规则进行数据的解析和组装。如涉及的数据按产品条件来进行划分，可以分为简单产品条件和复杂产品条件，不同产品条件的数据存储结构不一样。因此针对不同产品条件的数据用不同的解析方式和组装方式，如前面所述，当一个商户开通支付宝时，必须支付方式产品条件必须包括支付宝，还有费率设置，结算信息设置等等。同时商户还可以开通微信、银联、外卡等等，根据不同产品条件进行组装。

4)数据比对单元：把制定检查标准和数据解析组装数据这两个模块来进行比较，如遇到数据与检查标准不一致的情况，则为异常数据，如上面所述不同产品条件的存储结构和包括的业务内容不同，如开通支付宝则必须包括支付宝的相关设置，由后面的检查结果输出模板进行输出处理。

检查结果输出模块用于对数据完成检查之后，需要对异常数据进行输出，输出的内容包括错误检查关键字，错误条数，不符合的原因，以及原始数据。本系统使用检查结果输出方式是使用日志输出，对所有校验不通过的异常数据进行日志打印输出，用于对检查结果进行统计并修复。

修复异常数据模块用于在取得检查结果输出模块输出结果后，对异常数据进行复核，并制定异常数据修复方法，对异常数据进行修复可以采取两种方式，一种是通过维护数据的系统，人工对单条数据进行正确的维护；另一种就是通过数据方式，执行变更脚本来纠正错误数据。第一种方式的维护效率比较低，本系统采取的修复方式是通过数据变更的形式，把异常数据按照符合标准的形式变更正确，在对检查结果进行核对后，需要人工编写正确的数据变更SQL来由版本执行。

本发明与传统的人工检查方法对比，其发明效果和优点在于：1)通过程序自动化进行检查，大大提高了检查的开销和效率；2)根据不同的数据应用场景，制定不同的检查标准，提高了数据检查的规范和质量；3)可以满足大数据量的数据检查，以适应日后的大数据使用；4)能够及时发现数据质量问题并进行修复；5)可以灵活多变的制定不同的检查模板来对数据进行检查，检查条件的可重复利用性强。

如图5所示为本发明实施例一种数据检装置的结构示意图，图中所示装置包括：

检查请求模块10，用于根据数据检查请求，从数据库中获取对应的原始数据，以及从预设的数据检查规则中，获取与所述数据检查请求对应的数据检查规则。

其中，数据检查请求可以通过预设方式发起，或者人工发起。预设方式可以为在预设时间间隔后，自动发起数据检查请求。具体的，数据检查请求包括待检查的原始数据所在的数据库、原始数据对应的业务场景及产品条件等信息。

进一步的，根据数据检查请求，从对应对数据库中获取原始数据，并根据数据检查请求中对业务场景及产品条件，从预设的数据检查规则中获取对应的数据检查规则。具体的，业务场景可以为是否开通微信、支付宝、银联以及各种产品的个性化设置等等，产品条件可以为支付方式、费率、结算方式等等。不同的业务场景及不同的产品条件，对应的数据检查规则不同，因此，需要根据原始数据的业务场景及产品条件选取对应的数据检查规则。

解析组装模块20，用于利用与所述数据检查请求对应的数据检查规则，对所述原始数据进行解析，并对解析后的原始数据进行组装，得到组装数据。

其中，根据数据检查请求对应的数据检查规则，对原始数据进行解析及组装。具体的，针对不同产品条件及业务场景的原始数据用不同的解析方式和组装方式，如前面所述，当一个商户开通支付宝时，支付方式产品条件必须包括支付宝，还有费率设置，结算信息设置等等，即数据检查规则。同时商户还可以开通微信、银联、外卡等等，根据不同产品条件进行组装。在数据解析及组装后，将经过组装后的数据作为组装数据。

数据检查模块30，用于根据与所述数据检查请求对应的数据检查规则，对所述组装数据进行数据检查，得到检查结果。

其中，将组装数据与数据检查请求对应的数据检查规则进行比较，具体的，数据检查规则可以为要求支付方式、用户银行卡号、用户姓名等信息不能为空，以及各个信息所具有的具体格式等。将得到的组装数据与数据检查规则进行比较，判断组装数据是否满足数据检查规则。若不满足，则判断为异常数据，检查结果为不通过，若满足，则检查结果为检查通过。此外，将得到的检查结果及异常数据输出。

作为本发明的一个实施例，如图6所示，所述装置还包括数据修复模块40，用于根据预设的数据修复规则，对所述检查结果中的异常数据进行数据修复。

其中，对数据完成检查之后，需要对异常数据进行输出，输出的内容包括错误检查关键字，错误条数，不符合的原因，以及原始数据。检查结果输出方式是使用日志输出，对所有校验不通过的异常数据进行日志打印输出，用于对检查结果进行统计并修复。

进一步的，取得检查结果输出模块输出结果后，对异常数据进行复核，并制定异常数据修复方法。具体的，对异常数据进行修复可以采取两种方式，一种是通过维护数据的系统，人工对单条数据进行正确的维护；另一种就是通过数据方式，执行变更脚本来纠正错误数据。第一种方式的维护效率比较低，第二种修复方式是通过数据变更的形式，具体的，把异常数据按照符合标准的形式变更正确，在对检查结果进行核对后，需要人工编写正确的数据变更SQL来由版本执行。

作为本发明的一个实施例，所述数据检查请求包括原始数据对应的业务场景及产品条件。

作为本发明的一个实施例，所述检查请求模块还用于根据所述数据检查请求中原始数据对应的业务场景及产品条件，从预设的数据检查规则中，获取与所述业务场景及所述产品条件对应的数据检查规则。

基于与上述一种数据检查方法相同的申请构思，本发明还提供了上述一种数据检查装置。由于该一种数据检查装置解决问题的原理与一种数据检查方法相似，因此该一种数据检查装置的实施可以参见一种数据检查方法的实施，重复之处不再赘述。

本发明通过对数据自动进行检查，大大提高了检查的开销和效率，利用不同的检查标准，提高了数据检查的规范和质量，可以满足大数据量的数据检查，以适应日后的大数据使用，能够及时发现数据质量问题，检查条件的可重复利用性强。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

如图7所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图7中所示的所有部件；此外，电子设备600还可以包括图7中没有示出的部件，可以参考现有技术。

如图7所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。