检查数据链路中准确性的方法和装置

技术领域

本申请涉及数据处理技术领域，具体涉及一种检查数据链路中准确性的方法和装置。

背景技术

在金融行业营销场景以及其他一些场景中，需要解决数据链路中准确性的问题。目前有两种方法常用于验证数据链路中的准确性。

一种方法是后置校验，是在整个数据链路完全加工完成以后进行，该方法是目前比较通用的数据准确性校验方法。该方法存在如下缺陷：资源浪费，直接验证结果是否与目标是否一致，在数据量较大的情况下，一旦有问题，重新计算时会耗费大量资源，造成不必要的资源浪费，影响其他数据处理任务。

另一种方法是基于少量数据验证，即通过少量测试集数据验证整个数据链路加工的准确性。该方法存在如下缺陷：存在验证偏差，基于少量数据验证，无法模拟真实环境的复杂数据场景，可能导致数据加工结果的准确性存在偏差，进而为企业带来潜在的损失及声誉影响。

发明内容

本申请提供一种检查数据链路中准确性的方法和装置，以有助于提高资源利用率，避免验证结果偏差。

第一方面，本申请提供一种检查数据链路中准确性的方法，包括：将数据链路按照业务流程拆分为多个数据加工节点，多个所述数据加工节点按照顺序进行数据流转；在每个所述数据加工节点后设置相关联的反推检查点，所述反推检查点的校验逻辑是相关联的所述数据加工节点的加工逻辑的逆运算；执行所述反推检查点的校验逻辑，验证计算结果是否符合预期。

在一些可选的实施方式中，所述数据加工节点包括第一节点，所述反推检查点包括设置在所述第一节点后的第一检查点，所述的执行所述反推检查点的校验逻辑，验证计算结果是否符合预期的步骤包括：执行所述第一检查点的校验逻辑，计算得到第一校验数据；获取进入所述第一节点的第一输入数据；将所述第一校验数据与所述第一输入数据进行比对，判断是否一致。

在一些可选的实施方式中，所述反推检查点的校验逻辑包括数量逆向汇总和明细逆向汇总。

在一些可选的实施方式中，所述的方法，包括：若符合预期，则执行后续的所述数据加工节点；若不符合预期，则中断后续的所述数据加工节点的执行，进行告警。

第二方面，本申请提供一种检查数据链路中准确性的装置，包括：拆分模块，被配置成将数据链路按照业务流程拆分为多个数据加工节点，多个所述数据加工节点按照顺序进行数据流转；设置模块，被配置成在每个所述数据加工节点后设置相关联的反推检查点，所述反推检查点的校验逻辑是相关联的所述数据加工节点的加工逻辑的逆运算；执行模块，被配置成执行所述反推检查点的校验逻辑，验证计算结果是否符合预期。

在一些可选的实施方式中，所述数据加工节点包括第一节点，所述反推检查点包括设置在所述第一节点后的第一检查点，所述执行模块进一步被配置成：执行所述第一检查点的校验逻辑，计算得到第一校验数据；获取进入所述第一节点的第一输入数据；将所述第一校验数据与所述第一输入数据进行比对，判断是否一致。

在一些可选的实施方式中，所述反推检查点的校验逻辑包括数量逆向汇总和明细逆向汇总。

在一些可选的实施方式中，所述执行模块进一步被配置成，若符合预期，则执行后续的所述数据加工节点；若不符合预期，则中断后续的所述数据加工节点的执行，进行告警。

第三方面，本申请提供一种计算机设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面所述的检查数据链路中准确性的方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如第一方面所述的检查数据链路中准确性的方法。

为了解决现有技术的后置校验和基于少量数据验证存在的技术问题，本申请提出了一种检查数据链路中准确性的方法和装置。本申请通过采用上述技术方案，取得的有益效果包括但不限于：

1.通过将数据链路按照业务流程拆分为多个数据加工节点，在每个数据加工节点后设置反推检查点，当反推检查点计算结果与数据加工节点计算结果出现逻辑不一致时，就可以中断后续数据加工节点的执行，以提高资源利用率。

2.反推检查点的加工逻辑是数据加工节点加工逻辑的逆运算，其检查过程基于全量数据逻辑校验，避免了基于少量数据验证可能导致的验证结果偏差。

3.拆分数据链路业务流程，明确每一步数据处理目的，降低了数据计算复杂度。

如上所述，本申请可以实现数据链路中数据准确性的校验，具有资源利用率高、验证偏差小、设计复杂度低等优点。以此，本申请可应用于多种活动数据加工场景中，为活动数据提供准确性解决方案，确保产出的活动权益数据准确无误，保障活动顺利展开。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1是根据本申请一个实施例的一种检查数据链路中准确性的方法的流程图；

图2是根据本申请一个实施例的示例性的数据链路的结构示意图；

图3是根据本申请一个实施例的反推检查点的作用效果图；

图4是根据本申请一个实施例的一种检查数据链路中准确性的装置的结构图；

图5是根据本申请一个实施例的计算机设备的硬件组成结构示意图。

具体实施方式

为了能够更加详尽地了解本申请实施例的特点与技术内容，下面结合附图对本申请实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本申请实施例。

参考图1和图2，图1是根据本申请一个实施例的一种检查数据链路中准确性的方法的流程图，图2是根据本申请一个实施例的示例性的数据链路的结构示意图。

本申请实施例的检查数据链路中准确性的方法，可以用于多种数据处理系统，例如金融行业营销数据处理系统。数据处理系统在硬件上可以部署于单台服务器，或者分布式部署于多台服务器。本申请实施例的方法一般可以由服务器执行。

如图1和图2所示，本申请实施例的检查数据链路中准确性的方法可以包括以下步骤：

步骤11、将数据链路按照业务流程拆分为多个数据加工节点，多个数据加工节点按照顺序进行数据流转。

这里，数据处理系统，例如金融行业营销数据处理系统，在进行业务处理之前，先对业务的数据链路进行拆分。例如图2所示，将数据链路拆分成包括数据加工节点一至数据加工节点三的多个数据加工节点，多个数据加工节点按照顺序进行数据流转，数据源从数据加工节点一进入开始处理，最后通过数据加工节点三后得到最终数据。

步骤12、在每个数据加工节点后设置相关联的反推检查点，反推检查点的校验逻辑是相关联的数据加工节点的加工逻辑的逆运算。

这里，在每个数据加工节点后面设置相关联的反推检查点，例如，数据加工节点一至数据加工节点三的后面分别各自设置一个反推检查点。反推检查点的校验逻辑是相关联的数据加工节点的加工逻辑的逆运算。示例性的，假设数据加工节点一的加工逻辑是将输入数据乘以B，则其后面的反推检查点的校验逻辑可以是除以B。

步骤13、执行反推检查点的校验逻辑，验证计算结果是否符合预期。

这里，通过执行反推检查点的校验逻辑，对计算结果进行验证，判断是否符合预期。若符合预期，则执行后续的数据加工节点；若不符合预期，则中断后续的数据加工节点的执行，进行告警。

在一些可选的实施方式中，假设数据加工节点包括第一节点，反推检查点包括设置在第一节点后的第一检查点，步骤13可以包括：执行第一检查点的校验逻辑，计算得到第一校验数据；获取进入第一节点的第一输入数据；将第一校验数据与第一输入数据进行比对，判断是否一致。若一致则认为符合预期，否则不符合预期。

在一些可选的实施方式中，参考图2，数据链中的数据加工流程可以包括：

①读取活动(或者说业务)相关配置以及活动权益加工相关的原始数据(数据源)；

②将一个复杂的数据加工逻辑根据不同的业务流程拆分为多个简单的数据加工节点

③按照从前往后的顺序进行数据流转；

④产出活动权益数据(最终数据)。

在一些可选的实施方式中，参考图2，反推检查节点的流程可以包括：

①在每个数据加工节点后进行反推检查点的设置；

②基于数据加工节点的加工逻辑，编写反推检查点逆行校验逻辑；这里，反推检查点的校验逻辑可以包含数量(条数)逆向汇总以及明细逆向汇总这两部分；

③执行反推检查点校验逻辑，验证计算结果是否符合预期，如果不符合预期，则告警，进入人工干预，如果符合预期，则执行下一个数据加工节点进行下一步数据处理。

参考图3，图3是根据本申请一个实施例的反推检查点的作用效果图。

如图3所示，对于输入数据，用数据加工节点的加工逻辑(正向逻辑)加工得到目标数据(可以包括条数和明细)；对于加工出来的目标数据，用对应的反推检查点的校验逻辑(逆向逻辑)同样加工出一组校验数据；将校验数据和输入数据这两组数据做对比(例如比对数据数量(条数)和数据明细)，如果数据一致，则说明数据准确，符合预期，反之则不准确，不符合预期，可以告警处理。

参考图4，图4是根据本申请一个实施例的一种检查数据链路中准确性的装置的结构图。

如图4所示，本申请实施例的检查数据链路中准确性的装置，可以包括：

拆分模块41，被配置成将数据链路按照业务流程拆分为多个数据加工节点，多个数据加工节点按照顺序进行数据流转；

设置模块42，被配置成在每个数据加工节点后设置相关联的反推检查点，反推检查点的校验逻辑是相关联的数据加工节点的加工逻辑的逆运算；

执行模块43，被配置成执行反推检查点的校验逻辑，验证计算结果是否符合预期。

在一些可选的实施方式中，反推检查点的校验逻辑包括数量逆向汇总和明细逆向汇总。

在一些可选的实施方式中，数据加工节点包括第一节点，反推检查点包括设置在第一节点后的第一检查点，执行模块43进一步被配置成：执行第一检查点的校验逻辑，计算得到第一校验数据；获取进入第一节点的第一输入数据；将第一校验数据与第一输入数据进行比对，判断是否一致。

在一些可选的实施方式中，执行模块43进一步被配置成，若符合预期，则执行后续的数据加工节点；若不符合预期，则中断后续的数据加工节点的执行，进行告警。

需要说明的是，本实施例装置中各个模块的实现细节和技术效果可以参考本申请中其它实施例的说明，在此不再赘述。该装置的每个模块中的实现方案具有多样性，只要能达到模块的目的即可，实际部署中不受限于具体的实施方案。

参考图5，图5是根据本申请一个实施例的计算机设备的硬件组成结构示意图。如图5所示，本申请的计算机设备500可包括：

一个或多个处理器501；

存储器502，其上存储有一个或多个程序503；

处理器501和存储器502等组件可通过总线系统504耦合在一起；总线系统504用于实现这些组件之间的连接通信；

当一个或多个程序503被一个或多个处理器501执行时，使得一个或多个处理器501实现如上文方法实施例中所公开的检查数据链路中准确性的方法。

其中，总线系统504除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线。存储器502可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。处理器501可能是具有信号处理能力的集成电路芯片，可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被一个或多个处理器执行时实现如上文方法实施例中所公开的检查数据链路中准确性的方法。

本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应理解，本申请中术语“系统”和“网络”在本文中常被可互换使用。本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中字符“/”，一般表示前后关联对象是一种“或”的关系。

以上所述，仅为本申请的较佳实施例，并非用于限定本申请的保护范围，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。