一种数据校验的方法、装置、计算机设备及计算机可读存储介质

技术领域

本申请实施例涉及数据处理的领域，尤其涉及一种数据校验的方法、装置、计算机设备及计算机可读存储介质。

背景技术

一般情况下，如果应用系统需要做数据校验，需要依赖中心化的系统或者第三方接口，以实现数据校验。然而这样的方式需要强依赖第三方接口支撑能力，并且随着接入的应用数量越多，导致第三方不稳定的概率越大，从而影响提供高可用的业务能力。通过上述描述可见，现有技术中，数据校验中心化。

随着互联网技术的发展，出现各种微服务化的系统，而大部分系统都需要进行核心数据校验。在现有技术中，每个应用都有可能有自己的数据校验系统，开发人员在应用软件开发时，还需要考虑数据校验系统的开发和维护，并且不同的系统对数据校验的口径不同，由此可能带来数据泄漏等风险。通过上述描述可见，现有技术中，数据校验的实现方式比较复杂。

在互联网产品中，快速迭代尤为重要，当校验规则有所改变时，开发者还需要在一个或者多个系统中修改数据校验的逻辑代码，对于需要定制化校验内容的系统只能硬编码，随着系统迭代的推移，维护起来很复杂，如果某个系统修改错误则可能带来整个业务拒绝服务的风险，这种静态方式可能会拖慢产品的迭代，通过上述描述可见，现有技术中，数据校验不够灵活。

在互联网生产环境中对用户的数据回收尤其重要，现有技术方案的数据校验系统分散各有个的用户使用行为采集方案，但是采集的字段以及数据格式不统一，因此也不利于后续的数据分析和数据挖掘。

发明内容

本申请实施例的目的是提供一种数据校验的方法、系统、计算机设备及计算机可读存储介质，在于提供一种半中心化的SDK及其资源加载到应用端，在远端配置校验规则，依据数据校验采集用户使用行为并且上报至大数据生态，这样就无需强依赖第三方接口或者系统，可直接在本地数据动态校验，从而在不影响自身业务的的同时，提高本地数据的可用性的服务能力。

本申请实施例的一个方面提供了一种数据校验的方法，所述方法包括：

从历史数据校验集中，提取数据规则的共性作为预准备的数据校验规则；

实时更新所述数据校验规则；

管理所述数据校验规则，动态渲染所述数据校验规则并进行数据校验；

根据所述数据校验获取用户使用行为，并统一格式进行上报。

本申请实施例的一个方面又提供了一种数据校验的装置，所述装置包括：

提取模块，用于从历史数据校验集中，提取数据规则的共性作为预准备的数据校验规则；

更新模块，用于实时更新所述数据校验规则；

渲染模块，用于管理所述数据校验规则，动态渲染所述数据校验规则并进行数据校验；

获取模块，用于根据所述数据校验获取用户使用行为，并统一格式进行上报。

本申请实施例的一个方面又提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

本申请实施例的一个方面又提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

本申请实施例提供的一种数据校验的方法、系统、计算机设备及计算机可读存储介质，从历史数据校验集中，提取数据规则的共性作为预准备的数据校验规则；实时更新所述数据校验规则；管理所述数据校验规则，动态渲染所述数据校验规则并进行数据校验；根据所述数据校验获取用户使用行为，并统一格式进行上报。本申请设计一套数据校验规则配置系统以及数据动态校验的方法，并可将规则校验移动至数据所在地，同时提供白名单以便应对定制化的需求，由此能够更加简单快速的实现数据校验。

附图说明

图1示意性示出了根据本申请实施例的数据校验的方法的应用环境图；

图2示意性示出了根据本申请实施例一的数据校验的方法的流程图；

图3示意性示出了根据本申请实施例二的数据校验的装置的框图；

图4示意性示出了根据本申请实施例三的适于实现数据校验的方法的计算机设备的硬件架构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，在本申请实施例中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

图1示意性示出了根据本申请实施例的数据校验的方法的环境应用示意图。

数据校验规则配置平台包括：规则管理模块、规则分发模块、数据回收模块。数据校验规则通信包括：Codis和Kafka。数据校验SDK包括：规则插件动态加载、动态数据校验、用户行为上报、白名单分片。SDK分发系统包括：版本管理和代码发布。

数据校验规则通信包括：

a)、在数据规则配置平台配置应用软件所需要的规则，保存后做上线操作；

b)、校验规则同步至Codis，同时守护进程监听规则的变化，将变化的内容同步修改。

数据校验SDK包括：

a)、解析白名单做分片处理，同时缓存在应用本地并且实时监控白名单的过期时间；

b)、从Codis读取校验规则，同时缓存在应用本地，根据校验规则加载相应的插件；

另外，还包括：

a)、根据规则过滤后的数据直接上报至Kafka；

b)、Flink消费Kafka写入数据之Hive，精准数据提供给数据分析或者挖掘。

实施例一

图2示意性示出了根据本申请实施例一的数据校验的方法的流程图。可以理解，本方法实施例可以被执行在移动终端中，且本方法实施例的流程图不用于对执行步骤的顺序进行限定。

如图2所示，该数据校验的方法可以包括步骤S200～S206，其中：

步骤S200，从历史数据校验集中，提取数据规则的共性作为预准备的数据校验规则；

可选的，所述从历史数据校验集中，提取数据规则的共性作为预准备的数据校验规则，包括：

将所述预准备的数据校验规则录入数据规则配置系统中；

接收用户在所述数据规则配置系统中，配置所述数据校验规则的数据参数。

可选的，所述接收用户在所述数据规则配置系统中，配置数据校验规则的数据参数，包括：

接收用户手动或者自动上下线操作，配合所述预准备的数据校验规则进行数据动态校验。

步骤S202，实时更新所述数据校验规则；

可选的，所述实时更新所述数据校验规则，包括：

将所述数据校验规则写入分布式缓存，启用后台进程监听所述数据校验规则的变化，准实时地更新所述分布式缓存。

步骤S204，管理所述数据校验规则，动态渲染所述数据校验规则并进行数据校验；

可选的，所述管理所述数据校验规则，动态渲染所述数据校验规则并进行数据校验，包括：

与所述数据规则配置系统通信，解析白名单并分片处理加快资源的加载速度，动态渲染所述数据规则完成相关的数据校验。

可选的，所述与所述数据规则配置系统通信，包括：

在数据规则配置平台配置应用软件所需要的校验规则，保存后做上线操作；

将所述校验规则同步至所述分布式缓存，守护进程监听规则的变化，将变化的内容同步修改。

可选的，所述解析白名单并分片处理加快资源的加载速度，动态渲染所述数据规则完成相关的数据校验，包括：

解析白名单做分片处理，缓存在应用本地并且实时监控白名单的过期时间；

从所述分布式缓存读取校验规则，缓存在应用本地，根据所述校验规则加载相应的插件。

步骤S206，根据所述数据校验获取用户使用行为，并统一格式进行上报。

具体的，从对历史数据校验集中，提炼出数据规则共性作为预准备的数据校验规则。

开发一套数据规则配置系统，并且将预备的数据规则录入该系统中，以提供给使用方，使用方也可以在该系统中配置所需要的数据校验规则。

系统中的规则可手动、自动上下线操作，配合自定义规则做到数据动态校验。

上线的规则写入分布式缓存(Codis)中，同时启用后台进程监听规则的变化，准实时的更新缓存。

SDK实现插件式的数据校验规则的管理，同时与规则配置系统通信，解析白名单并分片处理加快资源的加载速度，动态渲染数据规则完成相关的数据校验。

根据数据规则的校验，采集用户使用行为并且统一格式上报至Kafka。

本申请实施例提供的一种数据校验的方法，从历史数据校验集中，提取数据规则的共性作为预准备的数据校验规则；实时更新所述数据校验规则；管理所述数据校验规则，动态渲染所述数据校验规则并进行数据校验；根据所述数据校验获取用户使用行为，并统一格式进行上报。本申请设计一套数据校验规则配置系统以及数据动态校验的方法，并可将规则校验移动至数据所在地，同时提供白名单以便应对定制化的需求，由此能够更加简单快速的实现数据校验。

实施例二

图3示意性示出了根据本申请实施例二的数据校验的装置的框图，该数据校验的装置可以被分割成一个或多个程序模块，一个或者多个程序模块被存储于存储介质中，并由一个或多个处理器所执行，以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段，以下描述将具体介绍本实施例中各程序模块的功能。

如图3所示，该数据校验的装置300可以包括提取模块310、更新模块320、渲染模块330、获取模块340，其中：

提取模块310，用于从历史数据校验集中，提取数据规则的共性作为预准备的数据校验规则；

更新模块320，用于实时更新所述数据校验规则；

渲染模块330，用于管理所述数据校验规则，动态渲染所述数据校验规则并进行数据校验；

获取模块340，用于根据所述数据校验获取用户使用行为，并统一格式进行上报。

具体的，从对历史数据校验集中，提炼出数据规则共性作为预准备的数据校验规则。

开发一套数据规则配置系统，并且将预备的数据规则录入该系统中，以提供给使用方，使用方也可以在该系统中配置所需要的数据校验规则。

系统中的规则可手动、自动上下线操作，配合自定义规则做到数据动态校验。

上线的规则写入分布式缓存(Codis)中，同时启用后台进程监听规则的变化，准实时的更新缓存。

SDK实现插件式的数据校验规则的管理，同时与规则配置系统通信，解析白名单并分片处理加快资源的加载速度，动态渲染数据规则完成相关的数据校验。

根据数据规则的校验，采集用户使用行为并且统一格式上报至Kafka。

本申请实施例提供的一种数据校验的装置，从历史数据校验集中，提取数据规则的共性作为预准备的数据校验规则；实时更新所述数据校验规则；管理所述数据校验规则，动态渲染所述数据校验规则并进行数据校验；根据所述数据校验获取用户使用行为，并统一格式进行上报。本申请设计一套数据校验规则配置系统以及数据动态校验的方法，并可将规则校验移动至数据所在地，同时提供白名单以便应对定制化的需求，由此能够更加简单快速的实现数据校验。

实施例三

图4示意性示出了根据本申请实施例三的适于实现数据校验的方法的计算机设备的硬件架构示意图。

本实施例中，计算机设备400可以用于作为提供商网络或组成提供商网络的组成部分，计算机设备400可以是诸如虚拟机主机进程和一个或多个虚拟机实例，或者是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。

本实施例中，计算机设备400也可以用于作为是移动终端或组成移动终端的组成部分。当计算机设备400是移动终端或组成移动终端的组成部分时，计算机设备400可以是诸如智能手机、电脑、投影仪、机顶盒等。

本实施例中，计算机设备400是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。如图4所示，计算机设备400至少包括但不限于：可通过系统总线相互通信链接存储器410、处理器420、网络接口430。

其中：

存储器410至少包括一种类型的计算机可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器410可以是计算机设备400的内部存储模块，例如该计算机设备400的硬盘或内存。在另一些实施例中，存储器410也可以是计算机设备400的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(FlashCard)等。当然，存储器410还可以既包括计算机设备4的内部存储模块也包括其外部存储设备。本实施例中，存储器410通常用于存储安装于计算机设备4的操作系统和各类应用软件，例如数据校验的方法的程序代码等。此外，存储器410还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器420在一些实施例中可以是中央处理器(Central Processing Unit，简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器420通常用于控制计算机设备400的总体操作，例如执行与计算机设备400进行数据交互或者通信相关的控制和处理等。本实施例中，处理器420用于运行存储器410中存储的程序代码或者处理数据。

网络接口430可包括无线网络接口或有线网络接口，该网络接口430通常用于在计算机设备400与其他计算机设备之间建立通信链接。例如，网络接口430用于通过网络将计算机设备400与外部终端相连，在计算机设备400与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，简称为GSM)、宽带码分多址(Wideband CodeDivision Multiple Access，简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。

需要指出的是，图4仅示出了具有部件410-430的计算机设备，但是应理解的是，并不要求实施所有示出的部件，可以替代的实施更多或者更少的部件。

在本实施例中，存储于存储器410中的数据校验的方法还可以被分割为一个或者多个程序模块，并由一个或多个处理器(本实施例为处理器420)所执行，以完成本申请。

实施例四

本实施例还提供一种计算机可读存储介质，计算机可读存储介质其上存储有计算机程序，计算机程序被处理器执行时实现实施例中的数据校验的方法的步骤。

本实施例中，计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，计算机可读存储介质可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，计算机可读存储介质也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，简称为SMC)，安全数字(Secure Digital，简称为SD)卡，闪存卡(Flash Card)等。当然，计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的数据校验的方法的程序代码等。此外，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。