掌桥专利:专业的专利平台
掌桥专利
首页

数据的核对方法、装置、存储介质及电子设备

文献发布时间:2024-04-18 19:58:53


数据的核对方法、装置、存储介质及电子设备

技术领域

本申请涉及大数据技术领域、金融科技领域或者其他技术领域,具体而言,涉及一种数据的核对方法、装置、存储介质及电子设备。

背景技术

目前,金融机构一项重要的工作是核对多个业务系统产生的业务数据,保证金融机构中存储数据的数据一致性和数据完整性。例如,金融机构包括仿真平台系统与原生主机系统,这两个业务系统的数据一致性核对工作是不可缺失的一环。传统的数据核对方法是通过人工核对的方式对源数据库中的业务数据进行核对。但是这种传统的数据核对方法存在工作量大、核对效率低、全量数据核对困难、差异字段定位困难等问题。

针对相关技术中采用传统的数据核对方法对多个系统产生的数据进行一致性检查时,由于数据表数量较多、数据量较大,导致开发工作量大、核对效率低的问题,目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据的核对方法、装置、存储介质及电子设备,以解决相关技术中采用传统的数据核对方法对多个系统产生的数据进行一致性检查时,由于数据表数量较多、数据量较大,导致开发工作量大、核对效率低的问题。

为了实现上述目的,根据本申请的一个方面,提供了一种数据的核对方法,该方法包括:在检测到目标交易完成后,将源数据库中的业务数据写入数据湖中,其中,所述业务数据是所述目标交易产生的数据;依据所述业务数据的相关信息确定核对频率,其中,所述核对频率是指预设时长内进行数据核对的次数,所述相关信息至少包括以下信息之一:与所述业务数据相关的业务需求、所述业务数据的数据量;依据与所述业务数据相关的业务需求生成用于核对所述业务数据的规则,得到核对规则,其中,所述核对规则包含待核对的数据的数据表信息;依据所述核对频率和所述核对规则生成数据核对脚本;通过所述数据核对脚本对所述数据湖中的数据进行核对,得到核对结果。

进一步地,依据与所述业务数据相关的业务需求生成用于核对所述业务数据的规则,得到核对规则包括:将所述源数据库中与所述业务需求相关的数据表作为目标数据表;将所述目标数据表中的字段信息作为第一字段信息;将所述目标数据表中与所述业务需求相关的字段信息作为第二字段信息;依据所述目标数据表的数据表信息、所述目标数据表的主键信息和所述第一字段信息生成技术核对规则;依据所述目标数据表的数据表信息、所述目标数据表的主键信息和所述第二字段信息生成业务核对规则;依据所述业务核对规则和所述技术核对规则生成所述核对规则。

进一步地,通过所述数据核对脚本对所述数据湖中的数据进行核对,得到核对结果包括:依据所述业务数据和所述核对频率确定数据抽取脚本;通过所述数据抽取脚本在所述数据湖中获取所述待核对的数据,并将所述待核对的数据填充到预设数据表中,得到每场数据核对中待核对的数据;依据所述数据核对脚本对每场数据核对中待核对的数据进行核对,得到所述核对结果。

进一步地,在将源数据库中的业务数据写入数据湖中之后,所述方法还包括:依据所述业务数据写入所述数据湖的时刻生成所述业务数据的数据入湖时刻;确定每场数据核对的业务场景,其中,所述业务场景至少包含以下场景:第一场景、第二场景,其中,所述第一场景表示在预设时刻进行数据核对,所述第二场景表示在当前时刻进行数据核对;在所述数据入湖时刻更新后,且所述业务场景包括所述第一场景的情况下,在所述预设时刻执行依据所述业务数据和所述核对频率确定数据抽取脚本的步骤;在所述数据入湖时刻更新后,且所述业务场景包括所述第二场景的情况下,立即执行依据所述业务数据和所述核对频率确定数据抽取脚本的步骤。

进一步地,依据所述业务数据和所述核对频率确定数据抽取脚本包括:依据所述业务数据的数据量确定所述待核对的数据的数据量,得到第一数据量;依据所述第一数据量和每个脚本核对的数据量确定每场数据核对所处理的数据量;依据所述待核对的数据和每场数据核对所处理的数据量确定每场数据核对所核对的数据;通过预设编程语言生成从所述数据湖中获取每场数据核对所核对的数据的脚本文件,得到每场数据核对所使用的数据抽取脚本;依据所述核对频率和每场数据核对所使用的数据抽取脚本确定所述数据抽取脚本。

进一步地,依据所述数据核对脚本对每场数据核对中待核对的数据进行核对,得到所述核对结果包括:依据所述核对频率和所述核对规则确定每场数据核对所使用的数据核对脚本,得到数据核对脚本;确定每场数据核对的核对模式,其中,所述核对模式至少包括以下模式:第一模式、第二模式、第三模式,其中,所述第一模式是指不需要进行数据核对,所述第二模式是指不需要对核对结果不一致的数据进行重复核对,所述第三模式是指需要对核对结果不一致的数据进行重复核对;依据所述核对模式和所述数据核对脚本对所述待核对的数据进行核对,得到每场数据核对的核对结果;依据每场数据核对的核对结果确定所述核对结果。

进一步地,依据所述核对模式和所述数据核对脚本对所述待核对的数据进行核对,得到每场数据核对的核对结果包括:在所述核对模式为所述第一模式的情况下,生成第一核对结果;在所述核对模式为所述第二模式的情况下,对所述数据核对脚本中指示的数据表内容进行一致性核对,并将核对一致的数据和核对不一致的数据写入核对结果明细表中;在所述核对模式为所述第三模式的情况下,对所述数据核对脚本中指示的数据表内容进行一致性核对,将核对一致的数据写入所述核对结果明细表中,将核对不一致的数据写入待处理数据表中,并且在下一场数据核对中依据所述数据核对脚本对所述待处理数据表中的数据进行核对;依据所述第一核对结果、所述核对结果明细表和所述待处理数据表确定每场数据核对的核对结果。

为了实现上述目的,根据本申请的另一方面,提供了一种数据的核对装置,该装置包括:写入单元,用于在检测到目标交易完成后,将源数据库中的业务数据写入数据湖中,其中,所述业务数据是所述目标交易产生的数据;第一确定单元,用于依据所述业务数据的相关信息确定核对频率,其中,所述核对频率是指预设时长内进行数据核对的次数,所述相关信息至少包括以下信息之一:与所述业务数据相关的业务需求、所述业务数据的数据量;第一生成单元,用于依据与所述业务数据相关的业务需求生成用于核对所述业务数据的规则,得到核对规则,其中,所述核对规则包含待核对的数据的数据表信息;第二生成单元,用于依据所述核对频率和所述核对规则生成数据核对脚本;核对单元,用于通过所述数据核对脚本对所述数据湖中的数据进行核对,得到核对结果。

进一步地,所述第一生成单元包括:第一确定子单元,用于将所述源数据库中与所述业务需求相关的数据表作为目标数据表;第二确定子单元,用于将所述目标数据表中的字段信息作为第一字段信息;第三确定子单元,用于将所述目标数据表中与所述业务需求相关的字段信息作为第二字段信息;第一生成子单元,用于依据所述目标数据表的数据表信息、所述目标数据表的主键信息和所述第一字段信息生成技术核对规则;第二生成子单元,用于依据所述目标数据表的数据表信息、所述目标数据表的主键信息和所述第二字段信息生成业务核对规则;第三生成子单元,用于依据所述业务核对规则和所述技术核对规则生成所述核对规则。

进一步地,所述核对单元包括:第四确定子单元,用于依据所述业务数据和所述核对频率确定数据抽取脚本;获取子单元,用于通过所述数据抽取脚本在所述数据湖中获取所述待核对的数据,并将所述待核对的数据填充到预设数据表中,得到每场数据核对中待核对的数据;核对子单元,用于依据所述数据核对脚本对每场数据核对中待核对的数据进行核对,得到所述核对结果。

进一步地,所述装置还包括:第三生成单元,用于在将源数据库中的业务数据写入数据湖中之后,依据所述业务数据写入所述数据湖的时刻生成所述业务数据的数据入湖时刻;第二确定单元,用于确定每场数据核对的业务场景,其中,所述业务场景至少包含以下场景:第一场景、第二场景,其中,所述第一场景表示在预设时刻进行数据核对,所述第二场景表示在当前时刻进行数据核对;第一处理单元,用于在所述数据入湖时刻更新后,且所述业务场景包括所述第一场景的情况下,在所述预设时刻执行依据所述业务数据和所述核对频率确定数据抽取脚本的步骤;第二处理单元,用于在所述数据入湖时刻更新后,且所述业务场景包括所述第二场景的情况下,立即执行依据所述业务数据和所述核对频率确定数据抽取脚本的步骤。

进一步地,所述第四确定子单元包括:第一确定模块,用于依据所述业务数据的数据量确定所述待核对的数据的数据量,得到第一数据量;第二确定模块,用于依据所述第一数据量和每个脚本核对的数据量确定每场数据核对所处理的数据量;第三确定模块,用于依据所述待核对的数据和每场数据核对所处理的数据量确定每场数据核对所核对的数据;生成模块,用于通过预设编程语言生成从所述数据湖中获取每场数据核对所核对的数据的脚本文件,得到每场数据核对所使用的数据抽取脚本;第四确定模块,用于依据所述核对频率和每场数据核对所使用的数据抽取脚本确定所述数据抽取脚本。

进一步地,所述核对子单元包括:第五确定模块,用于依据所述核对频率和所述核对规则确定每场数据核对所使用的数据核对脚本,得到数据核对脚本;第六确定模块,用于确定每场数据核对的核对模式,其中,所述核对模式至少包括以下模式:第一模式、第二模式、第三模式,其中,所述第一模式是指不需要进行数据核对,所述第二模式是指不需要对核对结果不一致的数据进行重复核对,所述第三模式是指需要对核对结果不一致的数据进行重复核对;核对模块,用于依据所述核对模式和所述数据核对脚本对所述待核对的数据进行核对,得到每场数据核对的核对结果;第七确定模块,用于依据每场数据核对的核对结果确定所述核对结果。

进一步地,所述核对模块包括:生成子模块,用于在所述核对模式为所述第一模式的情况下,生成第一核对结果;第一核对子模块,用于在所述核对模式为所述第二模式的情况下,对所述数据核对脚本中指示的数据表内容进行一致性核对,并将核对一致的数据和核对不一致的数据写入核对结果明细表中;第二核对子模块,用于在所述核对模式为所述第三模式的情况下,对所述数据核对脚本中指示的数据表内容进行一致性核对,将核对一致的数据写入所述核对结果明细表中,将核对不一致的数据写入待处理数据表中,并且在下一场数据核对中依据所述数据核对脚本对所述待处理数据表中的数据进行核对;确定子模块,用于依据所述第一核对结果、所述核对结果明细表和所述待处理数据表确定每场数据核对的核对结果。

为了实现上述目的,根据本申请的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述数据的核对方法。

为了实现上述目的,根据本申请的一个方面,提供了一种电子设备,包括一个或多个处理器和存储器,存储器用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述任意一项所述数据的核对方法。

通过本申请,采用以下步骤:在检测到目标交易完成后,将源数据库中的业务数据写入数据湖中,其中,所述业务数据是所述目标交易产生的数据;依据所述业务数据的相关信息确定核对频率,其中,所述核对频率是指预设时长内进行数据核对的次数,所述相关信息至少包括以下信息之一:与所述业务数据相关的业务需求、所述业务数据的数据量;依据与所述业务数据相关的业务需求生成用于核对所述业务数据的规则,得到核对规则,其中,所述核对规则包含待核对的数据的数据表信息;依据所述核对频率和所述核对规则生成数据核对脚本;通过所述数据核对脚本对所述数据湖中的数据进行核对,得到核对结果,解决了相关技术中采用传统的数据核对方法对多个系统产生的数据进行一致性检查时,由于数据表数量较多、数据量较大,导致开发工作量大、核对效率低的问题。通过确定业务数据的核对频率,能够根据业务需求对业务数据进行多场数据核对,并且通过确定数据核对的核对规则,能够根据核对频率和核对规则生成数据核对脚本,进而能够通过数据核对脚本对不同业务系统中的业务数据进行一致性核对,避免了人工核对造成核对效率低以及出错率较高的问题,达到了提高数据一致性核对的核对效率的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1是根据本申请实施例一提供的数据的核对方法的流程图;

图2是根据本申请实施例一提供的可选的数据的核对方法的示意图一;

图3是根据本申请实施例一提供的可选的数据的核对方法的示意图二;

图4是根据本申请实施例一提供的可选的数据的核对方法的示意图三;

图5是根据本申请实施例一提供的可选的数据的核对方法的示意图四;

图6是根据本申请实施例二提供的数据的核对装置的示意图;

图7是根据本申请实施例五提供的数据的核对电子设备的示意图。

具体实施方式

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是,本申请文件的处理方法、装置、存储介质及电子设备确定的方法和装置可用于金融科技领域在核对不同业务系统产生的业务数据时,提高了数据核对的效率,也可用于除金融科技领域之外的任意领域,本申请文件的处理方法、装置、存储介质及电子设备的方法和装置的应用领域不做限定。

需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、金融机构中存储的用户信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据、金融机构中存储的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关区域的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述,以下对本申请实施例涉及的部分名词或术语进行说明:

Kafka集群用于处理和存储大规模的实时数据流,能够接收、存储和转发消息,它还提供了高可用性和可扩展性,以处理大量的消息流。Kafka集群能够保证数据的高可用性和容错性,同时具有高吞吐量和低延迟。

实施例一

下面结合优选的实施步骤对本发明进行说明,图1是根据本申请实施例一提供的数据的核对方法的流程图,如图1所示,该方法包括如下步骤:

步骤S101,在检测到目标交易完成后,将源数据库中的业务数据写入数据湖中,其中,业务数据是目标交易产生的数据。

在本实施例一中,为了对业务数据进行一致性核对,可以将源数据库中的业务数据写入到数据湖中,以便在数据湖中进行数据核对。目标交易是指用户通过金融机构执行的交易,或者是用户在金融机构中执行的交易。业务数据是指目标交易执行后产生的数据,在业务数据发生变化后会实时同步到数据湖中。例如,用户在支付账单后用户的账户余额发生变化,需要更新数据库中的余额信息,然后将更新后的余额信息同步到数据湖中。

具体地,图2是本方案中一种将业务数据写入数据湖的流程的示意图。由数据复制平台将不同业务系统(如图2中的业务系统A1和业务系统A2)源数据库中的业务数据的增量数据复制至Kafka集群中,然后从Kafka集群中读取业务数据的增量数据,并按照业务数据的数据表结构生成写入数据湖的写入文件,最后通过写入文件将业务数据的增量数据写入数据湖中。

在一可选的实施例中,图3是本方案中一种将业务数据写入数据湖的流程的示意图。如图3所示,不同业务系统的业务数据存储在Db2、Oracle或Mysql数据库中,通过数据复制平台将不同数据库中的业务数据写入Kafka集群中;然后,数据复制平台在数据库的数据库复制状态为可复制状态的情况下将业务数据写入Kafka集群中;其次,从Kafka集群中获取的业务数据的增量数据,并写入到Hadoop外表中,在Hadoop外表中可以通过Hadoop系统对Kafka集群中的业务数据进行整合,生成写入文件;最后,根据写入文件将业务数据的增量数据写入数据湖中。

在本实施例一中,数据复制平台(Data Replication Platform)是指将数据从一个位置以实时或定期的方式复制到另一个位置,数据复制平台可以用于数据备份、数据同步和数据迁移等应用场景。

通过数据复制平台将业务数据的增量数据写入Kafka集群中,并通过Kafka集群将业务数据的增量数据写入数据湖中,实现了数据存储、数据备份、数据整合的目的,有利于对海量业务数据进行管理和维护,达到了提高业务稳定性的效果。

步骤S102,依据业务数据的相关信息确定核对频率,其中,核对频率是指预设时长内进行数据核对的次数,相关信息至少包括以下信息之一:与业务数据相关的业务需求、业务数据的数据量。

在本实施例一中,为了保证金融机构数据库中业务数据的数据一致性,需要核对金融机构中不同业务系统产生的业务数据的一致性,核对频率是指在预设时长内对业务数据进行数据核对操作,例如,每日进行两场数据核对,分别在中午12点和凌晨12点。

在确定核对频率时,可以根据与业务数据相关的业务需求确定核对频率,也可以根据业务数据的数据量,将一场数据核对拆分为多场数据核对,例如,25万条数据需要每日核对一次,可以按照10万条数据进行拆分,将单场数据核对拆分为3场数据核对。

步骤S103,依据与业务数据相关的业务需求生成用于核对业务数据的规则,得到核对规则,其中,核对规则包含待核对的数据的数据表信息。

在本实施例一中,核对规则是指核对业务数据时所依赖的规则。表一是本方案中核对规则的示例,如表一所示,待核对的数据表是“账户变更登记簿”表;该数据表的主键可以是地区或网点等其它字段,在核对数据时主键可用于查询待核对的数据表中核对字段的字段值,从而对字段值进行核对;该数据表中待核对的字段包括账户协议号、状态和账户户名等字段;核对频率是指预设时长内对该数据表进行数据核对的次数,例如,当核对频率是每日一次,则表示在每天的预设时刻(例如,凌晨12点)对该数据表进行核对,当核对频率是每月二次,则表示在每个月的预设日期(例如,每月1日的凌晨12点和每月15日的凌晨12点)对该数据表进行核对。

表一核对规则

步骤S104,依据核对频率和核对规则生成数据核对脚本。

在本实施例一中,为了避免人工核对数据导致核对效率低以及出错率较高的问题,需要根据核对频率和核对规则生成数据核对脚本,以通过数据核对脚本自动核对数据。

具体地,可以通过Xls工具(处理Excel文件的工具)中的宏处理程序根据上述的核对频率和核对规则生成数据采集代码和核对规则参数,将核对规则参数编辑到数据核对脚本中,进而后续可以采用数据采集代码获取数据湖中待核对的数据,以及采用数据核对脚本,以对待核对的数据进行核对。此外,根据核对规则生成规则参数可以保持相同业务数据表在后续数据核对时处理数据的逻辑一致。

步骤S105,通过数据核对脚本对数据湖中的数据进行核对,得到核对结果。

在本实施例一中得到数据核对脚本之后,可以采用数据核对脚本对数据湖中存储的不同业务系统的业务数据进行一致性核对,得到业务数据的核对结果。

具体地,图4是本方案生成核对结果的流程示意图,首先,分别采集业务系统A1的业务数据B1和业务系统A2的业务数据B2,关联对应的核对规则,进行数据一致性核对,将核对结果输出至待处理数据表和核对结果明细表中,其中,待处理数据表中包含核对不一致的数据,核对结果明细表中包含核对一致的数据。

需要注意的是,在得到核对结果之后,可以根据待处理数据表中不一致的数据(例如,账户余额信息)对业务系统的业务流程、业务逻辑或代码程序等数据进行检查,从而发现业务系统中的潜在问题,进而避免业务系统出现故障,达到了提高业务稳定性的效果。

综上所述,本申请实施例一提供的数据的核对方法,通过在检测到目标交易完成后,将源数据库中的业务数据写入数据湖中,其中,业务数据是目标交易产生的数据;依据业务数据的相关信息确定核对频率,其中,核对频率是指预设时长内进行数据核对的次数,相关信息至少包括以下信息之一:与业务数据相关的业务需求、业务数据的数据量;依据与业务数据相关的业务需求生成用于核对业务数据的规则,得到核对规则,其中,核对规则包含待核对的数据的数据表信息;依据核对频率和核对规则生成数据核对脚本;通过数据核对脚本对数据湖中的数据进行核对,得到核对结果,解决了相关技术中采用传统的数据核对方法对多个系统产生的数据进行一致性检查时,由于数据表数量较多、数据量较大,导致开发工作量大、核对效率低的问题。通过确定业务数据的核对频率,能够根据业务需求对业务数据进行多场数据核对,并且通过确定数据核对的核对规则,能够根据核对频率和核对规则生成数据核对脚本,进而能够通过数据核对脚本对不同业务系统中的业务数据进行一致性核对,避免了人工核对造成核对效率低以及出错率较高的问题,达到了提高数据一致性核对的核对效率的效果。

可选地,在本申请实施例一提供的数据的核对方法中,依据与业务数据相关的业务需求生成用于核对业务数据的规则,得到核对规则包括:将源数据库中与业务需求相关的数据表作为目标数据表;将目标数据表中的字段信息作为第一字段信息;将目标数据表中与业务需求相关的字段信息作为第二字段信息;依据目标数据表的数据表信息、目标数据表的主键信息和第一字段信息生成技术核对规则;依据目标数据表的数据表信息、目标数据表的主键信息和第二字段信息生成业务核对规则;依据业务核对规则和技术核对规则生成核对规则。

在本实施例一中,为了根据实际生产情况灵活地核对数据,可以按照数据表中被核对字段的数量将核对规则分为业务核对规则和技术核对规则,从而分别配置两类核对规则。

业务核对规则可以根据业务数据表的主键,以及业务数据表中与金融机构提供的服务(例如,转账服务、存款服务等)相关的字段组成。业务核对规则用于核对与服务相关的字段是否处理一致。例如,在业务系统A1和业务系统A2分别更新账户余额表之后,需要根据业务核对规则核对业务系统A1余额表中的余额字段的字段值与业务系统A2余额表中的余额字段的字段值是否一致。

技术核对规则是指对业务数据表中的所有字段进行核对。例如,在业务系统A1和业务系统A2分别更新账户余额表之后,需要根据业务核对规则核对业务系统A1余额表中的余额字段的字段值与业务系统A2余额表中的余额字段的字段值是否一致,同时还需要核对业务系统A1余额表中的其他字段(例如,处理日期等字段)的字段值与业务系统A2余额表中的其他字段的字段值是否一致。

通过将核对规则分为业务核对规则和技术核对规则,能够根据实际生产情况对业务数据表进行核对,从而能够更灵活地进行数据一致性核对,达到了提高数据核对效率的效果。

可选地,在本申请实施例一提供的数据的核对方法中,通过数据核对脚本对数据湖中的数据进行核对,得到核对结果包括:依据业务数据和核对频率确定数据抽取脚本;通过数据抽取脚本在数据湖中获取待核对的数据,并将待核对的数据填充到预设数据表中,得到每场数据核对中待核对的数据;依据数据核对脚本对每场数据核对中待核对的数据进行核对,得到核对结果。

图5是本方案一种获取核对结果的流程示意图。具体地,可以根据写入到数据湖中的业务数据和核对频率生成数据抽取脚本(如图5中的数据抽取脚本1、数据抽取脚本2和数据抽取脚本M,M代表数据核对的次数);其次,采用数据抽取脚本在数据湖中获取待核对的数据,并将待核对的数据填充到预设数据表中,得到每场数据核对中待核对的数据,其中,预设数据表是指预先设置好的数据表格式,以便后续通过数据核对脚本进行核对;最后,在每场数据核对中,通过数据核对脚本核对待核对的数据,将核对一致的数据写入核对结果明细表中,将核对不一致的数据写入待处理数据表中,得到每场数据核对得到的核对结果(如图5中的核对结果1、核对结果2和核对结果M),在最后一场数据核对结束后,汇总每一场数据核对的结果,得到核对结果统计表。

通过生成数据抽取脚本,能够明确数据湖中待核对的数据,并将待核对的数据填写到预设数据表中,从而有利于采用数据核对脚本进行核对,达到了提高数据核对效率的效果。

可选地,在本申请实施例一提供的数据的核对方法中,在将源数据库中的业务数据写入数据湖中之后,上述的方法还包括:依据业务数据写入数据湖的时刻生成业务数据的数据入湖时刻;确定每场数据核对的业务场景,其中,业务场景至少包含以下场景:第一场景、第二场景,其中,第一场景表示在预设时刻进行数据核对,第二场景表示在当前时刻进行数据核对;在数据入湖时刻更新后,且业务场景包括第一场景的情况下,在预设时刻执行依据业务数据和核对频率确定数据抽取脚本的步骤;在数据入湖时刻更新后,且业务场景包括第二场景的情况下,立即执行依据业务数据和核对频率确定数据抽取脚本的步骤。

在本实施例一中,在将源数据库中的业务数据写入数据湖中之后,可以根据业务数据的数据入湖时刻和每场数据核对的业务场景触发数据核对操作。

数据核对的业务场景包括第一场景和第二场景,第一场景可以称为日终入湖场景,表示该业务场景下产生的业务数据需要在当天结束时(每日的凌晨12点)更新到数据湖中,并在更新到数据湖之后触发数据核对操作;第二场景可以称为高时效入湖场景,表示该业务场景下产生的业务数据需要立即更新到数据湖中,并在更新到数据湖之后触发数据核对操作。需要注意的是,业务数据可以同时属于第一场景和第二场景。

通过配置不同的业务场景,能够根据不同的业务需求对业务数据进行入湖操作和数据核对操作,避免了单一场景无法满足业务需求的问题,达到了提高数据核对效率的效果,进一步达到了提高业务稳定性的效果。

可选地,在本申请实施例一提供的数据的核对方法中,依据业务数据和核对频率确定数据抽取脚本包括:依据业务数据的数据量确定待核对的数据的数据量,得到第一数据量;依据第一数据量和每个脚本核对的数据量确定每场数据核对所处理的数据量;依据待核对的数据和每场数据核对所处理的数据量确定每场数据核对所核对的数据;通过预设编程语言生成从数据湖中获取每场数据核对所核对的数据的脚本文件,得到每场数据核对所使用的数据抽取脚本;依据核对频率和每场数据核对所使用的数据抽取脚本确定数据抽取脚本。

在本实施例一中,为了从数据湖中获取待核对的数据,可以根据写入数据湖的业务数据确定待核对的数据的数据量(即上述的第一数据量),然后确定每个脚本核对的数据量,从而能够确定每场数据核对中待核对的数据,其次根据预设编程语言(例如,shell脚本)生成数据抽取脚本的预设模板,再根据每场数据核对所核对的数据填充数据抽取脚本的预设模板,得到每场数据核对所使用的数据抽取脚本,最后根据核对频率和每场数据核对所使用的数据抽取脚本确定数据抽取脚本。需要注意的是,每个脚本处理的数据量可以由参数灵活配置。

具体地,在确定核对频率为1场数据核对的情况下,确定待核对的数据有10万条数据,每个脚本可以处理30万条数据,则仅需要生成1个数据抽取脚本;在确定核对频率为24场数据核对的情况下,确定待核对的数据有80万条数据,每个脚本可以处理30万条数据,则每场数据核对需要生成3个数据抽取脚本,总共需要生成72个数据抽取脚本。

通过确定数据抽取脚本能够从数据湖中获取待核对的数据,并且有利于将待核对的数据统一填充至预设数据表中,从而提高了数据核对效率。

可选地,在本申请实施例一提供的数据的核对方法中,依据数据核对脚本对每场数据核对中待核对的数据进行核对,得到核对结果包括:依据核对频率和核对规则确定每场数据核对所使用的数据核对脚本,得到数据核对脚本;确定每场数据核对的核对模式,其中,核对模式至少包括以下模式:第一模式、第二模式、第三模式,其中,第一模式是指不需要进行数据核对,第二模式是指不需要对核对结果不一致的数据进行重复核对,第三模式是指需要对核对结果不一致的数据进行重复核对;依据核对模式和数据核对脚本对待核对的数据进行核对,得到每场数据核对的核对结果;依据每场数据核对的核对结果确定核对结果。

在本实施例一中,为了提高数据核对效率,可以根据核对规则中待核对的数据表表名、数据表主键、数据表字段和核对频率生成每场数据核对所使用的数据核对脚本;然后,确定每场数据核对的核对模式;其次,根据每场数据核对的核对模式和每场数据核对所使用的数据核对脚本,对预设数据表中的待核对的数据进行核对,得到每场数据核对的核对结果;最后,汇总每场数据核对的核对结果,得到最终的核对结果。

通过生成数据核对脚本和确定核对模式,有利于根据实际生产情况进行数据核对,达到了提高数据核对效率的效果。

可选地,在本申请实施例一提供的数据的核对方法中,依据核对模式和数据核对脚本对待核对的数据进行核对,得到每场数据核对的核对结果包括:在核对模式为第一模式的情况下,生成第一核对结果;在核对模式为第二模式的情况下,对数据核对脚本中指示的数据表内容进行一致性核对,并将核对一致的数据和核对不一致的数据写入核对结果明细表中;在核对模式为第三模式的情况下,对数据核对脚本中指示的数据表内容进行一致性核对,将核对一致的数据写入核对结果明细表中,将核对不一致的数据写入待处理数据表中,并且在下一场数据核对中依据数据核对脚本对待处理数据表中的数据进行核对;依据第一核对结果、核对结果明细表和待处理数据表确定每场数据核对的核对结果。

在本实施例一中,为了灵活地进行每场数据核对,可以根据不同的核对模式进行数据核对。

具体地,在核对模式为第一模式时,无需进行数据核对,可以直接生成空的核对结果,或在核对结果中注明无需进行数据核对操作;在核对模式为第二模式时,直接将每条数据的核对结果写入核对结果明细表中,其中,核对结果明细表中包括核对一致的数据和核对不一致的数据;在核对模式为第三模式时,将核对一致的数据写入核对结果明细表中,将核对不一致的数据写入待处理数据表中,并且在下一场数据核对中对待处理据表中的数据再次进行核对,直到该数据的核对结果为一致;最后,根据不同的核对模式得到每场数据核对的核对结果。

通过设置第一模式,避免了进行不必要的数据核对操作,浪费计算资源的问题,达到了提高集群资源使用率的效果,通过配置第三模式,能够保证核对结果不一致的数据能够进行多次核对,避免了因数据入湖顺序导致核对结果出现误差的问题,达到了提高数据核对效率的效果,同时也提高了业务稳定性。

需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

实施例二

本申请实施例二还提供了一种数据的核对装置,需要说明的是,本申请实施例二的数据的核对装置可以用于执行本申请实施例一所提供的用于数据的核对方法。以下对本申请实施例二提供的数据的核对装置进行介绍。

图6是根据本申请实施例二的数据的核对装置的示意图。如图6所示,该装置包括:写入单元601、第一确定单元602、第一生成单元603、第二生成单元604和核对单元605。

具体地,写入单元601,用于在检测到目标交易完成后,将源数据库中的业务数据写入数据湖中,其中,业务数据是目标交易产生的数据。

第一确定单元602,用于依据业务数据的相关信息确定核对频率,其中,核对频率是指预设时长内进行数据核对的次数,相关信息至少包括以下信息之一:与业务数据相关的业务需求、业务数据的数据量。

第一生成单元603,用于依据与业务数据相关的业务需求生成用于核对业务数据的规则,得到核对规则,其中,核对规则包含待核对的数据的数据表信息。

第二生成单元604,用于依据核对频率和核对规则生成数据核对脚本。

核对单元605,用于通过数据核对脚本对数据湖中的数据进行核对,得到核对结果。

本申请实施例二提供的数据的核对装置,通过写入单元601在检测到目标交易完成后,将源数据库中的业务数据写入数据湖中,其中,业务数据是目标交易产生的数据;第一确定单元602依据业务数据的相关信息确定核对频率,其中,核对频率是指预设时长内进行数据核对的次数,相关信息至少包括以下信息之一:与业务数据相关的业务需求、业务数据的数据量;第一生成单元603依据与业务数据相关的业务需求生成用于核对业务数据的规则,得到核对规则,其中,核对规则包含待核对的数据的数据表信息;第二生成单元604依据核对频率和核对规则生成数据核对脚本;核对单元605通过数据核对脚本对数据湖中的数据进行核对,得到核对结果,解决了相关技术中采用传统的数据核对方法对多个系统产生的数据进行一致性检查时,由于数据表数量较多、数据量较大,导致开发工作量大、核对效率低的问题。通过确定业务数据的核对频率,能够根据业务需求对业务数据进行多场数据核对,并且通过确定数据核对的核对规则,能够根据核对频率和核对规则生成数据核对脚本,进而能够通过数据核对脚本对不同业务系统中的业务数据进行一致性核对,避免了人工核对造成核对效率低以及出错率较高的问题,达到了提高数据一致性核对的核对效率的效果。

可选地,在本申请实施例二提供的数据的核对装置中,上述的第一生成单元603包括:第一确定子单元,用于将源数据库中与业务需求相关的数据表作为目标数据表;第二确定子单元,用于将目标数据表中的字段信息作为第一字段信息;第三确定子单元,用于将目标数据表中与业务需求相关的字段信息作为第二字段信息;第一生成子单元,用于依据目标数据表的数据表信息、目标数据表的主键信息和第一字段信息生成技术核对规则;第二生成子单元,用于依据目标数据表的数据表信息、目标数据表的主键信息和第二字段信息生成业务核对规则;第三生成子单元,用于依据业务核对规则和技术核对规则生成核对规则。

可选地,在本申请实施例二提供的数据的核对装置中,上述的核对单元605包括:第四确定子单元,用于依据业务数据和核对频率确定数据抽取脚本;获取子单元,用于通过数据抽取脚本在数据湖中获取待核对的数据,并将待核对的数据填充到预设数据表中,得到每场数据核对中待核对的数据;核对子单元,用于依据数据核对脚本对每场数据核对中待核对的数据进行核对,得到核对结果。

可选地,在本申请实施例二提供的数据的核对装置中,上述的装置还包括:第三生成单元,用于在将源数据库中的业务数据写入数据湖中之后,依据业务数据写入数据湖的时刻生成业务数据的数据入湖时刻;第二确定单元,用于确定每场数据核对的业务场景,其中,业务场景至少包含以下场景:第一场景、第二场景,其中,第一场景表示在预设时刻进行数据核对,第二场景表示在当前时刻进行数据核对;第一处理单元,用于在数据入湖时刻更新后,且业务场景包括第一场景的情况下,在预设时刻执行依据业务数据和核对频率确定数据抽取脚本的步骤;第二处理单元,用于在数据入湖时刻更新后,且业务场景包括第二场景的情况下,立即执行依据业务数据和核对频率确定数据抽取脚本的步骤。

可选地,在本申请实施例二提供的数据的核对装置中,上述的第四确定子单元包括:第一确定模块,用于依据业务数据的数据量确定待核对的数据的数据量,得到第一数据量;第二确定模块,用于依据第一数据量和每个脚本核对的数据量确定每场数据核对所处理的数据量;第三确定模块,用于依据待核对的数据和每场数据核对所处理的数据量确定每场数据核对所核对的数据;生成模块,用于通过预设编程语言生成从数据湖中获取每场数据核对所核对的数据的脚本文件,得到每场数据核对所使用的数据抽取脚本;第四确定模块,用于依据核对频率和每场数据核对所使用的数据抽取脚本确定数据抽取脚本。

可选地,在本申请实施例二提供的数据的核对装置中,上述的核对子单元包括:第五确定模块,用于依据核对频率和核对规则确定每场数据核对所使用的数据核对脚本,得到数据核对脚本;第六确定模块,用于确定每场数据核对的核对模式,其中,核对模式至少包括以下模式:第一模式、第二模式、第三模式,其中,第一模式是指不需要进行数据核对,第二模式是指不需要对核对结果不一致的数据进行重复核对,第三模式是指需要对核对结果不一致的数据进行重复核对;核对模块,用于依据核对模式和数据核对脚本对待核对的数据进行核对,得到每场数据核对的核对结果;第七确定模块,用于依据每场数据核对的核对结果确定核对结果。

可选地,在本申请实施例二提供的数据的核对装置中,上述的核对模块包括:生成子模块,用于在核对模式为第一模式的情况下,生成第一核对结果;第一核对子模块,用于在核对模式为第二模式的情况下,对数据核对脚本中指示的数据表内容进行一致性核对,并将核对一致的数据和核对不一致的数据写入核对结果明细表中;第二核对子模块,用于在核对模式为第三模式的情况下,对数据核对脚本中指示的数据表内容进行一致性核对,将核对一致的数据写入核对结果明细表中,将核对不一致的数据写入待处理数据表中,并且在下一场数据核对中依据数据核对脚本对待处理数据表中的数据进行核对;确定子模块,用于依据第一核对结果、核对结果明细表和待处理数据表确定每场数据核对的核对结果。

所述数据的核对装置包括处理器和存储器,上述的写入单元601、第一确定单元602、第一生成单元603、第二生成单元604和核对单元605等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高数据核对的效率。

存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。

本发明实施例三提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现数据的核对方法。

本发明实施例四提供了一种处理器,处理器用于运行程序,其中,程序运行时执行数据的核对方法。

如图7所示,本发明实施例五提供了一种电子设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:在检测到目标交易完成后,将源数据库中的业务数据写入数据湖中,其中,业务数据是目标交易产生的数据;依据业务数据的相关信息确定核对频率,其中,核对频率是指预设时长内进行数据核对的次数,相关信息至少包括以下信息之一:与业务数据相关的业务需求、业务数据的数据量;依据与业务数据相关的业务需求生成用于核对业务数据的规则,得到核对规则,其中,核对规则包含待核对的数据的数据表信息;依据核对频率和核对规则生成数据核对脚本;通过数据核对脚本对数据湖中的数据进行核对,得到核对结果。

处理器执行程序时还实现以下步骤:依据与业务数据相关的业务需求生成用于核对业务数据的规则,得到核对规则包括:将源数据库中与业务需求相关的数据表作为目标数据表;将目标数据表中的字段信息作为第一字段信息;将目标数据表中与业务需求相关的字段信息作为第二字段信息;依据目标数据表的数据表信息、目标数据表的主键信息和第一字段信息生成技术核对规则;依据目标数据表的数据表信息、目标数据表的主键信息和第二字段信息生成业务核对规则;依据业务核对规则和技术核对规则生成核对规则。

处理器执行程序时还实现以下步骤:通过数据核对脚本对数据湖中的数据进行核对,得到核对结果包括:依据业务数据和核对频率确定数据抽取脚本;通过数据抽取脚本在数据湖中获取待核对的数据,并将待核对的数据填充到预设数据表中,得到每场数据核对中待核对的数据;依据数据核对脚本对每场数据核对中待核对的数据进行核对,得到核对结果。

处理器执行程序时还实现以下步骤:在将源数据库中的业务数据写入数据湖中之后,上述的方法还包括:依据业务数据写入数据湖的时刻生成业务数据的数据入湖时刻;确定每场数据核对的业务场景,其中,业务场景至少包含以下场景:第一场景、第二场景,其中,第一场景表示在预设时刻进行数据核对,第二场景表示在当前时刻进行数据核对;在数据入湖时刻更新后,且业务场景包括第一场景的情况下,在预设时刻执行依据业务数据和核对频率确定数据抽取脚本的步骤;在数据入湖时刻更新后,且业务场景包括第二场景的情况下,立即执行依据业务数据和核对频率确定数据抽取脚本的步骤。

处理器执行程序时还实现以下步骤:依据业务数据和核对频率确定数据抽取脚本包括:依据业务数据的数据量确定待核对的数据的数据量,得到第一数据量;依据第一数据量和每个脚本核对的数据量确定每场数据核对所处理的数据量;依据待核对的数据和每场数据核对所处理的数据量确定每场数据核对所核对的数据;通过预设编程语言生成从数据湖中获取每场数据核对所核对的数据的脚本文件,得到每场数据核对所使用的数据抽取脚本;依据核对频率和每场数据核对所使用的数据抽取脚本确定数据抽取脚本。

处理器执行程序时还实现以下步骤:依据数据核对脚本对每场数据核对中待核对的数据进行核对,得到核对结果包括:依据核对频率和核对规则确定每场数据核对所使用的数据核对脚本,得到数据核对脚本;确定每场数据核对的核对模式,其中,核对模式至少包括以下模式:第一模式、第二模式、第三模式,其中,第一模式是指不需要进行数据核对,第二模式是指不需要对核对结果不一致的数据进行重复核对,第三模式是指需要对核对结果不一致的数据进行重复核对;依据核对模式和数据核对脚本对待核对的数据进行核对,得到每场数据核对的核对结果;依据每场数据核对的核对结果确定核对结果。

处理器执行程序时还实现以下步骤:依据核对模式和数据核对脚本对待核对的数据进行核对,得到每场数据核对的核对结果包括:在核对模式为第一模式的情况下,生成第一核对结果;在核对模式为第二模式的情况下,对数据核对脚本中指示的数据表内容进行一致性核对,并将核对一致的数据和核对不一致的数据写入核对结果明细表中;在核对模式为第三模式的情况下,对数据核对脚本中指示的数据表内容进行一致性核对,将核对一致的数据写入核对结果明细表中,将核对不一致的数据写入待处理数据表中,并且在下一场数据核对中依据数据核对脚本对待处理数据表中的数据进行核对;依据第一核对结果、核对结果明细表和待处理数据表确定每场数据核对的核对结果。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:在检测到目标交易完成后,将源数据库中的业务数据写入数据湖中,其中,业务数据是目标交易产生的数据;依据业务数据的相关信息确定核对频率,其中,核对频率是指预设时长内进行数据核对的次数,相关信息至少包括以下信息之一:与业务数据相关的业务需求、业务数据的数据量;依据与业务数据相关的业务需求生成用于核对业务数据的规则,得到核对规则,其中,核对规则包含待核对的数据的数据表信息;依据核对频率和核对规则生成数据核对脚本;通过数据核对脚本对数据湖中的数据进行核对,得到核对结果。

当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据与业务数据相关的业务需求生成用于核对业务数据的规则,得到核对规则包括:将源数据库中与业务需求相关的数据表作为目标数据表;将目标数据表中的字段信息作为第一字段信息;将目标数据表中与业务需求相关的字段信息作为第二字段信息;依据目标数据表的数据表信息、目标数据表的主键信息和第一字段信息生成技术核对规则;依据目标数据表的数据表信息、目标数据表的主键信息和第二字段信息生成业务核对规则;依据业务核对规则和技术核对规则生成核对规则。

当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:通过数据核对脚本对数据湖中的数据进行核对,得到核对结果包括:依据业务数据和核对频率确定数据抽取脚本;通过数据抽取脚本在数据湖中获取待核对的数据,并将待核对的数据填充到预设数据表中,得到每场数据核对中待核对的数据;依据数据核对脚本对每场数据核对中待核对的数据进行核对,得到核对结果。

当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:在将源数据库中的业务数据写入数据湖中之后,上述的方法还包括:依据业务数据写入数据湖的时刻生成业务数据的数据入湖时刻;确定每场数据核对的业务场景,其中,业务场景至少包含以下场景:第一场景、第二场景,其中,第一场景表示在预设时刻进行数据核对,第二场景表示在当前时刻进行数据核对;在数据入湖时刻更新后,且业务场景包括第一场景的情况下,在预设时刻执行依据业务数据和核对频率确定数据抽取脚本的步骤;在数据入湖时刻更新后,且业务场景包括第二场景的情况下,立即执行依据业务数据和核对频率确定数据抽取脚本的步骤。

当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据业务数据和核对频率确定数据抽取脚本包括:依据业务数据的数据量确定待核对的数据的数据量,得到第一数据量;依据第一数据量和每个脚本核对的数据量确定每场数据核对所处理的数据量;依据待核对的数据和每场数据核对所处理的数据量确定每场数据核对所核对的数据;通过预设编程语言生成从数据湖中获取每场数据核对所核对的数据的脚本文件,得到每场数据核对所使用的数据抽取脚本;依据核对频率和每场数据核对所使用的数据抽取脚本确定数据抽取脚本。

当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据数据核对脚本对每场数据核对中待核对的数据进行核对,得到核对结果包括:依据核对频率和核对规则确定每场数据核对所使用的数据核对脚本,得到数据核对脚本;确定每场数据核对的核对模式,其中,核对模式至少包括以下模式:第一模式、第二模式、第三模式,其中,第一模式是指不需要进行数据核对,第二模式是指不需要对核对结果不一致的数据进行重复核对,第三模式是指需要对核对结果不一致的数据进行重复核对;依据核对模式和数据核对脚本对待核对的数据进行核对,得到每场数据核对的核对结果;依据每场数据核对的核对结果确定核对结果。

当在数据处理设备上执行时,还适于执行初始化有如下方法步骤的程序:依据核对模式和数据核对脚本对待核对的数据进行核对,得到每场数据核对的核对结果包括:在核对模式为第一模式的情况下,生成第一核对结果;在核对模式为第二模式的情况下,对数据核对脚本中指示的数据表内容进行一致性核对,并将核对一致的数据和核对不一致的数据写入核对结果明细表中;在核对模式为第三模式的情况下,对数据核对脚本中指示的数据表内容进行一致性核对,将核对一致的数据写入核对结果明细表中,将核对不一致的数据写入待处理数据表中,并且在下一场数据核对中依据数据核对脚本对待处理数据表中的数据进行核对;依据第一核对结果、核对结果明细表和待处理数据表确定每场数据核对的核对结果。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

相关技术
  • 数据分布存储方法、装置、存储介质及电子设备
  • 多版本数据存储管理方法及装置、电子设备、存储介质
  • 海量数据存储方法、装置、存储介质及电子设备
  • 数据存储方法、装置、电子设备及存储介质
  • 数据提取方法、数据提取装置、存储介质和电子设备
  • 基于大数据的数据核对方法、装置、电子设备及存储介质
  • 一种数据核对方法、装置、电子设备及存储介质
技术分类

06120116513383