数据的比对处理方法及装置
文献发布时间:2023-06-19 19:38:38
技术领域
本发明涉及数据处理技术领域,尤其涉及一种数据的比对处理方法及装置。
背景技术
伴随着互联网技术的迅猛发展,数据表中存储的数据量也在日益增多。在实际生产过程中,经常有对一份数据表中存储的海量数据进行修改、迁移的需求,用户对于修改或迁移过后的数据有回溯需求,以明确修改人员名称、修改过的数据以及修改的内容等。
目前,通常是工作人员将两份数据逐一进行比对以获知数据修改信息,然而,手动逐一进行对比容易出现比对不全的问题,比对效率较低,并且,数据的人工比对可能发生错误,导致数据比对的准确性不高。
因此,提出一种如何对数据进行比对处理从而提高数据比对处理效率以及准确性的技术方案显得尤为重要。
发明内容
本发明所要解决的技术问题在于,提供一种数据的比对处理方法及装置,能够提高对数据进行比对处理的效率,以及能够提高对数据进行对比处理的准确性。
为了解决上述技术问题,本发明第一方面公开了一种数据的比对处理方法,所述方法包括:
获取待比对的第一数据表和第二数据表,所述第二数据表由所述第一数据表经过数据处理操作生成;
确定所述第一数据表中的第一目标字段,确定所述第二数据表中的第二目标字段;
基于预先设定的比对控制条件,比对所述第一目标字段与所述第二目标字段,得到第一比对结果;
确定存储于所述第一目标字段中的第一数据,确定存储于所述第二目标字段中的第二数据;
比对所述第一数据与所述第二数据,得到第二比对结果;
根据所述第一比对结果以及所述第二比对结果生成综合比对结果。
作为一种可选的实施方式,在本发明第一方面中,在所述获取待比对的第一数据表和第二数据表之前,所述方法还包括:
加载预设的比对配置参数,得到加载结果,所述加载结果包括待比对数据表的存储路径;
所述获取待比对的第一数据表和第二数据表,包括:
从所述存储路径对应的存储空间中获取待比对的第一数据表和第二数据表。
作为一种可选的实施方式,在本发明第一方面中,所述从所述存储路径对应的存储空间中获取待比对的第一数据表和第二数据表,包括:
从所述存储路径中的第一存储子路径获取第一原始数据表,从所述存储路径中的第二存储子路径获取第二原始数据表;
判断所述第一原始数据表与所述第二原始数据表的当前存储格式是否符合预设的比对格式,生成第一判断结果;
当所述第一判断结果表示所述第一原始数据表与所述第二原始数据表的当前存储格式符合所述比对格式时,将所述第一原始数据表与所述第二原始数据表分别确定为待比对的第一数据表和第二数据表;
当所述第一判断结果表示所述第一原始数据表与所述第二原始数据表的当前存储格式不符合所述比对格式时,对所述第一原始数据表与所述第二原始数据表中当前存储格式不符合所述比对格式的目标数据表执行格式转换操作,以更新所述目标数据表,将更新后的所述目标数据表以及未执行所述格式转换操作的数据表确定为待比对的第一数据表和第二数据表;
其中,当所述目标数据表包括所述第一原始数据表与所述第二原始数据表时,未执行所述格式转换操作的数据表为空。
作为一种可选的实施方式,在本发明第一方面中,所述基于预先设定的比对控制条件,比对所述第一目标字段与所述第二目标字段,得到第一比对结果,包括:
判断所述第一目标字段的总字段列数与所述第二目标字段的总字段列数是否一致;
当判断出所述第一目标字段的总字段列数与所述第二目标字段的总字段列数一致时,判断所述第一目标字段的字段名称集合与所述第二目标字段的字段名称集合是否一致;
当判断出所述第一目标字段的字段名称集合与所述第二目标字段的字段名称集合一致时,生成用于表示所述第一数据表和所述第二数据表的字段一致的第一比对结果;
当判断出所述第一目标字段的总字段列数与所述第二目标字段的总字段列数不一致时,生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果。
作为一种可选的实施方式,在本发明第一方面中,在判断出所述第一目标字段的总字段列数与所述第二目标字段的总字段列数不一致之后,以及所述生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果之前,所述方法还包括:
判断所述第一目标字段的总字段列数是否小于所述第二目标字段的总字段列数;
当判断出所述第一目标字段的总字段列数不小于所述第二目标字段的总字段列数时,触发执行所述的生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果的步骤;
当判断出所述第一目标字段的总字段列数小于所述第二目标字段的总字段列数时,判断所述第二目标字段是否存在至少一个重复字段列组,所述重复字段列组包括至少两个字段列且每个字段列对应的字段名称及列数据均相同;
当判断出不存在所述重复字段列组时,触发执行所述的生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果的操作;
当判断出存在所述重复字段列组时,对每个所述重复字段列组执行去重操作,得到去重结果,每个所述重复字段列组的去重结果包括每个所述重复字段列组的字段名称及列数据;
判断每个所述重复字段列组的去重结果中的字段名称及所述第二目标字段中的剩余字段列的字段名称是否与所述第一目标字段的所有字段名称一致;
当判断出每个所述重复字段列组的去重结果中的字段名称及所述第二目标字段中的剩余字段列的字段名称与所述第一目标字段的所有字段名称一致时,生成用于表示所述第一数据表和所述第二数据表的字段一致的第一比对结果;其中,所述第二目标字段中的剩余字段列是所述第二目标字段的所有字段列中除所有所述重复字段列组之外的字段列;
当判断出每个所述重复字段列组的去重结果中的字段名称及所述第二目标字段中的剩余字段列的字段名称与所述第一目标字段的所有字段名称不一致时,触发执行所述的生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果的步骤。
作为一种可选的实施方式,在本发明第一方面中,在所述比对所述第一数据与所述第二数据,得到第二比对结果之后,所述方法还包括:
根据所述第二比对结果,执行与所述第二比对结果相匹配的操作;
所述根据所述第二比对结果,执行与所述第二比对结果相匹配的操作,包括:
当所述第二比对结果表示所述第一数据与所述第二数据不一致时,根据所述第一数据与所述第二数据的不一致数据确定标注对象,并从所述标注对象中确定所述不一致数据对应的行标识及列标识,根据所述行标识及所述列标识确定标注位置,并在所述标注位置处执行与所述不一致数据对应的比对标注结果,并输出带有所述比对标注结果的所述标注对象。
作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:
当判断出每个所述重复字段列组的去重结果中的字段名称及所述第二目标字段中的剩余字段列的字段名称与所述第一目标字段的所有字段名称一致时,根据每个所述重复字段列组的去重结果对所述第二数据表执行修正操作,以更新所述第二数据表;和/或,
当判断出每个所述重复字段列组的去重结果中的字段名称及所述第二目标字段中的剩余字段列的字段名称与所述第一目标字段的所有字段名称一致时,获取所述第二数据表的操作日志,并从所述操作日志中追溯所述重复字段列组的触发生成因子以及所述触发生成因子对应的操作对象,生成操作提示信息并反馈至所述操作对象,所述操作提示信息用于提示所述操作对象触发的与所述触发生成因子对应的数据处理操作为误处理操作。
本发明第二方面公开了一种数据的比对处理装置,所述装置包括:
获取模块,用于获取待比对的第一数据表和第二数据表,所述第二数据表由所述第一数据表经过数据处理操作生成;
确定模块,用于确定所述第一数据表中的第一目标字段,确定所述第二数据表中的第二目标字段;
比对模块,用于基于预先设定的比对控制条件,比对所述第一目标字段与所述第二目标字段,得到第一比对结果;
所述确定模块还用于确定存储于所述第一目标字段中的第一数据,确定存储于所述第二目标字段中的第二数据;
所述比对模块还用于比对所述第一数据与所述第二数据,得到第二比对结果;
生成模块,用于根据所述第一比对结果以及所述第二比对结果生成综合比对结果。
作为一种可选的实施方式,在本发明第二方面中,所述装置还包括:
加载模块,用于在所述获取待比对的第一数据表和第二数据表之前,加载预设的比对配置参数,得到加载结果,所述加载结果包括待比对数据表的存储路径;
所述获取模块获取待比对的第一数据表和第二数据表的具体方式包括:
所述获取模块从所述存储路径对应的存储空间中获取待比对的第一数据表和第二数据表。
作为一种可选的实施方式,在本发明第二方面中,所述获取模块从所述存储路径对应的存储空间中获取待比对的第一数据表和第二数据表的具体方式包括:
所述获取模块从所述存储路径中的第一存储子路径获取第一原始数据表,从所述存储路径中的第二存储子路径获取第二原始数据表;
所述获取模块判断所述第一原始数据表与所述第二原始数据表的当前存储格式是否符合预设的比对格式,生成第一判断结果;
当所述第一判断结果表示所述第一原始数据表与所述第二原始数据表的当前存储格式符合所述比对格式时,所述获取模块将所述第一原始数据表与所述第二原始数据表分别确定为待比对的第一数据表和第二数据表;
当所述第一判断结果表示所述第一原始数据表与所述第二原始数据表的当前存储格式不符合所述比对格式时,所述获取模块对所述第一原始数据表与所述第二原始数据表中当前存储格式不符合所述比对格式的目标数据表执行格式转换操作,以更新所述目标数据表,将更新后的所述目标数据表以及未执行所述格式转换操作的数据表确定为待比对的第一数据表和第二数据表;
其中,当所述目标数据表包括所述第一原始数据表与所述第二原始数据表时,未执行所述格式转换操作的数据表为空。
作为一种可选的实施方式,在本发明第二方面中,所述比对模块基于预先设定的比对控制条件,比对所述第一目标字段与所述第二目标字段,得到第一比对结果的具体方式包括:
所述比对模块判断所述第一目标字段的总字段列数与所述第二目标字段的总字段列数是否一致;
当判断出所述第一目标字段的总字段列数与所述第二目标字段的总字段列数一致时,所述比对模块判断所述第一目标字段的字段名称集合与所述第二目标字段的字段名称集合是否一致;
当判断出所述第一目标字段的字段名称集合与所述第二目标字段的字段名称集合一致时,所述比对模块生成用于表示所述第一数据表和所述第二数据表的字段一致的第一比对结果;
当判断出所述第一目标字段的总字段列数与所述第二目标字段的总字段列数不一致时,所述比对模块生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果。
作为一种可选的实施方式,在本发明第二方面中,在判断出所述第一目标字段的总字段列数与所述第二目标字段的总字段列数不一致之后,以及所述生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果之前,所述比对模块基于预先设定的比对控制条件,比对所述第一目标字段与所述第二目标字段,得到第一比对结果的具体方式还包括:
判断所述第一目标字段的总字段列数是否小于所述第二目标字段的总字段列数;
当判断出所述第一目标字段的总字段列数不小于所述第二目标字段的总字段列数时,所述比对模块生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果;
当判断出所述第一目标字段的总字段列数小于所述第二目标字段的总字段列数时,判断所述第二目标字段是否存在至少一个重复字段列组,所述重复字段列组包括至少两个字段列且每个字段列对应的字段名称及列数据均相同;
当判断出不存在所述重复字段列组时,所述比对模块生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果;
当判断出存在所述重复字段列组时,对每个所述重复字段列组执行去重操作,得到去重结果,每个所述重复字段列组的去重结果包括每个所述重复字段列组的字段名称及列数据;
判断每个所述重复字段列组的去重结果中的字段名称及所述第二目标字段中的剩余字段列的字段名称是否与所述第一目标字段的所有字段名称一致;
当判断出每个所述重复字段列组的去重结果中的字段名称及所述第二目标字段中的剩余字段列的字段名称与所述第一目标字段的所有字段名称一致时,生成用于表示所述第一数据表和所述第二数据表的字段一致的第一比对结果;其中,所述第二目标字段中的剩余字段列是所述第二目标字段的所有字段列中除所有所述重复字段列组之外的字段列;
当判断出每个所述重复字段列组的去重结果中的字段名称及所述第二目标字段中的剩余字段列的字段名称与所述第一目标字段的所有字段名称不一致时,所述比对模块生成用于表示所述第一数据表和所述第二数据表的字段不一致的第一比对结果。
作为一种可选的实施方式,在本发明第二方面中,所述装置还包括:
执行模块,用于在所述比对模块比对所述第一数据与所述第二数据,得到第二比对结果之后,根据所述第二比对结果,执行与所述第二比对结果相匹配的操作;
所述执行模块根据所述第二比对结果,执行与所述第二比对结果相匹配的操作的具体方式包括:
当所述第二比对结果表示所述第一数据与所述第二数据不一致时,所述执行模块根据所述第一数据与所述第二数据的不一致数据确定标注对象,并从所述标注对象中确定所述不一致数据对应的行标识及列标识,根据所述行标识及所述列标识确定标注位置,并在所述标注位置处执行与所述不一致数据对应的比对标注结果,并输出带有所述比对标注结果的所述标注对象。
作为一种可选的实施方式,在本发明第二方面中,
本发明第三方面公开了另一种数据的比对处理装置,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的数据的比对处理方法。
本发明第四方面公开了一种计算机可存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的数据的比对处理方法。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,获取待比对的第一数据表和第二数据表,第二数据表由第一数据表经过数据处理操作生成;确定第一数据表中的第一目标字段,确定第二数据表中的第二目标字段;基于预先设定的比对控制条件,比对第一目标字段与第二目标字段,得到第一比对结果;确定存储于第一目标字段中的第一数据,确定存储于第二目标字段中的第二数据;比对第一数据与第二数据,得到第二比对结果;根据第一比对结果以及第二比对结果生成综合比对结果。可见,实施本发明实施例能够提高对数据进行比对处理的效率,以及能够提高对数据进行对比处理的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种数据的比对处理方法的流程示意图;
图2是本发明实施例公开的另一种数据的比对处理方法的流程示意图;
图3是本发明实施例公开的一种数据的比对处理装置的结构示意图;
图4是本发明实施例公开的另一种数据的比对处理装置的结构示意图;
图5是本发明实施例公开的又一种数据的比对处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种数据的比对处理,能够提高对数据进行比对处理的效率,以及能够提高对数据进行对比处理的准确性。以下分别进行详细说明。
实施例一
请参阅图1,图1是本发明实施例公开的一种数据的比对处理方法的流程示意图。其中,图1所描述的数据的比对处理方法可以应用于数据的比对处理装置中,也可以应用于数据的对比处理的本地服务器或云端服务器,本发明实施例不做限定。如图1所示,该数据的比对处理方法可以包括以下操作:
101、获取待比对的第一数据表和第二数据表。
本发明实施例中,第二数据表由第一数据表经过数据处理操作生成。
本发明实施例中,可选的,获取待比对的第一数据表和第二数据表可以是实时获取的,也可以是按照预设的时间段定时获取的,还可以是在接收到数据表对比指令时进行获取的,本发明实施例不做限定。
102、确定第一数据表中的第一目标字段,确定第二数据表中的第二目标字段。
本发明实施例中,可选的,第一目标字段包括第一数据表中的关键信息字段;第二目标字段包括第二数据表中的关键信息字段。举例来说,当第一数据表以及第二数据表中均包括姓名、性别、年龄、科目时,将第一数据表以及第二数据表中所包括的姓名、性别、年龄、科目对应的内容分别确定为第一目标字段以及第二目标字段。
103、基于预先设定的比对控制条件,比对第一目标字段与第二目标字段,得到第一比对结果。
本发明实施例中,可选的,预先设定的比对控制条件包括预先设定的比对精度参数。其中,预先设定的比对精度参数包括第一目标字段与第二目标字段的比对误差参数。
104、确定存储于第一目标字段中的第一数据,确定存储于第二目标字段中的第二数据。
本发明实施例中,可选的,第一数据的数量可以为一个,也可以为多个,本发明实施例不做限定。可选的,第二数据的数量可以为一个,也可以为多个,本发明实施例不做限定。
105、比对第一数据与第二数据,得到第二比对结果。
本发明实施例中,可选的,第二比对结果包括第一数据与第二数据之间的差异信息。进一步的,差异信息包括第一数据和第二数据之间的数据差异参数、数据差异程度中的一种或多种。
106、根据第一比对结果以及第二比对结果生成综合比对结果。
本发明实施例中,可选的,综合比对结果包括第一比对结果以及第二比对结果。进一步可选的,综合比对结果包括第一数据表和第二数据表之间的数据差异信息,其中,数据差异信息包括数据差异文本信息、数据差异程度信息中的一种或多种。举例来说,当第一数据表中包括科目数学、第二数据表中包括科目语文时,确定第一数据表与第二数据表之间的数据差异文本信息为科目,且第一数据表与第二数据表之间的数据差异程度信息为50%。
可见,实施图1所描述的数据的对比处理方法能够获取待比对的第一数据表和第二数据表,确定第一数据表中的第一目标字段以及确定第二数据表中的第二目标字段,基于预先设定的比对控制条件,比对第一目标字段与第二目标字段得到第一比对结果,确定存储与第一目标字段中的第一数据以及确定存储与第二目标字段中的第二数据,比对第一数据和第二数据得到第二比对结果,并根据第一比对结果以及第二比对结果生成综合比对结果,能够基于第一目标字段以及第二目标字段得到第一比对结果,以及基于第一数据和第二数据得到第二比对结果,能够提高得到第一比对结果以及第二比对结果的准确性和可靠性,有利于提高生成综合比对结果的准确性和可靠性,以及有利于提高生成综合比对结果的效率,进而有利于提高生成综合比对结果的智能性。
实施例二
请参阅图2,图2是本发明实施例公开的另一种数据的比对处理方法的流程示意图。其中,图2所描述的数据的比对处理方法可以应用于数据的比对处理装置中,也可以应用于数据的对比处理的本地服务器或云端服务器,本发明实施例不做限定。如图2所示,该数据的比对处理方法可以包括以下操作:
201、加载预设的比对配置参数,得到加载结果。
本发明实施例中,加载结果包括待比对数据表的存储路径。
本发明实施例中,可选的,加载结果还包括待对比数据表的数据类型信息、待对比数据表的数据数量信息、待对比数据表的数据来源信息中的一种或多种。
202、从存储路径对应的存储空间中获取待比对的第一数据表和第二数据表。
本发明实施例中,可选的,一个存储路径对应一个存储空间。进一步可选的,一个存储空间中存在至少两个数据表。进一步的,每个存储空间中所存在的数据表的数量,本发明实施例不做具体限定。
203、确定第一数据表中的第一目标字段,确定第二数据表中的第二目标字段。
204、基于预先设定的比对控制条件,比对第一目标字段与第二目标字段,得到第一比对结果。
205、确定存储于第一目标字段中的第一数据,确定存储于第二目标字段中的第二数据。
206、比对第一数据与第二数据,得到第二比对结果。
207、根据第一比对结果以及第二比对结果生成综合比对结果。
本发明实施例中,针对步骤203-步骤207的详细描述,请参照实施例一中针对步骤102-步骤106的其它描述,本发明实施例不再赘述。
可见,实施图2所描述的数据的比对处理方法能够加载预设的比对配置参数,得到加载结果,其中,加载结果包括待比对数据表的存储路径,并从存储路径对应的存储空间中获取待比对的第一数据表和第二数据表,能够按照预设的比对配置参数获取待比对的第一数据表和第二数据表,能够提高获取第一数据表和第二数据表的准确性和可靠性,避免出现获取待比对的数据表不完整或者出现错误的现象,从而有利于提高获取待比对的数据表的效率,进而有利于提高对数据进行比对处理的准确性和可靠性,以及有利于提高对数据进行比对处理的效率。
在一个可选的实施例中,从存储路径对应的存储空间中获取待比对的第一数据表和第二数据表,包括:
从存储路径中的第一存储子路径获取第一原始数据表,从存储路径中的第二存储子路径获取第二原始数据表;
判断第一原始数据表与第二原始数据表的当前存储格式是否符合预设的比对格式,生成第一判断结果;
当第一判断结果表示第一原始数据表与第二原始数据表的当前存储格式符合比对格式时,将第一原始数据表与第二原始数据表分别确定为待比对的第一数据表和第二数据表;
当第一判断结果表示第一原始数据表与第二原始数据表的当前存储格式不符合比对格式时,对第一原始数据表与第二原始数据表中当前存储格式不符合比对格式的目标数据表执行格式转换操作,以更新目标数据表,将更新后的目标数据表以及未执行格式转换操作的数据表确定为待比对的第一数据表和第二数据表;
其中,当目标数据表包括第一原始数据表与第二原始数据表时,未执行格式转换操作的数据表为空。
在该可选的实施例中,可选的,判断第一原始数据表与第二原始数据表的当前存储格式是否符合预设的比对格式,包括:
判断第一原始数据表是否满足预设的第一比对格式且判断第二原始数据表是否满足预设的第二比对格式;
当判断出第一原始数据表满足预设的第一比对格式且第二原始数据表满足预设的第二比对格式时,确定第一原始数据表与第二原始数据表的当前存储格式符合预设的比对格式;
当判断出第一原始数据表不满足预设的第一比对格式和/或第二原始数据表不满足预设的第二比对格式时,确定第一原始数据表与第二原始数据表的当前存储格式不符合预设的比对格式。
在该可选的实施例中,可选的,预设的第一比对格式与预设的第二比对格式可以是相同的,也可以是不同的。
在该可选的实施例中,可选的,当目标数据表包括第一原始数据表与第二原始数据表时,对第一原始数据表以及第二原始数据表均执行格式转换操作。
可见,实施该可选的实施例能够从存储路径中的第一存储子路径获取第一原始数据表以及从第二存储子路径获取第二原始数据表,判断第一原始数据表与第二原始数据表的当前存储格式是否符合预设的比对格式,若符合,则将第一原始数据表与第二原始数据表分别确定为待比对的第一数据表和第二数据表;若不符合,则将不符合比对格式的目标数据表执行格式转换操作以更新目标数据表,并确定待比对的第一数据表和第二数据表,能够在第一数据表和第二数据表均满足预设的比对格式的条件下才确定第一目标字段和第二目标字段,能够提高获取第一数据表和第二数据表的准确性,以及能够提高获取第一数据表和第二数据表的可靠性和智能性,从而有利于提高后续提取第一目标字段、第二目标字段以及第一数据、第二数据的准确性和可靠性,进而有利于提高提高对数据进行比对处理的准确性和可靠性,以及有利于提高对数据进行比对处理的效率。
在另一个可选的实施例中,基于预先设定的比对控制条件,比对第一目标字段与第二目标字段,得到第一比对结果,包括:
判断第一目标字段的总字段列数与第二目标字段的总字段列数是否一致;
当判断出第一目标字段的总字段列数与第二目标字段的总字段列数一致时,判断第一目标字段的字段名称集合与第二目标字段的字段名称集合是否一致;
当判断出第一目标字段的字段名称集合与第二目标字段的字段名称集合一致时,生成用于表示第一数据表和第二数据表的字段一致的第一比对结果;
当判断出第一目标字段的总字段列数与第二目标字段的总字段列数不一致时,生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果。
在该可选的实施例中,可选的,当判断出第一目标字段的总字段列数与第二目标字段的总字段列数不一致时,该方法还包括:
判断第一目标字段以及第二目标字段是否均满足预设的字段补齐条件,当判断出第一目标字段以及第二目标字段均满足预设的字段补齐条件时,对第一目标字段或者第二目标字段执行预设的字段补齐操作,以使第一目标字段的总字段列数与第二目标字段的总字段列数一致,并触发执行判断第一目标字段的字段名称集合与第二目标字段的字段名称集合是否一致的操作;当判断出第一目标字段和/或第二目标字段不满足预设的字段补齐条件时,生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果。
在该可选的实施例中,可选的,当判断出第一目标字段的字段名称集合与第二目标字段的字段名称集合不一致时,生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果。
可见,实施该可选的实施例能够判断第一目标字段的总字段列数与第二目标字段的总字段列数是否一致,若不一致,则生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果,若一致,则判断第一目标字段的字段名称集合与第二目标字段的字段名称集合是否一致,若字段名称集合一致,则生成用于表示第一数据表和第二数据表的字段一致的第一比对结果,能够分别通过总字段列数以及字段名称集合判断第一数据表和第二数据表是否一致,能够提高判断第一数据表和第二数据表是否一致的准确性和可靠性,能够提高得到第一比对结果的准确性和可靠性,从而有利于提高对数据进行比对处理的准确性和可靠性,进而有利于提高生成综合比对结果的精准性和智能性。
在又一个可选的实施例中,在判断出第一目标字段的总字段列数与第二目标字段的总字段列数不一致之后,以及生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果之前,该方法还包括:
判断第一目标字段的总字段列数是否小于第二目标字段的总字段列数;
当判断出第一目标字段的总字段列数不小于第二目标字段的总字段列数时,触发执行生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果的步骤;
当判断出第一目标字段的总字段列数小于第二目标字段的总字段列数时,判断第二目标字段是否存在至少一个重复字段列组,重复字段列组包括至少两个字段列且每个字段列对应的字段名称及列数据均相同;
当判断出不存在重复字段列组时,触发执行生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果的操作;
当判断出存在重复字段列组时,对每个重复字段列组执行去重操作,得到去重结果,每个重复字段列组的去重结果包括每个重复字段列组的字段名称及列数据;
判断每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称是否与第一目标字段的所有字段名称一致;
当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,生成用于表示第一数据表和第二数据表的字段一致的第一比对结果;其中,第二目标字段中的剩余字段列是第二目标字段的所有字段列中除所有重复字段列组之外的字段列;
当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称不一致时,触发执行生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果的步骤。
在该可选的实施例中,可选的,重复字段列组的数量可以为一个,也可以为多个,本发明实施例不做限定。
在该可选的实施例中,可选的,去重结果的数量与重复字段列组的数量相等。举例来说,当重复字段列组的数量为2时,去重结果的数量也为2。
可见,实施该可选的实施例能够判断第一目标字段的总字段列数是否小于第二目标字段的总字段列数,若不小于,则生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果;若小于,则判断第二目标字段是否存在至少一个重复字段列组,若不存在,则生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果,若存在,则对每个重复字列组执行去重操作得到去重结果,并判断每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称是否与第一目标字段的所有字段名称一致,若一致,则生成用于表示第一数据表和第二数据表的字段一致的第一比对结果,若不一致,则生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果,能够提高判断第一数据表和第二数据表是否一致的准确性和可靠性,能够提高得到第一比对结果的准确性和可靠性,从而有利于提高对数据进行比对处理的准确性和可靠性,进而有利于提高生成综合比对结果的精准性和智能性。
在又一个可选的实施例中,在比对第一数据与第二数据,得到第二比对结果之后,该方法还包括:
根据第二比对结果,执行与第二比对结果相匹配的操作;
根据第二比对结果,执行与第二比对结果相匹配的操作,包括:
当第二比对结果表示第一数据与第二数据不一致时,根据第一数据与第二数据的不一致数据确定标注对象,并从标注对象中确定不一致数据对应的行标识及列标识,根据行标识及列标识确定标注位置,并在标注位置处执行与不一致数据对应的比对标注结果,并输出带有比对标注结果的标注对象。
在该可选的实施例中,可选的,根据第一数据与第二数据的不一致数据确定标注对象,包括:将第一数据与第二数据之间的不一致数据确定为标注对象。
在该可选的实施例中,可选的,根据行标识及列标识确定标注位置,包括:将行表示对应的位置以及列表示对应的位置确定为标注位置。
在该可选的实施例中,可选的,在标注位置处执行与不一致数据对应的比对标注结果包括在标注位置处执行字体颜色标记、背景颜色标记、字体样式标记中的一种或多种;其中,字体样式标记包括字体加粗样式标记、字体下划线样式标记、字体斜体样式标记、字体背景颜色样式标记中的一种或多种。
可见,实施该可选的实施例能够当第二比对结果表示第一数据与第二数据不一致时,根据第一数据与第二数据的不一致数据确定标注对象,并从标注对象中确定不一致数据对应的行标识和列标识,根据行标识和列标识确定标注位置,并在标注位置处执行与不一致数据对应的比对标注结果,并输出带有比对标注结果的标注对象,能够对不一致数据进行标注,从而有利于提高对数据进行比对处理的智能性,进而有利于提高后续数据管理人员查看数据比对结果的直观性和清晰度,以及有利于提高数据管理人员查看数据比对结果的便捷性。
在又一个可选的实施例中,该方法还包括:
当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,根据每个重复字段列组的去重结果对第二数据表执行修正操作,以更新第二数据表;和/或,
当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,获取第二数据表的操作日志,并从操作日志中追溯重复字段列组的触发生成因子以及触发生成因子对应的操作对象,生成操作提示信息并反馈至操作对象,操作提示信息用于提示操作对象触发的与触发生成因子对应的数据处理操作为误处理操作。
在该可选的实施例中,可选的,第二数据表的操作日志包括第二数据表的运行历史数据。其中,第二数据表的运行历史数据包括触发生成因子数据、操作对象数据、操作时刻数据、操作时长数据、操作类型数据、操作人员数据中的一种或多种。
在该可选的实施例中,可选的,操作提示信息用于提示操作对象触发的与触发生成因子对应的数据处理操作为误操作。进一步的,操作提示信息还可以包括误操作类型、误操作时刻、误操作时长中的一种或多种。其中,操作提示信息可以为:本次的数据处理操作为误操作,误操作时刻为15点02分,请下次避免误操作。
可见,实施该可选的实施例能够当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,根据每个重复字段列组的去重结果对第二数据表执行修正操作,以更新第二数据表,和/或,当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,获取第二数据表的操作日志,并从操作日志中追溯重复字段列组的触发生成因子以及触发生成因子对应的操作对象,生成操作提示信息并反馈至操作对象,能够提高更新第二数据表的准确性和可靠性,有利于提高后续生成综合比对结果的准确性和可靠性,从而有利于提高对数据进行比对处理的智能性和精准性,并且能够通过生成操作提示信息并反馈至操作对象,能够通过提醒操作对象本次为误操作并且提醒操作对象避免再次出现误操作,有利于提高后续得到第二数据表的准确性,以及有利于提高后续对第二数据表进行处理的效率,进而有利于提高后续得到综合比对结果以及对数据进行比对处理的的效率和准确性。
实施例三
请参阅图3,图3是本发明实施例公开的一种数据的比对处理装置的结构示意图。如图3所示,该数据的比对处理装置可以包括以下操作:
获取模块301,用于获取待比对的第一数据表和第二数据表,第二数据表由第一数据表经过数据处理操作生成;
确定模块302,用于确定第一数据表中的第一目标字段,确定第二数据表中的第二目标字段;
比对模块303,用于基于预先设定的比对控制条件,比对第一目标字段与第二目标字段,得到第一比对结果;
确定模块302,还用于确定存储于第一目标字段中的第一数据,确定存储于第二目标字段中的第二数据;
比对模块303,还用于比对第一数据与第二数据,得到第二比对结果;
生成模块304,用于根据第一比对结果以及第二比对结果生成综合比对结果。
可见,实施图3所描述的装置能够获取待比对的第一数据表和第二数据表,确定第一数据表中的第一目标字段以及确定第二数据表中的第二目标字段,基于预先设定的比对控制条件,比对第一目标字段与第二目标字段得到第一比对结果,确定存储与第一目标字段中的第一数据以及确定存储与第二目标字段中的第二数据,比对第一数据和第二数据得到第二比对结果,并根据第一比对结果以及第二比对结果生成综合比对结果,能够基于第一目标字段以及第二目标字段得到第一比对结果,以及基于第一数据和第二数据得到第二比对结果,能够提高得到第一比对结果以及第二比对结果的准确性和可靠性,有利于提高生成综合比对结果的准确性和可靠性,以及有利于提高生成综合比对结果的效率,进而有利于提高生成综合比对结果的智能性。
在一个可选的实施例中,如图4所示,该装置还包括:
加载模块305,用于在获取待比对的第一数据表和第二数据表之前,加载预设的比对配置参数,得到加载结果,加载结果包括待比对数据表的存储路径;
获取模块301获取待比对的第一数据表和第二数据表的具体方式包括:
获取模块301从存储路径对应的存储空间中获取待比对的第一数据表和第二数据表。
可见,实施图4所描述的装置能够加载预设的比对配置参数,得到加载结果,其中,加载结果包括待比对数据表的存储路径,并从存储路径对应的存储空间中获取待比对的第一数据表和第二数据表,能够按照预设的比对配置参数获取待比对的第一数据表和第二数据表,能够提高获取第一数据表和第二数据表的准确性和可靠性,避免出现获取待比对的数据表不完整或者出现错误的现象,从而有利于提高获取待比对的数据表的效率,进而有利于提高对数据进行比对处理的准确性和可靠性,以及有利于提高对数据进行比对处理的效率。
在另一个可选的实施例中,如图4所示,获取模块301从存储路径对应的存储空间中获取待比对的第一数据表和第二数据表的具体方式包括:
获取模块301从存储路径中的第一存储子路径获取第一原始数据表,从存储路径中的第二存储子路径获取第二原始数据表;
获取模块301判断第一原始数据表与第二原始数据表的当前存储格式是否符合预设的比对格式,生成第一判断结果;
当第一判断结果表示第一原始数据表与第二原始数据表的当前存储格式符合比对格式时,获取模块301将第一原始数据表与第二原始数据表分别确定为待比对的第一数据表和第二数据表;
当第一判断结果表示第一原始数据表与第二原始数据表的当前存储格式不符合比对格式时,获取模块301对第一原始数据表与第二原始数据表中当前存储格式不符合比对格式的目标数据表执行格式转换操作,以更新目标数据表,将更新后的目标数据表以及未执行格式转换操作的数据表确定为待比对的第一数据表和第二数据表;
其中,当目标数据表包括第一原始数据表与第二原始数据表时,未执行格式转换操作的数据表为空。
可见,实施图4所描述的装置能够从存储路径中的第一存储子路径获取第一原始数据表以及从第二存储子路径获取第二原始数据表,判断第一原始数据表与第二原始数据表的当前存储格式是否符合预设的比对格式,若符合,则将第一原始数据表与第二原始数据表分别确定为待比对的第一数据表和第二数据表;若不符合,则将不符合比对格式的目标数据表执行格式转换操作以更新目标数据表,并确定待比对的第一数据表和第二数据表,能够在第一数据表和第二数据表均满足预设的比对格式的条件下才确定第一目标字段和第二目标字段,能够提高获取第一数据表和第二数据表的准确性,以及能够提高获取第一数据表和第二数据表的可靠性和智能性,从而有利于提高后续提取第一目标字段、第二目标字段以及第一数据、第二数据的准确性和可靠性,进而有利于提高提高对数据进行比对处理的准确性和可靠性,以及有利于提高对数据进行比对处理的效率。
在又一个可选的实施例中,如图4所示,比对模块303基于预先设定的比对控制条件,比对第一目标字段与第二目标字段,得到第一比对结果的具体方式包括:
比对模块303判断第一目标字段的总字段列数与第二目标字段的总字段列数是否一致;
当判断出第一目标字段的总字段列数与第二目标字段的总字段列数一致时,比对模块303判断第一目标字段的字段名称集合与第二目标字段的字段名称集合是否一致;
当判断出第一目标字段的字段名称集合与第二目标字段的字段名称集合一致时,比对模块303生成用于表示第一数据表和第二数据表的字段一致的第一比对结果;
当判断出第一目标字段的总字段列数与第二目标字段的总字段列数不一致时,比对模块303生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果。
可见,实施图4所描述的装置能够判断第一目标字段的总字段列数与第二目标字段的总字段列数是否一致,若不一致,则生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果,若一致,则判断第一目标字段的字段名称集合与第二目标字段的字段名称集合是否一致,若字段名称集合一致,则生成用于表示第一数据表和第二数据表的字段一致的第一比对结果,能够分别通过总字段列数以及字段名称集合判断第一数据表和第二数据表是否一致,能够提高判断第一数据表和第二数据表是否一致的准确性和可靠性,能够提高得到第一比对结果的准确性和可靠性,从而有利于提高对数据进行比对处理的准确性和可靠性,进而有利于提高生成综合比对结果的精准性和智能性。
在又一个可选的实施例中,如图4所示,在判断出第一目标字段的总字段列数与第二目标字段的总字段列数不一致之后,以及生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果之前,比对模块303基于预先设定的比对控制条件,比对第一目标字段与第二目标字段,得到第一比对结果的具体方式还包括:
判断第一目标字段的总字段列数是否小于第二目标字段的总字段列数;
当判断出第一目标字段的总字段列数不小于第二目标字段的总字段列数时,比对模块303生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果;
当判断出第一目标字段的总字段列数小于第二目标字段的总字段列数时,判断第二目标字段是否存在至少一个重复字段列组,重复字段列组包括至少两个字段列且每个字段列对应的字段名称及列数据均相同;
当判断出不存在重复字段列组时,比对模块303生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果;
当判断出存在重复字段列组时,对每个重复字段列组执行去重操作,得到去重结果,每个重复字段列组的去重结果包括每个重复字段列组的字段名称及列数据;
判断每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称是否与第一目标字段的所有字段名称一致;
当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,生成用于表示第一数据表和第二数据表的字段一致的第一比对结果;其中,第二目标字段中的剩余字段列是第二目标字段的所有字段列中除所有重复字段列组之外的字段列;
当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称不一致时,比对模块303生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果。
可见,实施图4所描述的装置能够判断第一目标字段的总字段列数是否小于第二目标字段的总字段列数,若不小于,则生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果;若小于,则判断第二目标字段是否存在至少一个重复字段列组,若不存在,则生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果,若存在,则对每个重复字列组执行去重操作得到去重结果,并判断每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称是否与第一目标字段的所有字段名称一致,若一致,则生成用于表示第一数据表和第二数据表的字段一致的第一比对结果,若不一致,则生成用于表示第一数据表和第二数据表的字段不一致的第一比对结果,能够提高判断第一数据表和第二数据表是否一致的准确性和可靠性,能够提高得到第一比对结果的准确性和可靠性,从而有利于提高对数据进行比对处理的准确性和可靠性,进而有利于提高生成综合比对结果的精准性和智能性。
在又一个可选的实施例中,如图4所示,该装置还包括:
执行模块306,用于在比对模块303比对第一数据与第二数据,得到第二比对结果之后,根据第二比对结果,执行与第二比对结果相匹配的操作;
执行模块306根据第二比对结果,执行与第二比对结果相匹配的操作的具体方式包括:
当第二比对结果表示第一数据与第二数据不一致时,执行模块306根据第一数据与第二数据的不一致数据确定标注对象,并从标注对象中确定不一致数据对应的行标识及列标识,根据行标识及列标识确定标注位置,并在标注位置处执行与不一致数据对应的比对标注结果,并输出带有比对标注结果的标注对象。
可见,实施图4所描述的装置能够当第二比对结果表示第一数据与第二数据不一致时,根据第一数据与第二数据的不一致数据确定标注对象,并从标注对象中确定不一致数据对应的行标识和列标识,根据行标识和列标识确定标注位置,并在标注位置处执行与不一致数据对应的比对标注结果,并输出带有比对标注结果的标注对象,能够对不一致数据进行标注,从而有利于提高对数据进行比对处理的智能性,进而有利于提高后续数据管理人员查看数据比对结果的直观性和清晰度,以及有利于提高数据管理人员查看数据比对结果的便捷性。
在又一个可选的实施例中,如图4所示,该装置还包括:
修正模块307,用于当比对模块303判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,根据每个重复字段列组的去重结果对第二数据表执行修正操作,以更新第二数据表;和/或,
追溯模块308,用于当比对模块303判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,获取第二数据表的操作日志,并从操作日志中追溯重复字段列组的触发生成因子以及触发生成因子对应的操作对象,生成操作提示信息并反馈至操作对象,操作提示信息用于提示操作对象触发的与触发生成因子对应的数据处理操作为误处理操作。
可见,实施图4所描述的装置能够当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,根据每个重复字段列组的去重结果对第二数据表执行修正操作,以更新第二数据表,和/或,当判断出每个重复字段列组的去重结果中的字段名称及第二目标字段中的剩余字段列的字段名称与第一目标字段的所有字段名称一致时,获取第二数据表的操作日志,并从操作日志中追溯重复字段列组的触发生成因子以及触发生成因子对应的操作对象,生成操作提示信息并反馈至操作对象,能够提高更新第二数据表的准确性和可靠性,有利于提高后续生成综合比对结果的准确性和可靠性,从而有利于提高对数据进行比对处理的智能性和精准性,并且能够通过生成操作提示信息并反馈至操作对象,能够通过提醒操作对象本次为误操作并且提醒操作对象避免再次出现误操作,有利于提高后续得到第二数据表的准确性,以及有利于提高后续对第二数据表进行处理的效率,进而有利于提高后续得到综合比对结果以及对数据进行比对处理的的效率和准确性。
实施例四
请参阅图5,图5是本发明实施例公开的又一种数据的比对处理装置的结构示意图。如图5所示,该数据的比对处理装置可以包括:
存储有可执行程序代码的存储器401;
与存储器401耦合的处理器402;
处理器402调用存储器401中存储的可执行程序代码,执行本发明实施例一或本发明实施例二所描述的数据的比对处理方法中的步骤。
实施例五
本发明实施例公开了一种计算机可存储介质,该计算机存储介质存储有计算机指令,该计算机指令被调用时,用于执行本发明实施例一或本发明实施例二所描述的数据的比对处理方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的数据的比对处理方法中的步骤。
以上所描述的装置实施例仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种数据的比对处理方法及装置所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
- 话音数据处理方法以及支持该话音数据处理方法的电子装置
- 一种数据处理方法、装置和用于数据处理的装置
- 一种数据处理方法、装置和用于数据处理的装置
- 一种数据处理方法、装置和用于数据处理的装置
- 一种数据处理方法、装置和用于数据处理的装置
- 三维人体扫描数据比对系统及数据比对处理方法
- 数据比对装置、数据比对方法及芯片测试仪