一种数据处理方法、装置和电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法、装置和电子设备。

背景技术

当前，各种大数据存储产品和面向各行业的大数据应用层出不穷，数据处理技术在大数据时代遇到了新的挑战。例如，不同渠道产生的数据格式迥异，不利于数据的归集合并。

在一些方案中，选择利用正则表达式进行数据的标准化处理，但是缺点在于适用场景有限，对于数据内容过于杂乱或者缺失的情形无法满足需求。

发明内容

本申请实施例提供了一种数据处理方法、装置和电子设备，能够实现对杂乱的数据进行有效的标准化处理。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种数据处理方法，包括：将多个第一原始字段的原始数据进行拼接，得到拼接数据；第一原始字段是第一标准字段的关联字段；将拼接数据与第一标准字段的关联表进行匹配，得到匹配结果；根据匹配结果确定第一标准字段的标准化数据。

可选地，第一标准字段的关联表有多个，将拼接数据与第一标准字段的关联表进行匹配，得到匹配结果包括：按照关联表的匹配优先级，依次将拼接数据与各关联表进行匹配；关联表的各项分别记录有第一标准字段的标准化数据；在得到匹配项后，停止匹配，将得到的匹配项作为匹配结果；若在各关联表中均未得到匹配项，则停止匹配，得到无匹配项的匹配结果。

可选地，根据匹配结果确定第一标准字段的标准化数据包括：若匹配结果为无匹配项，则确定第一标准字段的标准化数据为空值；数据处理方法还包括：生成与第一标准字段对应的错误信息，以能够根据错误信息实现数据检查。

可选地，根据匹配结果确定第一标准字段的标准化数据包括：若匹配结果为无匹配项，则利用正则表达式对与第一标准字段直接关联的第一原始字段的原始数据进行提取，得到第一标准字段的标准化数据。

可选地，数据处理方法还包括：利用正则表达式对从第二原始字段的原始数据进行提取，得到第二标准字段的标准化数据。

可选地，关联表记录有多组标准化数据，每组标准化数据包括第一标准字段的标准化数据，以及若干个第三标准字段的标准化数据；数据处理方法还包括：根据匹配结果确定第三标准字段的标准化数据。

可选地，数据处理方法在所有步骤前还包括：加载标准配置文件，标准配置文件中记录有标准字段与原始字段的关联关系，以及各标准字段的关联表。

可选地，标准配置文件还记录有原始数据文件的存储路径和结果文件的存储路径，数据处理方法还包括：根据原始数据文件的存储路径读取原始字段的原始数据；将得到的标准化数据写入到结果文件的相应标准化字段中。

第二方面，本申请实施例还提供一种数据处理装置，用于实现如上任一所述的数据处理方法。

第三方面，本申请实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行如上任一所述的数据处理方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，存储一个或多个程序，一个或多个程序当被包括多个应用程序的电子设备执行时，使得电子设备执行如上任一所述的数据处理方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

利用关联表对原始数据拼接后的拼接数据进行匹配，并依据匹配结果来确定标准化数据，在原始数据过于杂乱或者存在缺失的情况下，依然可以得到很好的数据标准化效果，具有较高的鲁棒性和效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为根据本申请一个实施例的数据处理方法的流程示意图；

图2为根据本申请一个实施例的数据处理装置的结构示意图；

图3为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的技术构思在于，考虑数据内容之间存在的关联性，例如，当确定了汽车的车系时，也就能够确定汽车的品牌、厂商和国别。那么无论原始数据中是否直接示出了汽车的品牌、厂商和国别，只要原始数据中直接示出了汽车的车系，也就能够确认汽车的品牌、厂商和国别。将此应用到数据标准化处理的过程中，无需再对原始数据中的品牌、厂商和国别信息进行处理，即使品牌、厂商和国别信息缺失或者过于杂乱也没有关系，大大提升了数据处理的鲁棒性和效率。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为根据本申请一个实施例的数据处理方法的流程示意图。如图1所示，该方法包括：

步骤S110，将多个第一原始字段的原始数据进行拼接，得到拼接数据。其中，第一原始字段是第一标准字段的关联字段。

例如，汽车信息可以利用爬虫程序，从各类汽车网站中爬取得到，爬取到的车系、品牌厂商等信息可以作为原始数据，相应地记录在车系字段、品牌厂商字段中，此时，车系字段、品牌厂商字段就是原始字段。

对于不同的汽车网站，即使对应同一类信息，例如车系，爬取到的数据格式也可能不尽相同，需要进行标准化处理。举例而言，车系字段中的原始数据，需要在标准化处理后记录在标准车系字段中。此种情况下，车系字段就是标准车系字段的关联字段。

如前所述，当确定了汽车的车系之后，同时可以确定汽车的品牌、厂商和国别，不需要考虑原始数据是否包含这些信息，也就是说，车系字段(原始字段)也是标准品牌字段(标准字段)的关联字段。

也就是说，关联字段意味着第一原始字段中的原始数据对于第一标准字段中的标准化数据的确定有着直接或者间接的帮助。

依据类似的逻辑可以确定品牌厂商字段分别是标准品牌字段、标准厂商字段的关联字段，车系字段、品牌厂商字段、车辆款式字段都是国别字段的关联字段，在此不一一具体分析了。

另外，上述示例虽然是以汽车信息进行举例说明，但是能够理解，本申请的技术方案也能够应用于其他领域数据的处理，例如房产信息(街道、城市等存在关联)等等，在此也不进行一一举例。

原始数据的拼接也可以理解为原始数据的合并或融合，具体的实现方式可以采用任一种现有技术实现，本申请对此不做限制。

步骤S120，将拼接数据与第一标准字段的关联表进行匹配，得到匹配结果。

例如，第一标准字段为标准车系字段，则关联表可以为车系表，记录了各车系对于的品牌、厂商、国别。关联表可以支持直等匹配、模糊匹配。

步骤S130，根据匹配结果确定第一标准字段的标准化数据。

可见，图1所示的方法，利用关联表对原始数据拼接后的拼接数据进行匹配，并依据匹配结果来确定标准化数据，在原始数据过于杂乱或者存在缺失的情况下，依然可以得到很好的数据标准化效果，具有较高的鲁棒性和效率。

在本申请的一个实施例中，上述数据处理方法中，第一标准字段的关联表有多个，将拼接数据与第一标准字段的关联表进行匹配，得到匹配结果包括：按照关联表的匹配优先级，依次将拼接数据与各关联表进行匹配；关联表的各项分别记录有第一标准字段的标准化数据；在得到匹配项后，停止匹配，将得到的匹配项作为匹配结果；若在各关联表中均未得到匹配项，则停止匹配，得到无匹配项的匹配结果。

例如，标准品牌字段的关联表为车系表和品牌表，车系表的优先级为一级，品牌表的优先级为二级。拼接数据是对车系字段、品牌厂商字段和车辆款式字段这三个字段的原始数据拼接得到的。

则在匹配时，将拼接数据先与车系表进行匹配，若能够得到匹配项则停止匹配，输出相应的匹配项作为匹配结果。若在车系表中无法得到匹配项，再将拼接数据与品牌表进行匹配，若能够得到匹配项则停止匹配，输出相应的匹配项作为匹配结果，若遍历了品牌表也无法得到匹配项，则停止匹配，得到无匹配项的匹配结果。

类似地，标准国别字段的关联表为车系表和国别表，车系表的优先级为一级，国别表的优先级为二级；标准厂商字段的关联表为车系表和厂商表，车系表的优先级为一级，厂商表的优先级为二级；拼接数据均可以是对车系字段、品牌厂商字段和车辆款式字段这三个字段的原始数据拼接得到的。那么匹配的过程与前述示例类似，在此不再详细说明。

关联表的各项分别记录有第一标准字段的标准化数据，这样在得到匹配项后也就自动地实现了对原始数据的标准化处理。

对于匹配结果为有匹配项的情况，可以直接确定第一标准化的标准化数据，而对于匹配结果为无匹配项的情况，可以有两种方式处理。

例如，在本申请的一个实施例中，上述数据处理方法中，根据匹配结果确定第一标准字段的标准化数据包括：若匹配结果为无匹配项，则确定第一标准字段的标准化数据为空值；数据处理方法还包括：生成与第一标准字段对应的错误信息，以能够根据错误信息实现数据检查。

这种情况可以适用于原始数据格式过于杂乱的情况，例如对于品牌、厂商和国别就是如此。也就是说，没法根据原始数据直接得到标准化数据，可能需要人工干预，此时可以生成与第一标准字段对应的错误信息，例如为错误码，不同标准字段的错误码可以不同，数据处理人员可以实现依据错误码进行人工处理或者数据检查。

在本申请的另一个实施例中，上述数据处理方法中，根据匹配结果确定第一标准字段的标准化数据包括：若匹配结果为无匹配项，则利用正则表达式对与第一标准字段直接关联的第一原始字段的原始数据进行提取，得到第一标准字段的标准化数据。

这种情况可以适用于原始数据具有一定规范性的情况，例如车系。在匹配时，可以利用车系字段、品牌厂商字段和车辆款式字段三个原始字段的原始数据拼接得到的拼接数据与标准车系字段的关联表进行匹配，而在无法得到匹配项后，可以利用与标准车系字段直接关联的车系字段中的原始数据，利用正则表达式进行提取，得到标准车系字段的标准化数据。

在本申请的另一个实施例中，上述数据处理方法中，数据处理方法还包括：利用正则表达式对从第二原始字段的原始数据进行提取，得到第二标准字段的标准化数据。

例如，对于价格、车辆款式而言，通常很难根据其他信息推断出来，而且这些信息在记录时还是存在一定的规范性的，因此可以直接利用正则表达式进行提取，例如利用正则表达式对价格字段的原始数据进行提取，得到标准价格字段的标准化数据，这样可以去除原始数据中无效的价格信息、统一单位(例如价格均统一为xx万元)，具体可以包括46.98万元这样的具体数值或者是23.88-40.98万元这样的价格区间。如果第二原始字段的原始数据为空或者无效，那么第二标准字段的标准化数据为空值。

在本申请的另一个实施例中，上述数据处理方法中，关联表记录有多组标准化数据，每组标准化数据包括第一标准字段的标准化数据，以及若干个第三标准字段的标准化数据；数据处理方法还包括：根据匹配结果确定第三标准字段的标准化数据。

例如，关联表中可以记录车系对应的品牌、厂商和国别，那么在得到匹配项后，由于匹配项中不仅记录了标准车系字段这一第一标准字段的标准化数据，还记录了标准品牌字段、标准厂商字段和标准国别字段这三个第三标准字段的标准化数据，此时也不必利用拼接数据，再分别与标准品牌字段、标准厂商字段和标准国别字段各自的关联表进行匹配，而直接可以确定标准品牌字段、标准厂商字段和标准国别字段的标准化数据了，节约了三个字段的标准化处理时间，极大地提升了效率。

在本申请的另一个实施例中，上述数据处理方法中，数据处理方法在所有步骤前还包括：加载标准配置文件，标准配置文件中记录有标准字段与原始字段的关联关系，以及各标准字段的关联表。

具体地，本申请的技术方案可以通过利用命令提示符执行JAR(Java Archive，Java归档)包的方式来实现，而执行时可以加载预先编写的标准配置文件。在本申请的另一个实施例中，上述数据处理方法中，标准配置文件还记录有原始数据文件的存储路径和结果文件的存储路径，数据处理方法还包括：根据原始数据文件的存储路径读取原始字段的原始数据；将得到的标准化数据写入到结果文件的相应标准化字段中。

在一些实施例中，标准配置文件可以是xml格式的文件，而结果文件和原始数据文件可以是txt格式的文件。

本申请的实施例还提供了一种数据处理装置，用于实现如上任一实施例所述的数据处理方法。

具体来说，在本申请的一个实施例中，数据处理装置200可以包括拼接单元210、匹配单元220和确定单元230。拼接单元210用于将多个第一原始字段的原始数据进行拼接，得到拼接数据。其中，第一原始字段是第一标准字段的关联字段。匹配单元220用于将拼接数据与第一标准字段的关联表进行匹配，得到匹配结果。确定单元230用于根据匹配结果确定第一标准字段的标准化数据。

在本申请的一个实施例中，上述数据处理装置200中，匹配单元220，用于按照关联表的匹配优先级，依次将拼接数据与各关联表进行匹配；关联表的各项分别记录有第一标准字段的标准化数据；在得到匹配项后，停止匹配，将得到的匹配项作为匹配结果；若在各关联表中均未得到匹配项，则停止匹配，得到无匹配项的匹配结果。

在本申请的一个实施例中，上述数据处理装置200中，确定单元230，用于若匹配结果为无匹配项，则确定第一标准字段的标准化数据为空值；生成与第一标准字段对应的错误信息，以能够根据错误信息实现数据检查。

在本申请的一个实施例中，上述数据处理装置200中，确定单元230，用于若匹配结果为无匹配项，则利用正则表达式对与第一标准字段直接关联的第一原始字段的原始数据进行提取，得到第一标准字段的标准化数据。

在本申请的一个实施例中，上述数据处理装置200中，确定单元230，用于利用正则表达式对从第二原始字段的原始数据进行提取，得到第二标准字段的标准化数据。

在本申请的一个实施例中，上述数据处理装置200中，关联表记录有多组标准化数据，每组标准化数据包括第一标准字段的标准化数据，以及若干个第三标准字段的标准化数据；确定单元230，用于根据匹配结果确定第三标准字段的标准化数据。

在本申请的一个实施例中，上述数据处理装置200还包括加载单元，用于加载标准配置文件，标准配置文件中记录有标准字段与原始字段的关联关系，以及各标准字段的关联表。

在本申请的一个实施例中，上述数据处理装置200中，标准配置文件还记录有原始数据文件的存储路径和结果文件的存储路径，拼接单元210用于根据原始数据文件的存储路径读取原始字段的原始数据，确定单元230用于将得到的标准化数据写入到结果文件的相应标准化字段中。

需要说明的是，上述数据处理装置实施例可以参照前述各数据处理方法实施例而实现，在此不再赘述。

图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据处理装置。处理器，执行存储器所存放的程序，并具体用于执行：

将多个第一原始字段的原始数据进行拼接，得到拼接数据；第一原始字段是第一标准字段的关联字段；将拼接数据与第一标准字段的关联表进行匹配，得到匹配结果；根据匹配结果确定第一标准字段的标准化数据。

上述数据处理装置所执行的数据处理方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述数据处理方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各数据处理方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的数据处理方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述数据处理方法的步骤。

该电子设备还可执行图1中数据处理方法，并实现数据处理方法在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中数据处理方法，并具体用于执行：

将多个第一原始字段的原始数据进行拼接，得到拼接数据；第一原始字段是第一标准字段的关联字段；将拼接数据与第一标准字段的关联表进行匹配，得到匹配结果；根据匹配结果确定第一标准字段的标准化数据。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。