数据采集入库方法及装置

技术领域

本发明涉及数据采集技术领域，具体而言，涉及一种数据采集入库方法及装置。

背景技术

随着信息技术的不断发展，金融行业已经逐渐转向数字化和智能化，金融产品创新业务不断推出，交易方式层出不穷，因此需要实时掌握业务交易状态，数据采集也成为了一个非常重要的环节。但现有的数据采集方法存在入库冲突风险，若同时启动两个或多个采集任务，当两个或多个采集任务同时执行数据入库时，由于大量的数据同时重复写入，会导致入库主键冲突，带来数据库安全隐患。

发明内容

本发明为了解决上述背景技术中的至少一个技术问题，提出了一种数据采集入库方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种数据采集入库方法，该方法包括：

设置N个采集任务对目标数据指标进行数据采集，其中，N为大于1的整数；

根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

可选的，所述数据采集入库方法，还包括：

从任务状态表中读取所述目标数据指标对应的强制入库任务字段的字段值；

若所述字段值中记载有第一采集任务标识信息，则确定所述第一采集任务标识信息在所述N个采集任务中对应的采集任务，然后由该对应的采集任务根据自身采集的数据执行数据入库操作；

根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作，具体包括：

若所述字段值中未记载有所述第一采集任务标识信息，则根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

可选的，根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作，具体包括：

计算每个采集任务采集的最新数据的数据时间与当前时间的时间差，得到每个采集任务各自对应的时间延迟；

根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述N个采集任务中确定出目标采集任务。

可选的，根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述N个采集任务中确定出目标采集任务，具体包括：

从任务状态表中读取所述目标数据指标对应的默认入库任务字段中记载的第二采集任务标识信息；

若所述第二采集任务标识信息在所述N个采集任务中对应的采集任务的时间延迟小于所述可接受数据延迟时间，则将所述第二采集任务标识信息在所述N个采集任务中对应的采集任务确定为所述目标采集任务；

若所述第二采集任务标识信息在所述N个采集任务中对应的采集任务的时间延迟大于或等于所述可接受数据延迟时间，则将所述N个采集任务中的任意一个时间延迟小于所述可接受数据延迟时间的采集任务确定为所述目标采集任务；

若所述N个采集任务中的每个采集任务的时间延迟均大于或等于所述可接受数据延迟时间，则将所述第二采集任务标识信息在所述N个采集任务中对应的采集任务确定为所述目标采集任务。

可选的，根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述N个采集任务中确定出目标采集任务，具体包括：

从任务状态表中读取所述目标数据指标对应的可接受数据延迟时间字段的字段值，得到所述可接受数据延迟时间。

可选的，所述数据采集入库方法，还包括：

将所述N个采集任务中的每个采集任务采集的数据存储到各自对应的消息队列中；

所述根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，具体包括：

从每个采集任务各自对应的消息队列中获取每个采集任务采集的最新数据的数据时间。

可选的，所述数据采集入库方法，还包括：

将所述消息队列存储到缓存中

为了实现上述目的，根据本发明的另一方面，提供了一种数据采集入库装置，该装置包括：

数据采集单元，用于设置N个采集任务对目标数据指标进行数据采集，其中，N为大于1的整数；

数据入库单元，用于根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据采集入库方法的步骤。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据采集入库方法的步骤。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据采集入库方法的步骤。

本发明的有益效果为：

本发明实施例通过设置N个采集任务对目标数据指标进行数据采集，然后根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作，本发明同时启动多个采集任务，并在执行入库时从多个采集任务中选择出一个目标采集任务来执行入库操作，避免了现有的当两个或多个采集任务同时执行数据入库时，由于大量的数据同时重复写入，导致入库主键冲突，带来数据库安全隐患的问题，提高了数据采集入库的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例数据采集入库方法的流程图；

图2是本发明实施例执行数据入库操作的流程图；

图3是本发明实施例确定目标采集任务的第一流程图；

图4是本发明实施例确定目标采集任务的第二流程图；

图5是本发明实施例获取最新数据数据时间的流程图；

图6是本发明实施例数据采集入库装置的结构框图；

图7是本发明实施例计算机设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

需要说明的是，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

需要说明的是，本发明数据采集入库方法和装置可用于金融领域，也可用于除金融领域之外的任意领域，本发明数据采集入库方法和装置的应用领域不做限定。

本发明提供了一种数据实时采集入库方法。该方法能够通过缓存中转批量执行入库操作，提高入库效率降低数据延时；能够同时开启多个相同数据采集任务，并可以根据采集任务状态保证只有一个任务执行数据入库操作，保证采集任务的高可用的同时避免冲突发生；能够根据采集配置表灵活处理，随时更新。相较于传统的数据采集方法具有更好的高可用性、安全性、可扩展性和高效性。

图1是本发明实施例数据采集入库方法的流程图，如图1所示，在本发明一个实施例中，本发明的数据采集入库方法包括步骤S101和步骤S102。

步骤S101，设置N个采集任务对目标数据指标进行数据采集，其中，N为大于1的整数。

在本发明一个实施例中，本发明先进行采集规则配置，配置需要进行采集的数据源的基本信息，包括采集类型、涉及IP、涉及topic、数据接口url、数据样例、数据结构、数据频率、数据量等相关信息，以及进行采集指标配置，配置需要进行采集的数据指标的基本信息，包括数据源类型、数据指标id、指标筛选条件、指标入表(包括数据库数据表，可多个)等。然后基于采集规则配置和采集指标配置建立对某一具体数据指标进行数据采集入库的数据采集任务，本发明将任务部署N份，分别对应任务1、任务2、…任务N。

在本发明中，N个采集任务各自独立的对目标数据指标进行数据采集，并将采集的数据分开存储。

在本发明一个实施例中，N个采集任务中的每个采集任务根据采集规则与采集指标筛选符合条件的数据存储到缓存中，多个采集任务可存入同一缓存或不同缓存中，采集的同时将数据按照时间在缓存中生成消息队列，不同采集任务的消息队列独立存在，用于后续采集同步入库装置。

步骤S102，根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

本发明同时启动多个采集任务，并在执行入库时从多个采集任务中选择出一个目标采集任务来执行入库操作，避免了现有的当两个或多个采集任务同时执行数据入库时，由于大量的数据同时重复写入，导致入库主键冲突，带来数据库安全隐患的问题，提高了数据采集入库的效果。

图2是本发明实施例执行数据入库操作的流程图，如图2所示，在本发明一个实施例中，本发明执行数据入库操作的流程包括步骤S201至步骤S203。

步骤S201，从任务状态表中读取所述目标数据指标对应的强制入库任务字段的字段值。

在本发明一个实施例中，本发明配置任务执行状态表，包括任务名称、任务id、任务异常阈值、默认入库任务等基本信息，同步任务会实时更新任务的数据最大时间，若任务的数据时间延迟首次超过阈值，则监测到任务异常。

在本发明一个实施例中，若监测到任务异常，中间切换的过程可能会有数据丢失现象，此步骤进行丢失数据补充，保证数据完整。

在本发明一个实施例中，任务状态表样例如下表1所示：

表1

如上表1可见，在任务状态表中，每个采集任务对应一条数据，每个采集任务用于对特定的数据指标进行数据采集，每个采集任务部署N个采集任务，分别为任务1、任务2、…任务N，每个任务的数据最大时间对应一个字段。可接受数据延迟时间即延迟阈值，当任务的数据最大时间与当前时间差值未超过该阈值时，属于正常，反之属于异常。默认入库任务为所有任务均正常时执行入库操作的任务。强制入库任务为当该字段配置后，将不再进行判断，直接强制入库任务执行入库操作。

步骤S202，若所述字段值中记载有第一采集任务标识信息，则确定所述第一采集任务标识信息在所述N个采集任务中对应的采集任务，然后由该对应的采集任务根据自身采集的数据执行数据入库操作。

在本发明中，若任务状态表中的强制入库任务字段配置有采集任务标识信息(例如采集任务ID等)，将不再进行判断，直接由强制入库任务字段中配置的采集任务执行入库操作。

步骤S203，若所述字段值中未记载有所述第一采集任务标识信息，则根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

在本发明中，若任务状态表中的强制入库任务字段未进行配置，则先需要确定目标采集任务，然后由目标采集任务执行入库操作。

在本发明一个实施例中，上述步骤S102的根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作，具体为：若所述字段值中未记载有所述第一采集任务标识信息，则根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

如图3所示，在本发明一个实施例中，上述步骤S102和上述步骤S203中的根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作，具体包括步骤S301和步骤S302。

步骤S301，计算每个采集任务采集的最新数据的数据时间与当前时间的时间差，得到每个采集任务各自对应的时间延迟。

在本发明一个实施例中，本步骤具体可以从任务状态表中读取所述目标数据指标对应的可接受数据延迟时间字段的字段值，得到所述可接受数据延迟时间。

步骤S302，根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述N个采集任务中确定出目标采集任务。

在本发明的可选实施例中，本步骤可以采用多种实现方式，例如，从时间延迟小于所述可接受数据延迟时间的所有采集任务中随机选一个作为目标采集任务，或者，也可以将时间延迟最小的采集任务确定为目标采集任务。

如图4所示，在本发明一个实施例中，上述步骤S302的根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述N个采集任务中确定出目标采集任务，具体包括步骤S401至步骤S404。

步骤S401，从任务状态表中读取所述目标数据指标对应的默认入库任务字段中记载的第二采集任务标识信息。

在本发明实施例中，第二采集任务标识信息具体可以为采集任务ID，例如，采集任务1、采集任务2等。

步骤S402，若所述第二采集任务标识信息在所述N个采集任务中对应的采集任务的时间延迟小于所述可接受数据延迟时间，则将所述第二采集任务标识信息在所述N个采集任务中对应的采集任务确定为所述目标采集任务。

步骤S403，若所述第二采集任务标识信息在所述N个采集任务中对应的采集任务的时间延迟大于或等于所述可接受数据延迟时间，则将所述N个采集任务中的任意一个时间延迟小于所述可接受数据延迟时间的采集任务确定为所述目标采集任务。

步骤S404，若所述N个采集任务中的每个采集任务的时间延迟均大于或等于所述可接受数据延迟时间，则将所述第二采集任务标识信息在所述N个采集任务中对应的采集任务确定为所述目标采集任务。

在本发明一个实施例中，上述步骤S302中的根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述N个采集任务中确定出目标采集任务，具体包括：

从任务状态表中读取所述目标数据指标对应的可接受数据延迟时间字段的字段值，得到所述可接受数据延迟时间。

图5是本发明实施例获取最新数据数据时间的流程图，如图5所示，在本发明一个实施例中，本发明获取最新数据数据时间的流程包括步骤S501和步骤S502。

步骤S501，将所述N个采集任务中的每个采集任务采集的数据存储到各自对应的消息队列中。

步骤S502，从每个采集任务各自对应的消息队列中获取每个采集任务采集的最新数据的数据时间。

在本发明一个实施例中，上述步骤S102的根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，具体包括：

从每个采集任务各自对应的消息队列中获取每个采集任务采集的最新数据的数据时间。

在本发明一个实施例中，本发明的数据采集入库方法，还包括：

将所述消息队列存储到缓存中。

在本发明中，各采集任务将采集的数据存储到缓存中，在缓存中按照数据的数据时间形成消息队列，每个采集任务对应一套消息队列，每个数据指标对应一个消息队列，消息队列存储新采集未消费的数据的时间序列。

在本发明一个具体实施例中，本发明的数据采集入库方法的流程如下：

步骤S001，从采集指标配置中获取需同步配置，包括数据源类型、数据指标、数据入表等。每种类型对应一种采集任务，每种采集任务可以部署多份。

步骤S002，每个采集任务根据配置从缓存中获取对应消息队列，根据消息队列记录该采集任务的数据最大时间，根据避免入库冲突方法判断本采集任务是否需要执行入库操作，判断后仅一个采集任务会执行入库操作。每个任务对应一套消息队列，每个指标对应一个消息队列，每个消息队列存储新采集未消费的数据的时间序列。

步骤S003，每间隔一段时间，比较得到本采集任务当前采集到的数据最大时间，在任务状态表中更新本任务的数据最大时间。

步骤S004，每个采集任务每间隔一段时间查询一次任务状态表，判断本任务是否应该执行入库操作，得到是否需要入库的结果，并决定本间隔内数据(即在下一次执行该操作前的所有数据)是否入库。

判断规则如下：

0)如果强制入库任务字段非空，则通过强制入库任务字段中配置的采集任务执行入库操作，并且后面无需判断。反之则进行下面的判断。

1)分别计算每个采集任务的数据最大时间与当前时间的差值，并分别判断是否超过可接受最大延迟时间即延迟阈值。

2)若所有采集任务均未超过延迟阈值，判断本采集任务是否为默认入库任务，若是则执行入库，反之则不入。若所有采集任务均超过延迟阈值，判断本采集任务是否为默认入库任务，若是则执行入库，反之则不入。若默认入库任务未超过，则判断本采集任务是否为默认入库任务，若是则执行入库，反之则不入。若默认入库任务超过延迟阈值，则判断本采集任务是否为按顺序找到的第一个未超过的任务，若是则执行入库，反之则不入。

步骤S005，根据上述判断结果进行执行入库操作或仅消费数据。

由以上实施例可以看出，本发明的数据实时采集入库方法能够通过缓存中转数据进而批量执行入库操作，提高入库效率降低数据延时；能够同时开启多个相同数据采集任务，并可以根据采集任务状态保证只有一个任务执行数据入库操作，能够在采集任务异常或中断时自动更换其他健康任务执行数据入库操作，保证采集任务的高可用的同时避免冲突发生；能够根据采集配置表灵活处理，随时更新。相较于传统的数据采集方法具有更好的高可用性、安全性、可扩展性和高效性。最终达到保障数据采集稳定可靠运行、降低数据丢失风险。

本发明不仅规避了数据延时性高、单点故障风险、入库冲突风险等现有数据采集方法存在的问题与风险，更提高了入库效率降低数据延时，保证了采集任务的高可用的同时避免冲突风险发生。相较于传统的数据采集方法具有更好的高可用性、安全性、可扩展性和高效性。最终达到保障数据采集稳定可靠运行、降低数据丢失风险。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

基于同一发明构思，本发明实施例还提供了一种数据采集入库装置，可以用于实现上述实施例所描述的数据采集入库方法，如下面的实施例所述。由于数据采集入库装置解决问题的原理与数据采集入库方法相似，因此数据采集入库装置的实施例可以参见数据采集入库方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是本发明实施例数据采集入库装置的结构框图，如图6所示，在本发明一个实施例中，本发明的数据采集入库装置包括：

数据采集单元1，用于设置N个采集任务对目标数据指标进行数据采集，其中，N为大于1的整数；

数据入库单元2，用于根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

在本发明一个实施例中，本发明的数据采集入库装置，还包括：

字段读取单元，用于从任务状态表中读取所述目标数据指标对应的强制入库任务字段的字段值；

数据强制入库操作单元，用于若所述字段值中记载有第一采集任务标识信息，则确定所述第一采集任务标识信息在所述N个采集任务中对应的采集任务，然后由该对应的采集任务根据自身采集的数据执行数据入库操作；

在本发明一个实施例中，所述数据入库单元2，具体用于，若所述字段值中未记载有所述第一采集任务标识信息，则根据所述N个采集任务中的每个采集任务采集的最新数据的数据时间，从所述N个采集任务中确定出目标采集任务，进而由所述目标采集任务根据自身采集的数据执行数据入库操作。

在本发明一个实施例中，所述数据入库单元2，具体包括：

时间延迟计算模块，用于计算每个采集任务采集的最新数据的数据时间与当前时间的时间差，得到每个采集任务各自对应的时间延迟；

目标采集任务确定模块，用于根据所述时间延迟以及所述目标数据指标对应的可接受数据延迟时间，从所述N个采集任务中确定出目标采集任务。

在本发明一个实施例中，所述目标采集任务确定模块，具体包括：

默认入库任务确定子模块，用于从任务状态表中读取所述目标数据指标对应的默认入库任务字段中记载的第二采集任务标识信息；

第一处理子模块，用于若所述第二采集任务标识信息在所述N个采集任务中对应的采集任务的时间延迟小于所述可接受数据延迟时间，则将所述第二采集任务标识信息在所述N个采集任务中对应的采集任务确定为所述目标采集任务；

第二处理子模块，用于若所述第二采集任务标识信息在所述N个采集任务中对应的采集任务的时间延迟大于或等于所述可接受数据延迟时间，则将所述N个采集任务中的任意一个时间延迟小于所述可接受数据延迟时间的采集任务确定为所述目标采集任务；

第三处理子模块，用于若所述N个采集任务中的每个采集任务的时间延迟均大于或等于所述可接受数据延迟时间，则将所述第二采集任务标识信息在所述N个采集任务中对应的采集任务确定为所述目标采集任务。

在本发明一个实施例中，所述目标采集任务确定模块，具体包括：

可接受数据延迟时间获取子模块，用于从任务状态表中读取所述目标数据指标对应的可接受数据延迟时间字段的字段值，得到所述可接受数据延迟时间。

在本发明一个实施例中，本发明的数据采集入库装置，还包括：

消息队列储存单元，用于将所述N个采集任务中的每个采集任务采集的数据存储到各自对应的消息队列中；

在本发明一个实施例中，所述数据采集单元1，具体用于，从每个采集任务各自对应的消息队列中获取每个采集任务采集的最新数据的数据时间。

在本发明一个实施例中，本发明的数据采集入库装置，还包括：

数据缓存单元，用于将所述消息队列存储到缓存中。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图7所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。

上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述数据采集入库方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述数据采集入库方法的步骤。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。