数据采集方法及系统

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据采集方法及系统。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

当前流行的用户行为分析的数据主要来源于大量采集应用端用户的行为数据，但如果对采集的数据源不做可信控制，会导致采集系统遭受攻击造成数据采集系统压力或系统崩溃，同时采集的数据质量不高也将影响最终的分析结果。

发明内容

本发明实施例提供一种数据采集方法，用以实现对待采集数据源的可信控制，进而实现安全精确地采集数据，该方法包括：

接收数据采集请求；

根据对待采集数据源预先进行的访问权限控制配置，对待采集数据源进行访问权限验证；

根据对待采集数据源预先进行的数据安全控制配置，对待采集数据源进行数据安全验证；

根据访问权限验证结果和数据安全验证结果，对待采集数据源进行采集。

本发明实施例还提供一种数据采集系统，用以实现对待采集数据源的可信控制，进而实现安全精确地采集数据，该系统包括：

接收单元，用于接收数据采集请求；

访问权限验证单元，用于根据对待采集数据源预先进行的访问权限控制配置，对待采集数据源进行访问权限验证；

数据安全验证单元，用于根据对待采集数据源预先进行的数据安全控制配置，对待采集数据源进行数据安全验证；

采集单元，用于根据访问权限验证结果和数据安全验证结果，对待采集数据源进行采集。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据采集方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据采集方法的计算机程序。

本发明实施例中，数据采集方案，通过：接收数据采集请求；根据对待采集数据源预先进行的访问权限控制配置，对待采集数据源进行访问权限验证；根据对待采集数据源预先进行的数据安全控制配置，对待采集数据源进行数据安全验证；根据访问权限验证结果和数据安全验证结果，对待采集数据源进行采集，可以实现对待采集数据源的可信控制，进而实现安全精确地采集数据。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中数据采集方法的流程示意图；

图2为本发明另一实施例中数据采集方法的流程示意图；

图3为本发明实施例中对待采集数据源预先进行数据安全控制配置的流程示意图；

图4为本发明实施例中对待采集数据源进行数据安全验证的流程示意图；

图5为本发明实施例中数据采集系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

在介绍本发明实施例之前，首先对本发明实施例涉及的名词进行介绍。

SDK：软件开发工具包，此处特指采集移动端APP数据的软件程序。

为了解决待采集数据源的可信控制，尽量减少采集系统遭受攻击，提升所采集的数据质量。本发明提供了一种数据采集方案，该方案为一种数据采集可信控制方案，实现了对待采集数据源的可信控制。下面对该数据采集方法进行详细介绍。

图1为本发明实施例中数据采集方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤101：接收数据采集请求；

步骤102：根据对待采集数据源预先进行的访问权限控制配置，对待采集数据源进行访问权限验证；

步骤103：根据对待采集数据源预先进行的数据安全控制配置，对待采集数据源进行数据安全验证；

步骤104：根据访问权限验证结果和数据安全验证结果，对待采集数据源进行采集。

本发明实施例提供的数据采集方法可以实现对待采集数据源的可信控制，进而实现安全精确地采集数据。下面对该数据采集方法涉及的各个步骤进行详细介绍。

一、首先，介绍预先配置的步骤。

本发明实施例提供的数据采集方法提供了两种控制：访问权限控制和数据安全控制。

1、首先，介绍预先进行访问权限控制配置的步骤。

访问权限的控制分为三级：

第一级，接口访问控制，在参数表里配置接口名称，未配置的接口不允许访问；

第二级，APP权限控制，在参数表里配置APP名称(或编码)，未配置的APP不允许访问；

第三级，APP版本拦截，在参数表里配置某个APP的名称(或编码)和版本号，对于已配置的进行拦截。

2、其次，介绍预先进行数据安全控制配置的步骤。

在采集某个APP、H5页面后台系统(待采集数据源系统)的数据之前，采集系统要相应地为待采集数据源生成一个唯一的“可信ID(标识)”和“可信串”的键值对，将键值对给对应的数据源，即对采集源分配唯一可信ID与可信串键值对。在采集过程中，“可信ID”用来验证数据是否来源可信，“可信串”作为生成加解密密钥的元素之一。采集源通信过程中只传输“可信ID”，不传输“可信串”。

通过上述可知，在一个实施例中，如图3所示，上述数据采集方法还可以包括：按照如下方法对待采集数据源预先进行数据安全控制配置：

步骤201：预先为待采集数据源生成一个唯一的键值对；所述键值对包括唯一的可信标识和可信串；所述可信标识用于在数据采集过程中验证待采集数据源来源的可信度，所述可信串作为生成加解密密钥的元素之一；

步骤202：将所述键值对赋予给待采集数据源。

通过上述可知，本发明实施例基于参数配置实现数据采集，以便易于扩展，灵活、方便。

二、接着，介绍上述步骤101。

具体实施时，采集源埋点，调用数据采集sdk相关方法，数据采集SDK：嵌入待采集APP、H5页面等采集源以采集数据。

三、接着，介绍上述步骤102。

在一个实施例中，如图2所示，根据对待采集数据源预先进行的访问权限控制配置，对待采集数据源进行访问权限验证，可以包括步骤1021：

根据对待采集数据源预先进行的接口访问控制配置、APP权限控制配置和APP版本拦截配置的其中之一或任意组合，对待采集数据源进行访问权限验证。

具体实施时，数据采集系统对待采集APP、H5页面等待采集源接口层、APP层、版本层的访问可信控制，即数据采集系统对待采集APP、H5页面等的数据来源安全可信控制，以便确认是否有访问采集系统相关接口的权限。

四、接着，为了便于理解，介绍上述步骤103和步骤104。

在一个实施例中，如图4所示，根据对待采集数据源预先进行的数据安全控制配置，对待采集数据源进行数据安全验证，可以包括：

步骤301：采集系统在接收到对待采集数据源的采集请求时，生成随机数；将随机数发送至待采集数据源系统；数据采集系统生成随机数，以便待采集APP、H5等访问获取随机数；

步骤302：待采集数据源系统将可信标识发送至采集系统；

步骤303：采集系统根据可信标识验证数据来源的可信度，在验证通过时，将验证通过结果发送至待采集数据源系统；

步骤304：待采集数据源系统在接收到验证通过结果时，根据所述随机数，预先配置的可信串和当前时间戳，生成对称加密密钥，使用所述对称加密密钥对待采集数据进行加密，得到加密的采集数据；

根据访问权限验证结果和数据安全验证结果，对待采集数据源进行采集，包括：在访问权限验证结果通过，并得到加密的采集数据时，将加密的采集数据提供至数据采集请求发起端。

通过上述可知，编写JAVA代码对调用采集接口的采集源做访问权限、数据安全控制验证，对采集数据做处理、传输。下面再详细介绍数据安全验证的步骤。

第一步、APP、H5页面等待采集源系统调用采集接口前，先查看采集系统中是否存在有效的随机数，若不存在，先调用随机数获取接口得到有效的随机数，对于每位客户，生成的随机数有效时间为1分钟，1分钟后随机数失效，需重新获取随机数。(调用随机数接口时需要将“可信ID”作为上送参数，采集系统通过“可信ID”验证是否来源可信)

第二步、APP、H5页面等待采集源系统使用获取的随机数+“可信串”+时间戳生成对称加密密钥，对数据进行加密。调用采集接口时，需要上送报文头和报文体，报文头包括随机数、时间戳和“可信ID”，报文体为已采集的，且加密后的采集数据密文。

第三步、服务端接收到APP、H5页面等待采集源系统的请求后，先验证“可信ID”，再验证随机数。两次验证通过后，使用随机数+“可信串”+时间戳生成对称解密密钥，解密报文后服务端做后续处理。

采集系统处理已获取的采集数据，即数据采集系统对已采集的加密数据进行解密、组装、传输等，以便对待采集的数据源进行数据安全可信控制。

本发明实施例中还提供了一种数据采集系统，如下面的实施例所述。由于该系统解决问题的原理与数据采集方法相似，因此该系统的实施可以参见数据采集方法的实施，重复之处不再赘述。

图5为本发明实施例中数据采集系统的结构示意图，如图5所示，该系统包括：

接收单元01，用于接收数据采集请求；

访问权限验证单元02，用于根据对待采集数据源预先进行的访问权限控制配置，对待采集数据源进行访问权限验证；

数据安全验证单元03，用于根据对待采集数据源预先进行的数据安全控制配置，对待采集数据源进行数据安全验证；

采集单元04，用于根据访问权限验证结果和数据安全验证结果，对待采集数据源进行采集。

在一个实施例中，所述访问权限验证单元具体可以用于：根据对待采集数据源预先进行的接口访问控制配置、APP权限控制配置和APP版本拦截配置的其中之一或任意组合，对待采集数据源进行访问权限验证。

在一个实施例中，上述数据采集系统还可以包括：数据安全控制配置单元，用于按照如下方法对待采集数据源预先进行数据安全控制配置：

预先为待采集数据源生成一个唯一的键值对；所述键值对包括唯一的可信标识和可信串；所述可信标识用于在数据采集过程中验证待采集数据源来源的可信度，所述可信串作为生成加解密密钥的元素之一；

将所述键值对赋予给待采集数据源。

在一个实施例中，所述数据安全验证单元具体用于：

采集系统在接收到对待采集数据源的采集请求时，生成随机数；将随机数发送至待采集数据源系统；

待采集数据源系统将可信标识发送至采集系统；

采集系统根据可信标识验证数据来源的可信度，在验证通过时，将验证通过结果发送至待采集数据源系统；

待采集数据源系统在接收到验证通过结果时，根据所述随机数，预先配置的可信串和当前时间戳，生成对称加密密钥，使用所述对称加密密钥对待采集数据进行加密，得到加密的采集数据；

根据访问权限验证结果和数据安全验证结果，对待采集数据源进行采集，包括：在访问权限验证结果通过，并得到加密的采集数据时，将加密的采集数据提供至数据采集请求发起端。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据采集方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据采集方法的计算机程序。

本发明实施例中，数据采集方案，通过：接收数据采集请求；根据对待采集数据源预先进行的访问权限控制配置，对待采集数据源进行访问权限验证；根据对待采集数据源预先进行的数据安全控制配置，对待采集数据源进行数据安全验证；根据访问权限验证结果和数据安全验证结果，对待采集数据源进行采集，可以实现对待采集数据源的可信控制，进而实现安全精确地采集数据。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。