数据处理方法、装置、设备及存储介质

技术领域

本申请涉及数据处理技术领域，特别地涉及一种数据处理方法、装置、设备及存储介质。

背景技术

部分公司为了收集和统计公司内部应用软件的指标情况，自己研发了应用数据统计平台，应用数据统计平台用于收集和统计公司内部应用软件包括访问量、访客数等指标的情况，应用数据统计平台基于公司内网环境开发，避免外部用户访问造成可能的数据泄露，目前，应用数据统计平台采集的数据主要来自于公司内部的应用软件，包括外网和内网，同时包含APP、Web等多种软件，采集过程手段较为简单且透明，可能导致数据来源不完全真实(如伪造数据、冗余数据或脏数据)，造成实际的统计结果不准确。

发明内容

针对上述问题，本申请提供一种数据处理方法、装置、设备及存储介质，通过在确定待统计数据包括约定特征值的情况下，才接收所述待统计数据，并进行统计，避免数据来源不真实，提升统计结果的准确性。

本申请实施例提供一种数据处理方法，包括：

在获取到客户端发送的待统计数据的情况下，确定所述待统计数据是否包括约定特征值；

在所述待统计数据包括约定特征值的情况下，确定所述待统计数据为有效数据；

接收所述待统计数据，并进行统计。

在一些实施例中，所述方法还包括：

在所述待统计数据不包括约定特征值的情况下，确定所述待统计数据为无效数据，并丢弃所述待统计数据。

在一些实施例中，所述方法还包括：

在获取到客户端发送的接口的访问请求的情况下，确定所述接口是否为服务器的对外开放接口；

在所述接口为对外开放接口的情况下，开启所述接口的日志记录。

在一些实施例中，所述方法还包括：

获取访问所述对外开放接口的日志记录信息；

分析所述日志记录信息，得到分析结果；

基于所述分析结果，配置所述接口的异常访问规则。

在一些实施例中，所述方法还包括：

在所述接口为所述服务器非对外开放接口的情况下，确定所述访问请求是否满足设定规则；

在所述访问请求满足设定规则的情况下，允许所述客户端对所述非开放接口进行访问。

在一些实施例中，所述方法还包括：

在获取到客户端发送的服务器的接口的访问请求的情况下，对所述客户端进行验证，以确定所述客户端是否有访问所述接口的权限；其中，在确定所述客户端有访问接口的权限的情况下，确定所述接口是否为所述服务器的对外开放接口；在确定所述客户端没有访问接口的权限的情况下，禁止所述客户端访问所述接口。

在一些实施例中，所述方法还包括：

确定所述访问请求是否触发所述异常访问规则；

在确定所述访问请求触发异常访问规则的情况下，确定访问请求的风险等级；

基于所述风险等级对客户端的访问请求进行处理。

本申请实施例提供一种数据处理装置，包括：

第一确定模块，用于在获取到客户端发送的待统计数据的情况下，确定所述待统计数据是否包括约定特征值；

第二确定模块，用于在所述待统计数据包括约定特征值的情况下，确定所述待统计数据为有效数据；

统计模块，用于接收所述待统计数据，并进行统计。

本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如上述任意一项所述数据处理方法。

本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现上述所述数据处理方法。

本申请提供的一种数据处理方法、装置、设备及存储介质，通过在获取到客户端发送的待统计数据的情况下，确定所述待统计数据是否包括约定特征值；在所述待统计数据包括约定特征值的情况下，确定所述待统计数据为有效数据；接收所述待统计数据，并进行统计，能够避免数据来源不真实，从而提升统计结果的准确性。

附图说明

在下文中将基于实施例并参考附图来对本申请进行更详细的描述。

图1为本申请实施例提供的一种数据处理方法的实现流程示意图；

图2为本申请实施例提供的电子设备的组成结构示意图。

在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

如果申请文件中出现“第一第二第三”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一第二第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一第二第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

基于相关技术中存在的问题，本申请实施例提供一种数据处理方法，所述方法应用于电子设备，所述电子设备可以是计算机、移动终端等，所述计算机、移动终端可以是应用数据统计平台的服务器，所述移动终端可以包括手机、平板电脑等，在一些实施例中，电子设备可以应用数据统计平台的服务器的控制器。本申请实施例提供的数据处理方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质中。

本申请实施例中，所述应用数据统计平台可以是企业内部使用的平台。

本申请实施例提供一种数据处理方法，图1为本申请实施例提供的一种数据处理方法的实现流程示意图，如图1所示，包括：

步骤S101，在获取到客户端发送的待统计数据的情况下，确定所述待统计数据是否包括约定特征值。

本申请实施例中，待统计数据可以是客户端发送的任意数据，例如，访问请求等。

本申请实施例中，所述约定特征值可以是可以一个标识，例如，标识可以是数字等，所述约定特征值用于表征数据的来源，即可以用于表征客户端。

在一些实施例中，约定特征值可以是结合时间戳依据加密算法生成的。

本申请实施例中，客户端可以与所述数据统计平台通信连接，客户端在每次发送数据时，可以将约定特征值加入至待统计数据中。

本申请实施例中，电子设备可以对待统计数据进行解析，从而确定待统计数据是否包括特征值，如果有特征值，电子设备可以对特征值进行验证，从而确定所述特征值是否为约定特征值，以确定所述待统计数据是否包括约定特征值。

本申请实施例中，如果特征值与约定特征值相同，则确定待统计数据包括约定特征值。

本申请实施例中，如果没有特征值，则不用进行验证，该待统计数据不包括约定特征值。

步骤S102，在所述待统计数据包括约定特征值的情况下，确定所述待统计数据为有效数据。

本申请实施例中，如果所述待统计数据包括约定特征值，则可以认为该客户端正确的接入了系统，该客户端为有效接入方，该待统计数据不是系统外的API工具等伪造而来。

步骤S103，接收所述待统计数据，并进行统计。

本申请实施例中，电子设备可以进行统计，得到统计信息，所述统计信息可以包括统计结果。

本申请实施例中，电子设备可以将有效数据存储在hive数据库，而将统计结果写入mysql数据库，从而方便服务提供方进行使用。

本申请提供的一种数据处理方法，通过在获取到客户端发送的待统计数据的情况下，确定所述待统计数据是否包括约定特征值；在所述待统计数据包括约定特征值的情况下，确定所述待统计数据为有效数据；接收所述待统计数据，并进行统计，能够避免数据来源不真实，从而提升统计结果的准确性。

目前，主流的保障数据安全策略大致包括引入加密算法、加签验签、限流等，这些手段的结合使用能满足安全需求，但是对于企业内部使用的平台，部分手段显得复杂度较高，实现过程较繁琐，容易出现事倍功半的效果。

本申请实施例提供的方法，相对引入加密算法、加签验签、限流等方式，实现过程简单。

在一些实施例中，在步骤S102之后，所述方法还包括：

步骤S104，在所述待统计数据不包括约定特征值的情况下，确定所述待统计数据为无效数据，并丢弃所述待统计数据。

本申请实施例中，待统计数据不包括约定特征值的情况下，则可以认为待统计数据的发送客户端为无效接入方，带统计数据为无效数据，可能是其他API工具伪造而来的数据。

本申请实施例提供的方法，在所述待统计数据不包括约定特征值的情况下，确定所述待统计数据为无效数据，并丢弃所述待统计数据，可以提升统计结果的准确性。

在一些实施例中，所述方法还包括：

步骤S105，在获取到客户端发送的接口的访问请求的情况下，确定所述接口是否为服务器的对外开放接口。

本申请实施例中，电子设备中预先存储有各个接口是否为对外开发接口的信息，在获取到接口的访问请求后，电子设备可以基于预先存储的信息来确定所述接口是否为服务器的对外开放接口。

本申请实施例中，对外开放接口为用户都能进行访问的接口。

步骤S106，在所述接口为对外开放接口的情况下，开启所述接口的日志记录。

本申请实施例中，在开启日志记录的情况下，记录每次请求和响应的详细信息。

本申请实施例提供的方法，通过对外开放接口开启所述接口的日志记录，能够对接口进行重点监视。

在一些实施例中，在步骤S106之后，所述方法还包括：

步骤S107，获取访问所述对外开放接口的日志记录信息。

本申请实施例中，电子设备对对外开放接口进行了日志记录，可以获取访问所述对外开放接口的日志记录信息。

步骤S108，分析所述日志记录信息，得到分析结果。

本申请实施例中，可以基于日志分析工具来分析日志记录信息，日志分析工具可以是：ELK日志分析工具。可以通过日志分析工具来对日志记录进行审查和分析。

步骤S109，基于所述分析结果，配置所述接口的异常访问规则。

本申请实施例中，异常访问规则可以包括：限制用户或IP的访问频率、最大访问数量、延迟时间等。

分析结果可以包括IP的访问平均频率，访问的平均数量、访问的平均延迟时间等。

本申请实施例中，可以基于分析结果来配置异常访问规则。

在一些实施例中，还可以将所述分析结果写入应用数据统计平台管理端，以使开发人员进行查看。

本申请实施例提供的方法，通过分析日志记录信息，通过设定异常访问规则，能够确保系统的稳定安全运行。

在一些实施例中，在步骤S105之前，所述方法还包括：

步骤S1051，在获取到客户端发送的服务器的接口的访问请求的情况下，还对所述客户端进行验证，以确定所述客户端是否有访问所述接口的权限；其中，在确定所述客户端有访问接口的权限的情况下，确定所述接口是否为所述服务器的对外开放接口，在确定所述客户端没有访问接口的权限的情况下，禁止所述客户端访问所述接口。

本申请实施例提供的方法，通过对客户端进行权限授权和认证，避免出现数据访问越权的情况。

在一些实施例中，在步骤S105之后，所述方法还包括：

步骤S110，在所述接口为所述服务器非对外开放接口的情况下，确定所述访问请求是否满足设定规则。

本申请实施例中，非对外开放接口不对所有人开发，当用户需要访问非对外开发的接口时，需要确定所述访问请求是否满足设定规则。

本申请实施例中，电子设备对非对外开放接口进行隐藏，可以对部分客户端提供解析规则，客户端可以通过解析规则来访问非对外开放接口。

本申请实施例中，电子设备可以对访问请求进行解析，从而确定是否满足设定的解析规则。

步骤S111，在所述访问请求满足设定规则的情况下，允许所述客户端对所述非开放接口进行访问。

本申请实施例提供的方法，通过非对外开发接口设置设定规则才能进行访问，可以保护接口数据，避免接口数据被篡改。

在一些实施例中，所述方法还包括：

步骤S112，确定所述访问请求是否触发所述异常访问规则。

本申请实施例中，所述异常访问规则可以包括：限制用户或IP的访问频率、最大访问数量、延迟时间等。

步骤S113，在确定所述访问请求触发异常访问规则的情况下，确定访问请求的风险等级。

承接上面的示例，如果访问请求的用户为限制用户则触发异常访问规则，如果访问请求的IP的访问频率高于设定的访问频率，则触发异常访问规则。

本申请实施例中，不同的异常访问规则可以对应不同的风险等级。

本申请实施例中，风险等级可以包括第一风险等级和第二风险等级，所述第一风险等级高于第二风险等级。

步骤S114，基于所述风险等级对客户端的访问请求进行处理。

本申请实施例中，电子设备中存储有不同风险等级与处理方式之间的对应关系，当确定了风险等级后，则可以确定对应的处理方式，从而基于处理方式进行处理。

示例性地，第一风险等级对应立即处理，处理方式可以包括对用户或ip进行拉黑处理或有限期拦截请求。

第二风险等级对应的处理方式可以包括：向开发人员发送汇总告警，由开发人员进行处理。

在一些实施例中，可以根据实际情况对异常访问规则进行动态调整，以保证接口长期稳定运行。

基于前述的各个实施例，本申请实施例再提供一种数据处理方法，所述方法用于解决现有技术中公司的应用数据统计平台数据采集过程过于透明，容易出现过多无效数据或接收到伪造数据，接口数据交互过程过于简单，易造成数据泄露或遭人篡改的问题。

本申请实施例提供的数据处理方法包括：

第三方系统接入应用数据统计平台，第三方系统作为客户端，按一定规则约定特征值，特征值(同上述实施例中的约定特征值)在每次数据采集时由客户端携带，即客户端通过埋点代码的方式，向服务端发送待统计数据时，需要将约定好的特征值作为参数之一发送给服务端，服务端需要检验到该特征值且为约定格式，认为是接入方系统发送的数据，纳入有效数据集，否则视为无效数据。

本申请实施例中，特征值可以是由服务提供方向接入方(同上述实施例中的客户端)提供的一个唯一标记系统的标识。

本申请实施例中，特征值可以结合时间戳参数依据一定的加密算法进行加密，将此参数值放入每次数据发送的请求中。

本申请实施例中，当服务方收到数据后，根据参数(特征值)进行检验，当识别参数为有效接入方时，开始接收该条数据，当校验不通过时认为数据发送方未正确接入系统，或数据为系统外的api工具等伪造而来，数据无效。

本申请实施例中，当接收到接入方发来的有效数据后，由应用数据统计平台进行统计，并将数据落盘到hive数据库，同时将统计结果写入mysql数据库，供服务方进行使用。

本申请实施例中，当客户端向服务端的对外接口发送请求时，服务端对接口开启日志记录，同时对敏感数据进行掩码处理并限制访问，并记录每次请求和响应的详细信息，对涉及敏感数据获取的接口进行重点监视，结合日志分析工具如ELK进行审查和分析日志，并将结果写入应用数据统计平台管理端，设置访问权限仅供开发人员查看，不对外开放；访问非对外接口时，服务端将接口信息进行隐藏，同时向客户端提供解析规则，客户端根据规则调用非对外接口，以此保护接口数据不被篡改。

本申请实施例中，通过积累的日志分析记录，结合实际系统运行的内网环境服务器资源，生成初始的异常访问规则，异常访问规则包括限制用户、ip的访问频率、最大访问数量、延迟时间等，并相应地设置异常访问等级，防止DDOS攻击。

本申请实施例中，可以根据异常访问规则对接口访问进行监控，当检测到用户或ip对于接口的异常访问触发规则所配置的条件时，记录异常访问明细信息，对于较高风险等级的异常访问实施立即处理，处理方式可为对用户或ip进行拉黑处理或有限期拦截请求，其他风险等级的访问记录于每日向开发人员发送汇总告警，由开发者对告警信息进行处理，同时依据实际情况对进行规则参数动态进行调整，以此保障接口的长期稳定运行。

本申请实施例提供的方法，通过对采集数据加入约定的特征值用于标记数据来源，供服务端校验数据有效性，减少冗余数据或脏数据，同时避免出现伪造数据的情况，通过对接口请求发出方进行权限授权和认证，避免出现数据访问越权的情框，通过对接口访问的统计结果，长期跟踪调用方的使用情况，及时实施接口调用管控策略，确保系统的稳定安全运行。

基于前述的实施例，本申请实施例提供一种数据处理装置，该装置包括的各模块、以及各模块包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，Central ProcessingUnit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，Digital SignalProcessing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等。

本申请实施例提供一种数据处理装置，包括：

第一确定模块，用于在获取到客户端发送的待统计数据的情况下，确定所述待统计数据是否包括约定特征值；

第二确定模块，用于在所述待统计数据包括约定特征值的情况下，确定所述待统计数据为有效数据；

统计模块，用于接收所述待统计数据，并进行统计。

在一些实施例中，所述数据处理装置还用于：

在所述待统计数据不包括约定特征值的情况下，确定所述待统计数据为无效数据，并丢弃所述待统计数据。

在一些实施例中，所述数据处理装置还用于：

在获取到客户端发送的接口的访问请求的情况下，确定所述接口是否为服务器的对外开放接口；

在所述接口为对外开放接口的情况下，开启所述接口的日志记录。

在一些实施例中，所述数据处理装置还用于：

获取访问所述对外开放接口的日志记录信息；

分析所述日志记录信息，得到分析结果；

基于所述分析结果，配置所述接口的异常访问规则。

在一些实施例中，所述数据处理装置还用于：

在所述接口为所述服务器非对外开放接口的情况下，确定所述访问请求是否满足设定规则；

在所述访问请求满足设定规则的情况下，允许所述客户端对所述非开放接口进行访问。

在一些实施例中，所述数据处理装置还用于：

在获取到客户端发送的服务器的接口的访问请求的情况下，对所述客户端进行验证，以确定所述客户端是否有访问所述接口的权限；其中，在确定所述客户端有访问接口的权限的情况下，确定所述接口是否为所述服务器的对外开放接口；在确定所述客户端没有访问接口的权限的情况下，禁止所述客户端访问所述接口。

在一些实施例中，所述数据处理装置还用于：

确定所述访问请求是否触发所述异常访问规则；

在确定所述访问请求触发异常访问规则的情况下，确定访问请求的风险等级；

基于所述风险等级对客户端的访问请求进行处理。

本申请实施例提供一种电子设备；图2为本申请实施例提供的电子设备的组成结构示意图，如图2所示，所述电子设备500包括：一个处理器501、至少一个通信总线502、用户接口503、至少一个外部通信接口504、存储器505。其中，通信总线502配置为实现这些组件之间的连接通信。其中，用户接口503可以包括控制屏，外部通信接口504可以包括标准的有线接口和无线接口。所述处理器501配置为执行存储器中存储的数据处理方法的程序，以实现以上述实施例提供的数据处理方法中的步骤。

本申请实施例提供一种数据处理方法，包括：

在获取到客户端发送的待统计数据的情况下，确定所述待统计数据是否包括约定特征值；

在所述待统计数据包括约定特征值的情况下，确定所述待统计数据为有效数据；

接收所述待统计数据，并进行统计。

在一些实施例中，所述方法还包括：

在所述待统计数据不包括约定特征值的情况下，确定所述待统计数据为无效数据，并丢弃所述待统计数据。

在一些实施例中，所述方法还包括：

在获取到客户端发送的接口的访问请求的情况下，确定所述接口是否为服务器的对外开放接口；

在所述接口为对外开放接口的情况下，开启所述接口的日志记录。

在一些实施例中，所述方法还包括：

获取访问所述对外开放接口的日志记录信息；

分析所述日志记录信息，得到分析结果；

基于所述分析结果，配置所述接口的异常访问规则。

在一些实施例中，所述方法还包括：

在所述接口为所述服务器非对外开放接口的情况下，确定所述访问请求是否满足设定规则；

在所述访问请求满足设定规则的情况下，允许所述客户端对所述非开放接口进行访问。

在一些实施例中，所述方法还包括：

在获取到客户端发送的服务器的接口的访问请求的情况下，对所述客户端进行验证，以确定所述客户端是否有访问所述接口的权限；其中，在确定所述客户端有访问接口的权限的情况下，确定所述接口是否为所述服务器的对外开放接口；在确定所述客户端没有访问接口的权限的情况下，禁止所述客户端访问所述接口。

在一些实施例中，所述方法还包括：

确定所述访问请求是否触发所述异常访问规则；

在确定所述访问请求触发异常访问规则的情况下，确定访问请求的风险等级；

基于所述风险等级对客户端的访问请求进行处理。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所控制或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元控制的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台控制器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。