非侵入边缘数据处理方法以及装置、存储介质、电子装置

技术领域

本申请涉及数据处理领域，具体而言，涉及一种非侵入边缘数据处理方法以及装置、存储介质、电子装置。

背景技术

在当前的大数据应用场景中，大数据的来源主要来自有关系统的系统日志，或者针对特定应用场景专门实现的数据采集、数据抽取应用。

这样的大数据采集，存在着数据采集应用与产生数据的主应用之间争抢计算资源的问题，或者说，这是较为普遍的“侵入式”大数据采集技术。产生大数据的应用本来就是高资源消耗式的应用，而“侵入式”大数据采集导致计算资源不足，影响产生数据的应用的使用。

发明内容

本申请的主要目的在于提供一种非侵入边缘数据处理方法以及装置、存储介质、电子装置，以解决大数据采集时侵占计算资源的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种非侵入边缘数据处理方法。

根据本申请的非侵入边缘数据处理方法，一种非侵入边缘数据处理方法，其特征在于，所述处理方法包括：

采集通过网络交换机的镜像端口的镜像数据荷载；

从所述镜像数据荷载中捕获需求数据荷载；

对所述需求数据荷载进行解析过滤，获得会话数据；

将获得的所述会话数据存储、输出存储。

进一步的，所述解析过滤，根据数据分析所需的变换条件需求实施解析过滤。

进一步的，所述解析过滤，还包括：BPF过滤和数据整形；

所述BPF过滤，具体为将变换条件需求转换为BPF表达式，过滤需求数据荷载中无效数据，减轻计算负荷；

所述数据整形包括传输层协议栈整形和业务成协议栈整形。

进一步的，所述数据整形，具体为：

首先通过传输层协议栈整形，具体以TCP连接为基础实现状态机，将通过BPF过滤后的需求数据荷载进行排序整形；

然后通过业务成协议栈整形，具体通过HTTP协议封装为会话数据。

进一步的，还包括载荷整形，具体为通过自定义报文处理JS脚本对所述会话数据进行二次加工。

进一步的，所述会话数据将持久化至数据库进行性能、效率分析，或输出至数据分析存储平台进行业务分析。

进一步的，所述会话数据经二次加工后，将持久化至数据库进行性能、效率分析，或输出至数据分析存储平台进行业务分析。

为了实现上述目的，根据本申请的另一方面，提供了一种非侵入边缘数据处理装置。

根据本申请的一种非侵入边缘数据处理装置，装置包括：

获取模块，用于采集通过网络交换机的镜像端口的镜像数据荷载，从所述镜像数据荷载中捕获需求数据荷载；

配置模块，用于通过Web管理界面对变换条件需求的配置；

过滤模块，用于将变换条件需求转换为BPF表达式，过滤需求数据荷载中无效数据，减轻计算负荷；

整形模块，用于将通过BPF过滤后的需求数据荷载进行排序整形并封装为会话数据；

存储模块，用于存储会话数据或经过二次加工的会话数据，以便于进行性能、效率分析；

输出模块，用于将会话数据或经过二次加工的会话数据，输出至数据分析存储平台。

根据本申请实施例的第三个方面，提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本申请实施例的第四个方面，提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

在本申请实施例中一种非侵入边缘数据处理方法以及装置、存储介质、电子装置，通过采集通过网络交换机的镜像端口的镜像数据荷载；从所述镜像数据荷载中捕获需求数据荷载；对所述需求数据荷载进行解析过滤，获得会话数据；将获得的所述会话数据存储输出存储，从而实现了大数据采集的技术效果，进而解决了大数据采集时侵占计算资源，容易造成计算资源不足的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的非侵入边缘数据处理方法流程示意图；

图2是根据本申请实施例的非侵入边缘数据解析过滤流程示意图；

图3是根据本申请实施例的非侵入边缘数据处理装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本申请中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机设备上为例，图1是本发明实施例的跨平台数据传输方法计算机设备的硬件结构框图。

实施例1

本申请实施例一提供了非侵入边缘数据处理方法，如图1所示该方法的具体步骤包括：

步骤S101，采集通过网络交换机的镜像端口的镜像数据荷载；

步骤S102，从所述镜像数据荷载中捕获需求数据荷载；

步骤S103，对所述需求数据荷载进行解析过滤，获得会话数据；

步骤S104，将获得的所述会话数据存储、输出存储。

从以上的描述中，可以看出，本申请实现了如下技术效果：

通过采集通过网络交换机的镜像端口的镜像数据荷载；从所述镜像数据荷载中捕获需求数据荷载；对所述需求数据荷载进行解析过滤，获得会话数据；将获得的所述会话数据存储输出存储，从而实现了大数据采集的技术效果，进而解决了大数据采集时侵占计算资源，容易造成计算资源不足的技术问题。

在上述步骤S103中对所述需求数据荷载进行解析过滤，获得会话数据。

解析过滤，根据数据分析所需的变换条件需求实施解析过滤。

所述会话数据将持久化至数据库进行性能、效率分析，或输出至数据分析存储平台进行业务分析。

在本实施例中，如图2所示，所述解析过滤，包括：BPF过滤和数据整形，所述数据整形包括传输层协议栈整形和业务成协议栈整形，具体为：

步骤S201，所述BPF过滤，具体为将变换条件需求转换为BPF表达式，过滤需求数据荷载中无效数据，减轻计算负荷；

步骤S202，通过传输层协议栈整形，具体以TCP连接为基础实现状态机，将通过BPF过滤后的需求数据荷载进行排序整形；

步骤S203，通过业务成协议栈整形，具体通过HTTP协议封装为会话数据。

在一些优选地实施例中，所述数据整形，还包括载荷整形，具体为通过自定义报文处理JS脚本对所述会话数据进行二次加工。

所述会话数据经二次加工后，将持久化至数据库进行性能、效率分析，或输出至数据分析存储平台进行业务分析。

具体实施时，通过与网络交换机的镜像端口连接，以获取镜像数据荷载，此过程较入侵式的数据采集平台而言，优势在于不需要通信双方做任何配置，也不需要消耗其任何性能或资源；

基于变换条件需求在镜像数据荷载中捕获需求数据荷载；

然后，先遵循将变换条件需求转换为BPF表达式，过滤需求数据荷载中无效数据，减轻计算负荷，其后采用自实现的TCP状态机通过BPF过滤后的需求数据荷载进行排序整形，最后按照HTTP业务层协议将排序整形后的数据荷载封装为会话，或按照用户配置使用脚本将会话数据进行二次加工。

经整形封装或加工后的会话数据将持久化至设备内置数据库进行性能、效率等分析，或按配置需求发送至指定消息平台进行业务分析。

实施例2

在本实施例中还提供了一种非侵入边缘数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的一种非侵入边缘数据处理的结构框图，如图3所示，该装置包括：

获取模块301，用于采集通过网络交换机的镜像端口的镜像数据荷载，从所述镜像数据荷载中捕获需求数据荷载；

配置模块302，用于通过Web管理界面对变换条件需求的配置，指定需要的数据来源和去处及变换规则；

过滤模块303，用于将变换条件需求转换为BPF表达式，过滤需求数据荷载中无效数据，减轻计算负荷；

整形模块304，用于将通过BPF过滤后的需求数据荷载进行排序整形并封装为会话数据；

存储模块305，用于存储会话数据或经过二次加工的会话数据，以便于进行性能、效率分析；

输出模块306，用于将会话数据或经过二次加工的会话数据，输出至数据分析存储平台。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，采集通过网络交换机的镜像端口的镜像数据荷载；

S2，从所述镜像数据荷载中捕获需求数据荷载；

S3，对所述需求数据荷载进行解析过滤，获得会话数据；

S4，将获得的所述会话数据存储、输出存储。

可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：

S31，BPF过滤，将变换条件需求转换为BPF表达式，过滤需求数据荷载中无效数据，减轻计算负荷。

可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：

S32，通过传输层协议栈整形，具体以TCP连接为基础实现状态机，将通过BPF过滤后的需求数据荷载进行排序整形；

S33，通过业务成协议栈整形，具体通过HTTP协议封装为会话数据。

可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：

S34，载荷整形，通过自定义报文处理JS脚本对所述会话数据进行二次加工。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，采集通过网络交换机的镜像端口的镜像数据荷载；

S2，从所述镜像数据荷载中捕获需求数据荷载；

S3，对所述需求数据荷载进行解析过滤，获得会话数据；

S4，将获得的所述会话数据存储、输出存储。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。