掌桥专利:专业的专利平台
掌桥专利
首页

一种网络靶场的流量采集装置、系统

文献发布时间:2024-01-17 01:26:37


一种网络靶场的流量采集装置、系统

技术领域

本申请涉及一种基于虚拟机的流量采集装置,属于网络技术领域,尤其涉及一种网络靶场的流量采集装置、系统。

背景技术

网络靶场是一个构筑数字安全底座的基础设施,其通常由虚拟化平台、实体靶标网络、实体靶标设备组成。根据场景需求,网络靶场的整体系统规模不尽相同。随着网络靶场技术的发展,靶场场景环境越来越复杂,已不再局限于单一的场景,而是由更多的靶场环境互联构成的大型综合网络场景,在此基础上进行综合的联合演练和实体设备多靶标演练。为了应对这种复杂环境,需要做好流量数据监控分析。

对于网络靶场流量的采集主要是利用交换机的流量镜像功能完成流量镜像,再对镜像端口汇集的网络流量数据进行采集,从而完成网络流量采集。而现有的流量采集是基于物理设备,这就导致,当面对一台物理设备上有多台虚拟化设备时,虚拟化设备的流量无法进行区分,其流量分析结果是混乱的,无法针对某个具体业务进行流量分析。因此,这种方式也不适合含有多训练场景的网络靶场。

此外,现有的网络靶场的流量采集系统与方法仍存在以下缺陷:

1、实体设备也会镜像到虚拟化设备上,这会导致:一方面,由于实体设备会对多个设备目标流量会话,采集的网络流量不全;另一方面,虚拟化采集设备为服务器,而服务器在在进行流量的复制、转发时,需要的软、硬件成本非标准化,资源占用高,且不利于大流量的分析和转发。

2、流量的镜像关注了mac、ip、port等业务属性,在流量镜像调度过程中会关联业务属性。而对于虚拟化模拟的业务,mac和ip都可能出现重复,因此通过mac、ip无法实现设备采集流量的唯一定位,继而无法保障业务流量的准确分析。

3、当多台设备的流量镜像到一台服务器进行采集分析时,在单服务能力无上限情况,理论上可以接收多目标设备的数据,并进行分析。但是当底层出现大规模设备流量采集时候,物理设备的网口、交换机的性能瓶颈,使得采集能力必然受到限制和影响。

发明内容

根据本申请的一个方面,提供了一种能够满足多场景互联互通的同时进行有效的数据采集的网络靶场流量采集装置。该装置可以通过在计算节点上虚拟化出多台虚拟设备,并在水平上增加多个计算节点,通过业务网络的组网实现多场景的互联互通,使得训练采集过程中不会影响被观察选手。

所述网络靶场的流量采集装置,包括:至少一个计算节点、至少一台Leaf交换机、至少一个流量分析器;

各所述计算节点通过第一物理网卡进行业务网互联;各所述计算节点的虚拟化主机VM的流量镜像通过第二物理网卡接入采集网;

所述第二物理网卡与Leaf交换机互联;所述Leaf交换机用于控制流量的单向访问;所述Leaf交换机与所述流量分析器交互,通过vlan技术,完成不同业务之间的网络隔离;所述流量分析器对接收到的流量数据进行采集、分析。

优选地,该装置还包括:判断模块,用于根据靶场平台的业务需要,对所述流量分析器的分析结果进行判断,对于不同厂商的分析,根据设备设置权重,对重复的结果进行合并,完成辅助判断。

优选地,每个所述计算节点内含有虚拟交换机br-int、虚拟网络分流器br-tap、隧道桥br-tun;

所述虚拟交换机br-int,用于接收来自不同虚拟化主机VM和所述br-tun的流量;通过在br-int上设置不同的id来标识VM属于不同的场景,以实现不同网络下的设备隔离;

所述虚拟网络分流器br-tap,用于接收br-int与VM之间的流量的镜像,通过第二物理网卡接入采集网;br-tap的流量禁止在br-int内部转发;

所述隧道桥br-tun与第一物理网卡相连,连通至业务网,完成业务流量的转发。

因为在br-int上允许接收来自br-tun流量,而不允许br-tap的流量在br-int内部转发,并且也只允许br-int和VM之间的流量进行镜像到br-tap,所以最后是br-tap的流量镜像进入采集网。

优选地,所述虚拟网络分流器br-tap,根据靶场平台的指令,对于不同场景下所述流量的镜像通过重写不同场景下的tag标识id,将相同的场景下的流量分配到相同的VLAN下面;对于相同场景的虚拟化主机VM的流量,通过br-tap分配到相同的VLAN下面,同时相关报文的目标mac地址在网络传输过程中,采用全网流量为单向未知单播,进行采集网内部的发送,保障按需发送给指定的流量分析器。

优选地,该装置还包括:至少一台Spine交换机、至少一台Mirror-Leaf交换机。

所述Leaf交换机与至少一台Spine交换机连接;所述Spine交换机与至少一台Mirror-Leaf交换机连接。

在所述Leaf交换机、所述Spine交换机上配置VLAN策略;所述采集网的业务控制器放行所有VLAN,所有流量入口禁止出方向流量,可以防止环路。这样所有从Leaf节点来的流量都会汇聚到Spine节点。

所述Mirror-Leaf交换机与对应的流量分析器连接,当所述流量分析器的接口配置接入当前靶场场景下流量镜像写入的VLAN时,对当前的靶场场景进行流量分析。

在Spine节点,根据靶场调度需求,可以将流量分发到不同的流量分析器,继而由流量分析器完成流量的解析分析。由于不同的厂商和实现方案对流量的深度和解析方向不同,靶场调度可以根据需要,在Mirror-Leaf节点配置不同的VLAN。当流量分析器接口配置接入了当前靶场的流量镜像被配置的VLAN时,就可对当前的靶场场景进行流量分析。因此,本申请可以通过配置多个流量分析器实现流量的同时分析。

优选地,所述Leaf交换机在设备接入端配置端口trunk模式,允许所有VLAN通行;在端口绑定规则,所述规则包括但不限于ACL规则;

所述Leaf交换机的上行端口同步配置trunk模式,允许所有VLAN通行。

优选地,所述规则采用Egress模式,规则为deny any any。

优选地,所述Leaf交换机的上行端口可以选择端口聚合模式,策略采用负载均衡。

优选地,由于Spine交换机时大流量转发交换机,可根据业务需要,配置多个接口到所述Mirror-Leaf交换机的VLAN trunk通道,选择待下发的Mirror-Leaf交换机,配置VLAN trunk,允许指定的VLAN通行。

优选地,所述Mirror-Leaf交换机在设备接入端配置端口trunk模式,端口绑定与所述Leaf交换机相同的规则。

优选地,所述Mirror-Leaf交换机在设备接入端允许所有VLAN通行。

优选地,所述Mirror-Leaf交换机的上行端口配置trunk模式或者access模式。在流量分析器上,根据设备能力配置接口,当流量分析器无VLAN识别能力,配置access口;当流量分析器有VLAN识别能力,配置trunk口。流量为单项转发,转发路径即“spine--》mirror-leaf--》流量分析器”。

优选地,所述Mirror-Leaf交换机的上行端口绑定ACL规则,配置Ingress模式,规则为deny any any。

优选地,该装置还包括实体设备,所述实体设备通过实体设备交换机连接至对应的所述Leaf交换机,所述实体设备交换机用于进行端口的镜像配置,绑定VLAN到对应场景分配的VLAN id,保障流量和场景处于同一VLAN;

所述Leaf交换机接口设置trunk模式。

根据本申请的又一个方面,提供了一种可适用于网络靶场的流量采集系统,该系统包括主靶场流量采集模块、至少一个分靶场采集模块,所述主靶场流量采集模块和所述分靶场采集模块采用分层级联设计;

所述主靶场采集模块,用于向各所述分靶场采集模块下发训练任务;在训练过程实时获取流量告警,在训练结束后获取并展示各分靶场的流量分析的报告数据,通过综合业务分析各靶场的业务事件,显示业务过程;

所述分靶场采集模块,包含上述的网络靶场的流量采集装置中的任一种,用于针对分靶场下的不同靶标进行流量分析,并提取各所述网络靶场的流量采集装置的分析结果,进行提前流量分析。

本申请能产生的有益效果包括:

1)本申请所提供的计算节点的部署,可满足多靶标业务的互联互通,当需要增加新业务时,只需要在水平上增加计算节点即可,快速便捷。各计算节点可以虚拟化出多台虚拟化主机VM,根据场景需要在br-int上设置对应的标识,利用虚拟交换机br-int和虚拟化主机对接,完成虚拟化主机VM和物理网卡物理网卡的互通,以此形成能够满足复杂网络场景的业务网。

2)本申请所提供的采集网至少包括采集Leaf层,在业务转发面上采用vlan技术,完成不同业务之间的网络隔离,同时,在同一个场景下,也可以通过vlan隔离出不同的网络,而不再需要考虑并利用mac或ip等业务属性作为靶场中某一实体或虚拟设备的唯一匹配定位,能够保障业务流量的准确分析,尤其是针对于仿真场景。

3)本申请所提供的采集网,采用全网流量为单向转发,保障流量能够完全地发送给指定的流量分析器。

4)本申请所提供的Mirror-Leaf交换机可以自动对流量进行多份复制,并根据需要发送给任意多个流量分析器,提高了分析效率。

5)本申请所提供的网络靶场的流量采集系统,采用分层、级联的架构设计,尤其适用于大规模、复杂靶场的场景。各分靶场采集模块只需要直接提取各网络靶场的流量采集装置对各靶标的流量分析结果,使得分析性能大大提升。

附图说明

图1为本申请一个实施例中小规模场景下网络靶场的流量采集装置的架构示意图;

图2为本申请一个实施例中大规模场景下网络靶场的流量采集装置的架构示意图;

图3为本申请一个实施例中大规模靶场的流量采集系统的架构示意图。

具体实施方式

下面结合实施例详述本申请,但本申请并不局限于这些实施例。

本申请所述的一种网络靶场的流量采集装置,包括至少一个计算节点、至少一台Leaf交换机、至少一个流量分析器;

各所述计算节点通过第一物理网卡进行业务网互联;各所述计算节点的虚拟化主机VM的流量镜像通过第二物理网卡接入采集网;

所述第二物理网卡与Leaf交换机互联;所述Leaf交换机用于控制流量的单向访问;所述Leaf交换机与所述流量分析器交互,通过vlan技术,完成不同业务之间的网络隔离;所述流量分析器对接收到的流量数据进行采集、分析。

实施例1

如图1所示,为小规模场景下的流量采集装置的架构示意图。其中,多个计算节点通过第一物理网卡eth0进行互联,形成业务网;通过第二物理网卡eth2接入Leaf交换机,从而连接到对应的流量分析器上,形成采集网。本实施例中的流量分析器为流量分析服务器。

在一种实施方式中,实体扫描设备通过实体设备交换机进入业务网,通过绑定VLAN到对应场景分配的VLAN id,进入采集网。

在一种实施方式中,该装置还包括:判断模块,用于根据靶场平台的业务需要,对所述流量分析器的分析结果进行判断,对于不同厂商的分析,根据设备设置权重,对重复的结果进行合并,完成辅助判断。

在一种实施方式中,各计算节点内含有虚拟交换机br-int、虚拟网络分流器br-tap、隧道桥br-tun。

所述虚拟交换机br-int,用于接收来自不同虚拟化主机VM1、VM2和所述br-tun的流量,在br-int上设置不同id标识,以实现不同网络下的设备隔离。其中,如图1所示,VM的颜色用于区分是否为同一场景,即颜色相同的表示相同场景,不同则表示不同场景。

所述虚拟网络分流器br-tap,用于接收br-int与各虚拟化主机之间的流量的镜像,通过第二物理网卡eth2接入采集网;br-tap的流量禁止在br-int内部转发。

所述隧道桥br-tun与第一物理网卡eth0相连,连通至业务网,完成业务流量的转发。

在一种实施方式中,所述虚拟网络分流器br-tap,根据靶场平台的指令,对于不同场景下所述流量的镜像通过重写tag标识,分配到相同的VLAN下面;对于相同场景的虚拟化主机的流量,通过br-tap分配到相同的VLAN下面,同时相关报文的目标mac地址在网络传输过程中,采用全网流量为单向未知单播,进行采集网内部的发送,保障按需发送给指定的流量分析服务器。

实施例2

如图2所示,对于大规模靶场,可以将上述采集网部分中Leaf交换机这种单点设备替换成“Leaf-Spine-MirrorLeaf”的采集网络架构,虚拟化设备内流量镜像采用同样的设计方案。在该实施例中,一种网络靶场的流量采集装置采用包含“采集Leaf层、采集Spine层、Mirror-Leaf层”的网络架构,各层依次对应包含若干Leaf交换机、若干Spine交换机、若干Mirror-Leaf交换机。

在一种实施方式中,根据业务需要,采集Leaf层的交换机与采集Spine层之间的交换机之间、采集Spine层之间的交换机与Mirror-Leaf层的交换机之间均为全连接关系,如图2所示。

在所述Leaf交换机、所述Spine交换机上配置VLAN策略;所述采集网的业务控制器放行所有VLAN,所有流量入口禁止出方向流量;

所述Mirror-Leaf交换机与对应的流量分析器连接,当所述流量分析器的接口配置接入当前靶场场景下流量镜像写入的VLAN时,对当前的靶场场景进行流量分析。

在一种实施方式中,本实施例中网络靶场的流量采集装置的具体实施步骤如下。

Step1:br-int接收不同的虚拟化主机VM的流量,在br-int设置不同id标识,以实现不同的网络下的设备隔离。当然在br-int上允许接收来自br-tun流量,不允许br-tap的流量在br-int内部转发,并且也只允许br-int和VM之间的流量进行镜像到br-tap。该步骤主要是将VM的流量镜像出去。

Step2:br-tap根据靶场平台指令,对于不同场景下的流量镜像通过rewrite tag标识,分配到相同的VLAN下面;同场景的虚拟化主机VM,流量均通过br-tap写到相同的VLAN下面,同时相关报文的目标mac地址在网络传输过程中,采用全网流量为单向未知单播,进行采集网内部的发送,保障按需发送给指定的流量分析器。

在一种实施方式中,如ovs(OpenvSwitch,一种虚拟机交换软件)下发如下参考指令:

ovs-vsctl create Mirrorname=tap-vm1 select-all=false output-port=eth2output-VLAN=101。

Step3:在Leaf交换机和Spine交换机配置VLAN策略。所述采集网的业务控制器不做控制,放行所有VLAN,所有流量入口禁止出方向流量,防止环路。这样所有来自于采集Leaf层的流量都会汇聚到采集Spine层的节点。

在一种实施方式中,Leaf交换机以及流量分析服务器的接口部分,Leaf交换机配置端口trunk模式,allow vlan 101,并且禁止流量出该接口,在Mirror-leaf交换机上和流量分析器连接的接口,allow vlan 101,并且禁止流量入该接口,流量只允许从eth2--->Leaf--->Spine--->Mirror-leaf--->流量分析服务器。

参考指令如下:

ovs-vsctl----id=@m create mirror name=mirror0--add bridge br0mirrors@m

ovs-vsctl set mirror mirror0 output_port=93fe199f-76b5-4361-8f4d-c769f34329ee

ovs-vsctl add Mirrorselect_src_port

ovs-vsctl add Mirrorselect_dst_port

ovs-vsctl set mirror mirror0 select_all=1

ovs-vsctl set mirror mirror0 select_all=0

Step4:在采集Spine层,根据靶场调度需求,可以将流量分发到不同的流量分析服务器。流量分析服务器主要对流量进行解析分析,不同的厂商和实现方案对流量的深度和解析方向不同,靶场调度可以根据需要,在Mirror-Leaf层配置不同的VLAN,当流量分析服务器接口配置接入了step2配置的VLAN,就可对当前的靶场场景进行流量分析。因此,利用可以通过配置多个分析器实现流量的同时分析。

由于Spine交换机是大流量转发交换机,根据业务需要,可以配置多个接口到Mirror-Leaf的VLAN trunk通道,每个Mirror-Leaf交换机接入分析对应的VLAN。在所述流量分析服务器上,根据设备能力,对于无VLAN识别能力的服务器,配置access口,对于有VLAN识别能力的服务器配置trunk口,且对于流量采用单向转发,实现Spine--》Mirror-Leaf--》流量分析服务器的数据传输路径。

在一种实施方式中,Leaf交换机的设置如下:

①Leaf交换机在设备接入端,配置port的模式为trunk,allow all VLAN;

②端口绑定ACL规则,ACL规则设置为Egress模式,规则为deny any any,即出口模式拒绝各种流量;

③同步Leaf交换机上行口,配置trunk模式,允许所有VLAN通行。

在一种实施方式中,上行可以选择端口聚合模式,策略选择负载均衡,能够提高上行带宽。

Spine交换机:

①Spine交换机的接入配置同Leaf交换机的步骤1、2。

②Spine交换机和Mirror-leaf交换机之间的通道根据业务动态配置,选择准备下发的Mirror-Leaf,配置VLAN trunk,允许指定的VLAN通过。

Mirror-Leaf交换机:

①Mirror-Leaf交换机配置接入端口trunk模式。Spine交换机的出口是指定VLAN,因此这里可以采用“allow all”,但该端口绑定同Leaf交换机Step2相同的ACL规则。

②Mirror-Leaf到流量分析服务器的上行端口,根据分析服务器的能力,选择配置trunk模式或者access模式,该端口绑定ACL规则,配置Ingress模式,规则为deny any any。

在一种实施方式中,流量分析服务器采用支持VLAN分析的设备。设备在某个时刻VLAN下的分析属于某个特定的靶场场景。

Step5:靶场业务根据流量分析服务器的结果,对训练进行判断,对于不同的厂商的分析,可根据设备特别设置权重,对于重复的结果进行合并,以完成辅助判断,提高分析可信度和识别的广度。

此外,当系统接入的设备为实体设备时,在实体设备交换机上进行端口的镜像配置,配置的Leaf交换机接口设置trunk模式,实体设备交换机的镜像observe-port配置绑定VLAN到对应场景分配的VLAN id,保障流量和场景处于同一VLAN。所述Leaf交换机的接入同上面虚拟化设备配置,后续重复上述步骤的Step3~Step5。

实施例3

在一种大规模靶场场景下,可以靶场进行分层、级联,以收集采集数据,靶标层的流量和分靶场的流量采用上面的网络靶场的流量采集装置实现流量分析。

如图3所示,为一种大规模靶场的流量采集系统架构示意图,采用主靶场流量分析平面、分靶场流量分析平面、靶标流量分析平面的三层架构。其中,分靶场流量分析平面可以直接获取各靶标的流量分析结果,并完成分靶场的流量分析。因为不需要看具体的业务逻辑细节,不需要解包,可以使分析性能大大提升。

所述大规模靶场的流量采集系统包括主靶场流量采集模块、若干个分靶场采集模块,所述主靶场流量采集模块和所述分靶场采集模块采用分层级联设计;

所述主靶场采集模块,用于向各所述分靶场采集模块下发训练任务;在训练过程实时获取流量告警,在训练结束后获取并展示各分靶场的流量分析的报告数据,通过综合业务分析各靶场的业务事件,显示业务过程;

所述分靶场采集模块,包含上述的网络靶场的流量采集装置,用于针对分靶场下的不同靶标进行流量分析,并提取各所述网络靶场的流量采集装置的分析结果,进行提前流量分析。

以上所述,仅是本申请的几个实施例,并非对本申请做任何形式的限制,虽然本申请以较佳实施例揭示如上,然而并非用以限制本申请。例如,上述实施例中采用的vlan技术,可用vxlan技术等其他相似方案进行替代。任何熟悉本专业的技术人员,在不脱离本申请技术方案的范围内,利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例,均属于技术方案范围内。

相关技术
  • 一种网络靶场管理系统及其实现方法、装置、存储介质
  • 一种网络靶场流量实时采集系统及方法
  • 一种网络靶场流量采集分析系统与方法
技术分类

06120116216597