云环境流量监控方法、装置及系统

技术领域

本发明涉及流量检测技术领域，特别涉及云环境流量监控方法、装置及系统。

背景技术

随着云计算的愈发成熟，基于云环境的各种应用越来越广泛。在云环境中，随着数据中心的规模不断扩大，在不同的业务场景下，也需要划分出不同的业务子网来承载不同的业务。

业务子网在工作中的流量是不可见的，且由于每个业务子网中的设备数量很多，因此各个业务子网中的设备的出入流量难以进行监控。

基于以上问题，需要一种能够监测云环境中各业务子网的流量的方法。

发明内容

本发明实施例提供了云环境流量监控方法、装置及系统，能够监测云环境中各业务子网的流量。

第一方面，本发明实施例提供了云环境流量监测方法，包括：先根据云环境每个业务子网的规模确定目标业务子网，在所述目标业务子网内部署服务端；根据每个所述业务子网中的设备数量部署至少一个采集端并注册到所述服务端，其中，每个所述采集端连接其所处业务子网中的至少一个设备；还包括：

所述服务端在接收到用于表征开始监测的配置信息时，向每个所述业务子网中的一采集端的API接口发送配置信息；以使每个所述采集端在接收到所述配置信息时进行流量监测；

每个所述采集端在接收到所述服务端发来的所述配置信息时，分发给当前业务子网内的其他采集端；

每个所述采集端根据所述配置信息检查每个所述已连接设备的连通性，确定连通成功的已连通设备；监测对应的已连通设备的的流量值并进行统计，将统计结果通过API发送给所述服务端以使所述服务端进行保存；

所述服务端在接收到查询请求时，将已保存的所述统计结果推送给至少一个外部管理终端。

优选地，

所述服务端，包括数据库集群和服务集群；

所述在所述目标业务子网内部署服务端，包括：

利用至少两个数据库，通过主从方式搭建数据库集群；

利用至少两个服务器创建服务集群；

配置主要Nginx服务和备用Nginx服务并使用keepalived软件实现高可用；

利用Nginx服务进行反向代理每个所述服务器的API，并对外公开所述Nginx服务的API作为所述服务端的API。

优选地，

所述监测对应的已连通设备的的流量值并进行统计，将统计结果通过API发送给所述服务端，包括：

根据预设的检测周期，通过简单网络协议SNMP周期性对所述已连通设备的在一监测周期内的出入流量值进行监测，并判断监测值是否大于阈值，若否，则将监测值返回给所述服务端；若是，则生成告警信息，将所述告警信息返回给所述服务端；

所述服务端在接收到一采集端发来的所述监测值或所述告警信息时，根据所述采集端的注册信息将所述监测值或所述告警信息保存到所述数据库集群。

优选地，

还包括：

所述服务端根据所述每个所述业务子网及已注册的所述采集端的连接关系，生成云中心业务拓扑图；

利用所述Nginx服务的API，将所述云中心业务拓扑图推送到外部显示终端进行显示。

优选地，

所述服务端在接收到一目标采集端发来的目标检测值时，根据所述目标采集端的注册信息定位所述目标采集端在云环境中的位置，在所述云中心拓扑图中所述目标采集端的位置显示表示监测值正常的正常标识及所述目标检测值；

所述服务端在接收到一目标采集端发来的目标告警信息时，根据所述目标采集端的注册信息定位所述目标采集端在云环境中的位置，在所述云中心拓扑图中所述目标采集端的位置显示表示监测值异常的异常标识。

优选地，

所述根据预设的检测周期，通过简单网络协议SNMP周期性对所述已连通设备的在一监测周期内的出入流量值进行监测，包括：

对于每一个所述已连通设备，均执行：调用当前已连通设备的MIB值中表征累加流量值的第一上行流量值ifInOctets和第一下行流量值ifOutOctets；

在一检测周期后，确定当前的第二上行流量值ifInOctets和第二下行流量值ifOutOctets；

确定所述第一上行流量值与所述第二上行流量值的上行差值与所述第一下行流量值与所述第二下行流量值的下行差值；

将所述上行差值和所述下行差值分别除以所述检测周期的时间间隔，得到当前已连通设备的监测值。

优选地，

每个所述采集端在接收到所述配置信息时检查每个所述已连接设备的连通性之后，还包括：

确定连通失败的至少一个设备的设备编号；

将至少一个所述设备编号发送给所述服务端；

所述服务端在接收到所述设备编号时，在所述云中心业务拓扑图中发送所述设备编号的采集端所在的业务子网处显示表征存在设备连通失败的提醒标识及所述设备编号。

第二方面，本发明实施例提供了基于上述第一方面中任一所述的云环境流量监测方法的云环境流量监测装置，包括：用户端、服务端和至少一个采集端；

所述用户端，用于预先根据云环境每个业务子网的规模确定目标业务子网，在所述目标业务子网内部署服务端；根据每个所述业务子网中的设备数量部署至少一个采集端并注册到所述服务端，其中，每个所述采集端连接其所处业务子网中的至少一个设备；

所述服务端，用于在接收到用于表征开始监测的配置信息时，向每个所述业务子网中的一采集端的API接口发送配置信息，以使每个所述采集端在接收到所述配置信息时进行流量监测；

每个所述采集端，用于在接收到所述服务端发来的所述配置信息时，分发给当前业务子网内的其他采集端；根据所述配置信息检查每个所述已连接设备的连通性，确定连通成功的已连通设备；监测对应的已连通设备的的流量值并进行统计，将统计结果通过API发送给所述服务端以使所述服务端进行保存；

所述服务端，还用于在接收到查询请求时，将已保存的所述统计结果推送给至少一个外部管理终端。

优选地，

在所述服务端包括数据库集群和服务集群时，所述用户端，在执行所述所述在所述目标业务子网内部署服务端时，具体执行：

利用至少两个数据库，通过主从方式搭建数据库集群；

利用至少两个服务器创建服务集群；

配置主要Nginx服务和备用Nginx服务并使用keepalived软件实现高可用；

利用Nginx服务进行反向代理每个所述服务器的API，并对外公开所述Nginx服务的API作为所述服务端的API。

第三方面，本发明实施例提供了云环境流量监测系统，包括：上述第二方面中任一所述的云环境流量监测装置和外部管理终端；

所述外部管理终端，用于接收所述云环境流量检测装置发来的统计结果。

本发明实施例提供云环境流量监测方法、装置及系统。由上述技术方案可知，首先根据业务子网的规模选择其中一个业务子网作为目标业务子网，并在目标业务子网内部署服务端，服务端是采集端的注册点，其用于管理各个业务子网中的采集端，为客户提供服务。根据每个业务子网的设备数量部署相应数量的采集端，采集端将自身注册到服务端，每个采集端连接其所处的业务子网中的至少一个设备。所述服务端在接收到用于表征开始监测的配置信息时，向每个所述业务子网中的一采集端的API接口发送配置信息；以使每个所述采集端在接收到所述配置信息时进行流量监测；每个所述采集端在接收到所述服务端发来的所述配置信息时，分发给当前业务子网内的其他采集端；每个所述采集端根据所述配置信息检查每个所述已连接设备的连通性，确定连通成功的已连通设备；监测对应的已连通设备的的流量值并进行统计，将统计结果通过API发送给所述服务端以使所述服务端进行保存；所述服务端在接收到查询请求时，将已保存的所述统计结果推送给至少一个外部管理终端。由此可见，本发明提供的方案中，将采集端放置在业务网子网中能够完成流量监测任务，在云环境中的多个业务不同的业务子网中对应放置不同的采集端，采集网络流量信息，实现不同网段且互不相连的业务子网的虚拟网络进行流量监控。在云中心某个业务子网内部署网络流量监控服务端，整个云中心整体以及具体设备的网络流量情况进行存储和推送。服务端部署在某一业务子网内，以对运维人员、租户提供服务，需保证能和部署在其他业务子网的采集端的网络联通，以实现对于同一云中心下所有设备的监测。从此可见，本发明提供的技术方案能够实现对云环境中各业务子网的流量的监测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的云环境流量监测方法的流程图；

图2是本发明一实施例提供的服务端和采集端的部署示意图；

图3是本发明一实施例提供的服务端的部署示意图；

图4是本发明一实施例提供的云环境流量监测装置的示意图；

图5是本发明一实施例提供的云环境流量监测系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着云计算的愈发成熟，数据中心的规模越来越大，根据不同的业务场景，往往需要划分出不同的业务子网用来承载不同的业务，业务子网之间基本相互隔离，也可能会相互连通。业务子网中的设备有可能几十，也有可能上千。在一个云中心下对于云环境和云系统的监控显得尤为重要，云服务商和客户希望看到自己所管理的设备出入流量，显得极为困难。同时云中心下的网络模型较多，随之带来的是网络管理和质量的难以掌控。把每种流量盲区以可视化的方式展示在人们面前是一种云监管业务的研究方向。

下面结合附图来对本发明各个实施例提供的云环境流量监控方法、装置及系统作详细说明。

如图1所示，本发明实施例提供了云环境流量监测方法，该方法包括以下步骤：

步骤101：预先根据云环境每个业务子网的规模确定目标业务子网，在所述目标业务子网内部署服务端；根据每个所述业务子网中的设备数量部署至少一个采集端并注册到所述服务端，其中，每个所述采集端连接其所处业务子网中的至少一个设备；

步骤102：所述服务端在接收到用于表征开始监测的配置信息时，向每个所述业务子网中的一采集端的API接口发送配置信息；以使每个所述采集端在接收到所述配置信息时进行流量监测；

步骤103：每个所述采集端在接收到所述服务端发来的所述配置信息时，分发给当前业务子网内的其他采集端；

步骤104：每个所述采集端根据所述配置信息检查每个所述已连接设备的连通性，确定连通成功的已连通设备；监测对应的已连通设备的的流量值并进行统计，将统计结果通过API发送给所述服务端以使所述服务端进行保存；

步骤105：所述服务端在接收到查询请求时，将已保存的所述统计结果推送给至少一个外部管理终端。

由上述技术方案可知，首先根据业务子网的规模选择其中一个业务子网作为目标业务子网，并在目标业务子网内部署服务端，服务端是采集端的注册点，其用于管理各个业务子网中的采集端，为客户提供服务。根据每个业务子网的设备数量部署相应数量的采集端，采集端将自身注册到服务端，每个采集端连接其所处的业务子网中的至少一个设备。所述服务端在接收到用于表征开始监测的配置信息时，向每个所述业务子网中的一采集端的API接口发送配置信息；以使每个所述采集端在接收到所述配置信息时进行流量监测；每个所述采集端在接收到所述服务端发来的所述配置信息时，分发给当前业务子网内的其他采集端；每个所述采集端根据所述配置信息检查每个所述已连接设备的连通性，确定连通成功的已连通设备；监测对应的已连通设备的的流量值并进行统计，将统计结果通过API发送给所述服务端以使所述服务端进行保存；所述服务端在接收到查询请求时，将已保存的所述统计结果推送给至少一个外部管理终端。由此可见，本发明提供的方案中，将采集端放置在业务网子网中能够完成流量监测任务，在云环境中的多个业务不同的业务子网中对应放置不同的采集端，采集网络流量信息，实现不同网段且互不相连的业务子网的虚拟网络进行流量监控。在云中心某个业务子网内部署网络流量监控服务端，整个云中心整体以及具体设备的网络流量情况进行存储和推送。服务端部署在某一业务子网内，以对运维人员、租户提供服务，需保证能和部署在其他业务子网的采集端的网络联通，以实现对于同一云中心下所有设备的监测。从此可见，本发明提供的技术方案能够实现对云环境中各业务子网的流量的监测。

如图2所示的一种服务端和采集端的部署示意图，可以选一个较大的业务子网200部署服务端201和一个采集端202，打通各个采集端到服务端网络，确保能够互联。在云中心中选择较大业务子网下部署集群化服务端，提供多个REST API接口，用于采集端的注册、监测信息发布、采集信息的收集分析展示，大屏展示以及设备网络流量告警和清除。通过对服务端、数据库、消息队列等组件的集群化部署，实现高可用；通过负载均衡提高服务端的并发处理能力。在业务与子网中部署可扩展的采集端。详细地，采集端可以进行容器化部署，并根据业务网内的设备数量灵活选择采集端数量，多个采集端可以组成一个采集节点，可互相配合，完成所有任务，提高效率，同时具有横，纵向扩展。当采集端部署完成后会提供对服务端提供的REST API发起注册并提供一个健康检端口，如图2中的多个采集端203组成的采集节点204。注册成功后可以实时获取服务端已经注册的所有采集端信息，并以此为依据进行业务网络相关展示和数据传输。对云中心较小的业务子网进行整合，将所有设备分配到不同的业务子网中进行监测，根据当前业务子网中的设备的数量灵活匹配当前业务子网中的采集端数量，比如在图2中，采集端205对应两个较小的业务子网206。当某业务子网下，多个采集端联合起来完成服务端发送的任务，将多个采集端视为一个大采集端，其中某个采集端发生错误，不会影响整体联合采集端运行。

采集端的采集由服务端进行控制，并且相关的被采集设备配置信息均有服务端传输，采集端只负责数据采集和高级、数据回传，有效地增强了设备信息的实时性和准确性。进行一步地，采集端对每一台所采集的设备进行预检查，检查设备的连通性，过滤无法连通的设备，之后才会开始正式采集，避免了不必要的资源浪费。另外多个采集端组合而成的采集节点，会有一个采集端接收由服务端所发送的设备信息并分发给其他采集端，同时完成采集任务，提高采集效率。

在本发明一实施例中，所述服务端，包括数据库集群和服务集群；

所述在所述目标业务子网内部署服务端，包括：

利用至少两个数据库，通过主从方式搭建数据库集群；

利用至少两个服务器创建服务集群；

配置主要Nginx服务和备用Nginx服务并使用keepalived软件实现高可用；

利用Nginx服务进行反向代理每个所述服务器的API，并对外公开所述Nginx服务的API作为所述服务端的API。

具体地，服务端的部署示意图如图3所示。采用主从搭建数据库集群301，包括一个主数据库3011和两个从数据库3012，来提高数据库的高可用性，使用三个服务器3021、3022和3023创建服务集群302，并实现负载均衡，并在服务端所在的服务器集群302上部署Nginx服务并配置Nginx主备，分别为主要Nginx3024和备用Nginx3025，在意外情况下确保服务可用。使用keepalived实现高可用，并对外暴露API，提供外部访问，限制访问流量。

Keepalived是一种高性能的服务器高可用或热备解决方案，Keepalived可以用来防止服务器单点故障的发生，通过配合Nginx可以实现web前端服务的高可用。

Keepalived以VRRP协议为实现基础，用VRRP协议来实现高可用性(HA)。VRRP(Virtual RouterRedundancy Protocol)协议是用于实现路由器冗余的协议，VRRP协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器IP(一个或多个)，而在路由器组内部，如果实际拥有这个对外IP的路由器如果工作正常的话就是MASTER，或者是通过算法选举产生，MASTER实现针对虚拟路由器IP的各种网络功能，如ARP请求，ICMP，以及数据的转发等；其他设备不拥有该虚拟IP，状态是BACKUP，除了接收MASTER的VRRP状态通告信息外，不执行对外的网络功能。当主机失效时，BACKUP将接管原先MASTER的网络功能。VRRP协议使用多播数据来传输VRRP数据，VRRP数据使用特殊的虚拟源MAC地址发送数据而不是自身网卡的MAC地址，VRRP运行时只有MASTER路由器定时发送VRRP通告信息，表示MASTER工作正常以及虚拟路由器IP(组)，BACKUP只接收VRRP数据，不发送数据，如果一定时间内没有接收到MASTER的通告信息，各BACKUP将宣告自己成为MASTER，发送通告信息，重新进行MASTER选举状态。

在本发明一实施例中，所述监测对应的已连通设备的的流量值并进行统计，将统计结果通过API发送给所述服务端，包括：

根据预设的检测周期，通过简单网络协议SNMP周期性对所述已连通设备的在一监测周期内的出入流量值进行监测，并判断监测值是否大于阈值，若否，则将监测值返回给所述服务端；若是，则生成告警信息，将所述告警信息返回给所述服务端；

所述服务端在接收到一采集端发来的所述监测值或所述告警信息时，根据所述采集端的注册信息将所述监测值或所述告警信息保存到所述数据库集群。

在云中心和客户使用时在乎的是网络是否通畅，网速是否符合要求，而往往忽略了流量的出入情况以及出入大小。SNMP作为一种简单的网络协议，适用于几乎所有的网络设备中，同时又支持采集各种指标，是一种十分理想的监控协议，且被绝大部分人接受。监控某云中心的整体以及其中具体设备的网络出入流量信息。通过开通SNMP协议，并对采集端的调通，即可进行网络出入流量采集。采集端可配置采集间隔，检测某段时间内的网络流量。通过在服务端进行设置，可以在时间维度检测和展示网络流量信息。通过SNMP协议采集相应的端口流量数据，不仅对虚拟化产品进行流量监控，还能对硬件设备，整个云中心详细端口出入流量和历史数据进行监控。

在本发明一实施例中，该方法还包括：所述服务端根据所述每个所述业务子网及已注册的所述采集端的连接关系，生成云中心业务拓扑图；

利用所述Nginx服务的API，将所述云中心业务拓扑图推送到外部显示终端进行显示。

所述服务端在接收到一目标采集端发来的目标检测值时，根据所述目标采集端的注册信息定位所述目标采集端在云环境中的位置，在所述云中心拓扑图中所述目标采集端的位置显示表示监测值正常的正常标识及所述目标检测值；

所述服务端在接收到一目标采集端发来的目标告警信息时，根据所述目标采集端的注册信息定位所述目标采集端在云环境中的位置，在所述云中心拓扑图中所述目标采集端的位置显示表示监测值异常的异常标识。

具体来说，采集端对设备首先进行端口的监测，然后对每个端口进行出入流量的监测，同时判断网络流量是否超过阈值，进行告警和清除操作。将服务端的数据处理一部分切割到采集端。

服务端可以通过前台界面展示整个云中心网络情况、手动配置需要监控对象、发送告警、分析告警产生原因，查看被监控对象的具体信息；

在界面展示时，可以对整个云中心，以及下属的所有网络硬件设备和虚拟机化产品进行出入流量的展示，并提供历史记录。当数据更新时，实时更新界面数据，做到了异常的实时发现。与之相关地，由采集端所注册连接而成的云中心业务拓扑图，会实时展现采集端告警信息，方便定位异常区域。

进一步地，告警发生后若分析出该采集客户端所属宿主机不存在网络故障，同时查看之前该采集客户端的分析情况，若网络状态由原来的异常变更为现在的正常状态，则发起告警清除处理，连接告警平台的消息队列，并将告警清除信息推送到告警队列中进行告警清除。

当系统搭建完毕，运维人员录入设备配置信息，告警人员名单，采集间隔，以及流量监测时间。采集端运行并向服务端发送注册请求，服务端开始周期性进行健康检查，并根据采集间隔将设备信息分发到各个采集端中，采集端返回监测数据和告警，清除信息。当告警产生后，告警名单中所有人将收到告警信息，运维人员去触发解决问题。当服务端获取数据后，运维人员，客户以及领导将看到监测数据。

在本发明一实施例中，所述根据预设的检测周期，通过简单网络协议SNMP周期性对所述已连通设备的在一监测周期内的出入流量值进行监测，包括：

对于每一个所述已连通设备，均执行：调用当前已连通设备的MIB值中表征累加流量值的第一上行流量值ifInOctets和第一下行流量值ifOutOctets；

在一检测周期后，确定当前的第二上行流量值ifInOctets和第二下行流量值ifOutOctets；

确定所述第一上行流量值与所述第二上行流量值的上行差值与所述第一下行流量值与所述第二下行流量值的下行差值；

将所述上行差值和所述下行差值分别除以所述检测周期的时间间隔，得到当前已连通设备的监测值。

在本发明一实施例中，每个所述采集端在接收到所述配置信息时检查每个所述已连接设备的连通性之后，还包括：

确定连通失败的至少一个设备的设备编号；

将至少一个所述设备编号发送给所述服务端；

所述服务端在接收到所述设备编号时，在所述云中心业务拓扑图中发送所述设备编号的采集端所在的业务子网处显示表征存在设备连通失败的提醒标识及所述设备编号。

如图4所示，本发明一实施例提供了基于图1所述的云环境流量监测方法的云环境流量监测装置，包括：用户端401、服务端402和至少一个采集端403；

所述用户端401，用于预先根据云环境每个业务子网的规模确定目标业务子网，在所述目标业务子网内部署服务端402；根据每个所述业务子网中的设备数量部署至少一个采集端403并注册到所述服务端402，其中，每个所述采集端403连接其所处业务子网中的至少一个设备；

所述服务端402，用于在接收到用于表征开始监测的配置信息时，向每个所述业务子网中的一采集端403的API接口发送配置信息，以使每个所述采集端403在接收到所述配置信息时进行流量监测；

每个所述采集端403，用于在接收到所述服务端402发来的所述配置信息时，分发给当前业务子网内的其他采集端403；根据所述配置信息检查每个所述已连接设备的连通性，确定连通成功的已连通设备；监测对应的已连通设备的的流量值并进行统计，将统计结果通过API发送给所述服务端402以使所述服务端402进行保存；

所述服务端402，还用于在接收到查询请求时，将已保存的所述统计结果推送给至少一个外部管理终端。

在本发明一实施例中，在所述服务端402包括数据库集群和服务集群时，所述用户端，在执行所述所述在所述目标业务子网内部署服务端402时，具体执行：

利用至少两个数据库，通过主从方式搭建数据库集群；

利用至少两个服务器创建服务集群；

配置主要Nginx服务和备用Nginx服务并使用keepalived软件实现高可用；

利用Nginx服务进行反向代理每个所述服务器的API，并对外公开所述Nginx服务的API作为所述服务端402的API。

可以理解的是，本发明实施例示意的结构并不构成对云环境流量监测装置的具体限定。在本发明的另一些实施例中，云环境流量监测装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。

上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

如图5所示，本发明实施例提供了云环境流量监测系统，包括：

图4中任一所述的云环境流量监测装置501和外部管理终端502；

所述外部管理终端502，用于接收所述云环境流量检测装置501发来的统计结果。

上述系统内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。

上文通过附图和优选实施例对本发明进行了详细展示和说明，然而本发明不限于这些已揭示的实施例，基于上述多个实施例本领域技术人员可以知晓，可以组合上述不同实施例中的代码审核手段得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。