一种多源异构柔性均衡采集方法、电子设备、存储介质

技术领域

本发明涉及物联网数据采集技术领域，尤其涉及一种多源异构柔性均衡采集方法、电子设备、存储介质。

背景技术

目前，系统的物联网数据采集服务对接的协议和设备越来越多。传统的主备数据采集服务存在单机性能瓶颈。一些数据采集出现单机性能瓶颈，在服务动态扩容时，造成采集服务长时间的中断，采集线程和数据大量迁移，加大了服务器压力的同时，还存在长时间丢失采集对象的重要数据。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种多源异构柔性均衡采集方法，避免了大量数据迁移，减小了服务器的压力，增加了采集服务的稳定性。

本发明提供一种多源异构柔性均衡采集方法，包括以下步骤：

注册IP，数据采集服务启动时，注册本节点IP至注册中心；

确定位置，数据采集服务收到注册中心通知的当前服务的IP列表后，将各个数据采集服务IP进行标识，得到每个数据采集服务的位置；

获取采集对象信息，所述数据采集服务拉取所有需要采集对象信息；

查找数据采集服务，所述数据采集服务遍历所述采集对象信息，通过采集对象IP确定数据采集服务的位置，通过确定的位置查找分配到的数据采集服务；

数据采集，当查找到的数据采集服务为当前数据采集服务IP时，开启线程进行数据采集。

进一步地，所述确定位置步骤中，将各个数据采集服务IP使用Hash算法进行计算，得到每个数据采集服务在哈希环的位置。

进一步地，所述查找数据采集服务步骤中，将采集对象IP使用Hash算法计算出哈希值，并确定此数据在所述哈希环上的位置，从此位置沿环顺时针查找，遇到的节点就是其分配到的数据采集服务。

进一步地，所述数据采集步骤中，若查找到的数据采集服务不是当前数据采集服务IP，则跳过。

进一步地，还包括数据采集服务扩容，在数据采集服务扩容时，注册新加入的服务注册节点IP到注册中心，重复所述确定位置步骤、所述获取采集对象信息步骤、所述查找数据采集服务步骤和所述数据采集步骤。

进一步地，所述数据采集服务扩容步骤中，若计算非本节点启动的采集线程，且本节点已启动采集，则关闭连接，销毁线程。

进一步地，还包括数据采集服务缩容，在数据采集服务缩容时，通知所述注册中心移除该节点，关闭本节点的采集线程，重复所述确定位置步骤、所述获取采集对象信息步骤、所述查找数据采集服务步骤和所述数据采集步骤。

进一步地，所述采集对象信息包括采集协议、IP和端口。

一种电子设备，包括：处理器；

存储器；以及程序，其中所述程序被存储在所述存储器中，并且被配置成由处理器执行，所述程序包括用于执行一种多源异构柔性均衡采集方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行一种多源异构柔性均衡采集方法。

相比现有技术，本发明的有益效果在于：

本发明通过哈希算法实现采集线程均衡分配，当数据采集服务扩容时，仅需迁移扩容节点前一节点采集线程，当数据采集服务缩容时，也仅只需迁移本缩容节点的采集线程，对其它正常采集节点无影响，保证了采集线程和数据最小的迁移，适用于对分布式集群，避免了大量数据迁移，减小了服务器的压力，增加了采集服务的稳定性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种多源异构柔性均衡采集方法流程图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

一种多源异构柔性均衡采集方法，如图1所示，包括以下步骤：

注册IP，数据采集服务启动时，注册本节点IP至注册中心。其中，本节点即为数据采集服务。

注册中心收到节点注册信息后，通知所有节点当前服务的IP列表。

确定位置，数据采集服务收到注册中心通知的当前服务的IP列表后，将各个数据采集服务IP进行标识，得到每个数据采集服务的位置。具体的，将各个数据采集服务IP使用Hash算法进行计算，这样就确定每个数据采集服务在哈希环上的位置。

获取采集对象信息，数据采集服务从缓存拉取所有需要采集对象信息，采集对象信息包括采集协议、IP和端口等配置信息。

查找数据采集服务，数据采集服务遍历采集对象信息，通过采集对象IP确定数据采集服务的位置，通过确定的位置查找分配到的数据采集服务。具体的，将采集对象IP使用Hash算法计算出哈希值，并确定此数据在哈希环上的位置，从此位置沿环顺时针查找，遇到的节点就是其分配到的数据采集服务，假设为节点A。

数据采集，当计算的节点A为当前数据采集服务IP时，开启线程进行数据采集；否则跳过。

在数据采集服务扩容时，注册新加入的服务注册节点IP到注册中心，重复确定位置步骤、获取采集对象信息步骤、查找数据采集服务步骤和数据采集步骤。若计算非本节点启动的采集线程，且本节点已启动采集，则关闭连接，销毁线程。

在数据采集服务缩容时，通知注册中心移除该节点，关闭本节点的采集线程，重复确定位置步骤、获取采集对象信息步骤、查找数据采集服务步骤和数据采集步骤。

一种电子设备，包括：处理器；

存储器；以及程序，其中程序被存储在存储器中，并且被配置成由处理器执行，程序包括用于执行一种多源异构柔性均衡采集方法。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行一种多源异构柔性均衡采集方法。

本发明通过哈希算法实现采集线程均衡分配，当数据采集服务扩容时，仅需迁移扩容节点前一节点采集线程，当数据采集服务缩容时，也仅只需迁移本缩容节点的采集线程，对其它正常采集节点无影响，保证了采集线程和数据最小的迁移，适用于对分布式集群，避免了大量数据迁移，减小了服务器的压力，增加了采集服务的稳定性。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。