一种基于云计算的数据集群调度系统及其方法

技术领域

本发明涉及云计算技术领域，具体涉及一种基于云计算的数据集群调度系统及其方法。

背景技术

随着信息系统的发展，数据中心已全满进入基于分布式虚拟化技术的云数据中心时代，云计算是分布式计算的一种，指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序，然后，通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户，云计算早期，简单地说，就是简单的分布式计算，解决任务分发，并进行计算结果的合并。因而，云计算又称为网格计算。通过这项技术，可以在很短的时间内(几秒钟)完成对数以万计的数据的处理，从而达到强大的网络服务。

如授权公告号为CN107491343B，授权公告日为20200417的一种基于云计算的跨集群资源调度系统，包括消息捕获服务模块、跨集群元数据同步服务模块、数据多副本异步部署服务模块和跨集群资源调度服务模块；消息捕获服务模块用于捕获本地虚拟化集群内部消息，并上报给跨集群元数据同步服务模块；跨集群元数据同步服务模块用于分发本地虚拟化集群元数据，并接受远端虚拟化集群分发的元数据；数据多副本异步部署服务模块用于提供虚拟化集群后端存储服务，提供虚拟化集群数据远端副本同步、数据一致性校验服务、断点续传功能；跨集群资源调度服务模块包括本地跨集群资源调度服务模块和远端跨集群资源调度服务模块，提供资源重建、跨集群资源调度请求分发响应功能。

在数据集群调度过程中，云计算平台会优先调动调用次数多的数据资源，导致云计算平台一部分处理高速运行状态，另一部分处于低迷状态，使得云计算平台中大量计算力被浪费掉，易导致云计算平台出现延时卡顿的问题，因此，亟需设计一种基于云计算的数据集群调度系统及其方法解决上述问题。

发明内容

本发明的目的是提供一种基于云计算的数据集群调度系统及其方法，以解决现有技术中的上述不足之处。

为了实现上述目的，本发明提供如下技术方案：

一种基于云计算的数据集群调度系统，包括一个云平台、多个中转节点及多个用户端，所述用户端通过网络与中转节点呈通信连接，所述中转节点通过网络与云平台呈通信连接，所述云平台包括处理单元、防护单元及数据库单元，所述防护单元为基于网络安全技术设立防火墙软件，所述数据库单元包括n个资源池，且多个资源池内部存储有处理单元处理的数据，所述处理单元包括均衡单元、检索单元、分配单元及判别单元，所述检索单元在云平台数据调度过程中用于对资源池的日志信息进行检索，所述判别单元会对检索单元检索出的日志信息进行分析判断，且分析判断后可以得出相应资源池的调用率，所述均衡单元会根据判别单元分析的结果对数据库单元中资源池的计算任务进行再分配，所述判别单元遵循以下公式进行调用率的计算：

，

其中P为调用率，Q为单个资源池调用的次数，M为数据库中全部资源池调用的次数，当P≥0.5时，均衡单元会进行任务再分配。

进一步地，所述用户端为手机、笔记本电脑、台式电脑、平板电脑中的一种或者多种，所述中转节点、云平台均设置在集群服务器上，且中转节点、云平台实时与网络连接在一起。

进一步地，所述中转节点包括追踪单元、检测单元、调用单元、接收单元、识别单元、传输单元及反馈单元，所述接收单元用于接收用户端传来的数据，且接收单元还可以对数据进行解码处理。

进一步地，所述检测单元可以对接收单元接收的数据进行检测，以判断数据是否携带恶意信息。

进一步地，所述识别单元可以对检测单元检测的数据进行识别分类，以便于去除无用数据。

进一步地，所述反馈单元在检测单元检测数据携带有恶意信息时会将检测结果反馈到用户端对用户进行提醒。

进一步地，所述追踪单元采用数据反向追踪技术、污点分析技术建立，可以得到数据流向上的数据信息。

进一步地，所述传输单元用于将识别单元识别的数据传输到数据库单元中的资源池中，且可以使云平台、中转节点通信连接在一起。

进一步地，所述中转节点为云平台的子节点，且云平台、中转节点采用T+1方式进行数据异地同步。

一种基于云计算的数据集群调度方法，包括以下步骤：

S1.操作用户端调向中转节点发生请求信息，中转节点会接收到信息，而后通过调用单元向数据库单元中相应的资源池调用数据，且调用的数据后续会通过反馈单元反馈到用户端；

S2.数据调度过程中检索单元对资源池的日志信息进行检索，且判别单元会对日志信息进行分析判断，从而得到资源池调用率，以便于均衡单元对数据库单元中资源池的计算任务进行再分配，使得资源的使用更加均衡和合理，从而达到负载均衡的目的；

S3.在云平台运作过程中，中转节点通过接收单元不仅可以接收用户端发出的请求命令，还可以采集网络上的数据，且随后识别单元对数据进行识别分类，同时检测单元会对数据进行检测，判断数据是否含有恶意信息；

S4.检测结果正常后传输单元再根据识别结果将数据传输到云平台中，当检测到数据有问题时，检测单元会删除数据，且此时追踪单元会启动对数据进行反向追踪，反馈单元将检测信息发回用户端，以对操作用户端的用户进行提醒；

S5.处理单元通过分配单元对中转节点传输的数据进行分配，使得数据存入数据库单元相应的资源池中。

在上述技术方案中，本发明提供的一种基于云计算的数据集群调度系统及其方法，(1)本发明所设计的处理单元，处理单元可以在云平台运作时通过检索单元对资源池的日志信息进行检索，随后判别单元会对检索单元检索出的日志信息进行分析判断，之后均衡单元会根据判别单元分析的结果对数据库单元中资源池的计算任务进行再分配，使得资源的使用更加均衡和合理,从而达到负载均衡的目的，使得云平台不会因一部分资源池计算超频出现延时卡顿现象；(2)本发明所设计的中转节点，中转节点不仅可以中转数据，还可以对数据进行检测分析，避免用户端直接将有问题的数据传输到云平台中使得云平台发生数据泄露、篡改等问题；(3)本发明所设计的检测单元，在检测单元检测到数据有问题时，追踪单元会启动对数据进行反向追踪，而后通过反馈单元对用户端进行提醒与警告，降低用户的损失。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明一种基于云计算的数据集群调度系统及其方法实施例提供的系统结构示意图。

图2为本发明一种基于云计算的数据集群调度系统及其方法实施例提供的中转节点结构示意图。

图3为本发明一种基于云计算的数据集群调度系统及其方法实施例提供的处理单元结构示意图。

图4为本发明一种基于云计算的数据集群调度系统及其方法实施例提供的数据库单元结构示意图。

图5为本发明一种基于云计算的数据集群调度系统及其方法实施例提供的方法流程图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图对本发明作进一步的详细介绍。

如图1-5所示，本发明实施例提供的一种基于云计算的数据集群调度系统，包括一个云平台、多个中转节点及多个用户端，用户端通过网络与中转节点呈通信连接，中转节点通过网络与云平台呈通信连接，云平台包括处理单元、防护单元及数据库单元，防护单元为基于网络安全技术设立防火墙软件，数据库单元包括n个资源池，且多个资源池内部存储有处理单元处理的数据，处理单元包括均衡单元、检索单元、分配单元及判别单元，检索单元在云平台数据调度过程中用于对资源池的日志信息进行检索，判别单元会对检索单元检索出的日志信息进行分析判断，且分析判断后可以得出相应资源池的调用率，均衡单元会根据判别单元分析的结果对数据库单元中资源池的计算任务进行再分配，判别单元遵循以下公式进行调用率的计算：

，

其中P为调用率，Q为单个资源池调用的次数，M为数据库中全部资源池调用的次数，当P≥0.5时，均衡单元会进行任务再分配。

具体的，本实施例中，包括一个云平台、多个中转节点及多个用户端，用户端通过网络与中转节点呈通信连接，中转节点通过网络与云平台呈通信连接，云平台包括处理单元、防护单元及数据库单元，防护单元为基于网络安全技术设立防火墙软件，数据库单元包括n个资源池，且多个资源池内部存储有处理单元处理的数据，处理单元包括均衡单元、检索单元、分配单元及判别单元，检索单元在云平台数据调度过程中用于对资源池的日志信息进行检索，判别单元会对检索单元检索出的日志信息进行分析判断，且分析判断后可以得出相应资源池的调用率，均衡单元会根据判别单元分析的结果对数据库单元中资源池的计算任务进行再分配，判别单元遵循以下公式进行调用率的计算：

，

其中P为调用率，Q为单个资源池调用的次数，M为数据库中全部资源池调用的次数，当P≥0.5时，均衡单元会进行任务再分配，中转节点为云平台的子节点，且云平台、中转节点采用T+1方式进行数据异地同步，用户端为手机、笔记本电脑、台式电脑、平板电脑中的一种或者多种，中转节点、云平台均设置在集群服务器上，且中转节点、云平台实时与网络连接在一起。

本发明提供的一种基于云计算的数据集群调度系统，处理单元可以在云平台运作时通过检索单元对资源池的日志信息进行检索，随后判别单元会对检索单元检索出的日志信息进行分析判断，之后均衡单元会根据判别单元分析的结果对数据库单元中资源池的计算任务进行再分配，使得资源的使用更加均衡和合理,从而达到负载均衡的目的，使得云平台不会因一部分资源池计算超频出现延时卡顿现象。

本发明提供的另一个实施例中，中转节点包括追踪单元、检测单元、调用单元、接收单元、识别单元、传输单元及反馈单元，接收单元用于接收用户端传来的数据，且接收单元还可以对数据进行解码处理，检测单元可以对接收单元接收的数据进行检测，以判断数据是否携带恶意信息，识别单元可以对检测单元检测的数据进行识别分类，以便于去除无用数据，反馈单元在检测单元检测数据携带有恶意信息时会将检测结果反馈到用户端对用户进行提醒，追踪单元采用数据反向追踪技术、污点分析技术建立，可以得到数据流向上的数据信息，传输单元用于将识别单元识别的数据传输到数据库单元中的资源池中，且可以使云平台、中转节点通信连接在一起。

一种基于云计算的数据集群调度方法，如图5所示的，包括以下步骤：

S1.操作用户端调向中转节点发生请求信息，中转节点会接收到信息，而后通过调用单元向数据库单元中相应的资源池调用数据，且调用的数据后续会通过反馈单元反馈到用户端；

S2.数据调度过程中检索单元对资源池的日志信息进行检索，且判别单元会对日志信息进行分析判断，从而得到资源池调用率，以便于均衡单元对数据库单元中资源池的计算任务进行再分配，使得资源的使用更加均衡和合理，从而达到负载均衡的目的；

S3.在云平台运作过程中，中转节点通过接收单元不仅可以接收用户端发出的请求命令，还可以采集网络上的数据，且随后识别单元对数据进行识别分类，同时检测单元会对数据进行检测，判断数据是否含有恶意信息；

S4.检测结果正常后传输单元再根据识别结果将数据传输到云平台中，当检测到数据有问题时，检测单元会删除数据，且此时追踪单元会启动对数据进行反向追踪，反馈单元将检测信息发回用户端，以对操作用户端的用户进行提醒；

S5.处理单元通过分配单元对中转节点传输的数据进行分配，使得数据存入数据库单元相应的资源池中。

工作原理：操作用户端调向中转节点发生请求信息，中转节点会接收到信息，而后通过调用单元向数据库单元中相应的资源池调用数据，且调用的数据后续会通过反馈单元反馈到用户端；数据调度过程中检索单元对资源池的日志信息进行检索，且判别单元会对日志信息进行分析判断，从而得到资源池调用率，以便于均衡单元对数据库单元中资源池的计算任务进行再分配，使得资源的使用更加均衡和合理，从而达到负载均衡的目的；在云平台运作过程中，中转节点通过接收单元不仅可以接收用户端发出的请求命令，还可以采集网络上的数据，且随后识别单元对数据进行识别分类，同时检测单元会对数据进行检测，判断数据是否含有恶意信息；检测结果正常后传输单元再根据识别结果将数据传输到云平台中，当检测到数据有问题时，检测单元会删除数据，且此时追踪单元会启动对数据进行反向追踪，反馈单元将检测信息发回用户端，以对操作用户端的用户进行提醒；处理单元通过分配单元对中转节点传输的数据进行分配，使得数据存入数据库单元相应的资源池中。

以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。