一种基于条带划分的负载均衡处理方法

技术领域

本发明属于数据处理技术领域，特别是涉及一种基于条带划分的负载均衡处理方法。

背景技术

随着计算机网络应用的普及，计算机网络用户的数量在不断膨胀，这对于应用服务提供商提出了更大的挑战：按照传统的方法使用单台应用服务器提供应用服务已经远远不能满足庞大的用户请求的需求，现在通常都会使用多台应用服务器向用户提供服务。但是，如何才能把所有的用户请求均衡地分布到后台应用服务器上，则是负载均衡需要解决的问题。

现有技术中，在处理海量数据时，为了发挥现代计算机多核架构并行处理计算的优势，需要保证计算节点负载的均衡。

发明内容

本发明的目的在于提供一种基于条带划分的负载均衡处理方法，通过条带预划分和自适应合并，对海量处理数据进行均匀划分，解决了现有的计算节点负载不均衡，数据划分不均匀的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于条带划分的负载均衡处理方法，包括如下步骤：

步骤S1：计算数据的特征值包围盒；

步骤S2：根据计算单元的个数，将数据的特征值包围盒划分为M个矩形条带，并按照次序对条带进行编号；

步骤S3：从编号最小的矩形条带开始逐次合并，并累加合并区域中的数据量，当合并区域内的数据量N

步骤S4：若累加到第i-1个条带时，合并区域内的数据量N

步骤S5：从下一个条带开始，重复步骤S3、步骤S4，直到所有条带都被分配为止。

作为一种优选的技术方案，所述步骤S1中，特征值包围盒的计算步骤如下：

步骤S11：确定包围盒主轴方向；

步骤S12：获取图形对象的一系列点坐标的x,y分量；

步骤S13：计算包围盒的中心以及包围盒的半长。

作为一种优选的技术方案，所述步骤S11中，根据协方差计算公式获取协方差矩阵；

协方差计算公式为：

根据协方差计算公式，得到协方差矩阵，具体公式如下：

式中，C为对称矩阵，其对角线表示x，y分量的方差，非对角区域表示的两个分量的协方差，通过协方差矩阵求解特征值和特征向量，最大特征值对应的特征向量的方向即为包围盒的主轴方向。

作为一种优选的技术方案，所述步骤S13中，设方向向量记为P[P

得到包围盒的中心公式为：

得到包围盒半长公式为：

作为一种优选的技术方案，所述步骤S2中，M为整数且为计算单元数据K的整数倍。

作为一种优选的技术方案，所述步骤S4中，采用折半移动的微调规则来对条带的边界进行调整，具体实现方法如下：

步骤S41：若加入第i-1个条带时N

步骤S42：将新的第i个条带加入合并区，若N

步骤S43：重复步骤S42并累积迭代次数，直到N

步骤S44：重新统计新的第i+1个条带内的数据量，并开始执行下一个计算单元的区域合并任务。

作为一种优选的技术方案，所述步骤S43中，迭代次数的上限设定为四次，即每个合并区域最多通过四次边界调整；经过四次边界调整后，条带调整的细化程度为原始条带范围的1/2

作为一种优选的技术方案，所述步骤S5中，设每个计算单元K所包含的数据量为N

式中,N

本发明具有以下有益效果：

本发明通过条带预划分和自适应合并，对海量处理数据进行均匀划分，并制定了折半移动的微调规则来对条带的边界进行调整，提高了数据均匀划分的效率，保证了计算节点负载的均衡。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于条带划分的负载均衡处理方法流程图；

图2为海量数据均匀划分示意图；

图3为征值包围盒的计算流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

在处理海量数据时，为了发挥现代计算机多核架构并行处理计算的优势，需要保证计算节点负载的均衡，本实施例通过条带预划分和自适应合并两步，实现海量处理数据的均匀划分；请参阅图1-2所示，具体步骤如下：

S1：计算数据的特征值包围盒，以二维数据为例，如果包围盒在X轴方向的跨度大于Y轴方向，则对数据进行X轴方向的划分，否则进行Y轴方向的划分；

请参阅图3所示，特征值包围盒的计算步骤如下：

步骤S11：确定包围盒主轴方向；

步骤S12：获取图形对象的一系列点坐标的x,y分量；

步骤S13：计算包围盒的中心以及包围盒的半长。

根据协方差计算公式获取协方差矩阵；协方差计算公式为：

根据协方差计算公式，得到协方差矩阵，具体公式如下：

式中，C为对称矩阵，其对角线表示x，y分量的方差，非对角区域表示的两个分量的协方差，通过协方差矩阵求解特征值和特征向量，最大特征值对应的特征向量的方向即为包围盒的主轴方向。

步骤S13中，设方向向量记为P[P

得到包围盒的中心公式为：

得到包围盒半长公式为：

S2：根据计算单元的个数，首先将数据的特征值包围盒划分为M个矩形条带(M为整数，一般设为计算单元数K的整数倍)，并按照次序对条带进行编号；

S3：从编号最小的矩形条带开始逐次合并，并累加合并区域中的数据量，当合并区域内的数据量N

S4：如果累加到第i-1个条带时，合并区域内的数据量N

S5：从下一个条带开始，重复步骤S3、S4，直到所有条带都被分配为止。

实施例二

对于实施例一中步骤S4所出现的问题，通过制定了折半移动的微调规则来对条带的边界进行调整，具体实现方法如下：

T1：如果加入第i-1个条带时N

T2：将新的第i个条带加入合并区，若N

T3：重复步骤T2并累积迭代次数，直到N

T4：重新统计新的第i+1个条带内的数据量，并开始执行下一个计算单元的区域合并任务。

实施例三

对于步骤S2中的条带划分个数M直接影响着数据均匀划分的效率。条带划分的过细会导致一些不必要的计算过程，条带划分的过粗则会增加边界移动调整的次数。通过实验，一般选择条带划分个数M为处理器单元K的10-20倍。数据量划分规模越大，条带划分的粒度应当更细。

对于负载阈值是根据总处理的数据量N和计算单元数K以及条带划分个数M来确定的。N与K的比值(N/K)是理想状态下每个计算单元所包含的数据量N

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。