掌桥专利:专业的专利平台
掌桥专利
首页

一种数据中心带宽的虚拟弹性管理方法

文献发布时间:2023-06-19 11:32:36


一种数据中心带宽的虚拟弹性管理方法

技术领域

本申请涉及到计算机领域,特别是涉及到一种数据中心带宽的虚拟弹性管理方法。

背景技术

数据中心对于数据流量的需求是很大的,但是带宽却是有限的,而在短时间内需要进行大量数据通信的情况下,由于带宽无法立刻扩容,因此会造成通信延迟等情况出现。而现有的数据中心带宽管理方法,无法解决这个问题。

发明内容

本申请提出一种数据中心带宽的虚拟弹性管理方法,包括以下步骤:

S1、数据中心进行流量实时检测处理,以获取流量检测结果,并根据流量检测结果与数据中心现有带宽,判断是否满足带宽虚拟弹性管理的触发条件;

S2、若满足带宽虚拟弹性管理的触发条件,则根据预设的服务器筛选方法,从数据中心中的多个服务器中选出指定服务器;

S3、数据中心进行通信通道转换处理,以使所有通信数据必须经由指定服务器才能发送;

S4、指定服务器获取待发送通信数据,并判断所述待发送通信数据是否经过了压缩处理;

S5、若所述待发送通信数据经过了压缩处理,则获取数据中心在第一时间窗口内向目标接收端发送过的第一通信数据;其中,所述第一时间窗口的右端时间点为当前时间点;

S6、指定服务器以子数据是否存在于所述第一通信数据中的分类标准,对所述待发送通信数据进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;其中,所述第二子数据存在于所述第一通信数据中;

S7、指定服务器根据预设的哈希算法,对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;

S8、指定服务器对所述待发送通信数据进行第一阶段数据替换处理,以将每个第二哈希值均替换对应的被哈希计算的第二子数据,从而得到中间通信数据;

S9、指定服务器根据所述第一通信数据,对所述多个第三子数据进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;其中,所述第四子数据能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到;

S10、指定服务器对每个第四子数据分别进行拆分处理,以拆分为一个一号子数据和一个二号子数据,从而得到与所述多个第四子数据分别对应的多个子数据对;其中,每个子数据对均包括一个一号子数据和一个二号子数据,并且所有的一号子数据和所有的二号子数据均存在于所述第一通信数据中;

S11、指定服务器根据预设的哈希算法,对所有的一号子数据和所有的二号子数据分别进行哈希计算,从而对应得到多个一号哈希值和多个二号哈希值,并将配对的一号哈希值和二号哈希值进行组合,从而对应得到多个第四哈希值组;

S12、指定服务器对所述中间通信数据进行第二阶段数据替换处理,以将每个第四哈希值组均替换对应的第四子数据,并标记上对应的数据组合方式,从而得到最后通信数据;

S13、指定服务器将所述最后通信数据发送给目标接收端。

进一步地,第三子数据的数据类型为图像,数据组合方式为图像叠加,所述指定服务器根据所述第一通信数据,对所述多个第三子数据进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;其中,所述第四子数据能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到的步骤S9,包括:

S901、获取所述第一通信数据中的图像数据,并根据预设的图像相似度计算方法,计算所述第一通信数据中的图像数据与所述第三子数据的相似度,从而得到多个相似度数值;

S902、以相似度数值大于预设的相似度阈值的选取标准,从所述多个相似度数值中选出指定相似度数值;

S903、获取所述指定相似度数值对应的指定图像数据和指定第三子数据,并进行差值处理,以得到正向差值图像数据和逆向差值图像数据;其中,所述正向差值图像数据通过所述指定图像数据减去所述指定第三子数据的方式得到,所述逆向差值图像数据通过所述指定第三子数据减去所述指定图像数据的方式得到;

S904、判断所述第一通信数据中是否存在所述正向差值图像数据或者所述逆向差值图像数据;

S905、若所述第一通信数据中存在所述正向差值图像数据或者所述逆向差值图像数据,则将所述指定第三子数据划分为第四子数据。

进一步地,所述判断所述第一通信数据中是否存在所述正向差值图像数据或者所述逆向差值图像数据的步骤S904之后,包括:

S9041、若所述第一通信数据中不存在所述正向差值图像数据或者所述逆向差值图像数据,则将所述指定第三子数据划分为第五子数据。

进一步地,所述指定服务器对每个第四子数据分别进行拆分处理,以拆分为一个一号子数据和一个二号子数据,从而得到与所述多个第四子数据分别对应的多个子数据对;其中,每个子数据对均包括一个一号子数据和一个二号子数据,并且所有的一号子数据和所有的二号子数据均存在于所述第一通信数据中的步骤S10,包括:

S101、判断所述第一通信数据中是否存在所述正向差值图像数据;

S102、若所述第一通信数据中存在所述正向差值图像数据,则将与所述指定第三子数据对应的第四子数据拆分为所述指定图像数据和所述正向差值图像数据,并将所述指定图像数据和所述正向差值图像数据分别记为一号子数据和二号子数据;

S103、若所述第一通信数据中不存在所述正向差值图像数据,则将与所述指定第三子数据对应的第四子数据拆分为所述指定图像数据和所述逆向差值图像数据,并将所述指定图像数据和所述逆向差值图像数据分别记为一号子数据和二号子数据。

进一步地,所述第二子数据和所述第四子数据的数据类型均为指定数据类型,所述指定服务器将所述最后通信数据发送给目标接收端的步骤S13之后,包括:

S131、目标接收端接收所述最后通信数据,并调用所述第一通信数据;

S132、目标接收端从所述最后通信数据中获取所有的第二哈希值、所有的第四哈希值组和对应的数据组合方式;

S133、目标接收端从所述第一通信数据中筛选出数据类型为指定数据类型的第六子数据;

S134、目标接收端对所有的第六子数据分别进行哈希计算,以得到多个第六哈希值;

S135、目标接收端选出与第二哈希值相同的第六哈希值,并对所述最后通信数据进行第一阶段的数据还原处理,以将被选出的第六哈希值对应的第六子数据替换对应的第二哈希值,从而得到暂时还原数据;

S136、目标接收端选出与第四哈希值组中的成员相同的两个第六哈希值,并将被选出的两个第六哈希值对应的两个第六子数据进行数据组合,以得到组合数据;

S137、目标接收端对所述暂时还原数据进行第二阶段的数据还原处理,以将组合数据替换对应的第四哈希值组,从而得到最终还原数据。

本申请提供一种数据中心带宽的虚拟弹性管理装置,包括:

流量实时检测单元,用于指示数据中心进行流量实时检测处理,以获取流量检测结果,并根据流量检测结果与数据中心现有带宽,判断是否满足带宽虚拟弹性管理的触发条件;

服务器筛选单元,用于指示若满足带宽虚拟弹性管理的触发条件,则根据预设的服务器筛选方法,从数据中心中的多个服务器中选出指定服务器;

通信通道转换单元,用于指示数据中心进行通信通道转换处理,以使所有通信数据必须经由指定服务器才能发送;

待发送通信数据获取单元,用于指示指定服务器获取待发送通信数据,并判断所述待发送通信数据是否经过了压缩处理;

第一通信数据获取单元,用于指示若所述待发送通信数据经过了压缩处理,则获取数据中心在第一时间窗口内向目标接收端发送过的第一通信数据;其中,所述第一时间窗口的右端时间点为当前时间点;

第一阶段数据分类单元,用于指示指定服务器以子数据是否存在于所述第一通信数据中的分类标准,对所述待发送通信数据进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;其中,所述第二子数据存在于所述第一通信数据中;

第二哈希值获取单元,用于指示指定服务器根据预设的哈希算法,对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;

第一阶段数据替换单元,用于指示指定服务器对所述待发送通信数据进行第一阶段数据替换处理,以将每个第二哈希值均替换对应的被哈希计算的第二子数据,从而得到中间通信数据;

第二阶段数据分类单元,用于指示指定服务器根据所述第一通信数据,对所述多个第三子数据进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;其中,所述第四子数据能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到;

子数据对获取单元,用于指示指定服务器对每个第四子数据分别进行拆分处理,以拆分为一个一号子数据和一个二号子数据,从而得到与所述多个第四子数据分别对应的多个子数据对;其中,每个子数据对均包括一个一号子数据和一个二号子数据,并且所有的一号子数据和所有的二号子数据均存在于所述第一通信数据中;

第四哈希值组获取单元,用于指示指定服务器根据预设的哈希算法,对所有的一号子数据和所有的二号子数据分别进行哈希计算,从而对应得到多个一号哈希值和多个二号哈希值,并将配对的一号哈希值和二号哈希值进行组合,从而对应得到多个第四哈希值组;

第二阶段数据替换单元,用于指示指定服务器对所述中间通信数据进行第二阶段数据替换处理,以将每个第四哈希值组均替换对应的第四子数据,并标记上对应的数据组合方式,从而得到最后通信数据;

最后通信数据发送单元,用于指示指定服务器将所述最后通信数据发送给目标接收端。

本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

本申请的数据中心带宽的虚拟弹性管理方法、装置、计算机设备和存储介质,进行流量实时检测处理,以获取流量检测结果;选出指定服务器;进行通信通道转换处理;若所述待发送通信数据经过了压缩处理,则获取第一通信数据;进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;进行第一阶段数据替换处理,得到中间通信数据;进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;进行拆分处理,得到与所述多个第四子数据分别对应的多个子数据对;进行哈希计算,得到多个第四哈希值组;进行第二阶段数据替换处理,从而得到最后通信数据;将所述最后通信数据发送给目标接收端。从而以额外的计算资源作为代价,在短时间内解决了大流量与有限带宽之间的对立问题。

需要注意的是,本申请虽然可应用于任意可行场景,但是不建议作为常驻的数据中心带宽的管理策略,而建议仅作为短时间的代偿策略,因此这是有代价的(以额外算力为代价)临时方案。而本申请中提及的带宽的虚拟弹性,指的是在数据中心的实际带宽不变的前提下(因为短时间内难以扩容),提高了传输数据的信息密度,从最终效果看来,似乎是带宽具有弹性,因此称为带宽的虚拟弹性。

另外,本申请的数据中心可涉及任意可行用途,优选涉及内容网站,尤其是涉及二次创作的图片网站、视频网站、音频网站等。

附图说明

图1-2为本申请一实施例的数据中心带宽的虚拟弹性管理方法的流程示意图;

图3为本申请一实施例的计算机设备的结构示意框图。

本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

参照图1-2,本申请实施例提供一种数据中心带宽的虚拟弹性管理方法,包括以下步骤:

S1、数据中心进行流量实时检测处理,以获取流量检测结果,并根据流量检测结果与数据中心现有带宽,判断是否满足带宽虚拟弹性管理的触发条件;

S2、若满足带宽虚拟弹性管理的触发条件,则根据预设的服务器筛选方法,从数据中心中的多个服务器中选出指定服务器;

S3、数据中心进行通信通道转换处理,以使所有通信数据必须经由指定服务器才能发送;

S4、指定服务器获取待发送通信数据,并判断所述待发送通信数据是否经过了压缩处理;

S5、若所述待发送通信数据经过了压缩处理,则获取数据中心在第一时间窗口内向目标接收端发送过的第一通信数据;其中,所述第一时间窗口的右端时间点为当前时间点;

S6、指定服务器以子数据是否存在于所述第一通信数据中的分类标准,对所述待发送通信数据进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;其中,所述第二子数据存在于所述第一通信数据中;

S7、指定服务器根据预设的哈希算法,对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;

S8、指定服务器对所述待发送通信数据进行第一阶段数据替换处理,以将每个第二哈希值均替换对应的被哈希计算的第二子数据,从而得到中间通信数据;

S9、指定服务器根据所述第一通信数据,对所述多个第三子数据进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;其中,所述第四子数据能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到;

S10、指定服务器对每个第四子数据分别进行拆分处理,以拆分为一个一号子数据和一个二号子数据,从而得到与所述多个第四子数据分别对应的多个子数据对;其中,每个子数据对均包括一个一号子数据和一个二号子数据,并且所有的一号子数据和所有的二号子数据均存在于所述第一通信数据中;

S11、指定服务器根据预设的哈希算法,对所有的一号子数据和所有的二号子数据分别进行哈希计算,从而对应得到多个一号哈希值和多个二号哈希值,并将配对的一号哈希值和二号哈希值进行组合,从而对应得到多个第四哈希值组;

S12、指定服务器对所述中间通信数据进行第二阶段数据替换处理,以将每个第四哈希值组均替换对应的第四子数据,并标记上对应的数据组合方式,从而得到最后通信数据;

S13、指定服务器将所述最后通信数据发送给目标接收端。

如上述步骤S1-S3所述,数据中心进行流量实时检测处理,以获取流量检测结果,并根据流量检测结果与数据中心现有带宽,判断是否满足带宽虚拟弹性管理的触发条件;若满足带宽虚拟弹性管理的触发条件,则根据预设的服务器筛选方法,从数据中心中的多个服务器中选出指定服务器;数据中心进行通信通道转换处理,以使所有通信数据必须经由指定服务器才能发送。

本申请的数据中心带宽的虚拟弹性管理方法,只是短时间的应急方案,在带宽资源不紧张时可以不使用,体现在具体的步骤中时,即如上述步骤S1-S3,先判断是否满足带宽虚拟弹性管理的触发条件,若满足,再采取本申请的虚拟弹性管理方法。因此,在步骤S2之前,数据中心采取的是常规的带宽管理方法。而确定带宽资源是带紧张,是确定是否需要执行带宽的虚拟弹性管理方法的依据,具体地,是通过流量检测结果与数据中心现有带宽,来判断带宽资源是否紧张(也即是判断是否满足带宽虚拟弹性管理的触发条件)。简单来说,即是实时流量越大(与现有带宽相比,因为现有带宽在短时间内无法扩容),且在短时间内没有下降的趋势时,表明带宽资源紧张,即满足带宽虚拟弹性管理的触发条件。当然,本申请虽为数据中心带宽的虚拟弹性管理方案,但实际上也是数据中心的基于带宽虚拟弹性的数据传输方案。

再根据预设的服务器筛选方法,从数据中心中的多个服务器中选出指定服务器。本申请的指定服务器的筛选方法可为任意可行方法,例如选出多个服务器中计算压力最小的服务器作为指定服务器,这是因为指定服务器将耗费额外的算力作为代价,来实现带宽的虚拟弹性。另外,还要提及的一点是,不仅指定服务器将耗费额外算力,目标接收端也需要耗费一定的额外算力,这也是本申请数据中心带宽的虚拟弹性管理方案实现的代价,同时也是本申请不适合作为常驻方案的一个原因,但是在短时间内实施完全没有问题。数据中心进行通信通道转换处理,以使所有通信数据必须经由指定服务器才能发送,使得指定服务器能够获取所有的待发送通信数据。

另外,本申请的上述步骤S1-S3的执行主体是数据中心,而后续步骤则是指定服务器作为执行主体。

如上述步骤S4-S8所述,指定服务器获取待发送通信数据,并判断所述待发送通信数据是否经过了压缩处理;若所述待发送通信数据经过了压缩处理,则获取数据中心在第一时间窗口内向目标接收端发送过的第一通信数据;其中,所述第一时间窗口的右端时间点为当前时间点;指定服务器以子数据是否存在于所述第一通信数据中的分类标准,对所述待发送通信数据进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;其中,所述第二子数据存在于所述第一通信数据中;指定服务器根据预设的哈希算法,对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;指定服务器对所述待发送通信数据进行第一阶段数据替换处理,以将每个第二哈希值均替换对应的被哈希计算的第二子数据,从而得到中间通信数据。

其中,由于所有通信数据必须经由指定服务器才能发送,因此指定服务器能够获取待发送通信数据。并且,本申请为了提高通信数据的信息密度,实际上是进行了三个阶段的处理,最早的处理阶段可称为预处理阶段,也即是数据压缩处理阶段,反应在具体步骤中,即是判断所述待发送通信数据是否经过了压缩处理。对于提高信息密度的方式,最常见的就是数据压缩,但是本申请之所以进行了三个阶段的处理,需要极致地提高信息密度,也是因为仅通过数据压缩仍无法满足要求。因此,先判断所述待发送通信数据是否经过了压缩处理,以保证所有的待发送通信数据均进行了压缩处理。其中,压缩处理的方法可采用任意可行方法,在此不再赘述。另外,本申请的指定服务器获取待发送通信数据,指的不仅是能够获取压缩的数据,也能够获取未压缩的原始数据。

再获取数据中心在第一时间窗口内向目标接收端发送过的第一通信数据;其中,所述第一时间窗口的右端时间点为当前时间点。经由上述限定可知,第一通信数据具有两个本征属性,第一在于,其是一定时间内的历史通信数据;其二在于,指定服务器与目标接收端均具有第一通信数据,这两点是后续两个阶段的信息密度提升的前提条件。所述第一时间窗口的宽度可为任意可行宽度,但是宽度越大,则本申请的方案耗费的额外算力越大,但是整体能够提升的信息密度越高,这是因为宽度越大,则第一通信数据越多,因此后续步骤中能够找到的第二子数据和第四子数据越多,因此信息密度提升的越多,但相对的,需要数据对比与哈希计算所耗费的算力也越多。

指定服务器以子数据是否存在于所述第一通信数据中的分类标准,对所述待发送通信数据进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;其中,所述第二子数据存在于所述第一通信数据中。其中的分类标准,即是第二子数据与第三子数据的区别所在,因此,所述第二子数据存在于所述第一通信数据中,但是第三子数据不存在于所述第一通信数据中。在此步骤中,耗费算力并不算大,因为只需要进行数据对比即可,其中数据对比依据的数据粒度与耗费算力成正比,即数据粒度越小,耗费算力越大,但是数据粒度越小,找出相同的数据的可能性越高,因此第二子数据越多,越利于带宽的虚拟弹性的提升。具体在进行第一阶段数据分类处理时,进行数据比对时的数据粒度可为任意可行粒度,例如以单一完整类型的数据为基础单位,例如以单张图像类型为基础单位,此时的数据粒度利于快速分析,但对于某些特定场景,例如对于图像创作的网站平台,其中存在大量的重复图像,因此在第一通信数据与待发送通信数据中,可能存在大量的重复图像,因此适宜作为均衡点。

需要注意的是,本申请在此时只是进行第一阶段的数据替换的前置步骤,而此时划分出的第三子数据,仍有继续进行信息密度提升的可能,将作为第二阶段的数据替换的依据。

指定服务器根据预设的哈希算法,对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;指定服务器对所述待发送通信数据进行第一阶段数据替换处理,以将每个第二哈希值均替换对应的被哈希计算的第二子数据,从而得到中间通信数据。由于第二子数据是存在于第一通信数据中的,因此可以不发送第二子数据,但是若不发送第二子数据,则存在一个问题,即目标接收端与数据中心之前未提前约定第二子数据的代号(这是难以做到的,因为第二子数据繁多但并不常见,难以提前约定,这也是传统的压缩方法无法对第二子数据进行压缩的原因),因此如何让目标接收端获知第二子数据是问题所在。本申请采用哈希算法来解决这个问题。哈希算法是一种摘要算法,具有不可逆特性,并且哈希计算的输出结果的长度固定(采用相同的哈希算法时,对输入无要求),例如哈希算法SHA256输出的是256位字符串。本申请对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;指定服务器对所述待发送通信数据进行第一阶段数据替换处理,以将每个第二哈希值均替换对应的被哈希计算的第二子数据,从而得到中间通信数据。因此,中间通信数据相比于待发送通信数据,信息密度得到了提升,因为哈希值明显小于被哈希计算的第二子数据的大小。而剩下的关键问题在于,如何让目标接收端还原出第二子数据。解决方法为,目标接收端对于第一通信数据进行尝试哈希计算,以得到多个哈希值,而这时进行哈希计算时的数据粒度与进行第一阶段数据分类处理时的数据粒度相同,因此虽然需要耗费额外的算力,但实际上耗费的算力可以接受。目标接收端再将计算得到的多个哈希值与第二哈希值进行对比,数值相同的即为需要还原的数据,据此目标接收端就能够对中间通信数据进行还原。

如上述步骤S9-S13所述,指定服务器根据所述第一通信数据,对所述多个第三子数据进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;其中,所述第四子数据能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到;指定服务器对每个第四子数据分别进行拆分处理,以拆分为一个一号子数据和一个二号子数据,从而得到与所述多个第四子数据分别对应的多个子数据对;其中,每个子数据对均包括一个一号子数据和一个二号子数据,并且所有的一号子数据和所有的二号子数据均存在于所述第一通信数据中;指定服务器根据预设的哈希算法,对所有的一号子数据和所有的二号子数据分别进行哈希计算,从而对应得到多个一号哈希值和多个二号哈希值,并将配对的一号哈希值和二号哈希值进行组合,从而对应得到多个第四哈希值组;指定服务器对所述中间通信数据进行第二阶段数据替换处理,以将每个第四哈希值组均替换对应的第四子数据,并标记上对应的数据组合方式,从而得到最后通信数据;指定服务器将所述最后通信数据发送给目标接收端。

本申请中最重要的内容就在于步骤S9及之后,目的在于尽可能地提高信息密度。虽然第三子数据未出现在第一通信数据中,但他可能是第一通信数据中的两个子数据组合而成的,这在一些场景中出现的尤其频繁,例如在二次创作的图像相关的场景中,例如存在一个热点图片,而内容创造者会在这热点图片上进行编辑,在热点图片上叠加表情图片、人脸图片等。因此,这种特别的第三子数据也是能够通过一些方法来提高信息密度的(即步骤S9-S12涉及的内容)。另外,在此需要先解释一下这种特别的第三子数据(即第四子数据)与第二子数据的区别:若第四子数据是以两个子数据直接组合的方式得到的(即在待发送的通信数据中,第四子数据是直接以单个完整的两个子数据组合得到的),那么若数据粒度划分得合适的话,第四子数据实际上会在第一阶段的数据分类中被划分出来,而不会以第四子数据的形式存在;若数据粒度划分得不合适的话,例如数据粒度划分过大,那么第四子数据可能在第一阶段的数据分类中未被划分为第二子数据,因此此时将被分类为第四子数据,而这是第四子数据的一种存在状况。第四子数据的另外一种存在状况为,一号子数据与二号子数据组合为第四子数据时,已经不存在单个完整的一号子数据与二号子数据了,以图像数据为例,A图片+B图片而得到了新的C图片,在待发送通信数据中,C图片是以像素点色值的方式记录,即每个像素点色值均由A图片和B图片上相应的像素点色值相加得到,这种情况下不存在A图片数据和B图片数据了。另外,本申请虽然只提及所述第四子数据能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到的情况,但实际上,本申请也适宜第四子数据能够由所述第一通信数据中的多个子数据采用预设的数据组合方式组合得到的情况,但这样需要耗费的算力更多,并不是本申请的优选方案。

因此,指定服务器先对所述多个第三子数据进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据。而第二阶段数据分类处理的依据就在于,所述第四子数据能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到,但是所述第五子数据不能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到。在进行第二阶段数据分类处理时,为了确定哪些数据能够组合得到,因此需要对第三子数据进行尝试拆分处理,其中的拆分方式可采用任意可行的方式。但最终能够确定多个第四子数据。而第四子数据优选为图像数据、视频数据或者音频数据等。

指定服务器对每个第四子数据分别进行拆分处理,以拆分为一个一号子数据和一个二号子数据,从而得到与所述多个第四子数据分别对应的多个子数据对;其中,每个子数据对均包括一个一号子数据和一个二号子数据,并且所有的一号子数据和所有的二号子数据均存在于所述第一通信数据中。其中,拆分处理是预设的数据组合方式的逆处理,目的是在于进行数据转换,以使得进一步进行信息密度提升成了可能。其中,一号子数据和二号子数据采用了新的编号规则,即之前采用的是第一、第二等对数据或者子数据进行编号,但在此时采用一号子数据的编号方式,是为了更清晰地区分一号子数据与之前编号数据的区别,也为了便于描述。此时,一号子数据和二号子数据与第一阶段的第二子数据相类似,其区别在于,第一个是两个子数据间还存在预设的数据组合方式。

因此,指定服务器根据预设的哈希算法,对所有的一号子数据和所有的二号子数据分别进行哈希计算,从而对应得到多个一号哈希值和多个二号哈希值,并将配对的一号哈希值和二号哈希值进行组合,从而对应得到多个第四哈希值组;指定服务器对所述中间通信数据进行第二阶段数据替换处理,以将每个第四哈希值组均替换对应的第四子数据,并标记上对应的数据组合方式,从而得到最后通信数据。即可完成第二阶段的数据分类与替换操作,实际上也是完成了第三阶段的信息密度提升操作(第一阶段的信息密度提升是数据压缩,第三阶段的信息密度提升是第一阶段的数据分类与替换操作)。此后,指定服务器将所述最后通信数据发送给目标接收端,即可完成数据中心带宽的虚拟弹性管理方法。

进一步地,第三子数据的数据类型为图像,数据组合方式为图像叠加,所述指定服务器根据所述第一通信数据,对所述多个第三子数据进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;其中,所述第四子数据能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到的步骤S9,包括:

S901、获取所述第一通信数据中的图像数据,并根据预设的图像相似度计算方法,计算所述第一通信数据中的图像数据与所述第三子数据的相似度,从而得到多个相似度数值;

S902、以相似度数值大于预设的相似度阈值的选取标准,从所述多个相似度数值中选出指定相似度数值;

S903、获取所述指定相似度数值对应的指定图像数据和指定第三子数据,并进行差值处理,以得到正向差值图像数据和逆向差值图像数据;其中,所述正向差值图像数据通过所述指定图像数据减去所述指定第三子数据的方式得到,所述逆向差值图像数据通过所述指定第三子数据减去所述指定图像数据的方式得到;

S904、判断所述第一通信数据中是否存在所述正向差值图像数据或者所述逆向差值图像数据;

S905、若所述第一通信数据中存在所述正向差值图像数据或者所述逆向差值图像数据,则将所述指定第三子数据划分为第四子数据。

本申请中,优选处理的数据类型均为图像类型,因此数据粒度可为单个图像。由于二次图像创作,一般是在一个主图像上附上副图像,叠加为一个新图像,这个新图像与主图像相似,据此可以找出主图像与新图像,反应在第一通信数据与待发送通信数据(即是其中的第三子数据),即是第一通信数据中的图像数据与所述第三子数据的相似度较高。具体地,采用根据预设的图像相似度计算方法,计算所述第一通信数据中的图像数据与所述第三子数据的相似度,从而得到多个相似度数值;以相似度数值大于预设的相似度阈值的选取标准,从所述多个相似度数值中选出指定相似度数值的方式来确定。再进行差值处理,以得到正向差值图像数据和逆向差值图像数据,而正向差值图像数据和逆向差值图像数据之一,即为可能的副图像。需要注意的是,由于二次图像创作,也可能出现图像拆分的状况,因此还需要计算逆向差值图像数据。再判断第一通信数据中是否存在所述正向差值图像数据或者所述逆向差值图像数据,即可据此进行第二阶段的数据划分。

另外,本申请中,所述正向差值图像数据通过所述指定图像数据减去所述指定第三子数据的方式得到,所述逆向差值图像数据通过所述指定第三子数据减去所述指定图像数据的方式,由于限定数据类型为图像,因此所述指定图像数据减去所述指定第三子数据,或者指定第三子数据减去所述指定图像数据,实际上指的是两个图像的对应像素点的色值之差。

进一步地,所述判断所述第一通信数据中是否存在所述正向差值图像数据或者所述逆向差值图像数据的步骤S904之后,包括:

S9041、若所述第一通信数据中不存在所述正向差值图像数据或者所述逆向差值图像数据,则将所述指定第三子数据划分为第五子数据。

由于所述第一通信数据中不存在所述正向差值图像数据或者所述逆向差值图像数据,因此虽然存在相似图像,但是目标接收端难以根据第一通信数据还原出指定第三子数据,因此无论指定第三子数据的相似度有多高,除非是完全相似,不然均需要将所述指定第三子数据划分为第五子数据。

进一步地,所述指定服务器对每个第四子数据分别进行拆分处理,以拆分为一个一号子数据和一个二号子数据,从而得到与所述多个第四子数据分别对应的多个子数据对;其中,每个子数据对均包括一个一号子数据和一个二号子数据,并且所有的一号子数据和所有的二号子数据均存在于所述第一通信数据中的步骤S10,包括:

S101、判断所述第一通信数据中是否存在所述正向差值图像数据;

S102、若所述第一通信数据中存在所述正向差值图像数据,则将与所述指定第三子数据对应的第四子数据拆分为所述指定图像数据和所述正向差值图像数据,并将所述指定图像数据和所述正向差值图像数据分别记为一号子数据和二号子数据;

S103、若所述第一通信数据中不存在所述正向差值图像数据,则将与所述指定第三子数据对应的第四子数据拆分为所述指定图像数据和所述逆向差值图像数据,并将所述指定图像数据和所述逆向差值图像数据分别记为一号子数据和二号子数据。

从而提高了数据分类的精度。二次图像创作,也可能采用反向色值处理的方式,例如在主图像上删除副图像的像素点色值的方式来实现。因此,本申请不仅对正向差值图像数据进行判断,还对逆向差值图像数据进行判断。

进一步地,所述第二子数据和所述第四子数据的数据类型均为指定数据类型,所述指定服务器将所述最后通信数据发送给目标接收端的步骤S13之后,包括:

S131、目标接收端接收所述最后通信数据,并调用所述第一通信数据;

S132、目标接收端从所述最后通信数据中获取所有的第二哈希值、所有的第四哈希值组和对应的数据组合方式;

S133、目标接收端从所述第一通信数据中筛选出数据类型为指定数据类型的第六子数据;

S134、目标接收端对所有的第六子数据分别进行哈希计算,以得到多个第六哈希值;

S135、目标接收端选出与第二哈希值相同的第六哈希值,并对所述最后通信数据进行第一阶段的数据还原处理,以将被选出的第六哈希值对应的第六子数据替换对应的第二哈希值,从而得到暂时还原数据;

S136、目标接收端选出与第四哈希值组中的成员相同的两个第六哈希值,并将被选出的两个第六哈希值对应的两个第六子数据进行数据组合,以得到组合数据;

S137、目标接收端对所述暂时还原数据进行第二阶段的数据还原处理,以将组合数据替换对应的第四哈希值组,从而得到最终还原数据。

从而实现了目标接收端对数据的还原,实现了实质上的最终虚拟弹性管理过程。目标接收端接收所述最后通信数据,而最后通信数据中是包括多个哈希值的,由于哈希计算的不可逆特性,仅凭哈希值本身是无法还原数据的。因此,目标接收端需要耗费额外的算力进行遍历哈希计算,这也是本申请在前文声明的目标接收端也需要耗费额外算力的原因。但是,由于只需要对指定数据类型的数据进行哈希计算,因此实际上额外耗费的算力并不多,处于可接受范围。因此,从所述第一通信数据中筛选出数据类型为指定数据类型的第六子数据;目标接收端对所有的第六子数据分别进行哈希计算,以得到多个第六哈希值。再进行第一阶段的数据还原处理,即选出与第二哈希值相同的第六哈希值,将被选出的第六哈希值对应的第六子数据替换对应的第二哈希值,从而得到暂时还原数据。第一阶段的数据还原,实际上与第一阶段的数据分类与替换是相对应的。再进行第二阶段的数据还原处理,即选出与第四哈希值组中的成员相同的两个第六哈希值,并将被选出的两个第六哈希值对应的两个第六子数据进行数据组合,以得到组合数据,目标接收端对所述暂时还原数据进行第二阶段的数据还原处理,以将组合数据替换对应的第四哈希值组,从而得到最终还原数据。需要注意的是,两个第六哈希值对应的第六子数据的位置并无限定,即不需要相邻。其中,两个第六子数据进行数据组合方式,与对应的第四哈希值组标记的数据组合方式相同。进一步地,在任一步骤之前、之后或者同时,还可以进行数据解压的操作,这与具体的需求相关。例如,可以在步骤S137之后,再执行数据解压的操作。

本申请的数据中心带宽的虚拟弹性管理方法,进行流量实时检测处理,以获取流量检测结果;选出指定服务器;进行通信通道转换处理;若所述待发送通信数据经过了压缩处理,则获取第一通信数据;进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;进行第一阶段数据替换处理,得到中间通信数据;进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;进行拆分处理,得到与所述多个第四子数据分别对应的多个子数据对;进行哈希计算,得到多个第四哈希值组;进行第二阶段数据替换处理,从而得到最后通信数据;将所述最后通信数据发送给目标接收端。从而以额外的计算资源作为代价,在短时间内解决了大流量与有限带宽之间的对立问题。

本申请实施例提供一种数据中心带宽的虚拟弹性管理装置,包括:

流量实时检测单元,用于指示数据中心进行流量实时检测处理,以获取流量检测结果,并根据流量检测结果与数据中心现有带宽,判断是否满足带宽虚拟弹性管理的触发条件;

服务器筛选单元,用于指示若满足带宽虚拟弹性管理的触发条件,则根据预设的服务器筛选方法,从数据中心中的多个服务器中选出指定服务器;

通信通道转换单元,用于指示数据中心进行通信通道转换处理,以使所有通信数据必须经由指定服务器才能发送;

待发送通信数据获取单元,用于指示指定服务器获取待发送通信数据,并判断所述待发送通信数据是否经过了压缩处理;

第一通信数据获取单元,用于指示若所述待发送通信数据经过了压缩处理,则获取数据中心在第一时间窗口内向目标接收端发送过的第一通信数据;其中,所述第一时间窗口的右端时间点为当前时间点;

第一阶段数据分类单元,用于指示指定服务器以子数据是否存在于所述第一通信数据中的分类标准,对所述待发送通信数据进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;其中,所述第二子数据存在于所述第一通信数据中;

第二哈希值获取单元,用于指示指定服务器根据预设的哈希算法,对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;

第一阶段数据替换单元,用于指示指定服务器对所述待发送通信数据进行第一阶段数据替换处理,以将每个第二哈希值均替换对应的被哈希计算的第二子数据,从而得到中间通信数据;

第二阶段数据分类单元,用于指示指定服务器根据所述第一通信数据,对所述多个第三子数据进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;其中,所述第四子数据能够由所述第一通信数据中的两个子数据采用预设的数据组合方式组合得到;

子数据对获取单元,用于指示指定服务器对每个第四子数据分别进行拆分处理,以拆分为一个一号子数据和一个二号子数据,从而得到与所述多个第四子数据分别对应的多个子数据对;其中,每个子数据对均包括一个一号子数据和一个二号子数据,并且所有的一号子数据和所有的二号子数据均存在于所述第一通信数据中;

第四哈希值组获取单元,用于指示指定服务器根据预设的哈希算法,对所有的一号子数据和所有的二号子数据分别进行哈希计算,从而对应得到多个一号哈希值和多个二号哈希值,并将配对的一号哈希值和二号哈希值进行组合,从而对应得到多个第四哈希值组;

第二阶段数据替换单元,用于指示指定服务器对所述中间通信数据进行第二阶段数据替换处理,以将每个第四哈希值组均替换对应的第四子数据,并标记上对应的数据组合方式,从而得到最后通信数据;

最后通信数据发送单元,用于指示指定服务器将所述最后通信数据发送给目标接收端。

其中上述单元分别用于执行的操作与前述实施方式的数据中心带宽的虚拟弹性管理方法的步骤一一对应,在此不再赘述。

本申请的数据中心带宽的虚拟弹性管理装置,进行流量实时检测处理,以获取流量检测结果;选出指定服务器;进行通信通道转换处理;若所述待发送通信数据经过了压缩处理,则获取第一通信数据;进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;进行第一阶段数据替换处理,得到中间通信数据;进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;进行拆分处理,得到与所述多个第四子数据分别对应的多个子数据对;进行哈希计算,得到多个第四哈希值组;进行第二阶段数据替换处理,从而得到最后通信数据;将所述最后通信数据发送给目标接收端。从而以额外的计算资源作为代价,在短时间内解决了大流量与有限带宽之间的对立问题。

参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据中心带宽的虚拟弹性管理方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据中心带宽的虚拟弹性管理方法。

上述处理器执行上述数据中心带宽的虚拟弹性管理方法,其中所述方法包括的步骤分别与执行前述实施方式的数据中心带宽的虚拟弹性管理方法的步骤一一对应,在此不再赘述。

本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。

本申请的计算机设备,进行流量实时检测处理,以获取流量检测结果;选出指定服务器;进行通信通道转换处理;若所述待发送通信数据经过了压缩处理,则获取第一通信数据;进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;进行第一阶段数据替换处理,得到中间通信数据;进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;进行拆分处理,得到与所述多个第四子数据分别对应的多个子数据对;进行哈希计算,得到多个第四哈希值组;进行第二阶段数据替换处理,从而得到最后通信数据;将所述最后通信数据发送给目标接收端。从而以额外的计算资源作为代价,在短时间内解决了大流量与有限带宽之间的对立问题。

本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现数据中心带宽的虚拟弹性管理方法,其中所述方法包括的步骤分别与执行前述实施方式的数据中心带宽的虚拟弹性管理方法的步骤一一对应,在此不再赘述。

本申请的计算机可读存储介质,进行流量实时检测处理,以获取流量检测结果;选出指定服务器;进行通信通道转换处理;若所述待发送通信数据经过了压缩处理,则获取第一通信数据;进行第一阶段数据分类处理,从而得到多个第二子数据和多个第三子数据;对所述多个第二子数据分别进行哈希计算,从而对应得到多个第二哈希值;进行第一阶段数据替换处理,得到中间通信数据;进行第二阶段数据分类处理,以得到多个第四子数据和多个第五子数据;进行拆分处理,得到与所述多个第四子数据分别对应的多个子数据对;进行哈希计算,得到多个第四哈希值组;进行第二阶段数据替换处理,从而得到最后通信数据;将所述最后通信数据发送给目标接收端。从而以额外的计算资源作为代价,在短时间内解决了大流量与有限带宽之间的对立问题。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序或指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

相关技术
  • 一种数据中心带宽的虚拟弹性管理方法
  • 一种应用于数据中心带宽出口的资源管理方法及装置
技术分类

06120112962011