一种提升Kubernetes集群运行性能的方法、系统、设备及介质

技术领域

本申请涉及软件算法技术领域，尤其涉及一种提升Kubernetes集群运行性能的方法、系统、设备及介质。

背景技术

机器学习技术是一门多学科交叉专业技术，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时地模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。

数据分析策略生成技术，通过对参照数据的分析生成对应的配置策略，在本发明中，通过对Kubernetes集群和客户应用的运行性能的数据，生成推荐的资源和配置策略并应用。

然而，在现有的一些Kubernetes集群管理技术中，仅仅通过对集群或应用的监控进行资源配置的调整，效率相对低下，而且容易造成资源浪费和人工调整的工作量消耗。

在背景技术中公开的上述信息仅用于加强对本申请的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。

发明内容

本申请提供一种提升Kubernetes集群运行性能的方法、系统、设备及介质，用以解决现有技术存在的问题。

第一方面，本申请提供一种提升Kubernetes集群运行性能的方法，包括：

S1、上报Kubernetes集群和客户应用运行数据并进行筛选，筛选后进行数据清洗得到待训练数据和待识别数据；

S2、通过所述待训练数据以及机器学习算法，对初始模型进行训练，得到训练好的模型，所述训练好的模型包括至少两种不同的、根据各行业或者各种应用类型分类的运行模型；

S3、将所述训练好的模型和相关资源配置策略进行绑定；

S4、使用所述训练好的模型对所述待识别数据进行识别，得到各个模型的匹配度；

S5、根据所述各个模型的匹配度确定最佳匹配模型，并根据所述最佳匹配模型对应的资源配置策略进行Kubernetes集群的资源配置调整。

在一些实施例中，还包括：在ECK的Kubernetes集群在客户已允许和添加采集组件后，开始采集Kubernetes集群和客户应用运行数据。

在一些实施例中，数据清洗包括：检查数据一致性，处理无效值和缺失值。

在一些实施例中，根据所述各个模型的匹配度确定最佳匹配模型，包括：

根据所述各个模型的匹配度对各个模型进行打分，得到各个模型的推荐评分；

确定推荐评分最高的模型为所述最佳匹配模型。

第二方面，本申请提供一种提升Kubernetes集群运行性能的系统，包括：

数据管理模块，用于上报Kubernetes集群和客户应用运行数据并进行筛选，筛选后进行数据清洗得到待训练数据和待识别数据；

机器学习模块，用于通过所述待训练数据以及机器学习算法，对初始模型进行训练，得到训练好的模型，所述训练好的模型包括至少两种不同的、根据各行业或者各种应用类型分类的运行模型；将所述训练好的模型和相关资源配置策略进行绑定；

策略管理模块，用于使用所述训练好的模型对所述待识别数据进行识别，得到各个模型的匹配度；根据所述各个模型的匹配度确定最佳匹配模型，并根据所述最佳匹配模型对应的资源配置策略进行Kubernetes集群的资源配置调整。

在一些实施例中，数据管理模块还用于：在ECK的Kubernetes集群在客户已允许和添加采集组件后，开始采集Kubernetes集群和客户应用运行数据。

在一些实施例中，数据清洗包括：检查数据一致性，处理无效值和缺失值。

在一些实施例中，策略管理模块具体用于：

根据所述各个模型的匹配度对各个模型进行打分，得到各个模型的推荐评分；确定推荐评分最高的模型为所述最佳匹配模型。

第三方面，本申请提供一种终端设备，包括存储器，处理器：

存储器，用于存储计算机程序；处理器，用于读取所述存储器中的计算机程序并执行上述的提升Kubernetes集群运行性能的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的提升Kubernetes集群运行性能的方法。

本申请提供的提升Kubernetes集群运行性能的方法、系统、设备及介质，本申请提出的方法可实现通过集群运行和应用运行数据上报后进行机器学习训练，得到的模型用于后续识别各种类型集群和应用的运行情况，以推荐更优的资源配置策略，并且结合ECK自动创建和调整Kubernetes集群配置的能力，通过生成的推荐配置策略下发到对应的Kubernetes集群进行调整，满足精准调整资源分配和容器及网络编排方式，使资源利用率最大合理化，可以让客户在ECK集群使用最低的成本享受运行性能更优的集群和应用运行体验。ECK深度整合了ECX智能边缘云的虚拟化、存储、网络和安全等能力。通过ECK，用户可以快速创建云边一体化Kubernetes集群，简化集群运维工作，从而专注于容器化应用的开发与管理，实现降本增效。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的提升Kubernetes集群运行性能的方法的示意图；

图2为本申请实施例提供的提升Kubernetes集群运行性能的系统的示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本申请实施例中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请实施例提供的提升Kubernetes集群运行性能的方法的示意图，如图1所示，本申请提供一种提升Kubernetes集群运行性能的方法，包括：

S1、上报Kubernetes集群和客户应用运行数据并进行筛选，筛选后进行数据清洗得到待训练数据和待识别数据；

S2、通过所述待训练数据以及机器学习算法，对初始模型进行训练，得到训练好的模型，所述训练好的模型包括至少两种不同的、根据各行业或者各种应用类型分类的运行模型；

S3、将所述训练好的模型和相关资源配置策略进行绑定；

S4、使用所述训练好的模型对所述待识别数据进行识别，得到各个模型的匹配度；

S5、根据所述各个模型的匹配度确定最佳匹配模型，并根据所述最佳匹配模型对应的资源配置策略进行Kubernetes集群的资源配置调整。

本申请提供的提升Kubernetes集群运行性能的方法、系统、设备及介质，本申请提出的方法可实现通过集群运行和应用运行数据上报后进行机器学习训练，得到的模型用于后续识别各种类型集群和应用的运行情况，以推荐更优的资源配置策略，并且结合ECK自动创建和调整Kubernetes集群配置的能力，通过生成的推荐配置策略下发到对应的Kubernetes集群进行调整，满足精准调整资源分配和容器及网络编排方式，使资源利用率最大合理化，可以让客户在ECK集群使用最低的成本享受运行性能更优的集群和应用运行体验。

和现有技术相比，本申请的改进点在于：1.首次提出通过机器学习训练Kubernetes集群和应用运行数据得到模型后匹配提升集群和应用运行性能的的资源配置推荐策略；2.策略可以即生成即用，直接下发到ECK对应Kubernetes集群即可调整集群的资源和配置情况，以达到最小资源成本的运行性能调优的成果。

在一些实施例中，还包括：在ECK的Kubernetes集群在客户已允许和添加采集组件后，开始采集Kubernetes集群和客户应用运行数据。

在一些实施例中，数据清洗包括：检查数据一致性，处理无效值和缺失值。

在一些实施例中，根据所述各个模型的匹配度确定最佳匹配模型，包括：

根据所述各个模型的匹配度对各个模型进行打分，得到各个模型的推荐评分；确定推荐评分最高的模型为所述最佳匹配模型。

本申请提供的提升Kubernetes集群运行性能的方法，将来可能的应用场景包括：1.提供后续各种eck集群的数据模型训练能力；2.客户使用eck集群的资源和配置推荐。

本申请提供的方法，可以解放对于集群和应用运行调优所需要的人力和资源等成本，同时，可以作为客户使用eck集群的一种新型付费商业化评估类型产品。

图2为本申请实施例提供的提升Kubernetes集群运行性能的系统的示意图，如图2所示，本申请提供一种提升Kubernetes集群运行性能的系统，包括：

数据管理模块10，用于上报Kubernetes集群和客户应用运行数据并进行筛选，筛选后进行数据清洗得到待训练数据和待识别数据；

机器学习模块20，用于通过所述待训练数据以及机器学习算法，对初始模型进行训练，得到训练好的模型，所述训练好的模型包括至少两种不同的、根据各行业或者各种应用类型分类的运行模型；将所述训练好的模型和相关资源配置策略进行绑定；

策略管理模块30，用于使用所述训练好的模型对所述待识别数据进行识别，得到各个模型的匹配度；根据所述各个模型的匹配度确定最佳匹配模型，并根据所述最佳匹配模型对应的资源配置策略进行Kubernetes集群的资源配置调整。

在一些实施例中，数据管理模块还用于：在ECK的Kubernetes集群在客户已允许和添加采集组件后，开始采集Kubernetes集群和客户应用运行数据。

在一些实施例中，数据清洗包括：检查数据一致性，处理无效值和缺失值。

在一些实施例中，策略管理模块具体用于：

根据所述各个模型的匹配度对各个模型进行打分，得到各个模型的推荐评分；确定推荐评分最高的模型为所述最佳匹配模型。

在一些实施例中，本申请提供一种终端设备，包括存储器，处理器：

存储器，用于存储计算机程序；处理器，用于读取所述存储器中的计算机程序并执行上述的提升Kubernetes集群运行性能的方法。

在一些实施例中，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的提升Kubernetes集群运行性能的方法。

本申请针对满足提升边缘计算ECK业务Kubernetes集群资源利用率最大化的需求，基于机器学习技术生成优化模型的原理，利用Kubernetes针对客户应用的行业特征和运行资源等数据进行机器学习训练，通过模型匹配方式形成优化客户应用运行所需要的Kubernetes集群资源的较优配置，作为客户在使用ECK的Kubernetes集群运行能力调优的重要手段。

本申请的方案，沉淀行业性客户使用ECK的Kubernetes集群运行性能模型，针对某些特定行业的客户集群提供合适的带宽、节点或存储空间等资源以及容器编排和网络编排等配置从而提升Kubernetes集群整体运行效率。

和现有技术相比，本申请主要优势在于：1.快速生成资源配置策略并下发，避免人为主观因素导致对于资源和配置的浪费；2.在利用最少资源成本的情况下，提升集群和应用的运行性能，让客户得到更好的应用体验。应该理解的是，虽然上述实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，本申请提供一种终端设备，包括存储器，处理器：

存储器，用于存储计算机程序；处理器，用于读取所述存储器中的计算机程序并执行上述的提升Kubernetes集群运行性能的方法。

在一些实施例中，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现上述的提升Kubernetes集群运行性能的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。