一种基于双层注意力机制的云平台资源预测方法

技术领域

本发明属于云平台资源技术领域，具体涉及一种基于双层注意力机制的云平台资源预测方法。

背景技术

云计算已经成为一种有效的方法，该方法对服务器、存储、应用程序以及应用服务等计算设施提供无处不在、按需的访问，随着近几年云计算的广泛普及和快速发展，云计算已经引起很多人的关注，并成为各大行业正在讨论的热门话题。

从互联网数据中心得到的数据获知，云计算的发展势头迅猛，开发潜力巨大，未来几年将产生超过千亿美元的价值。但与此同时，云数据中心资源的能源消耗特性以及由此造成的大气污染使人们越来越意识到要在更快时间上减少数据中心的碳足迹。在云数据中心中，供应商通常在处理用户工作负载时过渡提供资源级别，导致了大量未充分利用的资源，使得空闲服务器资源的比例增加，据统计在单个数据中约有46％的机器未充分利用。在2017年，IT行业在全球电力消耗上占7％，但预计到2030年，这一数据将达到13％以上。

基于此现状迫切需要开发能够节约数据中心能源支出的方法，不仅可以提高服务提供商的收入，减少运营成本，而且还可以减少它们对环境可持续性的影响。

目前云平台资源预测主要停留在单模型预测，未考虑到云工作负载表现出的长时间依赖性和动态变化特性，不足以进行有效预测，而且对于未知的工作负载模式，易出现预测性能差的问题。

发明内容

为克服现有技术的不足，本发明目的在于提供一种基于双层注意力机制的云平台资源预测方法，通过捕获数据间存在长期时间依赖性并选择相关的序列进行预测解决现有模型在输入过长时被稀释的问题。

为实现上述目的，本发明采用的技术方案是：

一种基于双层注意力机制的云平台资源预测方法，具体包括以下步骤；

步骤1：对云平台时间序列数据进行预处理操作；

步骤2：搭建基于双层注意力机制的编码器解码器预测网络；搭建的步骤为；

步骤21：搭建编解码器学习结构，对于时间序列预测，给定输入序列X＝(x

h

其中h

步骤22：在编码器输入部分加入特征注意机制自适应地捕获目标序列与每个局部特征之间的动态相关性，其公式表示如下：

其中

通过参考目标序列和输入特征，自适应的选择相关特征，该值在语义上代表了每个影响特征的重要性；

获得注意力权重后，在该时刻的特征注意力输出向量的公式表示如下：

其中

步骤23：在解码器中加入时间注意机制来跨所有时间步长自适应地选择相关的编码器隐藏状态；具体地，在时间t，基于先前的解码器隐藏状态d

其中[d

注意机制会计算上下文向量所有编码器隐藏状态{h

其中h

步骤24：在输出部分加入AR模型，AR分量的预测表示为：

步骤3：将步骤1中预处理后的数据集分为训练集和测试集，分批导入步骤2中搭建的基于双层注意力机制编码器解码器预测网络中；通过训练集进入预测网络进行有监督迭代训练；通过测试集进入预测网络进行检验预测评价指标性能。

进一步地，步骤1中所述的数据预处理包括去噪、缺失数据填充、合并化以及归一化处理。

与现有技术相比，本发明的有益效果是：

1)本发明在基础的编码器解码器结构上加入了双层注意力机制，分别是多特征注意机制和长时间注意机制，通过双层注意机制产生一个“注意力范围”后根据关注的区域来产生下一个输出，如此往复来获取不同历史阶段的不同程度的重要性，提高了模型的动态表达能力；进而从原始多特征时间序列数据中了解隐藏的长期时间依赖特征和多特征序列相关特征。

2)在输出部分通过与传统的自回归模型进行集成，防止非线性网络对输入变化不敏感带来的缺陷。

附图说明

图1是本发明加入特征注意机制的计算过程图；

图2是本发明加入时间注意机制的计算过程图；

图3是发明的技术模型图；

图4是本发明基线模型LSTM的结果图；

图5是本发明基线模型LSTM_Att的结果图；

图6是本发明的结果图。

具体实施方式

下面结合具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。

本发明提供一种基于双层注意力机制的云平台资源预测方法，该方法选取秦俑碎块数据集，该数据集是阿里巴巴最新公布的集群跟踪数据集Cluster-trace-v2018。上述跟踪记录提供了生产集群运行时信息，包括4000台机器，总共包含6个文件，提供了八天的cpu、磁盘占用率、内存占用率等测量结果，本发明中主要用到机器资源使用情况数据集machine_usage.csv和容器资源情况数据集container_usage.csv。

如图3所示，以下为具体步骤：

步骤1：使用python对时间序列数据进行预处理，按照时间戳范围为50进行数据融合，使用拉格朗日插值法对缺失值进行处理，对数据进行归一化。

步骤2：搭建基于双层注意力机制的编码器解码器预测网络；搭建步骤为；

步骤21：搭建编解码器学习结构，对于时间序列预测，在给定输入负载序列X＝(x

h

其中h

步骤22：在编码器输入部分加入特征注意机制来自适应地捕获目标序列与每个局部特征之间的动态相关性，模型图参见图1其公式表示如下：

其中

通过参考目标序列和输入特征，自适应的选择相关特征，该值在语义上代表了每个影响特征的重要性；获得注意力权重，在该时刻的特征注意力输出向量的公式表示如下：

其中

步骤23：参照图2，在解码器中加入时间注意机制来跨所有时间步长自适应地选择相关的编码器隐藏状态；具体地，在时间t，基于先前的解码器隐藏状态d

其中[d

注意机制会计算上下文向量所有编码器隐藏状态{h

其中h

步骤24：在输出部分加入AR模型；AR分量的预测表示为：

步骤3：将归一化处理之后的数据按照8：2分为训练集和测试集，设置训练参数batch_size＝139，epochs＝200，分批导入步骤2中中搭建的基于双层注意力机制编码器解码器预测网络中。

步骤3：步骤2中训练集进入预测网络进行有监督迭代训练，不断的进行迭代训练，直到loss足够小且趋于平稳，完成模型训练。

步骤4：步骤2中测试集进入预测网络选取MAE、MSE、MAPE等作为评价指标，在测试集上验证模型的有效性，与基线模型进行对比验证模型性能提升，结果如表1所示：

表1：在测试集上验证模型的有效性，与基线模型进行对比验证模型性能提升结果

图4为使用基线模型LSTM在该数据集测试集上得到的预测结果与真实数据对比图，图5为在基线模型LSTM基础上加入单层注意力机制后在该数据集测试集上得到的预测结果与真实数据对比图，图6为本发明的最终模型基于双层注意力机制的模型在该数据集测试集上得到的预测结果与真实数据对比图；由三张结果图及表1的评价指标结果，可以得到结论，本发明提出的模型对比基线模型具有更高的准确率和预测性能。