一种基于自注意力卷积网络的无线业务流量预测方法、设备及介质

技术领域

本发明属于通信网络和人工智能技术领域，涉及一种基于自注意力机制的无线业务流量预测方法、设备及介质，可用于通信系统中的网络管理与规划。

背景技术

高效准确的无线业务流量预测对于实现通信网络自动化、资源分配智能化具有重要意义。但是，终端用户的通信行为存在很高的动态性，尤其是在长时间尺度下，用户的通信行为复杂性与时变性都会加剧，增加了无线业务流量预测的难度。

无线业务流量预测问题可以建模为时间序列预测问题。传统的统计学习算法无法对流量数据在时域上的高动态特性进行建模；随着深度学习的技术的进步，现有的流量预测算法普遍采用基于深度神经网络的方法。

例如，中国专利文献CN109257760A中提出了基于LSTM的流量预测算法，根据某一特定区域内的历史通信行为，利用LSTM网络预测未来一段时间该区域的无线业务流量；中国专利文献CN111343650A中采用了CONVLSTM流量预测算法，利用卷积网络刻画流量数据空间分布特征，同时利用LSTM网络对流量数据在时序上的相关性进行刻画；此外还有基于编码-解码网络以及GRU网络的预测方法。然而，这些方法都是基于RNN的循环计算结构刻画流量在时序上的长期依赖性，当流量序列的时间跨度增长时，这些方法并不能从更大的时间尺度中捕获更为复杂的时序相关性，因而在具有高突发性、高时变性的通信场景下，传统的深度学习算法的准确率无法得到进一步提升。

此外，深度学习算法的实现基于不断提升的硬件并行计算能力(GPU,FPGA)，但是基于RNN的结构在神经网络训练时必须进行线性计算，这就使得这些预测算法无法充分利用现有硬件的并行计算能力，这就导致流量预测模型进行大规模部署和分布式训练时的成本增加。

发明内容

本发明提出了一种基于自注意力卷积网络的无线业务流量预测方法，用于解决基于RNN结构的深度学习方法无法捕获流量数据在长时间序列内的复杂相关性问题，以及预测算法难以并行化实现，训练效率不高的问题。

本发明还提供了一种计算机设备及存储介质；

本发明利用自注意力卷积网络，对无线业务流量的历史数据与时间特征进行学习与融合，能够有效提取流量数据在大时间尺度下的动态特性。该算法不仅能够有效提升流量预测的准确率，而且能够进行并行化处理，提升了神经网络的训练效率，进而提升流量预测算法的整体性能。

术语解释：

残差卷积层：设输入为张量X，输出为张量O,卷积核为W

本发明的技术方案为：

一种基于自注意力卷积网络的无线业务流量预测方法，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据，流量数据是指流量值；

待预测的原始无线业务流量预处理的过程包括：

以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D′＝{D

本发明考虑了处于不同时间节点流量数据的动态特性，提升了神经网络对于大时间尺度流量数据的特征提取能力，此外，本发明对不同时间节点流量数据的特征学习过程进行并行化处理，以达到提升算法的总体性能的目的。

根据本发明优选的，所述流量预测模型包括时间编码网络、自注意力机卷积网络、特征嵌入网络及卷积残差网络；

所述时间编码网络提取时间戳信息中的特征，将所得特征与具有一定时间跨度的流量数据进行融合；所述自注意力机卷积网络对处于不同时间节点的无线流量数据进行相关性分析与特征表征；所述特征嵌入网络对其它相关特征进行特征提取；所述卷积残差网络将所述自注意力机卷积网络的输出结果与所述特征嵌入网络的输出结果表征进行融合后得到下一时段的预测流量Y'。

为了提升无线业务流量预测的整体性能，所述流量预测模型的训练过程如下：

(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；

在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D

(2)将与第t小时的流量值对应的时间戳信息存储为长度为l

(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息D

(4)以时间戳信息为输入，构建时间编码网络F

(5)所述特征嵌入网络对无线业务流量的相关特征D

(6)利用随机梯度下降算法，对整个预测神经网络进行监督训练，直至满足训练结束条件。

根据本发明优选的，所述时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。

根据本发明优选的，不同地区与流量数据生成相关的特征包括该地区的道路车流量、基站数量、通信基站数量、商场数量、人口密度；通过第三方的开源API获取不同地区与流量数据生成相关的特征。例如，谷歌地图API，高德地图API。

根据本发明优选的，所述步骤(4)，包括步骤如下：

(a)利用线性映射构建时间编码网络F

式(I)中，σ是激活函数，向量

(b)由于自注意力机制，无法充分利用流量数据在时间维度上的先后序列性，为此，本发明将步骤(a)中时间编码信息O

(c)第l层自注意力卷积单元，l∈{1,2,...,l

式(Ⅱ)-(Ⅳ)中，

通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；

(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：

式(Ⅴ)中，ψ是softmax函数，

(e)根据步骤(d)求取的权重

式(Ⅵ)中，σ()表示激活函数,

根据本发明优选的，所述步骤(5)，具体步骤如下：

(f)通过卷积层对无线业务流量的相关特征D

式(Ⅶ)中，*表示卷积运算，W

(g)利用残差卷积层f

式(Ⅷ)中，

根据本发明优选的，在损失函数中添加正则化项作为优化目标，避免神经网络在进行训练时出现过拟合，损失函数L

式(Ⅸ)中，Y是T+1时段的实际流量数据，θ是整个流量预测模型的训练参数，

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于自注意力卷积网络的无线业务流量预测方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于自注意力卷积网络的无线业务流量预测方法的步骤。

本发明的有益效果为：

1、本发明基于自注意力卷积网络的无线业务流量预测方法，基于自注意力卷积网络的预测算法准确率得到有效提升，预测值跟真实值相近，误差较小。

2、本发明自注意力卷积网络可以并行化实现，提高了神经网络训练效率，有利于预测模型在分布式系统中的大规模线上部署。

3、本发明可用于提升智能通信系统中的流量预测性能，辅助通信网络进行更合理的资源调度与管理。

附图说明

图1是本发明中基于自注意力卷积网络的无线业务流量预测方法的流程示意图；

图2是本发明自注意力机卷积网络进行相关性分析与特征表征的流程示意图；

图3是本发明实施例6与其它两种现有算法的对比示意图；

图4是本发明实施例6预测值与真实值的对比结果图；

图5为本发明自注意力卷积网络的结构框图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种基于自注意力卷积网络的无线业务流量预测方法，是指：将待预测的原始无线业务流量预处理后输入至训练好的流量预测模型，得到预测的流量数据，流量数据是指流量值；

待预测的原始无线业务流量预处理的过程包括：

以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D′＝{D

本发明考虑了处于不同时间节点流量数据的动态特性，提升了神经网络对于大时间尺度流量数据的特征提取能力，此外，本发明对不同时间节点流量数据的特征学习过程进行并行化处理，以达到提升算法的总体性能的目的。

实施例2

根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：

流量预测模型包括时间编码网络、自注意力机卷积网络、特征嵌入网络及卷积残差网络；如图1所示，时间编码网络提取时间戳信息中的特征，将所得特征与具有一定时间跨度的流量数据进行融合；自注意力机卷积网络对处于不同时间节点的无线流量数据进行相关性分析与特征表征；特征嵌入网络对其它相关特征进行特征提取；卷积残差网络将自注意力机卷积网络的输出结果与特征嵌入网络的输出结果表征进行融合后得到下一时段的预测流量Y'。

实施例3

根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：

为了提升无线业务流量预测的整体性能，流量预测模型的训练过程如下：

(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T小时；

在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D

(2)将与第t小时的流量值对应的时间戳信息存储为长度为l

(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息D

(4)以时间戳信息为输入，构建时间编码网络F

(5)特征嵌入网络对无线业务流量的相关特征D

在损失函数中添加正则化项作为优化目标，避免神经网络在进行训练时出现过拟合，损失函数L

式(Ⅸ)中，Y是T+1时段的实际流量数据，θ是整个流量预测模型的训练参数，

(6)利用随机梯度下降算法，对整个预测神经网络进行监督训练，直至满足训练结束条件。

时间戳信息是指对流量生成时段的具体描述，包括星期、小时、是否周末、是否法定节假日、是否通勤高峰。

不同地区与流量数据生成相关的特征包括该地区的道路车流量、基站数量、通信基站数量、商场数量、人口密度；通过第三方的开源API获取不同地区与流量数据生成相关的特征。例如，谷歌地图API，高德地图API。

实施例4

根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：

步骤(4)，包括步骤如下：

(a)利用线性映射构建时间编码网络F

式(I)中，σ是激活函数，向量

(b)由于自注意力机制，无法充分利用流量数据在时间维度上的先后序列性，为此，本发明将步骤(a)中时间编码信息O

(c)第l层自注意力卷积单元，l∈{1,2,...,l

式(Ⅱ)-(Ⅳ)中，

通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；

(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：

式(Ⅴ)中，ψ是softmax函数，

(e)根据步骤(d)求取的权重

式(Ⅵ)中，σ()表示激活函数,

实施例5

根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：步骤(5)，具体步骤如下：

(f)通过卷积层对无线业务流量的相关特征D

式(Ⅶ)中，*表示卷积运算，W

(g)利用残差卷积层f

式(Ⅷ)中，

实施例6

根据实施例1所述的一种基于自注意力卷积网络的无线业务流量预测方法，其区别在于：流量预测模型的训练过程如下：

(1)以小时为时间粒度单位，利用滑动时间窗，对原始无线业务流量进行划分，使每组流量数据时间跨度为T＝6小时；

在空间维度上，不同地区拼接成为一个网格，使处于同一时段的不同地区的流量数据以数据矩阵的形式存储在数据库中，得到处理后的每组流量数据D＝{D

(2)将与第t小时的流量值对应的时间戳信息存储为长度为l

(3)将步骤(1)及步骤(2)得到的时间跨度为T时段的流量数据D、时间戳信息D

(4)以时间戳信息为输入，构建时间编码网络F

包括步骤如下：

(a)利用线性映射构建时间编码网络F

式(I)中，σ是激活函数，向量

(b)由于自注意力机制，无法充分利用流量数据在时间维度上的先后序列性，为此，本发明将步骤(a)中时间编码信息O

(c)第l层自注意力卷积单元，l∈{1,2,...,l

式(Ⅱ)-(Ⅳ)中，

通过式(Ⅱ)-(Ⅳ)的卷积运算，某一特定时段的流量数据被表征为Q,K,V三个张量；

(d)利用不同时段的Q,K值对序列相关性进行模式挖掘，第t时段与第i时段的相关性如式(Ⅴ)所示：

式(Ⅴ)中，ψ是softmax函数，

(e)根据步骤(d)求取的权重

式(Ⅵ)中，σ()表示激活函数,

(5)特征嵌入网络对无线业务流量的相关特征D

(f)通过卷积层对无线业务流量的相关特征D

式(Ⅶ)中，*表示卷积运算，W

(g)利用残差卷积层f

式(Ⅷ)中，

(6)利用Adam优化算法，对整个神经网络进行监督训练，直至满足训练结束条件。

本实施例提出的基于自注意力卷积网络的无线业务流量预测的效果图如图3、图4所示。从图3可以看出，随着流量数据时间跨度T从3小时增加到6小时，基于自注意力卷积网络的无线业务流量预测方法准确率得到有效提升。

如图4所示，预测值跟真实值相近，误差较小。同时，如图2所示，自注意力卷积网络可以并行化实现，提高了神经网络训练效率，有利于预测模型在分布式系统中的大规模线上部署。综上所述，本发明可用于提升智能通信系统中的流量预测性能，辅助通信网络进行更合理的资源调度与管理。

实施例7

一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1-5任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。

实施例8

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现实施例1-5任一所述基于自注意力卷积网络的无线业务流量预测方法的步骤。