受限网络下面向突发流量的服务质量调整方法

技术领域

本发明属于数据中心云边协同领域，具体涉及一种受限网络下面向突发流量的服务质量自适应调整方法。

背景技术

随着信息化时代的到来，一线末端用户对云上数据、服务的需求也日益增长，传统的“云-端”架构是将用户对数据、服务的需求传输至云上，再将云上数据、服务的访问结果传输给用户，受限于云端之间可用网络通信资源的状态，难以满足一线用户对数据、服务的高实时性需求。当前各领域的信息处理系统多采用“云-边-端”三级架构，利用靠近末端用户的边节点为用户就近提供数据和服务保障，但由于边节点存储、计算能力有限，依然需要考虑如何在受限网络下进行云边数据资源的快速交互和协同应用。

目前而言，受限网络下保证数据资源传输质量的方法多是基于可靠UDP技术，通过统计数据包往返时间、自适应调整数据分包大小和发送速率的方式，提升数据资源的传输效率。这一方法对于变化率不高的数据流的作用较为显著，但对于云边之间由于末端用户临时需求产生的突发流量而言，数据分包大小和发送速率的调整一般需要多个数据包往返周期，调整完成时突发流量早已完成传输，进而导致受限网络下的数据传输调整过程远远延迟于实际需求，网络发生拥塞。因此，需要设计一种能够预测云边数据中心之间突发流量传输时间、传输节点等信息的机制，并针对突发流量专门制定一套服务质量自适应调整的方法。

发明内容

本发明的目的在于提供一种受限网络下面向突发流量的服务质量调整方法，从云边突发流量预测、数据灵活降级、缓存重发控制三个方面，对云边之间突发流量的传输提供可靠性保障，优化云边协同应用的效率。

实现本发明目的的技术解决方案包括如下步骤。

一种受限网络下面向突发流量的服务质量调整方法，包括：

步骤S1，设计根据末端用户需求预测云边之间突发流量的机制：

根据末端用户群体P的固有属性、行为记录，以及事件时刻T，来预测云边之间出现的突发流量L，构建突发流量预测模型，并对突发流量预测模型进行训练，根据训练好的预测模型预测事件当前时刻下一阶段的云边突发流量L；

步骤S2，设计根据网络状态对突发流量进行灵活降级的策略：

预测出云边突发流量L后，与云边网络状态D进行比较，计算云边之间可用带宽与实际需交互流量之间的百分比差距，根据差距和待传输流量的模态，对突发流量进行降级，在满足用户基本需求的情况下传输次一级的数据，达到用户需求和带宽限制的平衡；当L≤D时，无需进行数据的降级；当L＞D时，监测用户给出的是否接受降级数据资源的标识，若是则量化用户对数据资源的最低需求，执行降级过程，若不是则跳过此步骤；

步骤S3，设计根据网络状态对突发流量进行自动缓存的机制：统计历史数据应用结果，比较突发流量中各类数据对用户的重要程度，选择其中优先度较低的数据先缓存起来，待突发流量传输结束后再继续发送缓存数据，实现突发流量的平稳化传输。

本发明与现有技术相比，其显著优点在于：

(1)本发明在步骤1中提出的根据末端用户行为、环境等信息，构建模型进行突发流量预测的方法，可以解决传统基于包往返时间调整数据传输策略的模式难以应对突发流量的问题，更好的保障末端用户临时需求产生的云边突发流量不影响云边协同的效率。

(2)本发明在步骤2中提出的突发流量灵活降级方法，区别于当前对突发流量的控制多是在传输底层进行数据分片分包、链路拥塞控制等策略调整的模式，而是直接面向末端用户需求，进行传输数据层面的控制。底层传输策略的调整是有极限的，面向过大的突发流量，再好的传输策略控制依然无法避免云边网络的拥塞，但对突发流量的灵活降级能在用户可接受范围内，最大程度降低云边间突发流量，保证云边端系统的稳定运行。

(3)本发明在步骤3中提出的突发流量自动缓存方法，面向用户需求将突发流量中相对不重要、实时性需求不强的信息缓存起来延迟发送，可极大的降低流量突发这一行为对云边通信网络的刺激，实现对突发流量的平稳化处理。而且区别于当前判断数据重要度的方式多是采用人工对每条信息赋予优先级，步骤(3)中根据末端用户对数据资源的消费情况自动判断信息的重要度，更加精准的实现突发流量中重要信息的优先传输。

附图说明

图1为本发明面向末端用户的云边突发流量预测的流程图。

图2为本发明面向云边突发流量进行灵活降级和自动缓存的流程图。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的介绍。

结合图1、图2，本发明的一种受限网络下面向突发流量的服务质量调整方法，是通过对末端用户的行为、所处环境、经历事件及云边流量情况进行分析建模，实现预测云边突发流量，并根据用户需求设计机制，以解决突发流量导致的云边网络陷入拥塞、云边数据中心难以协同的问题，包括以下步骤：

步骤S1，设计根据末端用户需求预测云边之间突发流量的机制。

为了给末端用户提供充足且实时的数据、服务支撑，云边之间需要互相协同、交互流量。常规情况下，云边之间的流量交互是稳定的、可控的，云边受限网络能够执行流量的传输过程，保证云边协同的效率。但当用户遇到突发情况时，需要大量调用数据资源，会引发云边流量的急剧增加，底层传输策略调整机制难以及时反映时，云边网络就会拥塞。所以需要根据末端用户群体P，以及事件时刻T(指的是事件开始节点到当前节点的总时间)，来预测云边之间出现的突发流量L，拟通过构建、训练、应用突发流量预测模型M＝{P,T,L}应对上述需求。

步骤S101，突发流量预测模型M＝{P,T,L}的构建。

末端用户群体P可视为一系列正在登陆并使用系统的末端用户{P

L＝f

其中，L为预测会产生的突发流量，f

由于模型M是用来预测突发流量的，在公式L＝f

根据末端用户群体P为当前所有登录的h个末端用户{P

对用户群体中第k个用户P

事件时刻T的对应公式则相对简单，当前时间毫秒数为t

步骤S102，突发流量预测模型M＝{P,T,L}的训练。

步骤S101的公式中，W

采集系统实际运行过程中某些时刻的突发流量L、用户群体P、事件时刻T作为采样点，得到训练集

f

f

其中，V

以用户对突发流量的影响为例，对训练集来说

参数V

设计损失函数，

使用梯度下降法计算损失函数J(P)与参数V

同理，事件的当前进程T对突发流量的影响可同样进行迭代计算，训练函数f

其中，参数

损失函数和参数的反向更新函数如下。

步骤S103，根据训练好的预测模型M＝{P,T,L}预测事件当前时刻下一阶段的云边突发流量L。

步骤S2，设计根据网络状态对突发流量进行灵活降级的策略。

在步骤S1中预测出云边突发流量L后，与云边网络状态D进行比较，根据比较结果和用户对信息的需求，计算突发流量灵活降级的比例、不同模态数据采用的降级策略，实现用户需求和网络资源消耗的平衡。当L≤D时，无需进行数据的降级；当L＞D时，监测用户给出的是否接受降级数据资源的标识，若是则量化用户对数据资源的最低需求，执行降级过程，若不是则跳过此步骤。

步骤S201，量化用户需求，计算可降级比例。

云边端系统运行过程中，用户对云上各种类型、不同模态的数据资源均存在需求，文本、消息类数据难以进行处理以减少云边端流量，但对于云上视频、音频、图片类的数据资源来说，与用户无法收到所需多模数据资源的情况相比，用户快速收到一个可接受范围内的更模糊的图片、视频、音频，是可以接受的。这里第一步就是对用户的需求尽量量化，确定对各类数据的降级比例。

此时，云边突发流量L＞云边网络状态D，系统区分L中不可被压缩的流量L1，以及可被压缩的流量L2。则最小可发送成功的数据压缩比例K计算如下：

对于云边端系统传递的各类数据，用户可以根据自身需求，提前设定压缩阈值M

步骤S202，区分数据模态，按比例通过不同算法执行降级。

在S201中确定了各类数据的压缩比例后，可以根据数据的模态采用不同的压缩算法。常用的可压缩数据资源一般包括图像、音频、视频。对图像数据，项目中采用的是JPEG2000算法，主要是通过以小波转换为主的多解析编码方式，将图像的频率成分抽取出来，该算法的优势在于可以避免马赛克失真效果，不会让图像的降级过多的影响用户的体验。对视频数据，是设计了一种可定制化的视频传输加速方法，将视频中的关键帧和每帧里的关键内容提取出来，对视频里的其他内容进行模糊化处理，最终得到用户可接受范围内、符合压缩比例、保留了关键内容的视频数据。对音频数据，则是通过降低采样率、降低位深度、减少通道数的方法来实现音频数据的按比例降级能力。

步骤S3，在步骤S2中可以计算得出在用户可接受范围内降级传输数据之后，依然会有部分数据难以在受限网络条件下成功发送至对面，将待传输数据中不太重要的数据先缓存起来，等到云边突发流量L＜云边网络状态D的情况下，再将缓存数据发送至接收用户当前登录节点。这部分功能主要包括缓存模型的构建、需缓存数据的判定、缓存数据重发过程的建立。

步骤S301，构建传输数据缓存模型，形成传输数据缓存库。

本发明利用网络本体语言中的类、关系、属性、实例等相关概念，构建数据缓存模型，生成缓存数据库，用于存储待缓存数据。缓存模型中每一条数据需要记录数据的类型、缓存内容、是否可降级、传输数据是文件或是消息、数据有效期、用户序号、消息优先级、消息编号、文件名等信息，构建出来的本体模型的关键部分如下。

步骤S302，根据待传输数据的类型和历史传输日志，对当前所有传输数据进行判断，将其中相对不重要的数据缓存起来等网络带宽充裕的时候再进行发送。

判断数据重要度的方法如下，首先是记录系统中各类数据的传输日志，包括传输数据的类型、传输数据的优先级、数据的发送时间、数据的接收时间、数据发送节点的IP、数据接收节点的IP、发送消息的内容或者发送文件的名称、发送信息或文件的大小、接收数据的用户序号(若数据最终接收方为软件，则用户序号为0)。然后根据数据传输日志，统计分析不同类型数据被各类用户的消费情况，根据消费数据的优先级、消费时间、消费用户的重要程度计算每一类数据的重要度，计算公式如下：

其中S

步骤S303，网络状态变好，云边突发流量L＞云边网络状态D时，重新将缓存的数据重新发送给相应的用户。此时，根据库中已缓存的数据、数据类型对应的重要程度，从缓存数据库中低重要度的数据重新排列，挑选低重要度数据中重要度相对较高的数据重新发送给用户，缓存库中记录的数据类型、缓存内容、是否可降级、是否文件、数据有效期、用户序号、消息优先级、消息编号、文件名等信息可支撑重发这一过程的进行。

本发明实施例中通过设计预测云边之间基于用户的数据突发流量的模型，对云边之间的突发流量情况进行预测；当预测到突发流量远远超过云边之间的可用带宽时，设计计算最优降级比例的机制，对不同模态的传输数据进行降级，保证用户在可接受范围内收到所需降级后的数据资源；设计缓存重发机制，当降级后的数据依然难以发送过去时，衡量数据的重要度，将重要度较低的数据缓存起来，待网络较好时再继续传输，提高云边数据资源一体化协同应用的能力。

以上所述的实施例仅为本发明的一种适用方式，但本发明的保护范围并不局限于此。本发明的架构与优化算法已在实施例中详细解释与展示，在没有违背该技术原理的情况下，本发明允许有任何的变化或，都应涵盖在本发明权利要求的保护范围内。