一种基于QoE驱动的视频流编码参数自适应调节方法

技术领域

本发明公开一种基于QoE驱动的视频流编码参数自适应调节方法，涉及通信技术应用领域。

背景技术

随着视频通信技术的高速发展，视频会议、视频监控及移动端短视频等应用正在进一步深入人们的生活，互联网业务的视频导向趋势愈加明显，因此，有效提升用户对视频业务的满意程度至关重要。基于服务质量(Quality ofService,QoS)的用户满意度评估方式，仅利用网络客观性能指标，已经无法满足用户满意度合理评估的要求。基于体验质量(Quality ofExperience,QoE)的方式，是站在用户的角度，能更加合理的对满意度作出评估。

由于视频流业务传输机制复杂，如何在保障用户QoE的前提下，提升视频传输网络链路资源及用户终端设备资源利用率，同样也是视频编码与传输技术领域的重要研究方向。

发明内容

本发明针对现有技术的问题，提供一种基于QoE驱动的视频流编码参数自适应调节方法，所采用的技术方案为：

第一方面，一种基于QoE驱动的视频流编码参数自适应调节方法，所述方法包括：

根据视频流业务，对用户QoE的影响因素进行解析；

根据所述影响因素，构造深度学习样本集，并基于注意力机制建立LSTM-QoE预测模型；

根据数据包接收率建立当前网络链路质量评估单元，通过所述网络链路质量评估单元和所述LSTM-QoE预测模型进行视频流编码参数的自适应调节。

在一些实现方式中，所述根据视频流业务，对用户QoE的影响因素进行解析；其中，所述影响因素包括用户基本属性因素、视频播放环境因素、视频传输网络链路因素、终端设备参数、视频流编码参数。

在一些实现方式中，所述根据视频流业务，对用户QoE的影响因素进行解析，包括：

根据所述用户基本属性因素，对用户的活跃度进行划分；

根据所述视频播放环境因素，获取视频播放环境的安静程度及用户移动状态；

根据所述视频传输网络链路因素，获取当前视频传输网络链路的可用带宽及加权时延；

根据所述终端设备参数，获取终端设备的屏幕质量等级和功放质量等级。

在一些实现方式中，根据所述影响因素，通过结合用户体验质量的MOS值构造LSTM样本集，并基于注意力机制建立LSTM-QoE预测模型。

在一些实现方式中，所述基于注意力机制建立LSTM-QoE预测模型，包括：

对所述LSTM-QoE预测模型的LSTM细胞单元引入注意力机制；

所述注意力机制通过前一时间步的隐藏状态与记忆力单元，获取当前输入序列的权重；

所述LSTM-QoE预测模型通过前向传播计算输出预测值，通过所述预测值结合链式求导法，得到模型的权重梯度，根据所述权重梯度，通过反向传播对LSTM-QoE预测模型的参数进行更新；

通过测试集对所述LSTM-QoE预测模型进行效果评估。

在一些实现方式中，所述根据数据包接收率建立当前网络链路质量评估单元，通过所述网络链路质量评估单元和所述LSTM-QoE预测模型进行视频流编码参数的自适应调节，包括：

所述网络链路质量评估单元依据加权数据包接收率，将网络链路质量进行等级划分；

根据所述用户体验质量的MOS值设置所述数据包接收率的阈值，根据当前网络链路质量设置编码比特率的调节方式；

设置所述视频流编码参数的取值范围，视频分辨率及视频帧率取常见值，编码比特率取值等间距离散化；

将所述编码比特率、视频分辨率和视频帧率作为视频流编码参数组合，根据所述视频流编码参数组合构造调节代价树；

根据所述调节代价树，对所述视频流编码参数设置周期性自适应调节。

在一些实现方式中，根据所述调节代价树，对所述视频流编码参数设置周期性自适应调节，包括：

在视频播放的任一周期内启动LSTM-QoE预测单元，预测下一个周期中用户体验质量的MOS值，将用户体验良好时对应的MOS值作为标记值；

当所述MOS值小于所述标记值时，启动所述当前网络链路质量评估单元，根据当前所述调节方式对所述调节代价树的总个数进行计算；

遍历所述调节代价树的路径，确定所述视频流编码参数组合作为所述LSTM-QoE预测单元的输入特征量，预测下一个视频播放周期中，该视频流编码参数对应用户体验质量的MOS值；

当所述MOS值大于所述标记值时，对调节代价总和进行计算；遍历所述调节代价树的路径，将满足条件的所述视频流编码参数组合和对应的调节代价总和加入待定堆栈；

遍历所述待定堆栈，选取最小的所述调节代价总和对应的所述视频流编码参数组合，返回片源发送端，作为下一个周期中的视频流编码参数。

第二方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如上述第一方面所述的方法。

第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时，实现如上述第一方面所述的方法。

第四方面，本发明实施例提供一种计算机存储介质，所述计算机可读取存储介质中存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的方法。

本发明的一个或多个实施例至少能够带来如下有益效果：

本发明提供一种QoE驱动的视频流编码参数自适应调节方法，目的在于建立一种针对视频流业务的深度学习用户体验质量评估模型，能够解决针对视频流业务用户体验质量评估不准确的问题，并利用该QoE评估模型设计一种视频流编码参数自适应调整策略，在保障用户QoE的同时，能够针对不同网络状态，实现视频流编码比特率、视频分辨率、视频帧率自适应调节，达到在保障视频用户QoE的同时，提升网络链路及终端设备资源利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于QoE驱动的视频流编码参数自适应调节方法的流程图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

图1示出了一种基于QoE驱动的视频流编码参数自适应调节方法流程图，如图1所示，本实施例提供的基于QoE驱动的视频流编码参数自适应调节方法，包括：

S01根据视频流业务，对用户QoE的影响因素进行解析；

S02根据所述影响因素，构造深度学习样本集，并基于注意力机制建立LSTM-QoE预测模型；

S03根据数据包接收率建立当前网络链路质量评估单元，通过所述网络链路质量评估单元和所述LSTM-QoE预测模型进行视频流编码参数的自适应调节。

为准确评估视频用户体验质量，需要考虑不同维度的QoE影响因素，而用户体验质量受心理效应影响，且在时间上存在一定的关联性，因此，利用深度学习长短期记忆(LongShort Term Memory,LSTM)网络模型，有利于提升QoE预测模型准确性。

进一步的，所述S01根据视频流业务，对用户QoE的影响因素进行解析；其中，所述影响因素包括用户基本属性因素、视频播放环境因素、视频传输网络链路因素、终端设备参数、视频流编码参数。

在一些实现方式中，所述S01根据视频流业务，对用户QoE的影响因素进行解析，包括：

S011根据所述用户基本属性因素，对用户的活跃度进行划分；

S012根据所述视频播放环境因素，获取视频播放环境的安静程度及用户移动状态；

S013根据所述视频传输网络链路因素，获取当前视频传输网络链路的可用带宽及加权时延；

S014根据所述终端设备参数，获取终端设备的屏幕质量等级和功放质量等级。

按照S011将用户年龄与性别作为用户的基本属性特征，并根据用户所处年龄阶段的不同，将用户划分为活跃用户、中活跃用户、低活跃用户3个等级；

按照S012利用终端设备功放音量参数及设备加速度传感器参数，分别表征视频播放环境安静程度及用户移动状态；

按照S013利用网络可用带宽及网络加权时延，衡量当前视频传输网络链路状态。其中，计算单个播放周期网络加权时延的具体方式如下：根据实时传输控制协议，在0到t的时间段内，等间距记录N个数据包，计算到达数据包到达时刻t

其中d

按照S014利用屏幕色域、亮度、最高分辨率、响应时间、刷新率来衡量终端设备屏幕质量的等级，利用功放阻抗、灵敏度、频率响应、最大输出功率、失真来衡量终端设备功放质量的等级。

在一些实现方式中，S02根据所述影响因素，通过结合用户体验质量的MOS值构造LSTM样本集，并基于注意力机制建立LSTM-QoE预测模型。

在一些实现方式中，所述S02中基于注意力机制建立LSTM-QoE预测模型，包括：

S021对所述LSTM-QoE预测模型的LSTM细胞单元引入注意力机制；

S022所述注意力机制通过前一时间步的隐藏状态与记忆力单元，获取当前输入序列的权重；

S023所述LSTM-QoE预测模型通过前向传播计算输出预测值，通过所述预测值结合链式求导法得到模型的权重梯度，根据所述权重梯度，通过反向传播对LSTM-QoE预测模型的参数进行更新；

S024通过测试集对所述LSTM-QoE预测模型进行效果评估。

按照S021对于LSTM-QoE预测模型，设定当前输入序列为x

按照S023LSTM单元内前向传播将依次经过遗忘门F

训练过程中，LSTM-QoE模型在完成前向传播计算后，输出预测值，反向传播结合损失函数，计算预测值与实际值的偏差，依据链式求导法则，实现模型参数更新。在模型训练完成后，利用测试集评估LSTM-QoE预测模型最终效果。

按照S024同时设置一种LSTM-QoE反馈学习策略，利用终端用户的反馈数据与原始数据结合，构造新的样本集，实现对LSTM-QoE预测模型的阶段性的反馈训练。

在一些实现方式中，所述S03根据数据包接收率建立当前网络链路质量评估单元，通过所述网络链路质量评估单元和所述LSTM-QoE预测模型进行视频流编码参数的自适应调节，包括：

S031所述网络链路质量评估单元依据加权数据包接收率，将网络链路质量进行等级划分；

S032根据所述用户体验质量的MOS值设置所述数据包接收率的阈值，根据当前网络链路质量设置编码比特率的调节方式；

S033设置所述视频流编码参数的取值范围，视频分辨率及视频帧率取常见值，编码比特率取值等间距离散化；

S034将所述编码比特率、视频分辨率和视频帧率作为视频流编码参数组合，根据所述视频流编码参数组合构造调节代价树；

S035根据所述调节代价树，对所述视频流编码参数设置周期性自适应调节。

通过S031，基于数据包接收率(PacketReceptionRate,PRR)，建立当前网络链路质量评估单元。针对第t个视频播放周期的PRR

按照S032，同时设置1个PRR阈值P

φ＝ε+γ×exp(τ×PRR

其中，ε,γ,τ为3个可调参数。

按照S033，设置常见视频流编码参数取值范围。其中，视频编码比特率取值范围设置为300Kbps至10Mbps，视频分辨率取360p，480p，720p，1080p，2k共5种典型值，视频帧率取值范围设置为20FPS至30FPS，并将视频编码比特率取值等间距离散化；

按照S034，在视频流编码参数过程中，不同EBR，RES及FR的组合，需占用不同大小的网络资源及终端硬件计算资源。因此，以视频编码比特率EBR为根节点，视频分辨率RES为分支节点，视频帧率FR为叶子节点，分别设置EBR，RES，FR调节代价权重向量α,β,δ，构造调节代价树；

按照所述S035根据所述调节代价树，对所述视频流编码参数设置周期性自适应调节。

进一步的，S035包括：

S0351在视频播放的任一周期内启动LSTM-QoE预测单元，预测下一个周期中用户体验质量的MOS值，将用户体验良好时对应的MOS值作为标记值；

S0352当所述MOS值小于所述标记值时，启动所述当前网络链路质量评估单元，根据当前所述调节方式对所述调节代价树的总个数进行调节；

S0353遍历所述调节代价树的路径，确定所述视频流编码参数组合作为所述LSTM-QoE预测单元的输入特征量，预测下一个周期中用户体验质量的MOS值；

S0354当所述MOS值大于所述标记值时，对调节代价总和进行计算；遍历所述调节代价树的路径，将满足条件的所述视频流编码参数组合和对应的调节代价总和加入待定堆栈；

S0355遍历所述待定堆栈，选取最小的所述调节代价对应的所述视频流编码参数组合，返回片源发送端，作为下一个周期中的视频流编码参数。

按照S0351在视频播放的第t个周期，启动LSTM-QoE预测单元，预测第t+1个视频播放周期中用户体验质量的MOS值，将用户体验良好时对应的MOS取值记为θ，可参考设置θ取值为3.5；

按照S0352，若MOS<θ

按照S0353，遍历所有调节代价树的路径，确定视频流编码参数EBR

C＝α*EBR

其中，α,β,δ表示调节代价权重向量。

按照S0354，遍历调节代价树，对于满足条件的视频流编码参数组合与其对应的调节代价总和C加入待定堆栈；

按照S0355，遍历待定堆栈，选取最小调节代价对应的视频编码比特率、视频分辨率、视频帧率组合，返回给片源发送端，作为第t+1个视频播放周期的视频流编码参数。

实施例二：

在实施例一的基础上，按照S011将用户年龄与性别作为用户的基本属性特征，并根据用户所处年龄阶段的不同，分别为A类活跃用户、B类中活跃用户、C类低活跃用户。其中，A类活跃用户对应处于青少年及青年阶段的用户，B类中活跃用户对应处于少年及中年阶段的用户，C类低活跃用户对应处于中老年阶段的用户，量化如下：

记用户性别为变量x

不同类型及不同性别的用户对视频的播放需求不一致，在一定程度上反映一种因主观因素不同，而导致用户预期及心理的差异状况。

记用户所处环境的安静程度为变量x

当用户处在相对吵闹的环境中观看视频时，心理活动会更易受外界客观因素影响，体验质量相比于安静的环境，会有所降低。

记设备抖动状态为x

终端设备抖动状态在一定程度上反映终端用户的移动状态，与用户视频观看体验质量存在一定联系。

S012视频传输网络链路状态及设备性能因素分析量化。其中，视频传输网络链路状态考虑从当前网络可用带宽与网络加权时延分析量化，设备性能考虑从设备屏幕及功放质量分析量化。

记当前网络可用带宽为变量x

通过主动测量方法获取当前网络可用带宽，具体方式如下：采用包间隔测量技术(ProbingGapModel，PGM)，在每个视频播放周期的起始时刻，在发送端发送两个探测包P

设置视频片段播放周期为T，在每个周期的t时刻启动QoE预测单元。通过实时传输协议报头的时间戳信息，获取数据包报文字段中的时延，计算单个播放周期的加权时延。具体方式如下：在0到t的时间段内，等间距记录100个数据包，计算到达数据包到达时刻t

根据公式(6)计算每10个数据包的平均时延：

其中，d

根据公式(7)计算每个视频播放周期T中的网络加权时延：

针对终端设备，将屏幕质量记为变量x

将屏幕质量划分为5个等级，量化如下：

将功放质量划分为3个等级，量化如下：

按照S013，视频流业务参数分析量化。其中，在视频流编码参数中，编码比特率、视频分辨率、视频帧率是3个重要的参数。视频流编码比特率(EcodeBit Rate,EBR)表示单位时间内传送的数据位数，一般单位是Kbps，视频分辨率(Resolution,RES)表示单位英寸中所包含的像素点数，视频帧率(FrameRate,FR)表示每秒显示的帧数，单位为FPS。分别记以上3个变量为x

综上，在影响用户QoE的多个维度中，本发明从用户、环境、网络、设备及视频流编码层面共计分析量化11个影响因素，具体如下：

S02构建基于深度学习长短期记忆网络(Long Short-Term Memory,LSTM)与注意力机制结合的用户体验质量预测模型；

在视频观看过程中，用户体验质量是一个渐进缓出的过程，在时间序列展开后，每个时间点上的用户体验质量具备一定的关联性，而LSTM模型在时间序列的关联问题具备较强的学习能力，其神经元包含3种门：遗忘门、输入门、输出门，基于此实现对实时上下文信息的选择记忆与遗忘功能。与此同时，在LSTM神经网络内引入注意力机制模块，对输入向量有选择性的使用，在丰富上下文关键信息的同时，进一步提升模型预测精度。

实施例三：

在实施例二的基础上，S02利用S01量化的多维特征指标，构造QoE样本集。

样本集输入变量采用多维QoE主客观融合因素，输出变量为用户体验质量MOS值。设置LSTM-QoE模型时间步长为3，创建3个时序状态对应的特征向量为X

S021利用已构建的QoE样本集，训练LSTM-QoE预测模型。具体过程如下：

可以将样本集参照6:2:2的比例划分为训练集，验证集，测试集；

对于单个QoE样本，时序特征向量步长为3，设置LSTM-QoE模型的细胞单元个数为3，当前输入为x

为使LSTM-QoE预测模型专注于输入序列的关键特征，在LSTM细胞单元内引入注意力机制，将前一时间步的隐藏状态与记忆单元作为输入，经过注意力机制模块获取当前输入x

其中，V

通过计算序列中每一项输入的权重，

则经注意力机制处理后的输入序列为

然后LSTM单元内前向传播将依次经过遗忘门F

其中，W

候选记忆单元

其中，W

当前记忆单元C

当前隐状态H

H

其中，⊙表示点乘。

训练过程中，LSTM模型在训练集上按照指定样本大小完成前向传播计算后，输出预测值，反向传播结合损失函数计算预测值与实际值的偏差，依据链式求导法则，计算参数梯度，实现模型参数更新，然后利用验证集，在每轮训练结束后，计算当前LSTM-QoE模型性能指标，最后，在模型训练完成后，利用测试集评估LSTM-QoE预测模型最终效果。

S023设置一种LSTM-QoE学习反馈策略，保证模型预测效果，具体过程如下：

在终端收集用户视频观看体验质量，并通过预置程序采集该视频播放周期内，S01对应量化的QoE影响因素，记为单个用户的反馈样本F

当反馈数据F总量大于阈值θ

实施例四：

在实施例三的基础上，所述S03基于视频播放网络链路质量及LSTM-QoE预测模型，设计视频流编码参数自适应调节策略；

S031为有效表征当前播放系统网络质量等级，利用数据包接收率(PacketReception Rate,PRR)，建立当前播放系统网络质量评估单元。

PRR表示在一个视频播放周期内，数据包成功接收的数目与数据包总发送数目的比值，取值区间为0≤PRR≤1。针对第t个视频播放周期的PRR

PRR

公式(17)中，前3个周期对应的权重，可以设置为

设置片源发送端采用H.264编码方式，针对视频流编码参数，视频编码比特率取值范围设置为300Kbps至10Mbps，视频分辨率取360p，480p，720p，1080p，2k共5种典型值，视频帧率取值范围设置为20FPS至30FPS。为方便后续处理，对视频编码比特率进行等间距离散化，设置间隔Δ＝10Kbps，将常见EBR取值区间划分为

即n＝970个离散区间取值，实现连续型编码比特率区间离散化。设当前视频流编码参数中，编码比特率为EBR

视频流编码参数调节单元根据EBR

在视频流编码参数中，不同EBR，RES及FR的组合，需占用不同大小的网络资源及终端硬件计算资源，设置α,β,δ分别表示EBR，RES及FR调节代价权重向量。其中，α,β,δ的取值可以参照如下设置：

设置α＝<10,20,30,...,i*10>，

其中i＝1,2,3,...,970；

设置β＝＜1,2,3,4,5＞；

设置δ＝＜0.1,0.2,0.3,...,j*0.1＞，

其中j＝1,2,3,...,20。

调节代价树中，分支节点与叶子节点的取值从小到大排序，且对应调节代价权重按照给定值依次增大。

设置1个PRR阈值P

φ＝ε+γ×exp(τ×PRR

公式(19)中，ε,γ,τ为3个可调参数，可以设置为ε＝10,γ＝1.53,τ＝4.06。

调节步长φ与网络链路质量满足指数关系，当网络链路质量越好时，则对应的调节步长φ越大，且呈现指数级增长形式。

在编码参数搜索过程中，首先遍历原编码比特率对应的调节代价树所有路径组合，即所有EBR、RES、FR取值组合，并结合当前网络及设备参数，构造新的特征向量V，将V输入LSTM-QoE预测模型，计算下一周期用户体验MOS值，若MOS＜θ，则舍弃当前EBR、RES、FR参数组合，若MOS≥θ，则在保留当前编码比特率、视频分辨率、视频帧率参数组合的同时，计算当前编码参数对应的代价总和C＝α*EBR

遍历待定堆栈，找到调节代价总和最小的编码参数组合，定为下一周期视频流编码参数，实现在满足用户QoE的前提下，提高网络及终端设备资源利用率。

实施例五：

本实施例还提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现实施例一的方法；

在实际应用中，处理器可以是专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(ProgrammableLogic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器(Microcontroller Unit,MCU)、微处理器或其他电子元件实现，用于执行上述实施例中的方法。

本实施例所实现的方法，包括：

S01根据视频流业务，对用户QoE的影响因素进行解析；

S02根据所述影响因素，构造深度学习样本集，并基于注意力机制建立LSTM-QoE预测模型；

S03根据数据包接收率建立当前网络链路质量评估单元，通过所述网络链路质量评估单元和所述LSTM-QoE预测模型进行视频流编码参数的自适应调节。

实施例六：

本实施例还提供一种计算机存储介质，所述计算机可读取存储介质中存储有计算机程序，计算机程序被一个或多个处理器执行时，实现实施例一的方法；

其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

本实施例所实现的方法，包括：

S01根据视频流业务，对用户QoE的影响因素进行解析；

S02根据所述影响因素，构造深度学习样本集，并基于注意力机制建立LSTM-QoE预测模型；

S03根据数据包接收率建立当前网络链路质量评估单元，通过所述网络链路质量评估单元和所述LSTM-QoE预测模型进行视频流编码参数的自适应调节。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的系统和方法，也可以通过其它的方式实现。以上所描述的系统和方法实施例仅仅是示意性的。

需要说明的是，在本文中，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。