一种基于帧分类的视频后处理优化方法及装置

技术领域

本发明涉及视频编码技术领域，特别涉及一种基于帧分类的视频后处理优化方法及装置。

背景技术

HEVC(High Efficiency Video Coding，新一代高效视频编码标准)，ITU-T视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)成立的联合视频专家组JVET(JointVideo Exploration Team)所制定的视频编码标准，于2013年1月26号正式成为国际标准。

STDF(Spatio-Temporal Deformable Fusion，时空(可)变形融合)技术，由Jianing Deng等人于论文《Spatio-Temporal Deformable Convolution for CompressedVideo Quality Enhancement》中提出的一种基于深度学习的视频质量增强技术。

STDF模型如附图1所示，该模型由STDC(时空变形卷积)和QE(质量增强)两个模块构成。在STDC模块中，首先对图像进行3次下采样，使得在相同的搜索步长条件下，实际搜索范围更大，提高卷积偏移量的精度，再进行3次上采样把所得偏移量恢复到原始图片大小，得到前后各3个相邻帧和当前帧共(2*3+1)个帧的偏移量，这些偏移量用于时空可变卷积的计算。通过时空可变卷积的计算，将当前帧空间和时间上的信息融合得到时空特征图，再经过QE模块，其中包含输入、输出、隐藏层共8层网络，每一层网络的维度为48-64层不等，用以提取恢复更深层次的细节特征，最终得到残差图，将此残差图与原始帧相加得到质量增强后的新图像。由此可知，该网络计算复杂度高，耗时较大。

HEVC标准编码(编码参数为LOWDELAY_P_MAIN.CFG)的视频，其一个GOP(Group ofPictures，画面组)中各帧的质量(PSNR，峰值信噪比)存在一定规律，如附图2所示。针对质量较好帧(图2中PQF帧)进行增强时，会使用其两侧质量较差帧作为参考，相较于针对质量较差帧(如图2中VQF帧)进行增强时，由于使用同一训练所得模型，其增强效果必然有所区别。

综上，申请人发现目前相关研究下还存在以下缺陷：

(1)由于STDF技术中所采用的STDF模型与QE模型的网络结构均较为复杂，无法满足实时应用的需求，因此导致采用STDF技术实现的视频后处理质量增强过程耗时长的缺陷。

(2)由于STDF技术针对视频整体训练同一个增强模型，该模型利用目标帧周围几帧作为参考对目标帧进行增强，而HEVC编码视频中各帧质量有所波动，若使用同一模型，在利用质量较差帧对质量较好帧进行增强时，增强效果有限，因此导致由HEVC为代表的视频编码标准所编码的视频中的部分帧，STDF技术的增强效果有限。

发明内容

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种基于帧分类的视频后处理优化方法及装置，能够优化视频后处理的质量增强过程，减少其运行时间并提升部分帧的质量增强效果。

本发明的第一方面，提供了一种基于帧分类的视频后处理优化方法，包括以下步骤：

读取待增强视频，标记所述待增强视频中的较优帧，所述较优帧用于表征所述待增强视频所有帧中质量较好的帧；

对所述待增强视频执行质量增强处理，并在质量增强处理过程中跳过所有所述较优帧的质量增强处理；或者，对所述待增强视频执行质量增强处理，判断是否跳过当前所述较优帧的质量增强处理，若不跳过，执行当前所述较优帧的质量增强处理，且执行当前所述较优帧的质量增强处理与执行所有非所述较优帧的质量增强处理使用两个不同的增强模型。

根据本发明的实施例，至少具有如下技术效果：

本发明首先会标记待增强视频中所有的较优帧，将待增强视频分为较优帧和普通帧(即非较优帧)，其中较优帧用于表征待增强视频所有帧中质量较好的帧。然后在视频后处理中，提供两种选择，第一种选择是直接选择跳过所标记的所有较优帧的质量增强处理，选择不对此类帧进行质量增强，从而能够在损失较小的情况下有效缩减运算所需时间；第二种选择是先判断是否对当前的较优帧进行质量增强，若进行处理，则使用两个不同的增强模型分别对当前的较优帧和普通帧进行处理，对不同帧类型采用不同的增强模型，从而提高质量增强效果，并且能够在损失较小的情况下减少运算消耗的时间。

本发明的第二方面，提供了一种基于帧分类的视频后处理优化装置，包括：

标记模块，读取待增强视频，标记所述待增强视频中的较优帧，所述较优帧用于表征所述待增强视频所有帧中质量较好的帧；

对所述待增强视频执行质量增强处理，并在质量增强处理过程中跳过所有所述较优帧的质量增强处理；或者，对所述待增强视频执行质量增强处理，判断是否跳过当前所述较优帧的质量增强处理，若不跳过，执行当前所述较优帧的质量增强处理，且执行当前所述较优帧的质量增强处理与执行所有非所述较优帧的质量增强处理使用两个不同的增强模型。

根据本发明的实施例，至少具有如下技术效果：

本发明首先会标记待增强视频中所有的较优帧，将待增强视频分为较优帧和普通帧(即非较优帧)，其中较优帧用于表征待增强视频所有帧中质量较好的帧。然后在视频后处理中，提供两种选择，第一种选择是直接选择跳过所标记的所有较优帧的质量增强处理，选择不对此类帧进行质量增强，从而能够在损失较小的情况下有效缩减运算所需时间；第二种选择是先判断是否对当前的较优帧进行质量增强，若进行处理，则使用两个不同的增强模型分别对当前的较优帧和普通帧进行处理，对不同帧类型采用不同的增强模型，从而提高质量增强效果，并且能够在损失较小的情况下减少运算消耗的时间。

本发明的第三方面，提供了一种基于帧分类的视频后处理优化设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如本发明第一方面所述的一种基于帧分类的视频后处理优化方法。

本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本发明第一方面所述的一种基于帧分类的视频后处理优化方法。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为STDF模型示意图；

图2为HEVC编码视频质量示意图；

图3为本发明第一实施例提供的一种基于帧分类的视频后处理优化方法的流程示意图；

图4为本发明第二实施例提供的较优帧标记的流程示意图；

图5为本发明第二实施例提供的视频后处理质量增强过程的加速流程示意图；

图6为本发明第二实施例提供的视频后处理质量增强效果的优化流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在介绍本申请实施例之前，先介绍本发明的发明构思：

申请人发现目前相关研究下还存在以下缺陷：

(1)由于STDF技术中所采用的STDF模型与QE模型的网络结构均较为复杂，无法满足实时应用的需求，因此导致采用STDF技术实现的视频后处理质量增强过程耗时长的缺陷。

(2)由于STDF技术针对视频整体训练同一个增强模型，该模型利用目标帧周围几帧作为参考对目标帧进行增强，而HEVC编码视频中各帧质量有所波动，若使用同一模型，在利用质量较差帧对质量较好帧进行增强时，增强效果有限，因此导致由HEVC为代表的视频编码标准所编码的视频中的部分帧，STDF技术的增强效果有限。

为了解决以上两点缺陷，申请人发现：

(1)由HEVC编码规律可知，存在增强效果不明显的质量较优帧；而此类较优帧可以通过质量参数(如PSNR、QP等)进行标记；通过标记该类帧，可以选择不对此类帧进行质量增强，从而能够有效缩减运算所需时间。

(2)如上所述，可以标记编码视频中的较优帧，再针对此类帧单独训练模型。在质量增强时，对不同帧类型采用不同的增强模型，以提高质量增强效果。进一步地，为了减少视频后处理所需的运算时间，此增强模型可以采用简化模型。

第一实施例；

参照图3，本发明的一个实施例，提供了一种基于帧分类的视频后处理优化方法，包括以下步骤：

步骤S101、读取待增强视频，标记待增强视频中的较优帧，较优帧用于表征待增强视频所有帧中质量较好的帧。

步骤S102、对待增强视频进行执行质量增强处理，并在质量增强处理过程中跳过所有较优帧的质量增强处理；或者，对待增强视频进行执行质量增强处理，判断是否跳过当前较优帧的质量增强处理，若不跳过，执行当前较优帧的质量增强处理，且执行当前较优帧的质量增强处理与执行所有非较优帧的质量增强处理使用两个不同的增强模型。

本发明实施例首先会标记待增强视频中所有的较优帧，将待增强视频分为普通帧(即非较优帧)和较优帧，其中较优帧用于表征待增强视频所有帧中质量较好的帧，当前帧的质量优于邻近帧的质量，则当前帧就标记为较优帧。需要说明的是，在本领域中有明确用于表征帧质量的质量参数，例如QP值和PSNR。然后在视频后处理中，提供两种选择，第一种选择是直接选择跳过步骤S101中所标记的所有较优帧的质量增强处理，选择不对此类帧进行质量增强，从而能够在损失较小的情况下有效缩减运算所需时间。第二种选择是先判断是否对当前的较优帧进行质量增强，若进行处理，则使用两个不同的增强模型分别对当前的较优帧和普通帧进行处理，对不同帧类型采用不同的增强模型，能够提高质量增强效果，并且能够在损失较小的情况下减少运算消耗的时间。需要说明的是，对帧进行质量增强处理(属于“视频后处理”的其中一步)是本领域的公知常识，所以此处不细述其增强的过程和原理。

作为一种可选的实施方式，在步骤S102中的执行当前所述较优帧的质量增强处理，包括以下步骤：

步骤S1021、构建原始模型，通过原始模型对所有非较优帧执行质量增强处理；

步骤S1022、对原始模型进行简化，构建基于原始模型的简化模型，并通过简化模型对当前较优帧执行质量增强处理。

本实施方式的整体依据为增强算法对于质量较好的帧增强效果要小于对质量较差帧的效果，因此通过简化模型对质量较好帧的增强可以在损失较小的情况下减少算法消耗的时间。

基于上述实施例，通常的，原始模型的输入为7(2*3+1)帧输入，而本申请改为3(2*1+1)帧输入。将原始的7(2*3+1)帧输入变为3(2*1+1)帧输入，能够减少视频后处理所需的运算时间。

作为一种可选的实施方式，步骤S101中的读取待增强视频，标记待增强视频中的较优帧，包括以下步骤(本实例以QP值为例，若以PSNR值作为质量参数，则需对参数或大小关系进行适应调整)：

步骤S1011、读取待增强视频的码流信息，获得各帧的QP值。

步骤S1012、遍历所有帧，获取所有的优先质量帧，其中每个优先质量帧的QP值小于相邻帧的QP值。

步骤S1013、遍历所有优先质量帧，若相邻两个优先质量帧之间的距离大于阈值，取相邻两个优先质量帧中质量参数更高的一个优先质量帧标记为较优帧。

本实施例进行了二次选取，使得较优帧的选取更为合理和标准。需要说明的是，在本实施例中，优先质量帧是最作为较优帧选取过程中所设定的一个中间量，即先选出所有的优先质量帧，进一步地，从所有的优先质量帧中选取出较优帧。

基于上述实施例，步骤S1013中的阈值可由HEVC编码规律可将距离设为4。

第二实施例；

参照图4至图6，为了便于本领域技术人员理解本方案，以下提供一组最优实施例，包括以下内容：

(1)一次选取：通过读取码流信息，可以获得各帧QP值，可以用来作为其质量信息。遍历所有帧，若当前帧质量优于邻近帧(QP小于邻近帧QP)，则将之标记为较优帧(PQF)。二次选取：遍历一次选取中的所有较优帧标记，若当前标记与前一标记距离过远(由HEVC编码规律可将距离设为4)，则取两者之间的帧中质量最好帧标记为较优帧。其流程如图4所示。

(2)由(1)可得待增强视频中的较优帧信息，在质量增强过程中，可选择跳过对较优帧的增强过程，从而加速后处理质量增强过程。其流程如图5所示。

(3)由(1)可得待增强视频中的较优帧信息，在质量增强过程中，可对较优帧应用单独训练的其他模型进行增强，此处可使用任意其他模型或传统算法进行增强处理，例如可使用去噪卷积神经网络(DnCNN)、深度持久记忆网络(MemNet)或是传统的三维块匹配算法(BM3D)、DCT(离散余弦变换)域内的线性最小均方误差(LMMSE)算法、自适应各向异性空间可变FIR滤波算法等。本方法采用的新训练模型为原始模型的简化，本文将新训练模型称为简化模型，简化模型将原始模型的原始的7(2*3+1)帧输入改为3(2*1+1)帧输入。此外，此方法可通过加入控制位而与(2)结合，流程如图6所示。在图6中，区分与现有技术，增加了较优帧信息的标记与读取过程，在增强过程中依据该帧的标记决定对帧进行增强与否以及增强时所使用的模型。需要说明的是，用户可以根据自己的需要进行选择是否跳过较优帧的质量增强处理过程，例如若想要更快的算法速度则选择跳过；若想要更好的增强质量则选择不跳过。本发明不做具体约束，仅为用户提供此选择。

本方法整体依据为增强算法对于质量较好的帧增强效果要小于对质量较差帧的效果，因此通过简化模型对质量较好帧的增强或直接跳过这类增强可以在损失较小的情况下减少算法消耗的时间。本方法通过标记已编码视频中的较优帧，进行后处理质量增强过程的跳过判断，从而减少运算时间；通过标记已编码视频中的较优帧，对其使用专用的简化模型进行质量增强，在降低运算时间的前提下，提升质量增强效果。

第三实施例；

为了证明本方案第一实施例和第二实施例的合理性，以下基于第二实施例，提供一组实验实施例，包括以下内容：

(1)实验环境；

本实施例整个模型的训练和测试平台的软硬件具体配置如下表1所示。

表1

本实例使用JianingDeng等人在论文“Spatio-Temporal DeformableConvolution for Compressed Video Quality Enhancement”中给出的公开未压缩的130个原始视频序列数据，这些原始视频序列包括了各种分辨率和各种视频内容，它们基本上来自Xiph和VQEG这个两大数据库。本实施例选取其中的108个序列作为训练的视频序列集，其余的作为验证的视频序列集。对于测试的序列，选取10个视频编码联合组(JointCollaborative Team on Video Coding)给出的未压缩的H.265标准测试序列，这些测试序列包括了416x240、832×480、1280×720三种分辨率，如下表2所示。为了用这些视频序列做训练和测试，本实验用H.265/HEVC的参考编码器HM-16.18+SCM-8.7在Low Delay P(LDP)的配置下，量化参数(QP)设置为37，对上面提到的108个训练序列和10个测试序列做视频编解码。

表2

(2)实验结果；

针对后处理质量增强过程加速方法，其测试结果如下表3所示。表中ΔPSNR

表3

针对后处理质量增强效果优化方法，其测试结果如下表4、5所示。表4中为对测试视频全帧增强所得结果，表5中为仅增强会应用简化模型的较优帧所得结果。可以看出，此方法在运算时间减少4％的基础上，提高了0.029db的整体PSNR增强效果，并且在仅对较优帧增强时提高了0.11db的增强效果。

表4

表5

第四实施例；

本发明的一个实施例，提供了一种基于帧分类的视频后处理优化装置，包括：标记模块和质量增强处理模块，其中：

标记模块用于读取待增强视频，标记待增强视频中的较优帧，较优帧用于表征待增强视频所有帧中质量较好的帧；

质量增强处理模块用于对待增强视频执行质量增强处理，并在质量增强处理过程中跳过所有较优帧的质量增强处理；或者，对待增强视频执行质量增强处理，判断是否跳过当前较优帧的质量增强处理，若跳过，仅对待增强视频中的所有非较优帧执行质量增强处理；若不跳过，执行当前较优帧的质量增强处理，且执行当前较优帧的质量增强处理与执行所有非较优帧的质量增强处理使用两个不同的增强模型。

由于本实施例与上述方法实施例是属于同一个发明构思，因此上述方法实施例的相关内容同样适用于本装置实施例，此处便不再赘述。

本发明还提供了一种基于帧分类的视频后处理优化设备，该基于帧分类的视频后处理优化设备可以是任意类型的智能终端，例如手机、平板电脑、个人计算机等。

具体地，该基于帧分类的视频后处理优化设备包括：一个或多个控制处理器和存储器。控制处理器和存储器可以通过总线或者其他方式连接。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的基于帧分类的视频后处理优化设备对应的程序指令/模块。控制处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电缆接头的导体温度计算系统的各种功能应用以及数据处理，即实现上述方法实施例的一种基于帧分类的视频后处理优化方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电缆接头的导体温度计算系统的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于帧分类的视频后处理优化设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个控制处理器执行时，执行上述方法实施例中的一种基于帧分类的视频后处理优化方法。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种基于帧分类的视频后处理优化方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现。本领域技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。