视频超分辨率处理方法及装置

技术领域

本申请涉及计算机技术领域，尤其涉及一种视频超分辨率处理方法及装置。

背景技术

通常，视频(或图像)的清晰度由图像的分辨率决定，低分辨率(low-resolution，LR)意味着图像的清晰度较低，高分辨率(high-resolution，HR)意味着图像的清晰度较高。要想获得高分辨率的视频源，最直接的方法就是采用高分辨率图像传感器，但在日常生活中高分辨率的视频源是极其缺乏的，且高分辨率视频源的存储和传输将会给当前的传输网络带来沉重负担。因此，人们提出了超分辨率(super-resolution，SR)技术，可以在现有的低分辨率视频源的基础上恢复出高分辨率的视频。超分辨率技术是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率图像来得到一幅高分辨率图像的过程就是超分辨率重建。

目前，现有的图像超分辨率算法有很多，视频也可以拆解成单帧图像进行超分辨率处理。即从视频流中截取整张图像，在将截取到的整张图像经过卷积神经网络进行超分辨率处理，最后将超分辨率处理后的图像重新传至视频流中。由于图像超分辨率处理的效果与卷积神经网络模型的深度和规模成正相关关系，但卷积神经网络模型的深度和规模又受限于处理器(中央处理器(central processing unit，CPU)、图形处理器(graphicsprocessing unit，GPU)和/或嵌入式神经网络处理器(neural-network processing unit，NPU))的处理能力以及功耗。所以在保证图像超分辨率处理效果的同时，处理器运行超分辨率的卷积神经网络就需要进行大量的卷积运算，功耗也随着处理器计算量的增大而增加。另外，由于对视频的超分辨率处理可以拆解成对视频中每帧图像的超分辨率处理，而视频中每帧图像的像素数据量也较大，故处理器对每帧图像进行超分辨率处理时将会因为数据量大而导致处理所需时间较长，因此视频中任两帧图像的超分辨率处理时延也会随着处理器计算量的增大而增加。

发明内容

本申请实施例提供一种视频超分辨率处理方法及装置，可以在保证视频中单帧图像的超分辨率处理效果的同时，降低功耗，减少视频中任意两帧图像的超分辨率处理时延。

下面从不同的方面介绍本申请，应理解的是，下面的不同方面的实施方式和有益效果可以互相参考。

第一方面，本申请实施例提供一种视频超分辨率处理方法，该方法包括：首先，终端设备可以获取视频流中任一编码块的编码信息，该编码信息中可以包括参考图像帧索引、匹配编码块索引以及帧间预测标记。其次，终端设备可以根据该帧间预测标记确定该任一编码块的帧间预测模式，并可以根据该任一编码块的帧间预测模式和该匹配编码块索引所标识的匹配编码块的像素信息，确定该任一编码块的超分辨率像素块。最后，终端设备可以将该视频流中属于同一图像帧的各个编码块的超分辨率像素块进行拼接得到超分辨率图像，并可以将该视频流的各个图像帧的超分辨率图像整合成超分辨率视频输出。其中，一个编码块属于视频流中的一个图像帧，视频流中的一个图像帧包括多个编码块。上述匹配编码块索引所标识的匹配编码块为上述参考图像帧索引所标识的参考图像帧中与上述任一编码块的像素差异最小的编码块。上述任一编码块的超分辨率像素块为该任一编码块的像素信息经过超分辨率处理后得到的像素块。

本申请实施例相对于直接对整个图像帧进行超分辨率处理，终端设备基于P帧中编码块的不同帧间预测模式，对编码块进行不同的超分辨率处理以得到超分辨率像素块，再将超分辨率像素块进行拼接得到超分辨率图像，不仅实现了对整个图像帧的超分辨率处理，还可以在保证视频中单帧图像超分辨率处理效果的同时，减少计算量，从而降低功耗，减少视频中任意两帧图像的超分辨率处理时延。

结合第一方面，在一种可能的实施方式中，终端设备根据上述任一编码块的帧间预测模式和上述匹配编码块索引所标识的匹配编码块的像素信息，确定该任一编码块的超分辨率像素块，具体可以为：当该帧间预测模式为第一类预测模式(即跳过skip模式)时，说明该任一编码块的像素信息与该匹配编码块的像素信息相同，也说明skip模式下的编码块与其匹配编码块之间不存在像素预测残差，终端设备可以直接将该匹配编码块的超分辨率匹配像素块作为该任一编码块的超分辨率像素块。其中，该超分辨率匹配像素块可以为该匹配编码块的像素信息经过超分辨率处理后得到的像素块。由于参考图像帧的时序在上述任一编码块所属图像帧的时序之前，所以终端设备在处理该任一编码块时，已经得到了参考图像帧的超分辨率图像，故可以直接获取到在参考图像帧中的匹配编码块的超分辨率匹配像素块。当任一编码块的帧间预测模式为skip模式时，本申请实施例的终端设备直接将获取到的超分辨率匹配像素块作为任一编码块的超分辨率像素块，不需要对该任一编码块的像素信息进行超分辨率处理，可以节省超分辨率处理时产生的功耗，即降低了终端设备的功耗，同时可以节省单帧图像的超分辨率处理时间，进而减少了任意两帧图像的超分辨率处理时延。

结合第一方面，在一种可能的实施方式中，终端设备根据上述任一编码块的帧间预测模式和上述匹配编码块索引所标识的匹配编码块的像素信息，确定该任一编码块的超分辨率像素块，还可以为：当帧间预测模式为第二类预测模式(即合并merge模式或帧间AMVP模式)时，说明该任一编码块的像素信息与该匹配编码块的像素信息不完全相同，也说明skip模式下的编码块与其匹配编码块之间存在像素预测残差，终端设备可以获取该任一编码块的编码信息中的像素预测残差，并可以根据该匹配编码块的像素信息和该像素预测残差确定该任一编码的像素信息，再可以将该任一编码块的像素信息输入超分辨率模型中进行超分辨率处理，以得到该任一编码块的超分辨率像素块。当任一编码块的帧间预测模式为merge模式或AMVP模式时，本申请实施例中的终端设备将任一编码块的像素信息输入超分辨率模型中进行超分辨率处理，可以保证超分辨率像素块的超分辨率效果，从而保证了整个图像帧的超分辨率效果。

结合第一方面，在一种可能的实施方式中，上述像素信息可以为像素矩阵，像素预测残差可以为像素残差矩阵。终端设备在根据上述匹配编码块的像素信息和上述像素预测残差确定上述任一编码的像素信息时，可以将该匹配编码块的像素矩阵与该像素残差矩阵之和作为该任一编码块的像素矩阵。

结合第一方面，在一种可能的实施方式中，终端设备在将该任一编码块的像素信息输入超分辨率模型中进行超分辨率处理，以得到该任一编码块的超分辨率像素块时，可以获取上述任一编码块的第一像素区域(即任一编码块的边缘区域)，并可以对该第一像素区域进行像素填充(即边缘区域进行边缘补偿)，再可以将该像素填充后的第一像素区域的像素信息输入超分辨率模型中进行超分辨率处理后得到该任一编码块对应的第一像素块(即边缘补偿后的边缘区域进行超分)，还可以对该任一编码块的像素信息进行超分辨率处理，并可以将该任一编码块的像素信息经过超分辨率处理后得到的像素块与该第一像素块进行拼接，得到该任一编码块的超分辨率像素块(即将边缘区域超分后的结果与编码块超分后的结果进行拼接得到完整的超分辨率像素块)。其中，上述第一像素区域的像素信息可以为该任一编码块的像素信息中除第二像素区域的像素信息外的像素信息，该第二像素区域为该任一编码块中预设尺寸的像素区域(即中心区域)。本申请实施例的终端设备通过提取编码块的边缘区域，再对像素填充后的边缘区域进行超分辨率处理得到第一像素块，最后将第一像素块与编码块的像素信息经过超分辨率处理后得到的像素块拼接为编码块的超分辨率像素块，可以明显改善编码块之间的边界问题，进一步保证了单帧图像的超分辨率处理效果。

结合第一方面，在一种可能的实施方式中，终端设备获取上述任一编码块的第一像素区域(即任一编码块的边缘区域)时，可以从该任一编码块中确定出大小为该预设尺寸的第二像素区域(即任一编码块的中心区域)，并可以将该任一编码块中与该第二像素区域不重叠的区域确定为第一像素区域(即任一编码块的边缘区域)。其中，上述预设尺寸可以基于该超分辨率模型的卷积层数和卷积核大小确定。

结合第一方面，在一种可能的实施方式中，上述编码信息中还包括运动矢量预测值MVP和/或运动矢量差MVD。终端设备将上述视频流中属于同一图像帧的各个编码块的超分辨率像素块进行拼接得到超分辨率图像，具体可以为：终端设备可以根据上述帧间预测模式、该MVP和/或该MVD确定出该任一编码块的运动矢量MV，并可以根据该MV和上述匹配编码块在上述参考图像帧上的位置确定出该任一编码块在该任一编码块所属图像帧上的位置，最后按照该视频流中属于同一图像帧的各个编码块在该各个编码块所属图像帧上的位置，将该各个编码块的超分辨率像素块进行拼接后得到该各个编码块所属图像帧的超分辨率图像。本申请实施例的终端设备根据不同的帧间预测模式来确定MV，并通过MV确定任一编码块在其图像帧中的位置，从而保证超分辨率像素块在拼接时的位置是正确的，得到完整的超分辨率图像。

结合第一方面，在一种可能的实施方式中，终端设备根据上述帧间预测模式、该MVP和/或该MVD确定出该任一编码块的运动矢量MV，当上述任一编码块的帧间预测模式为上述第一类预测模式(skip模式)时，将该编码信息中的该MVP作为该任一编码块的运动向量MV；当该任一编码块的帧间预测模式为上述第二类预测模式(merge模式或AMVP模式)时，将该编码信息中的该MVP和该MVD之和作为该任一编码块的MV，其中merge模式下的MVD为0。

结合第一方面，在一种可能的实施方式中，上述任一编码块所属图像帧的帧类型为P帧。

结合第一方面，在一种可能的实施方式中，上述视频流中还包括帧类型为I帧的第一图像帧。上述方法还可以包括：当上述视频流中的某个编码块所属图像帧的帧类型为I帧时，则终端设备可以获取第一图像帧的像素信息，再可以将该第一图像帧的像素信息输入超分辨率模型中进行超分辨率处理，得到该第一图像帧的超分辨率图像，这里的第一图像帧指的就是该I帧。

终端设备还可以将上述视频流中各个图像帧的超分辨率图像合成为超分辨率视频。

本申请实施例的终端设备针对视频流中不同帧类型的图像帧采用不同的超分辨率处理方式：对于P帧，针对P帧中的各个编码块进行超分辨率处理；对于I帧，直接对完整的I帧图像进行超分辨率处理，完善了视频超分辨率处理方法，保证了视频流中各图像帧的超分辨率处理效果。

第二方面，本申请实施例提供一种视频超分辨率处理装置，该视频超分辨率处理装置包括用于执行上述第一方面和/或第一方面的任意一种可能的实现方式所提供的视频超分辨率处理方法的单元和/或模块，因此也能实现第一方面提供的视频超分辨率处理方法所具备的有益效果(或优点)。

第三方面，本申请实施例提供一种终端设备，包括处理器和存储器，该存储器用于存储计算机程序，该计算机程序包括程序指令，当该处理器运行该程序指令时，执行上述第一方面的视频超分辨率处理方法。该终端设备还可以包括接收器，所述接收器用于接收网络传输的视频流。

第四方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述第一方面的视频超分辨率处理方法。

第五方面，本申请实施例提供一种芯片，包括处理器。该处理器用于读取并执行存储器中存储的计算机程序，以执行上述第一方面的任意可能的实现方式中的视频超分辨率处理方法。可选的，该芯片还包括存储器，该存储器与该处理器通过电路或电线连接。进一步可选的，该芯片还包括通信接口，该处理器与该通信接口连接。该通信接口用于接收需要处理的数据和/或信息，该处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理，并通过该通信接口输出处理结果。该通信接口可以是输入输出接口。

可选的，上述的处理器与存储器可以是物理上相互独立的单元，或者，存储器也可以和处理器集成在一起。

第六方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储计算机程序指令，当该计算机程序指令在该计算机上运行时，使得该计算机执行上述第一方面中的视频超分辨率处理方法。

实施本申请实施例，一方面可以在保证视频中单帧图像的超分辨率处理效果的同时，降低功耗；另一方面可以减少视频中任意两帧图像的超分辨率处理时延。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本申请实施例提供的系统架构的示意图；

图2是本申请实施例提供的视频超分辨率处理方法的示意流程图；

图3是本申请实施例提供的图像帧的头文件位置的示意图；

图4是本申请实施例提供的有效填充和相同填充的示意图；

图5是本申请实施例提供的超分辨率像素块确定流程示意图；

图6是本申请实施例提供的第一像素区域像素填充的示意图；

图7a是本申请实施例提供的确定超分辨率像素块的示意图；

图7b是本申请实施例提供的编码块位置的示意图；

图8是本申请实施例提供的编码块拼接的示意图；

图9是本申请实施例提供的终端设备对P帧超分辨率处理时的内部实现示意图；

图10是本申请实施例提供的视频超分辨率处理装置的结构示意图；

图11是本申请实施例提供的终端设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供的视频超分辨率处理方法可适用于视频通话、视频会议、视频播放(包括视频点播、视频直播、影视作品或短视频的播放等)、视频监控、视频录像等视频处理的应用场景中。

在一些可行的实施方式中，上述应用场景中的系统架构通常可以包括视频发送端和视频接收端。如图1所示，图1为本申请实施例提供的系统架构的示意图。其中，视频发送端可以包括视频输入模块和视频编码模块，视频输入模块可以为摄像头，视频编码模块可以为视频编码器。视频接收端可以包括视频解码模块、解码帧提取模块、超分辨率模块以及视频输出模块，视频解码模块可以为视频解码器，超分辨率模块可以包括超分辨率模型，视频输出模块可以为显示器。视频发送端可以将视频输入模块采集或存储的视频输入视频编码模块中进行视频压缩编码。通过网络传输将视频从视频发送端传输到视频接收端。视频接收端可以将从网络中接收到的视频输入视频解码模块中进行视频解码，并通过解码帧提取模块提取视频解码帧，超分辨率模块对视频解码帧进行超分辨率处理，最后通过视频输出模块输出超分辨率处理后的视频。可选的，网络传输可以包括有线网络传输和无线网络传输两种，有线网络传输的介质可以为同轴电缆、网线(双绞线)、光纤；无线网络传输的载体可以为无线电波，无线网络可以包括无线局域网、无线城域网、无线个人网等。

在视频通话、视频会议或视频直播场景中，视频发送端可以为手机、笔记本电脑、平板电脑、台式电脑、会议终端等具有拍摄和视频编码功能的终端，视频接收端可以手机、笔记本电脑、平板电脑、台式电脑、会议终端等具有视频解码和显示功能的终端。在视频点播、影视作品或短视频的播放场景中，视频发送端可以为云端服务器，视频输入模块可以为云端服务器的存储空间，该云端服务器的存储空间中可以存储各种影视作品、短视频、视频点播资源(如视音频节目)等，视频接收端可以为手机、笔记本电脑、台式电脑、平板电脑、智能电视等具有视频解码和显示功能的终端。在视频监控场景中，视频发送端可以为网络摄像头(网络摄像头是集摄像、视频编码、万维网服务于一体的高级摄像设备)等具有监控摄像和视频编码功能的设备，视频接收端可以为手机、笔记本电脑、平板电脑、台式电脑等具有视频解码和显示功能的终端。

在另一些可行的实施方式中，本申请实施例提供的系统架构可以只包括视频接收端，此时的视频接收端可以包括视频接收模块、视频解码模块、解码帧提取模块、超分辨率模块以及视频输出模块，视频接收端可以包括用户接口或摄像头，视频解码模块可以为视频解码器，超分辨率模块可以包括超分辨率模型，视频输出模块可以为显示器。该视频接收端可以接收网络中传输的视频或者采集摄像头录制的视频，并将该视频输入视频解码模块中进行视频解码，并通过解码帧提取模块提取视频解码帧，超分辨率模块对视频解码帧进行超分辨率处理，最后通过视频输出模块输出超分辨率处理后的视频。用户接口可用于接收网络中传输的视频。如在视频录像场景中，系统架构可以只包括视频接收端，此时视频接收端可以为手机等具有视频拍摄功能的设备。在另一些可行的实施方式中，视频接收端(或称终端)可以读取本地存储的视频并进行超分辨率处理后在本地显示或发送给其它的设备显示。

为便于描述，下面将对本申请实施例提供的方法中所涉及的部分术语(名词)进行简单说明：

一、视频压缩编码

从信息论的观点来看，描述信源的数据是信息和数据冗余之和，即：数据＝信息+数据冗余。数据冗余有许多种，如空间冗余、时间冗余、视觉冗余、统计冗余等。将图像作为一个信源，视频压缩编码的实质是减少图像中的数据冗余。

常用的视频压缩编码标准有高效视频编码(high efficiency video coding，HEVC，又称H.265)。HEVC的主要思想为：在单帧图像或者多帧图像中寻找具有冗余信息的像素块(或宏块)，这些具有冗余信息的像素块在视频压缩的过程中将被一些信息(如像素预测残差、运动矢量差)所描述，而非原始的像素值，从而达到视频被高效压缩的目的。HEVC过程中可以包括：帧间预测和运动估计。

二、帧间预测

帧间预测可以指利用视频图像帧之间的相关性，即时间域相关性，使用临近已编码图像(即参考图像帧)的像素预测当前图像的像素，以达到去除视频时域冗余(或图像压缩)的目的。其中当前图像的像素与临近已编码图像的像素之差为像素预测残差。

三、运动估计

将视频中的每帧图像划分成多个互不重叠的宏块(像素块)，并认为每个宏块内的所有像素点的位移量相同(即像素点在图像上的位置坐标相同)，针对一帧图像的多个宏块中的任一宏块i，在参考图像帧(即参考帧)的特定搜索范围内根据一定的匹配规则搜索与宏块i的像素差异最小的宏块，即匹配块，匹配块与宏块i的相对位移可以为运动向量(motion vector，MV)，得到运动向量的过程可以称为运动估计。其中，像素差异最小可以指高效视频编码中的率失真代价最小。常用的匹配规则可以包括最小均方误差、最小平均绝对误差、最大匹配像素数等，高效视频编码H.265的搜索算法可以包括全搜索算法和TZSearch算法。宏块在视频接收端可以称为编码块，匹配块在视频接收端可以称为匹配编码块。

四、运动矢量差

当前块(比如宏块i)的MV与候选块的运动向量(即运动向量预测值(motionvector prediction，MVP))之差为运动矢量差(motion vector difference，MVD)，候选块可以为当前块所属图像帧上邻近的宏块。

在一些可行的实施方式中，由于视频可以指一系列连续的图像，故视频的超分辨率处理可以分解为单帧图像的超分辨率处理，超分辨率处理后的图像相对于原图像来说是一张整数倍放大的图像。以移动终端上的图像超分辨率处理为例进行说明。具体地，移动终端可以将一幅图像(或图片)切分成多个图像块，并可以将该多个图像块中纹理信息较少的图像块进行数学插值拉伸，以获得放大后的图像块，将该多个图像块中纹理信息较多的图像块输入超分辨率模型(卷积神经网络)中进行超分辨率处理，最后将数学插值拉伸后的图像块与超分辨率模型输出的图像块进行拼接得到超分辨率图像。在移动终端的图像超分辨率处理中，虽然数学插值也将图像进行了拉伸放大，但因为经过数学插值处理的图像块的清晰度小于经过超分辨率模型的超分辨率处理后图像块的清晰度，所以当一幅图像中相邻两图像块进行不同的处理时(即相邻图像块中一个图像块进行数学插值拉伸，另一个图像块进行超分辨率模型的超分辨率处理)，处理后的相邻两图像块的清晰度不同，故处理后的相邻两图像块拼接后将产生明显的边界问题。可选的，超分辨率模型可以为超分辨率卷积神经网络(super-resolution convolutional neural network，SRCNN)、快速超分辨率卷积神经网络(fast super-resolution convolutional neural network，FSRCNN)、使用非常深的卷积网络进行精准的图像超分(accurate image super-resolution using verydeep convolutional networks，VDSR)、级联残差网络(cascading residual network，CARN)、多目标的强化卷积在移动神经架构搜索(multi-objective reinforced evolutionin mobile neural architecture search，MoreMNAS-A)中的任一神经网络模型。

针对上述移动终端上的图像超分辨率处理中存在的无法兼顾图像超分辨率处理效果(包括清晰度和边界问题)和功耗问题，本申请提供一种视频超分辨率处理方法，一方面可以保证视频中单帧图像的超分辨率处理效果的同时降低功耗，另一方面可以解决单帧图像中相邻图像块之间的边界问题，又一方面可以减少视频中任意两帧图像的超分辨率处理时延，从而可以解决较大规模的超分辨率模型在视频超分辨率处理时的卡顿问题。

在一些可行的实施方式中，本申请提供的视频超分辨率处理方法可以应用在视频接收端，例如在图1的超分辨率模块中使用。视频接收端可以为手机、笔记本电脑、平板电脑、智能电视、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、自动驾驶设备等终端设备或其他类型的设备。为便于描述，下面将以终端设备为例对本申请提供的视频超分辨率处理方法进行说明。

参见图2，图2是本申请实施例提供的视频超分辨率处理方法的示意流程图。如图2所示，本申请实施例提供的视频超分辨率处理方法可以包括步骤：

S201，接收网络传输的视频流，并对接收到的视频流进行视频解码，得到视频流中包括的编码块。

在一些可行的实施方式中，本申请实施例提供的视频流可以为实时视频流，如视频通话时的视频流或直播时的视频流，也可以为云端服务器中已存储的视频流，如电影或电视剧的视频流等，本申请实施例对视频流的种类不做限定。

在一些可行的实施方式中，终端设备可以通过各种视频应用(application，APP)接收网络传输的视频流，并可以对接收到的该视频流进行视频解码，得到该视频流中包括的编码块。其中，视频流可以包括多个编码块，一个编码块可以属于视频流的一个图像帧，一个图像帧可以包括多个编码块，多个图像帧可以属于一个视频流。可选的，视频流解码完成后得到的图像可缓存在解码图片缓存区(decoded picture buffer，DPB)中，以便于作为后续图像帧的参考图像。

S202，获取视频流中任一编码块所属图像帧的帧类型。

在一些可行的实施方式中，视频流中的每个图像帧都存在头文件，图像帧的头文件可以包括帧类型标识、图像帧索引(图像帧索引可以用于标识图像帧属于视频流的哪一帧)等信息。如图3所示，图3是本申请实施例提供的图像帧的头文件位置的示意图。如图3所示，视频流中编码块11,12,…,1m这m个编码块均属于图像帧1，编码块21,22,…,2k这k个编码块均属于图像帧2，图像帧1,2,…,n这n个图像帧属于一个视频流，m和k可以相同，也可以不相同，n、m、k均大于1。视频流在网络上传输时，每个图像帧的头文件均以一段进制码的形式进行传输。故终端设备可以获取视频流中任一编码块所属图像帧的头文件，并可以根据该头文件中的帧类型标识确定该任一编码块所属图像帧的帧类型。比如，帧类型标识为“5”时，确定该任一编码块所属图像帧的帧类型为I帧，帧类型标识为“1”时，确定该任一编码块所属图像帧的帧类型为P帧。如果该任一编码块所属图像帧的帧类型为P帧，则终端设备在步骤S202后执行步骤S203-步骤S205；如果该任一编码块所属图像帧的帧类型为I帧，则终端设备在步骤S202后执行步骤S206-步骤S207。

S203，若视频流中任一编码块所属图像帧的帧类型为P帧，则获取视频流中任一编码块的编码信息。

在一些可行的实施方式中，上述编码信息可以包括参考图像帧索引(即参考帧索引)、帧间预测标记、匹配编码块索引和/或编码块尺寸等信息。帧间预测标记可以用于标识上述任一编码块所采用的帧间预测模式。匹配编码块索引可以用于标识匹配编码块，匹配编码块可以为其他图像帧中(除该任一编码块所属图像帧外的图像帧)与该任一编码块的像素差异最小(率失真代价最小)的编码块，参考图像帧索引可以用于标识匹配编码块所属的图像帧。编码块尺寸可以为编码块的大小，如8*8个像素点、16*16个像素点或32*32个像素点等。其中，本申请实施例提供的帧间预测模式可以包括帧间模式(AMVP mode)、跳过模式(skip mode)以及合并模式(merge mode)。该任一编码块所采用的帧间预测模式可以为AMVP模式、skip模式、merge模式中的任意一种。

S204，根据编码信息包括的帧间预测标记确定任一编码块的帧间预测模式，并根据任一编码块的帧间预测模式和编码信息包括的匹配编码块索引所标识的匹配编码块的像素信息，确定任一编码块的超分辨率像素块。

在一些可行的实施方式中，上述编码信息可以包括参考图像帧索引、匹配编码块索引以及帧间预测标记等。上述超分辨率像素块可以包括上述任一编码块的像素信息经过超分辨率模型的超分辨率处理后得到的像素块。超分辨率模型可以为卷积神经网络模型。卷积神经网络模型在进行卷积特征提取的过程中，由于卷积神经网络的卷积层进行卷积运算后输出的特征图的维度将会小于输入图像的维度(比如，输入图像的维度是3*3，卷积核大小为3*3，卷积运算后卷积层输出的特征图的维度为1*1)，所以在卷积特征提取时需要边缘像素填充，以使卷积层输出的特征图的尺寸(或维度)与输入图像的尺寸(或维度)保持一致。常用的边缘像素填充方式包括两种：有效填充(valid padding)和相同填充(samepadding)。如图4所示，图4是本申请实施例提供的有效填充和相同填充的示意图。其中，如图4所示，有效填充(valid padding)不对输入图像进行像素值填充，即卷积特征提取时直接提取输入图像的卷积特征，对于剩余的像素点数量不足卷积核大小的，直接舍弃剩余的像素点；相同填充(same padding)在输入图像的四周填充像素值为0的像素，即卷积特征提取时提取零值填充后的输入图像的卷积特征，对于剩余的像素点数量不足卷积核大小的，填充像素值为0的像素使其填充后的像素点数量与卷积核大小相同。

在一些可行的实施方式中，请一并参见图5，图5为本申请实施例提供的超分辨率像素块确定流程示意图。在上述步骤S204中，对于任一编码块的超分辨率像素块的确定可包括如下步骤：

S2041，根据编码信息包括的帧间预测标记确定任一编码块的帧间预测模式。

在一些可行的实施方式中，终端设备可以将上述编码信息中的帧间预测标记所标识的帧间预测模式确定为上述任一编码块的帧间预测模式。例如，帧间预测标记为“2”时，确定该任一编码块的帧间预测模式为AMVP模式；帧间预测标记为“1”时，确定该任一编码块的帧间预测模式为merge模式；帧间预测标记为“0”时，确定该任一编码块的帧间预测模式为skip模式。

S2042，当任一编码块的帧间预测模式为第一类预测模式时，将匹配编码块的超分辨率匹配像素块确定为任一编码块的超分辨率像素块。

在一些可行的实施方式中，高效视频编码的skip模式下不存在像素预测残差，而merge模式和AMVP模式下存在像素预测残差。故本申请实施例可以将不存在像素预测残差的skip模式作为第一类预测模式，将存在像素预测残差的merge模式和AMVP模式作为第二类预测模式。当上述任一编码块的帧间预测模式为第一类预测模式时，终端设备可以获取上述编码信息中参考图像帧索引所标识的参考图像帧上该匹配编码块对应的超分辨率匹配像素块。由于skip模式下，上述任一编码块的像素信息与该匹配编码块的像素信息相同，则终端设备可以将该匹配编码块的超分辨率匹配像素块确定为该任一编码块的超分辨率像素块。其中，该超分辨率匹配像素块可以包括该匹配编码块的像素信息经过超分辨率模型的超分辨率处理后得到的像素块。该任一编码块的编码块尺寸可以与该匹配编码块的编码块尺寸相同，如该任一编码块的编码块尺寸为8*8个像素点，该匹配编码块的编码块尺寸也为8*8个像素点。上述视频流中上述参考图像帧的时序在上述任一编码块所属图像帧的时序之前，即该参考图像帧是在该任一编码块所属图像帧前面的图像帧。因此在获取上述匹配编码块对应的超分辨率像素块之前，该参考图像帧中的所有编码块已经得到超分辨率像素块了，故可以直接获取到前面得到的匹配编码块的超分辨率匹配像素块。又因为终端设备直接将获取到的超分辨率匹配像素块作为上述任一编码块的超分辨率像素块，不需要对该任一编码块的像素信息进行超分辨率处理，可以节省超分辨率处理时产生的功耗，即降低了终端设备的功耗，同时可以节省单帧图像的超分辨率处理时间，进而减少了任意两帧图像的超分辨率处理时延。

S2043，当任一编码块的帧间预测模式为第二类预测模式时，确定任一编码块的像素预测残差，并根据匹配编码块的像素信息和像素预测残差确定任一编码块的像素信息。

在一些可行的实施方式中，由于第二类预测模式(如merge模式和AMVP模式)下存在像素预测残差，所以当上述任一编码块的帧间预测模式为第二类预测模式时，终端设备可以获取该任一编码块的像素预测残差，并可以获取上述参考图像帧中的上述匹配编码块的像素信息。由于该参考图像帧是在该任一编码块所属图像帧前面的图像帧，所以在处理该任一编码块之前，该参考图像帧中所有编码块的像素信息已经确定，故可以直接获取到该匹配编码块的像素信息。终端设备可以根据该像素预测残差和该匹配编码块的像素信息确定该任一编码块的像素信息，比如，在该匹配编码块的像素信息上叠加该像素预测残差后的结果作为该任一编码块的像素信息。其中，该任一编码块的编码块尺寸可以与该匹配编码块的编码块尺寸相同。若像素预测残差和像素信息均可以用集合表示，比如像素预测残差用集合pixel-s，像素信息用集合pixel-m，则集合pixel-m的大小可以与集合pixel-s的大小相同，即集合pixel-m中的元素数量可以等于集合pixel-s中的元素数量；像素预测残差和像素信息的叠加可以为集合中各对应元素相加。

在一些可行的实施方式中，上述像素预测残差可以为像素残差矩阵，上述像素信息可以为像素矩阵。终端设备可以将获取到的该匹配编码块的像素矩阵与该像素残差矩阵之和确定为上述任一编码块的像素矩阵。其中，像素矩阵的大小可以与像素残差矩阵的大小相同，像素矩阵中的元素可以为像素点的像素值。

S2044，对任一编码块的像素信息进行超分辨率处理，以得到任一编码块的超分辨率像素块。

在一些可行的实施方式中，终端设备在确定出上述任一编码块的像素信息之后，可以将该任一编码块的像素信息输入超分辨率模型中进行超分辨率处理，并可以获取该超分辨率模型针对该任一编码块的像素信息输出的像素块。终端设备可以将该超分辨率模型输出的像素块确定为该任一编码块的超分辨率像素块。其中，像素信息可以为像素矩阵。此时，该超分辨率模型采用的边缘像素填充方式可以是相同填充(same padding)，即该超分辨率模式的padding参数为same。由于，终端设备通过超分辨率模型对编码块的像素信息进行超分辨率处理，可以保证编码块的超分辨率效果，并且该超分辨率模型可以为小规模的模型(比如模型规模小于100KB的超分辨率模型)，从而可以解决较大规模的超分辨率模型在视频超分辨率处理时的卡顿问题。

在一些可行的实施方式中，终端设备可以确定预设尺寸，再可以从上述任一编码块中确定出大小为该预设尺寸的像素区域(中心区域)，并可以将该确定出的像素区域作为第二像素区域。终端设备可以将该任一编码块中与该第二像素区域不重叠的区域作为第一像素区域(边缘区域)。此时，该第一像素区域的像素信息就可以为该任一编码块的像素信息中除该第二像素区域(即中心区域)的像素信息之外的像素信息。终端设备可以对该第一像素区域进行像素填充，并可以将该像素填充后的第一像素区域的像素信息输入超分辨率模型中进行超分辨率处理得到该任一编码块对应的第一像素块。终端设备可以将该任一编码块的像素信息经过该超分辨率模型的超分辨率处理后得到的像素块与该第一像素块进行像素拼接，得到该任一编码块的超分辨率像素块。终端设备通过提取编码块的边缘区域，再对像素填充后的边缘区域进行超分辨率处理得到第一像素块，最后将第一像素块与编码块的像素信息经过超分辨率处理后得到的像素块拼接为编码块的超分辨率像素块，可以明显改善编码块之间的边界问题，从而保证了单帧图像的超分辨率处理效果。其中，像素填充后的第一像素区域的像素信息和该任一编码块的像素信息的超分辨率处理方式相同，即使用的超分辨率模型一样，且此时，该超分辨率模型采用的边缘像素填充方式可以是有效填充(valid padding)，即该超分辨率模式的padding参数为valid。上述预设尺寸可以基于该超分辨率模型的卷积层数和卷积核大小确定。

例如，如图6所示，图6是本申请实施例提供的第一像素区域像素填充的示意图。图6中，假设确定出的预设尺寸为3*3，任一编码块为编码块A，编码块A的编码块尺寸为5*5个像素点。终端设备提取编码块A中的边缘区域，如图6所示，提取到的边缘区域为编码块A最外围的一圈像素点。终端设备对编码块A的边缘区域进行像素填充得到如图6所示的填充块。

在一些可行的实施方式中，本申请实施例中的步骤S2043-步骤S2044可以在步骤S2042之前执行，步骤S2043-步骤S2044也可以在步骤S2042之后执行，步骤S2043-步骤S2044还可以与步骤S2042同时执行，本申请实施例对步骤S2043-步骤S2044与步骤S2042的执行顺序不做限定。

S205，将视频流中属于同一图像帧的各个编码块的超分辨率像素块进行拼接得到超分辨率图像。

在一些可行的实施方式中，终端设备可以按照上述步骤S203-步骤S204的实现方式获取上述视频流中属于同一图像帧(该图像帧的帧类型为P帧)的各个编码块的超分辨率像素块。例如，如图7a所示，图7a为本申请实施例提供的确定超分辨率像素块的示意图。如图7a所示，图像帧A的参考图像帧为图像帧B。b1为帧间预测模式为skip模式的编码块，b2为帧间预测模式为AMVP模式的编码块，b3为帧间预测模式为merge模式的编码块，编码块b1、b1以及b3均属于图像帧B。b1对应的超分辨率像素块为pb1，b2对应的超分辨率像素块为pb2，b3对应的超分辨率像素块为pb3。a1为帧间预测模式为skip模式的编码块，a2为帧间预测模式为AMVP模式的编码块，a3为帧间预测模式为merge模式的编码块，编码块a1、a1以及a3均属于图像帧A。a1对应的超分辨率像素块为pa1，a2对应的超分辨率像素块为pa2，a3对应的超分辨率像素块为pa3。编码块a1的匹配编码块为图像帧B中的b1，编码块a2的匹配编码块为图像帧B中的b2，编码块a3的匹配编码块为图像帧B中的b3。在图7a中，由于a1的帧间预测模式为第一类预测模式，则pa1与pb1相同；由于a2、a3的帧间预测模式为第二类预测模式，则对a2、a3的像素信息分别进行超分辨率处理，以得到pa2、pa3。

终端设备在得到上述视频流中属于同一图像帧(该图像帧的帧类型为P帧)的各个编码块的超分辨率像素块之后，可以将属于同一图像帧的各个编码块的超分辨率像素块进行拼接后得到超分辨率图像，该超分辨率图像用于生成超分辨率视频。具体的，上述任一编码块的编码信息中还可以包括图像帧索引、运动矢量预测值MVP和/或运动矢量差MVD等。当上述任一编码块的帧间预测模式为上述第一类预测模式(skip模式)时，将该编码信息中的该MVP作为该任一编码块的运动向量MV；当该任一编码块的帧间预测模式为上述第二类预测模式(merge模式或AMVP模式)时，将该编码信息中的该MVP和该MVD之和作为该任一编码块的MV，其中merge模式下的MVD为0。终端设备可以获取上述匹配编码块在上述参考图像帧上的位置，并可以根据该MV和该匹配编码块在该参考图像帧上的位置确定出该任一编码块在该任一编码块所属图像帧(即该图像帧索引所标识的图像帧)上的位置。终端设备可以按照该视频流中属于同一图像帧的各个编码块在该各个编码块所属图像帧上的位置，将该各个编码块超分辨率像素块进行拼接后得到该各个编码块所属图像帧的超分辨率图像。其中，视频流中时序在前的图像帧可以作为时序在后图像帧的参考图像帧。终端设备可以基于视频流的各个图像帧的超分辨率图像生成超分辨率视频。终端设备针对编码块的不同帧间预测模式采用不同的超分辨率处理方式，实现了对整个图像帧的超分辨率处理，减少了超分辨率模型的计算量，故可以在保证视频中单帧图像超分辨率处理效果的前提下，降低功耗，减少视频中任意两帧图像的超分辨率处理时延。

例如，如图7b所示，图7b为本申请实施例提供的编码块位置的示意图。如图7b所示，以一个图像帧中的一个编码块为例，假设编码块d1所属的图像帧为图像帧D，编码块c1所属的图像帧为图像帧C，图像帧D的参考图像帧为图像帧C，编码块d1的匹配编码块为c1。图7b中，将图像帧放到二维坐标系(原点O，x轴，y轴)中，假设一个编码块内的各像素点相对于原点O的位移量相同。假设编码块c1在图像帧C上的位置如图7b所示，终端设备可以将编码块c1在图像帧C上的位置映射到图像帧D上，然后在图像帧D上按照运动向量MV(包括大小和方向)移动，即可得编码块d1在图像帧D上的位置。

S206，若视频流中任一编码块所属图像帧的帧类型为I帧，则将任一编码块所属的图像帧称为第一图像帧，并获取该第一图像帧的像素信息。

在一些可行的实施方式中，若步骤S202获取到的上述视频流中任一编码块所属图像帧的帧类型为I帧，则终端设备可以获取与该任一编码块属于同一图像帧的所有编码块，并可以将与该任一编码块属于同一图像帧的所有编码块和该任一编码块进行拼接得到该任一编码所属的第一图像帧。终端设备可以获取该第一图像帧的像素信息，该第一图像帧的像素信息可以包括属于该第一图像帧的所有编码块的像素信息。其中，编码块在拼接时，按照编码块在图像帧上的位置拼接在一起，以得到图像帧。

例如，如图8所示，图8为本申请实施例提供的编码块拼接的示意图。图8中，假设任一编码块为编码块A，与编码块A属于同一图像帧的编码块包括编码块B、编码块C以及编码块D。终端设备按照编码块各自在图像帧上的位置对编码块A、编码块B、编码块C以及编码块D进行拼接，得到第一图像帧。

S207，对第一图像帧的像素信息进行超分辨率处理，得到第一图像帧的超分辨率图像。

在一些可行的实施方式中，终端设备可以将上述第一图像帧的像素信息输入超分辨率模型中进行超分辨率处理，得到该超分辨率模型针对该第一图像帧的像素信息输出的超分辨率图像，该超分辨率图像可以用于生成超分辨率视频。终端设备针对视频流中不同帧类型的图像帧采用不同的处理方式。对于P帧，对P帧中的各个编码块进行超分辨率处理；对于I帧，直接对完整的I帧图像进行超分辨率处理，完善了视频超分辨率处理方法，保证了视频流中各图像帧的超分辨率处理效果。

S208，将视频流中各个图像帧的超分辨率图像合成为超分辨率视频。

在一些可行的实施方式中，上述视频流中包括多个图像帧，终端设备可以获取该视频流中各个图像帧的超分辨率图像，将该视频流的各个图像帧的超分辨率图像整合成超分辨率视频输出。

在本申请实施例中，终端设备在视频流中任一编码块所属图像帧的帧类型为P帧时，根据任一编码块的编码信息中的帧间预测标记确定任一编码块的帧间预测模式，当该任一编码块的帧间预测模式为skip或merge模式时，将参考图像中匹配编码块的超分辨率匹配像素块作为该任一编码块的超分辨率像素块；当该任一编码块的帧间预测模式为AMVP模式时，对该任一编码块的像素信息进行超分辨率处理，以得到该任一编码块的超分辨率像素块，最后将该视频流中属于同一图像帧的各个编码块的超分辨率像素块进行拼接得到超分辨率图像，该超分辨率图像用于生成超分辨率视频。本申请实施例基于P帧中不同的帧间预测模式，对编码块进行不同的处理以得到超分辨率像素块，对超分辨率像素块进行拼接得到超分辨率图像，可以在保证视频中单帧图像超分辨率处理效果的同时，降低功耗，减少视频中任意两帧图像的超分辨率处理时延。

作为一个可选的实施例，本申请实施例所提供的视频超分辨率处理方法可以主要针对视频流中的P帧，故为便于理解，本申请实施例以视频流中的P帧为例，简要介绍下终端设备对P帧进行超分辨率处理时的内部实现。参见图9，图9是本申请实施例提供的终端设备对P帧超分辨率处理时的内部实现示意图。其中，

步骤一：终端设备通过第三方媒体编解码器服务(3rd party media codecservice)提取编码块的编码信息。

步骤二：若编码信息中不存在像素预测残差，则终端设备通过开放图形库(OpenGL)纹理跟踪器(OpenGL Texture Tracker)获取参考图像帧中与编码块像素相同的匹配编码块超分后的结果。

其中，如果编码信息中不存在像素预测残差，说明编码块的帧间预测模式为跳过模式(skip mode)。

步骤三：若编码信息中存在像素预测残差，则终端设备通过OpenGL纹理跟踪器和超分辨率渲染器(Super Res Renderer)对编码块进行超分辨率处理。

其中，如果编码信息中存在像素预测残差，说明编码块的帧间预测模式为帧间模式(AMVP mode)或合并模式(merge mode)。终端设备在对上述编码块进行超分辨率处理时，不仅可以将该编码块本身的像素信息输入超分辨率模型中进行超分辨率处理，还可以提取该编码块的边缘区域，对该边缘区域进行像素填充，再对像素填充后的边缘区域的像素信息输入超分辨率模型中进行超分辨率处理，最后可以将编码块超分后的结果与像素填充后的边缘区域超分后的结果进行拼接后得到这个完整编码块的超分辨率像素块。

步骤四：终端设备通过图像拼接技术(如ArcGIS Engine)将同一视频帧(或图像帧)中步骤二和步骤三的结果进行融合拼接渲染，以得到超分辨率图像。

其中，在得到超分辨率图像之后，可通过视频帧送回管线将超分辨率图像送回至视频应用中输出显示。

在本申请实施例中，在P帧中，当编码块的编码信息中不存在像素预测残差时，终端设备直接将参考图像帧(I帧)中与该编码块像素相同的匹配编码块超分辨率处理后的结果作为这个编码块超分辨率处理后的结果，不需要对该编码块重新进行超分辨率处理，可以节省超分辨率处理时产生的功耗，即降低了终端设备的功耗，同时可以节省单帧图像的超分辨率处理时间，进而减少了任意两帧图像的超分辨率处理时延。当编码块的编码信息中存在像素预测残差时，终端设备需要对该编码块进行超分辨率处理，可以保证编码块的超分辨率效果，从而可以保证将同一图像帧中各个编码块超分得到的结果进行拼接后得到的超分辨率图像的超分辨率效果。

上述详细阐述了本申请实施例的视频超分辨率处理方法，为了便于更好地实施本申请实施例的上述方案，本申请实施例还提供了相应的装置和设备。

参见图10，图10是本申请实施例提供的视频超分辨率处理装置的结构示意图。如图10所示，该视频超分辨率处理装置100包括：

第一获取模块101，用于获取视频流中任一编码块的编码信息。第一确定模块102，用于根据上述第一获取模块101获取到的编码信息包括的帧间预测标记确定该任一编码块的帧间预测模式。第二确定模块103，用于根据上述第一确定模块102确定出的帧间预测模式和匹配编码块的像素信息，确定该任一编码块的超分辨率像素块，该超分辨率像素块为该任一编码块的像素信息经过超分辨率处理后得到的像素块。拼接模块104，用于将该视频流中属于同一图像帧的各个编码块的超分辨率像素块进行拼接得到超分辨率图像，该超分辨率图像用于生成超分辨率视频。其中，一个编码块属于该视频流中的一个图像帧，该视频流中的一个图像帧包括多个编码块，该编码信息包括参考图像帧索引、匹配编码块索引以及帧间预测标记，该匹配编码块索引所标识的匹配编码块为该参考图像帧索引所标识的参考图像帧中与该任一编码块的像素差异最小的编码块。

在一些可行的实施方式中，上述任一编码块的像素信息与上述匹配编码块的像素信息相同。上述第二确定模块103可以包括第一确定单元1031。该第一确定单元1031，用于当上述第一确定模块102确定出的帧间预测模式为第一类预测模式时，将该匹配编码块的超分辨率匹配像素块确定为该任一编码块的超分辨率像素块。其中该超分辨率匹配像素块包括该匹配编码块的像素信息经过超分辨率处理后得到的像素块。

在一些可行的实施方式中，上述第二确定模块103还可以包括第二确定单元1032和超分辨率处理单元1033。该第二确定单元1032，用于当上述第一确定模块102确定出的帧间预测模式为第二类预测模式时，确定该任一编码块的像素预测残差，并根据该匹配编码块的像素信息和该像素预测残差确定该任一编码块的像素信息。该超分辨率处理单元1033，用于对该第二确定单元确定出的任一编码块的像素信息进行超分辨率处理，以得到该任一编码块的超分辨率像素块。

在一些可行的实施方式中，上述超分辨率处理单元1033可以具体用于：

获取该任一编码块中的第一像素区域；对该第一像素区域进行像素填充，并将该像素填充后的第一像素区域的像素信息进行超分辨率处理后得到该任一编码块对应的第一像素块；对该任一编码块的像素信息进行超分辨率处理，并将该任一编码块的像素信息经过超分辨率处理后得到的像素块与该第一像素块进行拼接，得到该任一编码块的超分辨率像素块。其中，该第一像素区域的像素信息为该任一编码块的像素信息中除第二像素区域的像素信息外的像素信息，该第二像素区域为该任一编码块中预设尺寸的像素区域。

在一些可行的实施方式中，上述超分辨率处理单元1033还可以具体用于：从该任一编码块中确定出大小为该预设尺寸的第二像素区域，并将该任一编码块中与该第二像素区域不重叠的区域确定为第一像素区域。

在一些可行的实施方式中，上述编码信息中还可以包括运动矢量预测值MVP和/或运动矢量差MVD。上述拼接模块104可以具体用于：根据该帧间预测模式、该MVP和/或该MVD确定出该任一编码块的运动矢量MV；根据该MV和该匹配编码块在该参考图像帧上的位置确定出该任一编码块在该任一编码块所属图像帧上的位置；按照该视频流中属于同一图像帧的各个编码块在该各个编码块所属图像帧上的位置，将该各个编码块的超分辨率像素块进行拼接后得到该各个编码块所属图像帧对应的超分辨率图像。

在一些可行的实施方式中，上述任一编码块所属图像帧的帧类型为P帧。

在一些可行的实施方式中，上述视频流中还包括帧类型为I帧的第一图像帧。上述装置100还包括第二获取模块105和超分辨率处理模块106。该第二获取模块105，用于获取该第一图像帧的像素信息；该超分辨率处理模块106，用于对该第二获取模块获取到的第一解码图像帧的像素信息进行超分辨率处理，得到该第一解码图像帧的超分辨率图像。

在一些可行的实施方式中，上述装置100还可以包括合成模块107。该合成模块107，用于将该视频流中各个图像帧的超分辨率图像合成为超分辨率视频。

其中，上述第一获取模块101、上述第一确定模块102、上述第二确定模块103、上述拼接模块104、上述第二获取模块105、上述超分辨率处理模块106和/或上述合成模块107可以为一个模块，如处理模块。上述第一确定单元1031、上述第二确定单元1032和/或上述超分辨率处理单元1033也可以为一个单元，如处理单元。

具体实现中，各个模块和/或单元的实现还可以对应参照图2或图5所示的方法实施例中终端设备的相应描述，执行上述实施例中终端设备所执行的方法和功能。

在本申请实施例中，视频超分辨率处理装置在视频流中任一编码块所属图像帧的帧类型为P帧时，根据任一编码块的编码信息中的帧间预测标记确定任一编码块的帧间预测模式，当该任一编码块的帧间预测模式为skip或merge模式时，将参考图像中匹配编码块的超分辨率匹配像素块作为该任一编码块的超分辨率像素块；当该任一编码块的帧间预测模式为AMVP模式时，对该任一编码块的像素信息进行超分辨率处理，以得到该任一编码块的超分辨率像素块，最后将该视频流中属于同一图像帧的各个编码块的超分辨率像素块进行拼接得到超分辨率图像，该超分辨率图像用于生成超分辨率视频。本申请实施例基于P帧中不同的帧间预测模式，对编码块进行不同的处理以得到超分辨率像素块，对超分辨率像素块进行拼接得到超分辨率图像，可以在保证视频中单帧图像超分辨率处理效果的同时，降低功耗，减少视频中任意两帧图像的超分辨率处理时延。

参见图11，图11是本申请实施例提供的终端设备的结构示意图。如图11所示，本申请实施例提供的终端设备1000包括处理器1001、存储器1002、收发器1003和总线系统1004。

其中，上述处理器1001、存储器1002和收发器1003通过总线系统1004连接。

上述存储器1002用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。存储器1002包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)。图5中仅示出了一个存储器，当然，存储器也可以根据需要，设置为多个。存储器1002也可以是处理器1001中的存储器，在此不做限制。

存储器1002存储了如下的元素，可执行模块、单元或者数据结构，或者它们的子集，或者它们的扩展集：

操作指令：包括各种操作指令，用于实现各种操作。

操作系统：包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

上述处理器1001控制终端设备1000的操作，处理器1001可以是一个或多个中央处理器(central processing unit，CPU)，在处理器1001是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

具体的应用中，终端设备1000的各个组件通过总线系统1004耦合在一起，其中总线系统1004除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图11中将各种总线都标为总线系统1004。为便于表示，图11中仅是示意性画出。

上述本申请实施例提供的图2、图5或图9，或者其它任一实施例提供的方法可以应用于处理器1001中，或者由处理器1001实现。处理器1001可能是一种集成电路芯片，具有数据处理能力。在实现过程中，上述方法的各步骤可以通过处理器1001中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1001可以是通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1002，处理器1001读取存储器1002中的数据，结合其硬件执行图2、图5或图9，或者上述实施例所描述的终端设备的方法步骤。

本申请的终端设备包括但不限于智能手机、车载装置、个人计算机、人工智能设备、平板电脑、个人数字助理、智能穿戴式设备(例如智能手表或手环、智能眼镜)、智能电视(或者称为智慧大屏、智慧屏、或大屏电视等)、智能语音设备(例如智能音箱等)、虚拟现实/混合现实/增强显示设备等。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行前述任一实施例所描述的方法。

本申请实施例还提供一种芯片，包括处理器。该处理器用于读取并执行存储器中存储的计算机程序，以执行图2、图5或图9的任意可能的实现方式中的视频超分辨率处理方法。可选的，该芯片还包括存储器，该存储器与该处理器通过电路或电线连接。进一步可选的，该芯片还包括通信接口，该处理器与该通信接口连接。该通信接口用于接收需要处理的数据和/或信息，该处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理，并通过该通信接口输出处理结果。该通信接口可以是输入输出接口。

可选的，上述的处理器与存储器可以是物理上相互独立的单元，或者，存储器也可以和处理器集成在一起。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。