视频图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及人工智能领域，具体涉及一种视频图像处理方法、装置、电子设备及存储介质。

背景技术

目前，视频超分辨率技术是目前广泛使用的视频处理技术，在视频传播越来越广的今天，人们对视频质量的追求越来越高，因此视频超分辨率处理技术这种能提高视频质量的技术越来越多地得到应用。同时在带宽受限的情况下，使用低分辨率传输然后再使用超分辨率处理得到最终图像的方式得到了很大地发展，视频超分辨率技术未来必将在更多领域得到使用。然而，传统的视频超分辨率处理技术存在处理效果不佳的问题，而基于人工智能机器学习的超分辨率处理存在性能瓶颈与过拟合的问题。

发明内容

有鉴于此，本发明提供一种视频图像处理方法、装置、电子设备及存储介质，以解决上述提及的至少一个问题。

根据本发明的第一方面，提供一种视频图像处理方法，所述方法包括：

获取待处理视频图像的每一个帧图像；

根据各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理，以生成亮度通道图像和色度通道图像；

基于监督学习方法和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，以得到超分辨率处理后的亮度图像；

基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理，以得到超分辨率处理后的色度图像；

基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理，以得到完整的超分辨率视频帧图像。

进一步地，所述预定的超分辨率比例通过如下方式确定：根据所述待处理视频图像的分辨率与目标分辨率确定所述预定的超分辨率比例，所述目标分辨率为所述超分辨率视频帧图像的分辨率。

具体地，所述亮度色度信息为YUV信息，根据各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理包括：获取各帧图像中每个像素点的RGB颜色信息；基于预定的转换方式将所述每个像素点的RGB颜色信息转换为YUV信息；根据所述YUV信息对各帧图像进行通道分离处理。

具体地，基于监督学习方法和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，以得到超分辨率处理后的亮度图像包括：将所述亮度通道图像输入至训练好的自监督学习模型；所述自监督学习模型基于所述预定的超分辨率比例对所述亮度通道图像进行压缩处理，以生成所述超分辨率处理后的亮度图像。

优选地，基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理包括：基于插值算法和所述预定的超分辨率比例、以及所述色度通道图像中各像素点的色度值对所述色度通道图像进行超分辨率处理。

具体地，基于插值算法和所述预定的超分辨率比例、以及所述色度通道图像中各像素点的色度值对所述色度通道图像进行超分辨率处理包括：

根据所述预定的超分辨率比例确定所述色度通道图像中各像素点在目标图像中的目标位置；

根据所述色度通道图像中各像素点的色度值确定相应的目标位置的色度值；当目标位置上色度值为零时，基于所述插值算法和该目标位置预定范围内的其他目标位置的色度值，确定该目标位置的色度值；

响应于所述目标图像中各目标位置的色度值均被确定，对所述色度通道图像的超分辨率处理执行完成。

进一步地，所述方法还包括：获取待处理视频图像的每一个帧图像的时间戳信息，基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理，以得到完整的超分辨率视频帧图像包括：

基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理；

根据各帧图像的时间戳信息和合成处理后的图像生成完整的超分辨率视频帧图像。

根据本发明的第二方面，提供一种视频图像处理装置，所述装置包括：

帧图像获取单元，用于获取待处理视频图像的每一个帧图像；

通道分离单元，用于根据各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理，以生成亮度通道图像和色度通道图像；

亮度图像生成单元，用于基于监督学习装置和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，以得到超分辨率处理后的亮度图像；

色度图像生成单元，用于基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理，以得到超分辨率处理后的色度图像；

图像合成单元，用于基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理，以得到完整的超分辨率视频帧图像。

根据本发明的第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。

根据本发明的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

由上述技术方案可知，通过根据获取的待处理视频图像的各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理，生成亮度通道图像和色度通道图像，随后基于监督学习方法和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，得到超分辨率处理后的亮度图像，同时基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理，得到超分辨率处理后的色度图像，之后基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理，得到完整的超分辨率视频帧图像，本技术方案基于通道分离技术将视频图像中的亮度分量与色度分量进行有针对性的处理，可以更好地进行视频超分辨率处理，得到效果更好地高分辨率视频图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的视频图像处理方法的流程图；

图2是根据本发明实施例的自监督学习模型的训练过程示意图；

图3是根据本发明实施例的视频图像处理装置的结构框图；

图4是根据本发明实施例的超分辨率图像处理系统的结构示例图；

图5是根据本发明实施例的视频图像分离单元1的结构框图；

图6是根据本发明实施例的亮度通道处理单元2的结构框图；

图7是根据本发明实施例的色度通道处理单元3的结构框图；

图8是根据本发明实施例的视频图像合成单元4的结构框图；

图9是根据本发明实施例的亮度图像与色度图像合成示意图；

图10是根据本发明实施例的视频图像分离单元1的工作流程图；

图11是根据本发明实施例的亮度通道处理单元2的工作流程图；

图12是根据本发明实施例的色度通道处理单元3的工作流程图；

图13是根据本发明实施例的视频图像合成单元4的工作流程图；

图14为本发明实施例的电子设备600的系统构成的示意框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

鉴于目前的视频超分辨率处理技术存在处理效果不佳的问题，基于此，本发明实施例提供一种视频图像处理方案，该方案基于通道分离技术将视频图像中的明亮分量与色度分量进行有针对性地处理，可以更好地进行视频超分辨率处理，得到效果更好地高分辨率视频图像。以下结合附图来详细描述本发明实施例。

图1是根据本发明实施例的视频图像处理方法的流程图，如图1所示，该方法包括：

步骤101，获取待处理视频图像的每一个帧图像。

步骤102，根据各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理，以生成亮度通道图像和色度通道图像。

具体地，步骤102的通道分离处理包括：获取各帧图像中每个像素点的颜色信息(RGB，Red Green Blue)；基于预定的转换方式将所述每个像素点的RGB颜色信息转换为YUV信息；根据所述YUV信息对各帧图像进行通道分离处理。

在实际操作中，YUV是一种编码方式，Y表示流明，U、V表示色度和浓度，对于一个像素点，Y确定了其亮度，UV确定了其色度，YUV编码格式根据类型不同，一个Y分量或者多个Y分量可以同时对应一个UV分量。

在一个实施例中，可以通过如下公式(对应于上述预定的转换方式)计算YUV值，如下公式基于BT.601-6协议优化而来。计算出每一个像素点的YUV值之后，可以将Y值与UV值分离为两个矩阵，得到帧图像的亮度值与色度值情况。

其中，a

根据上述帧图像的亮度值与色度值，可以对帧图像进行通道分离处理。

步骤103，基于监督学习方法和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，以得到超分辨率处理后的亮度图像。

这里的超分辨率比例可以根据所述待处理视频图像的分辨率与目标分辨率来确定，目标分辨率即为下述的步骤105中的超分辨率视频帧图像的分辨率。

具体而言，可以将所述亮度通道图像输入至训练好的自监督学习模型；随后所述自监督学习模型基于所述预定的超分辨率比例对所述亮度通道图像进行压缩处理，以生成所述超分辨率处理后的亮度图像。

在一个实施例中，自监督学习模型的训练过程如图2所示，具体包括：交涉原始数据集为待处理的全部图像集P0(表示待处理的的亮度图像)，将待处理亮度图像(亮度值记为M×N矩阵，其中，M、N为正整数)进行K比例压缩处理得到辅助任务训练图像集P1，对P1进行自监督的K比例超分辨率处理任务训练得到辅助任务结果图像集P2，并将P2与P0进行比对评估训练效果。其中，矩阵M×N表示原始数据的像素点组成的矩阵长宽，例如1080P的就是1080×720的矩阵，代表其上每一个像素点的坐标。

设定三个阈值，分别为单点亮度偏移值k、图像亮度值偏移比率i和总体偏移比率j，其中，k代表计算后的亮度值与预设亮度值之间的绝对值差异范围，i代表在KM×KN个点上单点亮度偏移值大于k的点的占比数量，j代表单个图像亮度值偏移比率大于i的图像占全部训练图像的占比。对于一个M×N的二维亮度值输入，将处理后的KM×KN二维数组与预设图像的KM×KN亮度值二维数组比较，计算出总体偏移比率，当总体偏移比率低于预设值i时，表示模型训练完成，此时结束模型训练。

步骤104，基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理，以得到超分辨率处理后的色度图像。

在实际操作中，可以基于插值算法(例如，三次线性插值法)和所述预定的超分辨率比例、以及所述色度通道图像中各像素点的色度值对所述色度通道图像进行超分辨率处理。

具体而言，根据所述预定的超分辨率比例确定所述色度通道图像中各像素点在目标图像中的目标位置；根据所述色度通道图像中各像素点的色度值确定相应的目标位置的色度值；当目标位置上色度值为零时，基于所述插值算法和该目标位置预定范围内的其他目标位置的色度值，确定该目标位置的色度值；响应于所述目标图像中各目标位置的色度值均被确定，对所述色度通道图像的超分辨率处理执行完成。

步骤105，基于预定编码方式(例如，YUV420方式编码)将超分辨率处理后的亮度图像和色度图像进行合成处理，以得到完整的超分辨率视频帧图像。

在实际操作中，需要获取步骤101中的待处理视频图像的每一个帧图像的时间戳信息。在步骤105将亮度图像和色度图像进行合成处理后，根据各帧图像的时间戳信息和合成处理后的图像生成完整的超分辨率视频帧图像。

通过根据获取的待处理视频图像的各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理，生成亮度通道图像和色度通道图像，随后基于监督学习方法和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，得到超分辨率处理后的亮度图像，同时基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理，得到超分辨率处理后的色度图像，之后基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理，得到完整的超分辨率视频帧图像，本发明实施例基于通道分离技术将视频图像中的亮度分量与色度分量进行有针对性的处理，可以更好地进行视频超分辨率处理，得到效果更好地高分辨率视频图像。

本发明实施例还提供一种视频图像处理装置，该装置优选地可实现上述的视频图像处理方法。

图3是该视频图像处理装置的结构框图，如图3所示，该装置包括：帧图像获取单元30、通道分离单元31、亮度图像生成单元32、色度图像生成单元33和图像合成单元34，其中：

帧图像获取单元30，用于获取待处理视频图像的每一个帧图像。

通道分离单元31，用于根据各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理，以生成亮度通道图像和色度通道图像。

具体地，通道分离单元31包括：颜色信息获取模块、转换模块和通道分离模块，其中：

颜色信息获取模块，用于获取各帧图像中每个像素点的RGB颜色信息；

转换模块，用于基于预定的转换方式将所述每个像素点的RGB颜色信息转换为YUV信息；

通道分离模块，用于根据所述YUV信息对各帧图像进行通道分离处理。

亮度图像生成单元32，用于基于监督学习装置和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，以得到超分辨率处理后的亮度图像。

在一个实施例中，亮度图像生成单元32具体包括：输入模块和亮度图像生成模块，其中：

输入模块，用于将所述亮度通道图像输入至训练好的自监督学习模型；

亮度图像生成模块，用于所述自监督学习模型基于所述预定的超分辨率比例对所述亮度通道图像进行压缩处理，以生成所述超分辨率处理后的亮度图像。

色度图像生成单元33，用于基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理，以得到超分辨率处理后的色度图像。

在实际操作中，色度图像生成单元33基于插值算法和所述预定的超分辨率比例、以及所述色度通道图像中各像素点的色度值对所述色度通道图像进行超分辨率处理。

具体地，色度图像生成单元33包括：目标位置确定模块、色度值确定模块和色度图像生成模块，其中：

目标位置确定模块，用于根据所述预定的超分辨率比例确定所述色度通道图像中各像素点在目标图像中的目标位置；

色度值确定模块，用于根据所述色度通道图像中各像素点的色度值确定相应的目标位置的色度值；当目标位置上色度值为零时，基于所述插值算法和该目标位置预定范围内的其他目标位置的色度值，确定该目标位置的色度值；

色度图像生成模块，用于响应于所述目标图像中各目标位置的色度值均被确定，对所述色度通道图像的超分辨率处理执行完成。

图像合成单元34，用于基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理，以得到完整的超分辨率视频帧图像。

在实际操作中，帧图像获取单元还获取待处理视频图像的每一个帧图像的时间戳信息。图像合成单元34在将亮度图像和色度图像进行合成处理后，可以根据各帧图像的时间戳信息和合成处理后的图像生成完整的超分辨率视频帧图像。

通过通道分离单元31根据帧图像获取单元30获取的待处理视频图像的各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理，生成亮度通道图像和色度通道图像，随后亮度图像生成单元32基于监督学习方法和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，得到超分辨率处理后的亮度图像，同时色度图像生成单元33基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理，得到超分辨率处理后的色度图像，之后图像合成单元34基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理，得到完整的超分辨率视频帧图像，本发明实施例基于通道分离技术将视频图像中的亮度分量与色度分量进行有针对性的处理，可以更好地进行视频超分辨率处理，得到效果更好地高分辨率视频图像。

在实际操作中，上述装置还包括：超分辨率比例确定单元，用于根据所述待处理视频图像的分辨率与目标分辨率确定所述预定的超分辨率比例，所述目标分辨率为所述超分辨率视频帧图像的分辨率。

为了更好地理解本发明，以下结合图4给出一实例。

在实例中，针对视频图像超分辨率处理场景，提供了一种如图4所示的高效的超分辨率图像处理系统，该系统包括：视频图像分离单元1(具有上述帧图像获取单元30和通道分离单元31的功能)、亮度通道处理单元2(具有上述亮度图像生成单元32的功能)、色度通道处理单元3(具有上述色度图像生成单元33的功能)和视频图像合成单元4(具有上述图像合成单元34的功能)，其中，视频图像分离单元对输入的视频图像进行处理，对于得到的亮度通道图像和色度通道图像根据特点进行独立处理；亮度通道处理单元对得到的亮度通道图像进行基于监督学习的超分辨率处理；色度通道处理单元对得到的色度通道图像进行基于插值的超分辨率处理；视频图像合成单元对于通道处理单元得到的超分辨率处理后的通道图像进行合成运算，得到最终的可视的超分辨率图像。

具体地，视频图像分离单元1，负责对作为输入的视频图像进行处理，对于视频获取每一帧的图像，进行通道分离得到亮度与色度通道图像。

亮度通道处理单元2，负责对视频图像分离单元1中获取到的亮度通道图像，根据亮度特征进行基于自监督学习的超分辨率处理，得到高分辨率的亮度图像。

色度通道处理单元3，负责对视频图像分离单元1中获取到的色度通道图像，根据色度特征进行基于线性插值的超分辨率处理，得到高分辨率的色度图像。

视频图像合成单元4，负责对亮度通道处理单元2和色度通道处理单元3中得到的高分辨率通道图像进行处理，合成可视的最终超分辨率图像。

以下分别描述各单元。

(1)视频图像分离单元1

图5是视频图像分离单元1的结构框图，如图5所示，该视频图像分离单元1包括：视频帧获取模块11、RGB值计算模块12、YUV通道分离模块13，其中：

视频帧获取模块11，负责对要进行超分辨处理的视频文件进行处理，获取视频的每一个帧图像以及对应的时间戳值。

RGB值计算模块12，负责对11中获取的待处理视频的每一帧图像依次进行处理，对于每一个像素点计算出RGB值。

YUV通道分离模块13，负责对视频帧图像进行通道分离，对RGB值计算模块12中计算得到的每一个像素点的RGB值，通过上述公式(1)转换计算出对应的YUV值，计算公式基于BT.601-6协议优化而来。计算出每一个像素点的YUV值之后将Y值与UV值分离为两个矩阵，得到帧图像的亮度值与色度值情况。

(2)亮度通道处理单元2

图6是亮度通道处理单元2的结构框图，如图6所示，该亮度通道处理单元2包括：超分辨率比例计算模块21、自监督学习模块22、处理生成模块23，其中：

超分辨率比例计算模块21，负责对输入的图像进行计算，得到超分辨率处理的比例值K，即是对于一个M×N的视频提升分辨率至KM×KN，例如对一个1080P的视频，如果将其转换为4K分辨率的视频，则比例值K为2。

自监督学习模块22，负责对输入的亮度图像进行基于自监督学习模型的自监督训练，得到基于目标视频图像的单亮度图像值矩阵K比例计算模型，输入为M×N的二维亮度值矩阵，输出为KM×KN的二维亮度值矩阵。具体的自监督学习模型训练过程，可以参见上述方法实施例中的描述，此处不再赘述。

处理生成模块23，负责基于自监督学习模型，将输入的亮度图像亮度值M×N矩阵进行处理，计算出处理后的KM×KN亮度矩阵。

(3)色度通道处理单元3

图7是色度通道处理单元3的结构框图，如图7所示，色度通道处理单元3包括：超分辨率计算模块31、插值计算模块32，具体来说：

超分辨率计算模块31，负责对输入的色度通道图像，根据要处理的目的分辨率，计算当前色度分量的目标位置，根据目标位置将原始色度值插入到目标图像中，根据超分辨率比例计算模块21计算得到的倍率K值将原矩阵中的每一个色度UV值所在的坐标值(a,b)计算得到目标矩阵中对应的坐标值。

F(a,b)＝(a*k-k÷2,b*k-k÷2) (2)

其中，a、b表示色度分量在原始图像M×N矩阵中的坐标位置。

插值计算模块32，负责对色度通道图像进行计算，对待生成的KM×KN矩阵中的每一个点进行UV值运算，当该点上存在超分辨率计算模块31计算后的原矩阵色度值时，直接将该色度值作为这个坐标下的色度值，当该点上不存在超分辨率计算模块31计算后的原矩阵色度值时，根据设定的参考范围L，寻找距离为L以内的全部原始色度值，采用三次线性插值法计算出当前点的色度值。最终计算出所有点的色度值后就得到了超分辨率处理后的色度图像。

例如，对于坐标为(x,y)的点，计算其UV值。首先，获取距离(x,y)范围L内的所有原始UV值及坐标，根据这些UV值以及坐标分别对U值与V值通过matlab(一种计算机语言)计算拟合出三次函数：

U＝f

V＝f

最后带入得到坐标为(x,y)的点的UV值为(f

(4)视频图像合成单元4

图8是视频图像合成单元4的结构框图，如图8所示，该视频图像合成单元4包括：图像合成模块41、视频合成模块42，其中：

图像合成模块41，负责对已完成超分辨率处理的亮度图像与色度图像进行合成计算，即将亮度值Y与色度值UV，按照YUV420方式编码，得到完整的可视的超分辨率处理后的视频帧图像，如图9所示。

视频合成模块42，负责对图像合成模块41中得到的视频帧进行合成，根据原始视频帧的时间戳信息将视频帧按照时间戳写入视频文件得到最终生成的超分辨率视频。

为了更好地理解本发明，以下描述各单元的工作流程。

图10是视频图像分离单元1的工作流程图，如图10所示，该流程包括：

步骤1001，视频图像分离单元处理输入视频，对于输入视频进行帧图像获取，获取每一帧待处理的图像；

步骤1002，对得到的帧图像中的每一个像素点进行RGB值计算，得到每个像素点的RGB值；

步骤1003，进行通道分离计算，根据RGB值计算出图像中的每一个像素点的亮度分量与色度分量，将亮度值与色度值分离得到亮度通道图像与色度通道图像。

图11是亮度通道处理单元2的工作流程图，如图11所示，该流程包括：

步骤1101，进行亮度通道处理时，首先根据目标分辨率计算当前分辨率与目标分辨率的处理比值；

步骤1102，根据步骤1101中得到的比值，进行自监督学习，选取输入的视频亮度图像进行自监督的超分辨率处理训练，当训练结果满足预设的误差范围内时结束模型训练；

步骤1103，使用步骤1102中训练得到的模型，对输入的亮度通道图像进行处理，得到全部处理后的超分辨率处理亮度图像。

图12是色度通道处理单元3的工作流程图，如图12所示，该流程包括：

步骤1201，进行色度通道处理时，首先根据目标分辨率计算当前全部色度分量在目标图像中的位置。

步骤1202，处理所有目标图像待写入点，根据步骤1201中计算得到的色度分量，判断有无已有的色度值，有则写入目标位置。

步骤1203，对需要计算色度的剩余点，通过三次线性插值法，获取目标位置附近的已存在点色度值进行计算得到结果值。

图13是视频图像合成单元4的工作流程图，如图13所示，该流程包括：

步骤1301，对于在亮度通道处理单元2和色度通道处理单元3中得到的超分辨率亮度通道图像与色度通道图像，合成得到最终的可视目标图像。

步骤1302，对步骤1301中得到的超分辨率图像，按照视频原帧的时间戳(即，原图的帧采样情况)进行处理合成，得到最终的超分辨率视频。

本发明实施例在对视频进行处理之后，可以基于输入的视频生成超分辨率的视频，可以生成人眼观看效果自然的高质量图像，本发明实施例的优点主要在于：

1、通过分通道处理视频图像，有效地利用了人眼对明亮与色彩的感受，对亮度通道的亮度分量进行更高要求的处理，能够得到更好的效果；

2、通过分别处理的方式，降低了模型训练与运算的成本，能够提高计算性能，迅速得到处理结果；

3、采用自监督的学习方法与线性插值计算方式，无须先验的学习材料与超分辨率样本，减少了计算成本。

在实际操作中，上述各单元、各模块可以组合设置、也可以单一设置，本发明不限于此。

本实施例还提供一种电子设备，该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照上述方法实施例进行实施及视频图像处理装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

图14为本发明实施例的电子设备600的系统构成的示意框图。如图14所示，该电子设备600可以包括中央处理器100和存储器140；存储器140耦合到中央处理器100。值得注意的是，该图是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

一实施例中，视频图像处理功能可以被集成到中央处理器100中。其中，中央处理器100可以被配置为进行如下控制：

获取待处理视频图像的每一个帧图像；

根据各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理，以生成亮度通道图像和色度通道图像；

基于监督学习方法和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，以得到超分辨率处理后的亮度图像；

基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理，以得到超分辨率处理后的色度图像；

基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理，以得到完整的超分辨率视频帧图像。

从上述描述可知，本申请实施例提供的电子设备，通过根据获取的待处理视频图像的各帧图像中每个像素点的亮度色度信息对各帧图像进行通道分离处理，生成亮度通道图像和色度通道图像，随后基于监督学习方法和预定的超分辨率比例对所述亮度通道图像进行超分辨率处理，得到超分辨率处理后的亮度图像，同时基于插值算法和所述预定的超分辨率比例对所述色度通道图像进行超分辨率处理，得到超分辨率处理后的色度图像，之后基于预定编码方式将超分辨率处理后的亮度图像和色度图像进行合成处理，得到完整的超分辨率视频帧图像，本发明实施例基于通道分离技术将视频图像中的亮度分量与色度分量进行有针对性的处理，可以更好地进行视频超分辨率处理，得到效果更好地高分辨率视频图像。

在另一个实施方式中，视频图像处理装置可以与中央处理器100分开配置，例如可以将视频图像处理装置配置为与中央处理器100连接的芯片，通过中央处理器的控制来实现视频图像处理功能。

如图14所示，该电子设备600还可以包括：通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是，电子设备600也并不是必须要包括图14中所示的所有部件；此外，电子设备600还可以包括图14中没有示出的部件，可以参考现有技术。

如图14所示，中央处理器100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器100接收输入并控制电子设备600的各个部件的操作。

其中，存储器140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序，以实现信息存储或处理等。

输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

该存储器140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142，该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。

存储器140还可以包括数据存储部143，该数据存储部143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132，以经由扬声器131提供音频输出，并接收来自麦克风132的音频输入，从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器130还耦合到中央处理器100，从而使得可以通过麦克风132能够在本机上录音，且使得可以通过扬声器131来播放本机上存储的声音。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述视频图像处理方法的步骤。

综上所述，本发明实施例针对视频超分辨率处理场景，利用人眼对图像的感受特点，将视频图像中的明亮分量与色度分量进行有针对性的处理，首先通过分量提取技术，将视频中的图像进行处理，对每一帧的图像进行处理，将分离得到的明亮度通道图像进行基于监督学习的超分辨计算处理得到高分辨率的明亮通道图像，再将分离得到的色度通道图像进行基于线性插值的超分辨率处理，最后进行超分辨率处理的通道图像进行合成，得到最终的超分辨率图像。通过本发明实施例的图像超分辨率处理，可以得到人眼更加习惯自然的高分辨率视频图像，同时可以提升图像处理效果，减低模型学习训练成本，助力视频超分辨技术的推广应用。

以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。