视频处理方法及装置

技术领域

本公开涉及视频技术领域。更具体地，本公开涉及一种视频处理方法及装置。

背景技术

随着智能手机的普及，越来越多的用户使用个人手机来拍摄视频，用于记录生活中的日常片段。受限于手机的摄像头硬件参数以及拍摄环境和用户的拍摄技巧，原始的视频画质常常不能令用户满意，例如原始视频常常出现画面过亮或过暗、或者画面色彩饱和度不足等等的问题。通过后期的视频画质增强技术，原始画质可以得到极大提升。因此很多用户对的视频画质增强有着强烈和巨大的需求。

然而现存的大多数视频画质增强方法需要用户手动的设置各种画面参数。这不仅要求用户具备一定程度的摄影知识，手动调整画质参数往往还要花费用户相当程度的精力和时间。另外，手动增强的视频画质也很难达到比较专业的水平。由此，需要一种自动的自适应视频画质增强方法来自动的提升原始视频画质，使其在视觉上拥有增好的审美效果。

发明内容

本公开的示例性实施例在于提供一种视频处理方法及装置，以至少解决相关技术中的视频处理的问题，也可不解决任何上述问题。

根据本公开的示例性实施例，提供一种视频处理方法，包括：获取视频的相邻两帧图像作为第一图像和第二图像，其中，在视频中第一图像位于第二图像之后；基于第一图像和第二图像生成第一图像的每个图像区域的三维查询表；基于第一图像的每个图像区域的三维查询表，生成第一图像的画质增强图像。

可选地，基于第一图像和第二图像生成第一图像的每个图像区域的三维查询表的步骤可包括：从第一图像和第二图像获得全局图像特征和局部图像特征；基于全局图像特征和局部图像特征来生成第一图像的每个图像区域的三维查询表。

可选地，从第一图像和第二图像获得全局图像特征和局部图像特征的步骤可包括：分别对第一图像和第二图像进行卷积特征提取；对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合；基于融合后的卷积特征获得全局图像特征和局部图像特征。

可选地，分别对第一图像和第二图像进行卷积特征提取的步骤可包括：分别将第一图像和第二图像输入到卷积层中嵌入了自注意力模块的卷积神经网络，获得第一图像和第二图像的包含图像局部之间的位置关系和语义关系的卷积特征。

可选地，对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合的步骤可包括：计算第一图像的卷积特征和第二图像的卷积特征之间的相似度；基于相似度分别确定第一图像的卷积特征的第一融合权重和第二图像的卷积特征的第二融合权重；基于第一融合权重和第二融合权重来对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合。

可选地，基于融合后的卷积特征获得全局图像特征和局部图像特征的步骤可包括：将融合后的卷积特征分别输入到全连接层和卷积层来获得全局图像特征和局部图像特征。

可选地，基于全局图像特征和局部图像特征来生成第一图像的每个图像区域的三维查询表的步骤可包括：将全局图像特征和局部图像特征进行融合，获得融合的每个图像区域的特征向量；根据融合的每个图像区域的特征向量生成第一图像的每个图像区域的三维查询表。

可选地，生成第一图像的画质增强图像的步骤可包括：基于第一图像的每个图像区域的三维查询表，对第一图像的红绿蓝三原色数值进行转换，获得第一图像的画质增强图像。

可选地，获取视频的相邻两帧图像作为第一图像和第二图像的步骤可包括：获取视频的相邻两帧图像；对获取的相邻两帧图像进行低分辨率转换，并将转换后的两帧低分辨率图像作为第一图像和第二图像。

根据本公开的示例性实施例，提供一种视频处理装置，包括：图像获取单元，被配置为获取视频的相邻两帧图像作为第一图像和第二图像，其中，在视频中第一图像位于第二图像之后；查询表生成单元，被配置为基于第一图像和第二图像生成第一图像的每个图像区域的三维查询表；和画质增强单元，被配置为基于第一图像的每个图像区域的三维查询表，生成第一图像的画质增强图像。

可选地，查询表生成单元可被配置为：从第一图像和第二图像获得全局图像特征和局部图像特征；基于全局图像特征和局部图像特征来生成第一图像的每个图像区域的三维查询表。

可选地，查询表生成单元可被配置为：分别对第一图像和第二图像进行卷积特征提取；对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合；基于融合后的卷积特征获得全局图像特征和局部图像特征。

可选地，查询表生成单元可被配置为：分别将第一图像和第二图像输入到卷积层中嵌入了自注意力模块的卷积神经网络，获得第一图像和第二图像的包含图像局部之间的位置关系和语义关系的卷积特征。

可选地，查询表生成单元可被配置为：计算第一图像的卷积特征和第二图像的卷积特征之间的相似度；基于相似度分别确定第一图像的卷积特征的第一融合权重和第二图像的卷积特征的第二融合权重；基于第一融合权重和第二融合权重来对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合。

可选地，查询表生成单元可被配置为：将融合后的卷积特征分别输入到全连接层和卷积层来获得全局图像特征和局部图像特征。

可选地，查询表生成单元可被配置为：将全局图像特征和局部图像特征进行融合，获得融合的每个图像区域的特征向量；根据融合的每个图像区域的特征向量生成第一图像的每个图像区域的三维查询表。

可选地，画质增强单元可被配置为：基于第一图像的每个图像区域的三维查询表，对第一图像的红绿蓝三原色数值进行转换，获得第一图像的画质增强图像。

可选地，图像获取单元可被配置为：获取视频的相邻两帧图像；对获取的相邻两帧图像进行低分辨率转换，并将转换后的两帧低分辨率图像作为第一图像和第二图像。

根据本公开的示例性实施例，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现根据本公开的示例性实施例的视频处理方法。

根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使得电子设备执行根据本公开的示例性实施例的视频处理方法。

根据本公开的示例性实施例，提供一种计算机程序产品，包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的视频处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

1、无需用户参与，一键式自动完成视频画质增强；

2、可以处理多样的用户视频，增强效果好，时域上连贯。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1示出根据本公开的示例性实施例的视频处理方法的流程图。

图2A示出根据本公开的示例性实施例的进行视频处理的示意图。

图2B示出根据本公开的示例性实施例的网格结构的示例。

图3示出根据本公开的示例性实施例的将全局图像特征和局部图像特征进行融合的示意图。

图4示出根据本公开的示例性实施例的视频处理装置的框图。

图5是根据本公开的示例性实施例的电子设备500的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

在相关的视频画质增强方法中，可使用深度神经网络，从海量视频素材中学习如何将原始的视频红绿蓝三原色(在下文中，也被简称RGB)像素值转换成新的RGB数值，来达到画质增强的目的。此类大数据驱动的方法，不仅充分的利用了大量的专业视频，还能结合用户当前的拍摄内容，自适应的调整画质增强算法。此外，通过融合前后帧的增强参数，实现了画质增强在视频上的连贯。

相关技术中用于RGB数值转换的模型使用的是分段线性函数，且独立的在R、G、B三个颜色通道中转换原始数值。然而，分段线性函数的数学表达能力先天不足，其不能完整的获取原始RGB数值到增强RGB数值之间的映射关系。此外，由于转换是在三颜色通道上分别完成的，忽略了R、G、B颜色关联性带来的丰富语义。用户拍摄的视频画场景和内容千变万化。在一些场景下，该类方法容易出现画质增强不足或者失真的现象。此外，该类方法仅依赖局部图像特征驱动增强算法，忽略了全局特征给画质增强带来的收益。

目前领先的画质增强方法大多集中在单幅图像增强，而非视频增强。在相关的视频画质增强方法中，还可使用深度神经网络，从海量图像数据学习出一个自适应三维查询表(在下文中，也被简称3D LUT)，用于模拟原始RGB数值和增强RGB数值之间的映射关系。所谓自适应，是指3D LUT能根据图像的视觉特征而自动调整。相较于传统的3D LUT图像增强技术，该类方法不需要算法专家去手动的设置3D LUT的各项参数。同时，复杂度较高的3DLUT可以较好的适应各种原始图像画质。相关技术在学习3D LUT时仅使用了图像的全局视觉特征来驱动增强算法，忽视了不同的图像局部需要不同的增强方法。更为致命的是，由于不能保证增强的连续性，图像画质增强技术并不能直接用于视频增强。

下面，将参照图1至图5具体描述根据本公开的示例性实施例的视频处理方法及装置。

图1示出根据本公开的示例性实施例的视频处理方法的流程图。图2A示出根据本公开的示例性实施例的进行视频处理的示意图。图2B示出根据本公开的示例性实施例的网格结构的示例。

参照图1，在步骤S101，获取视频的相邻两帧图像作为第一图像和第二图像。这里，在视频中第一图像位于第二图像之后。

在本公开的示例性实施例中，在获取视频的相邻两帧图像作为第一图像和第二图像时，可首先获取视频的相邻两帧图像(例如，但不限于，第t帧图像和第t-1帧图像)，然后对获取的相邻两帧图像进行低分辨率转换，并将转换后的两帧低分辨率图像(例如，但不限于，图2A中的第t帧低分辨率图像和第t-1帧低分辨率图像)作为第一图像和第二图像。这里，低分辨率可以是例如，但不限于，256x256。

在步骤S102，基于第一图像和第二图像生成第一图像的每个图像区域的三维查询表。

与相关技术相比，在本公开的示例性实施例中，自适应3D LUT不仅使用图像全局视觉特征来驱动增强算法，也可考虑各个图像局部的视觉和语义差异。换句话说，不同的图像局部可采用不一样的增强方法。例如，可通过将图像划分为网格结构(例如，但不限于图2B中的网格结构)，网格中每一个图像局部对应不同的增强参数，可以获得画质增强在局部的自适应性。

在本公开的示例性实施例中，在基于第一图像和第二图像生成第一图像的每个图像区域的三维查询表时，可首先从第一图像和第二图像获得全局图像特征和局部图像特征，然后基于全局图像特征和局部图像特征来生成第一图像的每个图像区域的三维查询表。

不同于单幅图像增强，视频增强还要追求画质在连续帧上的稳定性。在本公开的示例性实施例中，在从第一图像和第二图像获得全局图像特征和局部图像特征时，可首先分别对第一图像和第二图像进行卷积特征提取，然后对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合，之后基于融合后的卷积特征获得全局图像特征和局部图像特征。也就是说，通过融合前后帧的视觉特征，从而可以获得增强在时域上的连续性。

在本公开的示例性实施例中，在分别对第一图像和第二图像进行卷积特征提取时，可通过分别将第一图像和第二图像输入到卷积层中嵌入了自注意力模块的卷积神经网络，来获得第一图像和第二图像的包含图像局部之间的位置关系和语义关系的卷积特征。这里，卷积神经网络的卷积层中嵌入了自注意力模块。卷积层中嵌入了自注意力模块的卷积神经网络可用于捕捉图像局部之间的位置和语义关系。这样做的好处是：1)通过位置关系来获得画质增强在图像空间的平滑性；2)通过语义关系来提高局部增强效果的相关性。例如，当图像中同时出现蓝天和草地时，可以自动的调整增强方式来处理这样的组合。总的说来，在保留画质增强局部自适应的同时，自注意力模块给图像的空间平滑性和增强的语义相关性增加了约束。

在本公开的示例性实施例中，在对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合时，可首先计算第一图像的卷积特征和第二图像的卷积特征之间的相似度，然后基于相似度分别确定第一图像的卷积特征的第一融合权重和第二图像的卷积特征的第二融合权重，之后基于第一融合权重和第二融合权重来对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合。卷积特征上每个像素可表示对应图像局部的视觉特征向量。在本公开的示例性实施例中，可通过计算两个特征向量之间的余弦相似度来衡量前后视频帧的视觉相似度。由于特征向量对应着不同的图像区域，相似度矩阵的每一个元素实际上表示的是两张图像中对应位置的视觉相似度。对于相似度高的图像区域，t-1帧的卷积特征就拥有较高的融合权重；而相似度低的区域，尽可能的使用t帧的卷积特征。当局部场景变化不大时，卷积特征融合有助于维持增强在视频上的连贯性；而当局部场景发生显著视觉变化时，也可以自动的调整画质增强策略来应对。

在本公开的示例性实施例中，在基于融合后的卷积特征获得全局图像特征和局部图像特征时，可通过将融合后的卷积特征分别输入到全连接层和卷积层来获得全局图像特征和局部图像特征，从而提高特征提取的准确性。

在本公开的示例性实施例中，在基于全局图像特征和局部图像特征来生成第一图像的每个图像区域的三维查询表时，可首先将全局图像特征和局部图像特征进行融合，获得融合的每个图像区域的特征向量，然后根据融合的每个图像区域的特征向量生成第一图像的每个图像区域的三维查询表，从而提高三维查询表的准确性。图3示出根据本公开的示例性实施例的将全局图像特征和局部图像特征进行融合的示意图。如图3所示，基于融合后的卷积特征，可首先分别使用全连接层和卷积层来获得全局图像特征和局部图像特征，然后将全局特征向量逐元素的与每个局部特征累加。在此设定下，全局图像特征用于获得图像的整体视觉特性，比如亮度、饱和度、场景等等。而局部图像特征可被用于根据图像局部的语义信息、空间位置等对全局特征进行微调。由此获得的融合特征具有全局和局部自适应性，从而可以应对多样的用户视频，并且可以得到更好的画质增强效果。

在本公开的示例性实施例中，第一图像的每个图像区域都将产生一个特征向量，用来驱动生成一个三维查询表。而不同的三维查询表意味着不同的画质增强效果。

在步骤S103，基于第一图像的每个图像区域的三维查询表，生成第一图像的画质增强图像。通过将自适应三维查询表引入至视频画质增强框架，在无需用户参与的情况下，实现了一键式自动完成视频画质增强。

在本公开的示例性实施例中，在生成第一图像的画质增强图像时，可基于第一图像的每个图像区域的三维查询表，对第一图像的红绿蓝三原色数值进行转换，获得第一图像的画质增强图像。也就是说，基于每个图像像素位置对应的三维查询表，如图2A所示，对原始输入视频t帧中的RGB数值进行转换，生成t帧的画质增强图像。

在一个示例性实施例中，如图2A所示，首先获取视频的第t帧图像和第t-1帧图像，将第t帧图像和第t-1帧图像转换为低分辨率图像，分别将低分辨率图像的第t帧图像和第t-1帧图像输入到具有捕捉图像局部之间的位置和语义关系的功能的卷积神经网络(CNN)中。通过该卷积神经网络(CNN)进行卷积特征提取，得到第t帧图像的卷积特征和第t-1帧图像的卷积特征。计算第t帧图像的卷积特征和第t-1帧图像的卷积特征的相似度矩阵，并基于相似度矩阵对第t帧图像的卷积特征和第t-1帧图像的卷积特征进行融合。然后基于融合后的卷积特征，分别使用全连接层和卷积层来获得全局和局部图像特征，将全局特征向量逐元素的与每个局部特征累加，得到与每一个图像像素位置对应的图像区域的特征向量。通过每一个图像区域的特征向量分别驱动生成一个三维查询表(3D LUT)。最后，基于每一个图像像素位置对应的3D LUT，对原始输入视频t帧中的RGB数值进行转换，生成t帧的画质增强图像。

以上已经结合图1至图3对根据本公开的示例性实施例的视频处理方法进行了描述。在下文中，将参照图4对根据本公开的示例性实施例的视频处理装置及其单元进行描述。

图4示出根据本公开的示例性实施例的视频处理装置的框图。

参照图4，视频处理装置包括图像获取单元41、查询表生成单元42和画质增强单元43。

图像获取单元41被配置为获取视频的相邻两帧图像作为第一图像和第二图像。这里，在视频中第一图像位于第二图像之后。

在本公开的示例性实施例中，图像获取单元41可被配置为：获取视频的相邻两帧图像；对获取的相邻两帧图像进行低分辨率转换，并将转换后的两帧低分辨率图像作为第一图像和第二图像。

查询表生成单元42被配置为基于第一图像和第二图像生成第一图像的每个图像区域的三维查询表。

在本公开的示例性实施例中，查询表生成单元42可被配置为：从第一图像和第二图像获得全局图像特征和局部图像特征；基于全局图像特征和局部图像特征来生成第一图像的每个图像区域的三维查询表。

在本公开的示例性实施例中，查询表生成单元42可被配置为：分别对第一图像和第二图像进行卷积特征提取；对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合；基于融合后的卷积特征获得全局图像特征和局部图像特征。

在本公开的示例性实施例中，查询表生成单元42可被配置为：分别将第一图像和第二图像输入到卷积层中嵌入了自注意力模块的卷积神经网络，获得第一图像和第二图像的包含图像局部之间的位置关系和语义关系的卷积特征。

在本公开的示例性实施例中，查询表生成单元42可被配置为：计算第一图像的卷积特征和第二图像的卷积特征之间的相似度；基于相似度分别确定第一图像的卷积特征的第一融合权重和第二图像的卷积特征的第二融合权重；基于第一融合权重和第二融合权重来对第一图像的卷积特征和第二图像的卷积特征进行卷积特征融合。

在本公开的示例性实施例中，查询表生成单元42可被配置为：将融合后的卷积特征分别输入到全连接层和卷积层来获得全局图像特征和局部图像特征。

在本公开的示例性实施例中，查询表生成单元42可被配置为：将全局图像特征和局部图像特征进行融合，获得融合的每个图像区域的特征向量；根据融合的每个图像区域的特征向量生成第一图像的每个图像区域的三维查询表。

画质增强单元43被配置为基于第一图像的每个图像区域的三维查询表，生成第一图像的画质增强图像。

在本公开的示例性实施例中，画质增强单元43可被配置为：基于第一图像的每个图像区域的三维查询表，对第一图像的红绿蓝三原色数值进行转换，获得第一图像的画质增强图像。

关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

以上已经结合图4对根据本公开的示例性实施例的视频处理装置进行了描述。接下来，结合图5对根据本公开的示例性实施例的电子设备进行描述。

图5是根据本公开的示例性实施例的电子设备500的框图。

参照图5，电子设备500包括至少一个存储器501和至少一个处理器502，所述至少一个存储器501中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器502执行时，执行根据本公开的示例性实施例的视频处理的方法。

作为示例，电子设备500可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备500并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备500还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

在电子设备500中，处理器502可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器502可运行存储在存储器501中的指令或代码，其中，存储器501还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器501可与处理器502集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器501可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器501和处理器502可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器502能够读取存储在存储器中的文件。

此外，电子设备500还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备500的所有组件可经由总线和/或网络而彼此连接。

根据本公开的示例性实施例，还提供一种包括指令的计算机可读存储介质，例如包括指令的存储器501，上述指令可由装置500的处理器502执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的视频处理的方法。

以上已参照图1至图5描述了根据本公开的示例性实施例的视频处理方法及装置。然而，应该理解的是：图4中所示的视频处理装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图5中所示的电子设备并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。

根据本公开的视频处理方法及装置，通过获取视频的相邻两帧图像作为第一图像和第二图像，基于第一图像和第二图像生成第一图像的每个图像区域的三维查询表，基于第一图像的每个图像区域的三维查询表，生成第一图像的画质增强图像，从而在无需用户参与的情况下，实现了一键式自动完成视频画质增强。

此外，根据本公开的视频处理方法及装置，可通过在神经网络的卷积层中嵌入自注意力模块，从而实现在保留增强局部自适应的同时，增加图像的空间平滑性和增强的语义相关性的约束。

此外，根据本公开的视频处理方法及装置，可通过全局/局部特征融合来获得全局和局部自适应性，从而可以应对多样的用户视频，并且获得更好的画质增强效果。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。