一种基于深度学习的视频图像自动曝光校正方法

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种基于深度学习的视频图像自动曝光校正方法。

背景技术

如今互联网蓬勃发展，多媒体业务随之兴起，种类也更加丰富多样，吸引着大规模用户的使用，逐步影响着人们的生活。多媒体业务的种类繁多，如视频医疗、监控、教学等。同时多媒体业务也正在逐渐转向民用，主要以处理速度和处理效果为研究重点，期望在快速实时的同时保持画面质量。目前视频会话形式的市场份额比重逐年持续增长，其范围已经涉及到生活的各种领域，在人们交流沟通的过程中成为不可或缺的工具，也将是未来的主流趋势。随着近几年硬件设备和网络速度的不断提升，人们对视频会话的质量要求也越来越高。

然而在日常生活中，由于场景低光照、拍摄手法及设备配置问题，得到的视频会话图像很容易出现曝光不足、显示昏暗场景等问题，直接影响用户的主观感受，使得用户或计算机视觉任务无法很好地识别图像具体信息。光照影响视频质量主要有下面两种情况：在低光照条件下，获得的图像具有大量较暗区域，导致观测到的细节纹理不清晰，识别困难；在背光或闪光灯条件下，图像存在高亮和阴影区域，图像亮度呈现不均匀状态，影响用户体验。

视频会话需要考虑用户体验及后续的图像处理等问题，这些都是建立在高质量图像的基础上，因此在视频会话场景下，对含低照度视频图像的曝光校正需求非常迫切。其中对视频图像的曝光校正属于视频增强技术，视频增强技术是一种对视频颜色、噪声、光照度、细节等进行处理以提高视频体验的技术，也是图像的预处理阶段，旨在增强图像质量，根据需求恢复图像的重要信息，为后期的计算机视觉任务奠定坚实的基础。

目前针对视频图像曝光校正的研究相对较少，通常采用单帧处理的方式，但是传统方法计算量过大，并且主要针对离线视频难以达到实时。对视频会话场景下的曝光校正技术研究几乎处于空白阶段，因此为了有效的利用图像中的信息，解决拍摄过程中的一些问题，满足人们的主观感受以及计算机视觉设备的进一步分析应用，就必须对低照度条件下视频会话场景中的视频图像进行曝光校正。以深度学习为基础的方法是近年研究的新方向，基于神经网络的算法能够比传统方法在速度上有一定的提高，且避免了人工设置参数的复杂性，但是现有的网络存在网络结构较单一的问题，且适合视频会话业务的视频图像曝光校正技术研究较少，所以提高深度神经网络在视频图像曝光校正上面的性能是十分重要的。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于深度学习的视频图像自动曝光校正方法，实现对低照度环境下降质视频图像的颜色、亮度以及细节恢复，并且在时间上能够满足实时性。

为解决上述技术问题，本发明所采取的技术方案是：

一种基于深度学习的视频图像自动曝光校正方法，包括以下步骤：

步骤1、训练数据集准备；

使用自行拍摄的包含多种曝光尺度、不同地点及不同时间的图像来训练；所述多种曝光尺度包括欠曝光、正常曝光和过曝光；所述地点包括室内、室外、远景、近景、特写；所述时间包括早上、中午、下午和傍晚；并通过翻转以及旋转的方式来进行数据增强；

步骤2、设计网络结构；

网络模型的体系结构将待曝光校正的单帧视频图像I及其HSV颜色空间下提取的亮度注意力图I

其中亮度注意力图I

I

式(1)中，I表示输入的视频图像；I

步骤3、训练网络；

以无监督的方式使用步骤1的数据集对步骤2中的网络进行训练，构建平滑损失L

设置网络训练的平滑损失函数为：

其中，N为迭代次数，

设置网络训练的内容一致性损失函数为：

其中，

步骤4、测试；

在摄像头实时获取待曝光校正的低照度视频，通过对所述低照度视频进行解码、分帧处理，得到所述低照度视频对应的连续图像序列；将获取到的连续图像序列以GOP的形式划分，其中第一帧定义为关键帧，标记为I帧，一个GOP内的其他帧标记为P帧，将每个GOP内的I帧送入训练好的低照度视频图像曝光校正网络，保存生成的曲线特征图，除了应用在I帧自身上，还将其直接应用在每个GOP内的P帧，依次得到连续的曝光校正后的视频帧，其中一个GOP长度设定为2秒；下一个GOP时重复该步骤；

步骤5、将得到的连续曝光校正后的视频帧合成视频输出。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于深度学习的视频图像自动曝光校正方法，设计了一个结合亮度注意力机制的卷积神经网络结构，构建了平滑损失和内容一致性损失，并通过自制的涵盖多种曝光尺度、不同地点及不同时间的训练集来无监督地训练，并参考GOP中划分关键帧的方式，用训练好的网络对低照度下的视频图像进行自动曝光校正，相比于传统技术，降低了时间成本，更适合应用于视频会话场景中。本发明在对不均匀曝光的视频图像上避免了过度校正，且在时间上与传统算法相比，本发明的用时较短，能够实时处理视频。

附图说明

图1为本发明实施例提供的基于深度学习的视频图像自动曝光校正方法网络流程图；

图2为本发明实施例提供的亮度注意力图；其中，(a)为原始输入在HSV颜色空间下的V通道灰度图；(b)为计算得到的亮度注意力图；

图3为本发明实施例提供的曝光校正效果图；其中，(a)为原始输入的低照度视频单帧图像；(b)为曝光校正后的结果；

图4为本发明实施例提供的本发明方法的单帧处理时间截图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例的基于深度学习的视频图像自动曝光校正方法如下所述。

步骤1、训练数据准备：使用自行拍摄的包含多种曝光尺度、不同地点及不同时间的图像来训练；所述多种曝光尺度包括欠曝光、正常曝光和过曝光；所述地点包括室内、室外、远景、近景、特写；所述时间包括早上、中午、下午和傍晚；最终获得的训练集包含的图像数量为8023张，所有图像的大小均为512*512；

为了有效地模拟真实世界的变形，防止过拟合，让网络学习到光照分布的更多可能，通过随机剪辑、翻转以及旋转(0°、90°、180°、270°)的方式来进行数据增强，最终得到的数据集图像数量达到了18000张，其中大致按照7：2：1的比例将数据集分为训练集、测试集和验证集。

步骤2、设计网络结构。

本实施例所提出的网络模型的体系结构将待曝光校正的单帧视频图像I及其HSV颜色空间下亮度注意力图I

(2a)关于步骤2中所述的亮度注意力图I

I

式(1)中，I表示输入的视频图像，I

计算亮度注意力图I

(2b)关于步骤2中所述的高阶曲线：

输入的低照度图像可以用一种曲线映射成一个曝光校正后的图像，高阶曲线形式如下：

f(I(x)；α)＝I(x)+αI(x)(1-I(x)) (3)

其中x为像素坐标，f(I(x)；α)为输入待曝光校正的单帧视频图像I的校正结果，α∈[-1,1]是要训练学习的参数，可以修改曲线曲率的同时控制曝光。此外，每个像素都被归一化在[0,1]范围内。将式(3)的二阶曲线不断迭代，且每次迭代应用不同的曲线参数，得到式(4)的高阶曲线f

fn(x)＝f

其中n表示迭代次数，控制着曲率。这一操作的原理类似于递归调用，上一次计算的输出作为本次的输入，通过对输入图像不断进行这样的迭代，可以增大曲率，使曲线的动态范围调整能力更灵活。将式(4)的α修正为像素级参数图A

fn(x)＝f

生成的18个特征图被用来作为参与6次迭代(n＝6)的曲线特征图A

步骤3、训练：随机初始化各层的连接权值W和偏置b，BatchSize＝U，给定学习率为η，使用Adam优化器来对网络参数进行优化，相关参数设定为β

(3a)关于步骤3中所述的平滑损失L

考虑到光照平滑的先验知识是指光照是缓慢变化的，但实际情况下图像中会存在亮度差异比较大的区域，即光照不平滑的区域，在区域的边界处进行增强后容易产生光晕现象。因此为了避免这类问题，设定平滑损失函数L

其中,N为迭代次数，

通过缩小校正后图像经过VGG模型提取得到的特征图与标签图像经过提取得到的特征图之间的差异，可以使得校正后图像与标签图像在高维感知层更加相似。由于输入到输出图像之间亮度的改变对VGG模型提取到的特征距离的影响并不会很大，因此可以设定一个约束来保持输入的低照度图像与输出校正后图像的内容一致性。内容一致性损失函数L

其中,

步骤5、测试：在摄像头实时获取待曝光校正的低照度视频，其中拍摄视频的场景并未出现在训练集当中，通过对所述低照度视频进行解码、分帧处理，得到所述低照度视频对应的连续图像序列。对于视频会话业务来说，相邻帧之间的光照强度往往十分相似，短时间内光照情况并不会有巨大的改变，因此相邻帧对应的曲线参数其调整趋势也十分相似。将获取到的连续图像序列以GOP的形式划分，其中第一帧定义为关键帧，标记为I帧，一个GOP内的其他帧标记为P帧，将每个GOP内的I帧送入训练好的低照度视频图像曝光校正网络，保存生成的18张曲线特征图，除了应用在I帧自身上，还将其直接应用在每个GOP内的P帧，依次得到连续的曝光校正后的视频帧，其中一个GOP长度设定为2秒。

步骤6、将得到的连续曝光校正后的视频帧合成视频输出。

本实施例对视频图像的曝光校正效果如图3所示，可以看到图3(a)中原始的输入视频图像曝光度低，画面昏暗，大量细节不可见，图3(b)为曝光校正后的结果，在亮度和对比度上都有很好的视觉效果，方法的单帧处理时间如图4所示，实时帧率最高可达到23.4FPS，可见本发明的提出很好地实现了对视频图像的曝光校正，并且具有较小的计算复杂度。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。