基于深度抠图的逆光图像增强方法

技术领域

本发明属于逆光图像增强技术领域，具体涉及基于深度抠图的逆光图像增强方法。

背景技术

随着摄影技术的发展，图像质量在分辨率上有了很大的提高。然而，由标准成像设备捕获的图像往往会处于不均匀照明环境下，如逆光、夜间和光线较暗的室内等场景，这些图像可能会在曝光不足的区域丢失重要信息，使图像内容对人眼不可见。不同于普通的低照度图像，逆光图像有一个较为广泛的动态范围，同时包含非常暗和非常亮的区域，因此需要改善图像中光照不理想的区域。由于相机动态范围有限，如果我们增加相机曝光来显示曝光不足的区域，那么就会对曝光良好的区域造成曝光过度甚至饱和。针对这一问题，许多研究者都提出了图像增强算法，但大多数方法局限于区域间分割的精度，难以产生高质量的、视觉效果更加自然的增强图像。因此，对逆光图像中如何精确地提取出曝光不足部分并对其进行与曝光正常区域相适应程度增强的问题具有重要的研究意义。

目前，逆光图像增强的研究方法大致从两个角度出发：融合技术与软分割技术。融合技术可以将多个输入融合起来，这些输入通常提高了逆光图像的对比度，细节信息，轮廓信息等，结合对应的权重调整逆光图像的灰度值。但当图像的灰度分布极不均匀，则会导致色度失真的问题。软分割技术是通过某种模型识别过程将逆光图像中曝光不足区域与曝光正常区域分割开来，对曝光不足区域进行色调映射调整其灰度值，但该算法的增强效果往往取决于分割识别的精度，对背景较为复杂的逆光图像无法进行有效的增强，并且容易产生光晕现象。

发明内容

本发明的目的是提供基于深度抠图的逆光图像增强方法，解决了现有技术中存在的曝光正常区域与曝光不足区域分割精度不足、增强过度和颜色与对比度失真的问题。

本发明所采用的技术方案是，基于深度抠图的逆光图像增强方法，具体按照以下步骤实施：

步骤1、输入原始逆光图像，将原始逆光图像中的逆光区域视为待增强的前景，手工标记出图像的已知逆光前景部分和待分割区域，获取图像对应的trimap图；

步骤2、根据原始逆光图像和对应的trimap图，利用编码-译码器网络进行抠图，得到预测前景蒙版，将预测前景蒙版、原始逆光图像输入到细化网络中对透明度值进行细化，获得锐化后的前景蒙版；

步骤3、根据锐化后的前景蒙版精确区分出原始逆光图像的逆光区域，利用自适应优化γ值的伽马变换算法对逆光部分进行增强，得到增强前景图；

步骤4、将增强前景图与原始逆光图像进行合成，将增强前景图替代原始逆光图像中逆光区域，得到最终的增强图像。

本发明的特点还在于：

步骤1具体过程为：输入原始逆光图像，原始逆光图像视为由前景层和背景层构成，因此可用线性组合下的图像合成方程(1)来表示：

I＝αF+(1-α)B (1)

其中，I是给定像素的颜色，F是未知的前景色，B为未知背景色，α为未知的透明度；

通过用户交互方式获取原始逆光图像对应的三元图，将曝光不足的区域划分为待增强的前景，其中白色区域表示确定的前景部分，像素透明度均为1，灰色区域表示待分割区域，其像素透明度为未知的透明度；黑色区域表示确定的背景部分，其像素透明度均为0，划分后得到的图像为原始逆光图像对应的trimap图。

步骤2具体过程为：

步骤2.1、设计基于深度卷积网络的编码-译码器网络，其中编码阶段采用14个卷积层和5个最大池化层，解码网络采用6个卷积层和5个反池化层的操作，编码-译码器网络中包含两个损失函数，一个是透明度预测损失，另一个是合成损失，通过加权计算总损失；

步骤2.2、将原始逆光图像和对应的trimap图输入编码-译码器网络进行抠图，得到预测前景蒙版；

步骤2.3、设计基于完整的卷积网络的细化阶段网络，包括4个卷积层，第四个卷积层为非线性的ReLU层；

步骤2.4、使用跳跃模型将预测前景蒙版缩放到0和1之间，将缩放后的预测前景蒙版和原始逆光图像输入细化阶段网络进行细化，得到锐化后的前景蒙版。

步骤2.1中计算总损失具体过程为：

透明度预测损失为真实的透明度值和预测的透明度值在每一个像素位置上的绝对差，对该绝对差采用相对近似值模拟如下：

其中，

合成损失通过下面的损失函数近似：

其中，其中c为RGB通道，p为预测前景蒙版合成的图像，g为真实前景蒙版合成的图像；

两个损失的加权总和即为总损失，总损失计算公式为：

其中，ω

步骤3中利用自适应优化γ值的伽马变换算法对逆光部分进行增强具体为：采用伽马变换对原始逆光图像进行非线性变换，得到增强前景图，调节其灰度值的动态范围，使原始逆光图像灰度值与增强前景图灰度值呈指数关系；

其中，伽马变换公式为：

式(6)中，C与γ均为常数，通过调整γ的取值进行不同程度的变换，γ值小于1时，较亮的区域灰度被压缩，较暗区域灰度被拉伸，图像的整体亮度得到提升，同时低灰度处的对比度得到增强。

伽马变换中γ值采用自适应优化取值，具体取值过程如下：

采用信息熵

式(7)中，p

取增强前景图的信息熵最大化来计算最佳γ取值，表达式为：

式(8)中，g(I，γ)表示增强前景图。

本发明的有益效果是：

本发明基于深度抠图的逆光图像增强方法，对逆光图像中的曝光不足区域与曝光正常区域进行了精确分割，并计算出了最优化γ值对过暗区域进行增强，与现有的逆光图像增强方法相比，不仅没有对图像中曝光正常区域进行过度增强，且有效的保留了图像的细节与颜色，提高了逆光图像的质量。

附图说明

图1(a)是本发明基于深度抠图的逆光图像增强方法的流程图；

图1(b)是本发明基于深度抠图的逆光图像增强方法中深度抠图算法的网络结构图；

图2是本发明实施例中输入的原始逆光图像；

图3是本发明实施例原始逆光图像对应的trimap图；

图4是本发明实施例利用深度抠图算法计算获得的前景蒙版图；

图5是本发明实施例中伽马变换所对应不同γ值的变换曲线图；

图6是本发明实施例中原始逆光图像使用不同γ值进行伽马变换后其信息熵的变换曲线图；

图7是本发明利用γ＝1值对逆光前景进行伽马变换的结果示意图；

图8是本发明利用γ＝10值对逆光前景进行伽马变换的结果示意图；

图9是本发明利用γ＝30值对逆光前景进行伽马变换的结果示意图；

图10是本发明利用γ＝100值对逆光前景进行伽马变换的结果示意图；

图11是本发明利用γ＝200值对逆光前景进行伽马变换的结果示意图；

图12是本发明选取最优化γ值对前景进行增强，并利用前景蒙版对图像进行合成的增强效果图；

图13是使用直方图均衡化对逆光图像进行增强的结果示意图；

图14是使用限制对比度自适应直方图均衡增强算法对逆光图像进行增强的结果示意图；

图15是使用多尺度Retinex算法对逆光图像进行增强的结果示意图。

具体实施方式

下面结合附图及具体实施方式对本发明进行详细说明。

本发明基于深度抠图的逆光图像增强方法，流程图如图1(a)所示，图1(b)为流程图中虚线框部分的网络结构，第一部分是以人机交互方式，标记出图像中确定的待增强前景以及待分割区域，以获取逆光图像的三元图，再用深度抠图网络得到图像的前景蒙版；第二部分是使用伽马变换对图像进行增强，根据增强图像的信息熵最大化来选取合适的γ值进行变换，使合成后的图像整体视觉效果更加自然；如图1所示，具体按照以下步骤实施：

步骤1、输入原始逆光图像，如图2所示，将原始逆光图像中的逆光区域视为待增强的前景，手工标记出图像的已知逆光前景部分和待分割区域，获取图像对应的trimap图；

步骤1具体过程为：输入原始逆光图像，原始逆光图像视为由前景层和背景层构成，因此可用线性组合下的图像合成方程(1)来表示：

I＝αF+(1-α)B (1)

其中，I是给定像素的颜色，F是未知的前景色，B为未知背景色，α为未知的透明度；

通过用户交互方式获取原始逆光图像对应的三元图，将曝光不足的区域划分为待增强的前景，其中白色区域表示确定的前景部分，像素透明度均为1，灰色区域表示待分割区域，其像素透明度为未知的透明度；黑色区域表示确定的背景部分，其像素透明度均为0，划分后得到的图像为原始逆光图像对应的trimap图，如图3所示。

步骤2、根据原始逆光图像和对应的trimap图，利用编码-译码器网络进行抠图，得到预测前景蒙版，将预测前景蒙版、原始逆光图像输入到细化网络中对透明度值进行细化，获得锐化后的前景蒙版，如图4所示；

步骤2具体过程为：

步骤2.1、设计基于深度卷积网络的编码-译码器网络，其中编码阶段采用14个卷积层和5个最大池化层，输出得到低分辨率的特征图，解码网络采用6个卷积层和5个反池化层的操作，得到与原图大小一致的预测前景蒙版，编码-译码器网络中包含两个损失函数，一个是透明度预测损失，另一个是合成损失，通过加权计算总损失；

计算总损失具体过程为：

透明度预测损失为真实的透明度值和预测的透明度值在每一个像素位置上的绝对差，对该绝对差采用相对近似值模拟如下：

其中，

合成损失是指利用真实透明度值合成的图像与预测透明度值合成的图像进行绝对差的计算，通过下面的损失函数近似：

其中，其中c为RGB通道，p为预测前景蒙版合成的图像，g为真实前景蒙版合成的图像；合成损失限制了网络的合成操作，从而导致更准确的前景蒙版预测。

两个损失的加权总和即为总损失，总损失计算公式为：

其中，ω

步骤2.2、将原始逆光图像和对应的trimap图输入编码-译码器网络进行抠图，得到预测前景蒙版；

步骤2.3、设计基于完整的卷积网络的细化阶段网络，包括4个卷积层，第四个卷积层为非线性的ReLU层，为了产生尖锐的边缘，即准确的轮廓，该阶段不进行下采样；

步骤2.4、使用跳跃模型将预测前景蒙版缩放到0和1之间，将缩放后的预测前景蒙版和原始逆光图像输入细化阶段网络进行细化，得到锐化后的前景蒙版。

步骤3、根据锐化后的前景蒙版精确区分出原始逆光图像的逆光区域，利用自适应优化γ值的伽马变换算法对逆光部分进行增强，得到增强前景图；

利用自适应优化γ值的伽马变换算法对逆光部分进行增强具体为：采用伽马变换对原始逆光图像进行非线性变换，得到增强前景图，调节其灰度值的动态范围，使原始逆光图像灰度值与增强前景图灰度值呈指数关系，利用伽马变换增强图像，就是让图像曝光强度的线性响应变得更加接近人眼感受的响应，即将曝光过度或曝光不足的部分进行矫正；

其中，伽马变换公式为：

式(6)中，C与γ均为常数，通过调整γ的取值进行不同程度的变换，γ值小于1时，较亮的区域灰度被压缩，较暗区域灰度被拉伸，图像的整体亮度得到提升，同时低灰度处的对比度得到增强，更利于分辨低灰度值部分的图像细节。

伽马变换中γ值采用自适应优化取值，具体取值过程如下：

由于曝光良好图像的可视性比曝光不足或曝光过度的图像可视性强，因此最优的底数取值应该能为增强后的图像提供更多的信息，采用信息熵

式(7)中，p

式(8)中，g(I，γ)表示增强前景图。由于图像熵值随曝光度的变化呈现出多幅度的增减，如图6所示，需通过熵值变化函数确定最大取值范围进行一维极大值求解。为了提高计算效率，在优化gamma取值时，将输入图像的大小调整为50×50。图7-图11展示了利用不同gamma值对逆光图像进行伽马变换的效果。

步骤4、将增强前景图与原始逆光图像进行合成，将增强前景图替代原始逆光图像中逆光区域，得到最终的增强图像，如图12所示。

由于只对逆光图像中与前景蒙版对应的暗区进行增强，因此在消除逆光的同时保持了曝光正常区域不失真，恢复图像中暗区的细节特征，提高了图像整体质量。我们将本文方法的结果与常用的对比度增强方法的结果进行了比较。一般情况下，用直方图均衡化(HE)生成的图像对整幅图像灰度进行调整，因此会导致光照正常区域产生过度曝光，如图13所示。用限制对比度自适应直方图均衡增强算法(CLAHE)生成的图像对亮度过暗区域增强效果不足，并且会过度增强噪声和伪影，如图14所示。而多尺度Retinex算法(MSR)生成的图像过于饱和且颜色平滑，会失去图像的细节信息，如图15所示。

与图13-图5相比，本发处理方法如图12所示，图12中逆光区域的亮度和细节都得到了增强，同时又保持了原始逆光图像中曝光正常区域的亮度不变。

通过上述方式，本发明基于深度抠图的逆光图像增强方法，对逆光图像中的曝光不足区域与曝光正常区域进行了精确分割，并计算出了最优化gamma值对过暗区域进行增强，与现有的逆光图像增强方法相比，不仅没有对图像中曝光正常区域进行过度增强，且有效的保留了图像的细节与颜色，提高了逆光图像的质量。