一种基于偏振图像的高动态范围成像生成方法

技术领域

本申请涉及高动态范围成像技术领域，具体涉及一种基于偏振图像的高动态范围成像生成方法。

背景技术

高动态范围成像(High Dynamic Range Imaging，HDR)是用来实现比普通数位图像技术更大曝光动态范围的一组技术，广泛应用于计算机图形学以及图像摄影等领域。普通数位图像只有256个亮度等级，远远不如人眼的感知范围，因此而HDR图像可以提供更多的动态范围和图像细节，使其更好的反映人真实环境中的视觉效果。传统HDR成像主要是通过拍摄多张不同曝光时间图像，利用每个曝光时间对应的最佳细节来合成最终HDR图像；然而，现有的HDR成像方法在多张不同曝光时间的图像融合过程中容易产生图像重影问题，成像效果有待提升。

发明内容

本申请的目的是提供一种基于偏振图像的高动态范围成像生成方法，用以克服现有HDR成像所存在的易产生重影、成像效果差的问题。

为了实现上述任务，本申请采用以下技术方案：

第一方面，本申请提供了一种基于偏振图像的高动态范围成像生成方法，包括：

针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像；

构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终 HDR生成模型输出每张偏振图像的特征图；

利用所述偏振图像计算线偏振度特征、偏振角度特征；

将偏振度特征、偏振角度特征作为融合参数，将HDR生成模型输出的所有偏振图像的特征图融合成HDR图像。

进一步地，所述多张不同偏振角度的偏振图像为0°、45°、90°、135°共4个偏振角度的偏振图像。

进一步地，则所述偏振度特征P1、偏振角度特征P2的计算公式如下：

上式中，I

进一步地，所述HDR生成模型利用卷积神经网络构建；所述HDR生成模型采用编码器-解码器的结构，编码器的下采样结构用于提取偏振图像的特征，而解码器则将图像的特征恢复到原图像尺寸；所述模型中，通过从高分辨率的特征图中引入跳跃连接来改善上采样的粒度粗糙程度。

进一步地，通过构建HDR生成模型的损失函数，使得模型输出逼近HDR 图像真值；所述损失函数表示为：

上式中，μ

第二方面，本申请提供了一种基于偏振图像的高动态范围成像生成装置，包括：

获取模块，用于针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像；

模型构建模块，用于构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终HDR生成模型输出每张偏振图像的特征图；

特征计算模块，用于利用所述偏振图像计算线偏振度特征、偏振角度特征；

图像融合模块，用于将偏振度特征、偏振角度特征作为融合参数，将HDR 生成模型输出的所有偏振图像的特征图融合成HDR图像。

第三方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，处理器执行计算机程序时实现前述第一方面的基于偏振图像的高动态范围成像生成方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现前述第一方面的基于偏振图像的高动态范围成像生成方法的步骤。

与现有技术相比，本申请具有以下技术特点：

1.区别于已有的高动态范围成像技术需要多张不同曝光时间图像进行融合的方案，本方法采用偏振相机单次曝光捕获的不同偏振图像作为网络输入，通过网络学习以及使用偏振度特征等获得HDR图像，不需要多张不同曝光时间图像，通过单次曝光即可获得HDR图像，有效减少了因多张图像融合产生的图像重影等问题。

2.与现有的基于深度学习模型的单张图像生成HDR方法相比，本方法充分利用了偏振相机能够过滤物体表面眩光的特性，还原出物体表面原来的图像信息，提升了成像效果，因此在HDR成像更加有优势。

附图说明

图1为本申请方法的流程示意图；

图2为本申请的实施例中捕获四张不同偏振角度的图像示意图；

图3为HDR生成模型示意图；

图4为HDR融合流程示意图；

图5为本申请的一个实施例中偏振相机过滤物体表面眩光，恢复物体表面信息的示意图。

具体实施方式

深度学习的强大学习能力使其在图像领域中表现出比传统图像处理方法更加优异的性能，因此使用单次曝光图像结合深度学习生成HDR图像具有较大的研究潜力，能够克服传统HDR图像的缺点。

本申请提出一种单次曝光图像合成高动态图像的深度学习模型，通过偏振相机捕获的单次曝光偏振照片，计算偏振度特征，偏振角度特征等参数，结合偏振图像训练高动态范围成像深度学习模型，最终能够生成HDR图像。

参见附图1，本申请的一种基于偏振图像的高动态范围成像生成方法，包括以下步骤：

步骤1，针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像。

偏振相机能够一次捕获四张不同偏振角度的图像，将它们近似看成具有不同曝光时间的图像，并且偏振片能够有效场景中的眩光还原物体原来的表面信息。

由于光的偏振效应存在，偏振相机从非均匀偏振场景中捕获到四个偏振图像的对应像素的幅值是不相同的，因为四个像素上偏振器的角度不同引起光照强度衰减；如图2所示，由于偏振效应，图像中的地面在每个图像中的曝光程度都是不相同的。

使用偏振相机捕获偏振图像可以理解成在不同曝光时间下对同一场景进行成像，从而存在着从四个偏振图像生成HDR图像的可能性。由于在四个像素处测量四次辐照度值，并且偏振器的滤光效应会使得四个像素中的一个像素处于非过度曝光区域中，因此HDR图像在暗处或曝光不足区域将获得相当大的改进。

步骤2，采用卷积神经网络构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终HDR生成模型输出每张偏振图像的特征图。

步骤3，利用所述偏振图像计算线偏振度特征P1、偏振角度特征P2。

步骤4，用P1、P2作为融合参数，使用融合算法将HDR生成模型输出的所有偏振图像的特征图融合成HDR图像。

本申请的实施例中，偏振相机单次曝光获取0°、45°、90°、135°共4 个偏振角度的偏振图像，则所述偏振度特征P1、偏振角度特征P2的计算公式如下：

上式中，I

所述HDR生成模型采用编码器-解码器的结构，如图3所示，编码器的下采样结构可以提取到偏振图像的特征，而解码器则将图像的特征恢复到原图像尺寸。由于上采样会导致图像信息丢失，因此本方案从高分辨率的特征图中引入跳跃连接来改善上采样的粒度粗糙程度。通过构建HDR生成模型的损失函数，使得模型输出逼近HDR图像真值；本方案中的损失函数构建如下：

上式中，μ

如图4所示，对于每张偏振图像，获得HDR生成模型输出的特征图后，结合特征图以及偏振度特征P1、偏振角度特征P2进行融合，得到最终的HDR图像。

本方案充分利用了偏振相机能够过滤物体表面眩光的特性，还原出物体表面原来的图像信息，恢复过度曝光区域丢失的信息，如图5所示。

根据本申请的另一方面，提供了一种基于偏振图像的高动态范围成像生成装置，包括：

获取模块，用于针对于需要成像的目标区域，通过偏振相机单次曝光获取多张不同偏振角度的偏振图像；

模型构建模块，用于构建HDR生成模型，并使用多张不同偏振角度的偏振图像作为HDR生成模型输入，使用HDR生成模型学习偏振图像的特征以及偏振效应的特征，最终HDR生成模型输出每张偏振图像的特征图；

特征计算模块，用于利用所述偏振图像计算线偏振度特征、偏振角度特征；

图像融合模块，用于将偏振度特征、偏振角度特征作为融合参数，将HDR 生成模型输出的所有偏振图像的特征图融合成HDR图像。

需要说明的，上述各模块具体的执行步骤与前述方法实施例中对应的步骤相同，在此不赘述。

本申请实施例进一步提供一种终端设备，该终端设备可以为计算机、服务器；包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于偏振图像的高动态范围成像生成方法的步骤。

计算机程序也可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程，例如，计算机程序可以被分割为获取模块、模型构建模块、特征计算模块和图像融合模块，各模块的功能参见前述装置中的描述，不再赘述。

本申请的实施提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于偏振图像的高动态范围成像生成方法的步骤。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器ROM、随机存取存储器RAM、电载波信号、电信信号以及软件分发介质等。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。