基于偏振感知的水下低光图像增强方法及装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于偏振感知的水下低光图像增强方法和一种基于偏振感知的水下低光图像增强装置。

背景技术

水下光学成像是获取水下信息的主要途径，例如水下考古，水下基建，海洋生物研究等，然而由于水体介质的特性，水下存在大量粒子会散射并吸收目标信号，造成光的衰减和散射导致水下光学成像性能较差。目前有很多水下图像增强算法专注于提升水下光学图像的视觉效果，然而可见光的固有属性导致传统光学成像技术无法突破成像极限。

受螳螂虾视觉的启发，偏振信息的引入对于强散射介质中信息的获取有了突破性的进展。利用目标和背景信息偏振态的差异性，可以有效的抑制后向散射，这为解决极端浑浊水下成像提供了新的思路。然而在实际探测中，偏振相机在水下作业时需要人工补光，很容易发生光照不均或光照不足的情况，因此实现低光情况下的偏振图像增强对于提升水下探测效果有着重要的意义。

现有的低照度图像增强的工作大多是在光强域进行处理，包括传统方法和深度学习方法。传统的方法在实际应用中会出现增强不足或过度的情况还可能会进一步放大噪声。基于深度学习的方法直接迁移到偏振域，他们的性能会显著下降，这是由于强度图像和偏振参数对噪声和照明条件有着不同的噪声敏感度，这些方法无法利用多张偏振图像之间的物理约束，缺失了部分先验信息，而且深度学习的去噪方法会扰乱原有的噪声关系，在进一步计算偏振参数时，会使得图像出现更严重的退化。因此需要专门针对偏振图像之间内部的约束关系，设计专门针对水下偏振图像的增强方法。

此外，目前也没有一个公开的权威的偏振图像数据集，这对数据驱动的深度学习方法有很大的限制。使用偏振相机实地拍摄构建数据集，整个采集耗时较长，数据量不足以支撑网络训练，而且其包含的水体类型和拍摄目标都比较单一。

发明内容

本发明旨在至少从一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于偏振感知的水下低光图像增强方法，能够生成水下低光偏振图像数据集，以驱动网络的训练，以及引入偏振感知提高水下低光条件下图像的质量和清晰度，从而显著提升了图像增强的性能和效果。

为达到上述目的，本发明实施例提出的一种基于偏振感知的水下低光图像增强方法，包括以下步骤：获取原始数据集，其中，所述原始数据集包括语义分割图像和深度图像；构建水下偏振成像模型，并采用所述水下偏振成像模型和偏振相机响应曲线对所述原始数据集进行处理，以生成多个不同角度的偏振图像对，其中，所述偏振图像对包括正常光照偏振图像和低光照偏振图像；根据所述多个不同角度的偏振图像对生成对应的图像增强数据集，其中，所述图像增强数据集包括第一图像数据集和第二图像数据集；构建图像增强模型，将所述图像增强数据集输入到所述图像增强模型，以便通过所述图像增强模型对所述第一图像数据集进行亮度增强以得到第一处理图像，对所述第二图像数据集进行细节增强以得到第二处理图像；根据所述第一处理图像和所述第二处理图像得到最终的增强图像。

根据本发明实施例的基于偏振感知的水下低光图像增强方法，首先，获取原始数据集，其中，原始数据集包括语义分割图像和深度图像；然后，构建水下偏振成像模型，并采用水下偏振成像模型和偏振相机响应曲线对原始数据集进行处理，以生成多个不同角度的偏振图像对，其中，偏振图像对包括正常光照偏振图像和低光照偏振图像；接着，根据多个不同角度的偏振图像对生成对应的图像增强数据集，其中，图像增强数据集包括第一图像数据集和第二图像数据集；再接着，构建图像增强模型，将图像增强数据集输入到图像增强模型，以便通过图像增强模型对第一图像数据集进行亮度增强以得到第一处理图像，对第二图像数据集进行细节增强以得到第二处理图像；最后，根据第一处理图像和第二处理图像得到最终的增强图像。由此，能够生成水下低光偏振图像数据集，以驱动网络的训练，以及引入偏振感知提高水下低光条件下图像的质量和清晰度，从而显著提升了图像增强的性能和效果。

另外，根据本发明上述实施例提出的基于偏振感知的水下低光图像增强方法还可以具有如下附加的技术特征：

进一步地，采用所述水下偏振成像模型和偏振相机响应曲线对所述原始数据集进行处理，包括：将所述原始数据集输入到所述水下偏振成像模型中，以生成多个不同角度的正常光照偏振图像；采用偏振相机响应曲线对应所述多个不同角度的正常光照偏振图像进行处理，以得到对应的多个不同角度的低光照偏振图像。

进一步地，根据以下公式生成多个不同角度的正常光照偏振图像：

I(x,y)＝D

D(x,y)＝D

B(x,y)＝B

其中，I(x,y)表示辐照度的总光强图像；D

进一步地，根据以下公式生成对应的图像增强数据集，包括：

其中，S

进一步地，根据以下公式得到第一处理图像和第二处理图像：

其中，

为达到上述目的，本申请第二方面实施例提出了一种基于偏振感知的水下低光图像增强装置，包括获取模块，用于获取原始数据集，其中，所述原始数据集包括语义分割图像和深度图像；第一生成模块，用于构建水下偏振成像模型，并采用所述水下偏振成像模型和偏振相机响应曲线对所述原始数据集进行处理，以生成多个不同角度的偏振图像对，其中，所述偏振图像对包括正常光照偏振图像和低光照偏振图像；第二生成模块，用于根据所述多个不同角度的偏振图像对生成对应的图像增强数据集，其中，所述图像增强数据集包括第一图像数据集和第二图像数据集；图像处理模块，用于构建图像增强模型，将所述图像增强数据集输入到所述图像增强模型，以便通过所述图像增强模型对所述第一图像数据集进行亮度增强以得到第一处理图像，对所述第二图像数据集进行细节增强以得到第二处理图像；图像增强模块，用于根据所述第一处理图像和所述第二处理图像得到最终的增强图像。

根据本申请实施例的基于偏振感知的水下低光图像增强装置，通过获取模块获取原始数据集，其中，原始数据集包括语义分割图像和深度图像；第一生成模块构建水下偏振成像模型，并采用水下偏振成像模型和偏振相机响应曲线对原始数据集进行处理，以生成多个不同角度的偏振图像对，其中，偏振图像对包括正常光照偏振图像和低光照偏振图像；第二生成模块根据多个不同角度的偏振图像对生成对应的图像增强数据集，其中，图像增强数据集包括第一图像数据集和第二图像数据集；图像处理模块构建图像增强模型，将图像增强数据集输入到图像增强模型，以便通过图像增强模型对第一图像数据集进行亮度增强以得到第一处理图像，对第二图像数据集进行细节增强以得到第二处理图像；图像增强模块根据第一处理图像和第二处理图像得到最终的增强图像；由此，能够生成水下低光偏振图像数据集，以驱动网络的训练，以及引入偏振感知提高水下低光条件下图像的质量和清晰度，从而显著提升了图像增强的性能和效果。

另外，根据本发明上述实施例提出的基于偏振感知的水下低光图像增强装置还可以具有如下附加的技术特征：

可选地，所述第一生成模块还用于：将所述原始数据集输入到所述水下偏振成像模型中，以生成多个不同角度的正常光照偏振图像；采用偏振相机响应曲线对应所述多个不同角度的正常光照偏振图像进行处理，以得到对应的多个不同角度的低光照偏振图像。

可选地，根据以下公式生成多个不同角度的正常光照偏振图像：

I(x,y)＝D

D(x,y)＝D

B(x,y)＝B

其中，I(x,y)表示辐照度的总光强图像；D

可选地，根据以下公式生成对应的图像增强数据集，包括：

其中，S

可选地，根据以下公式得到第一处理图像和第二处理图像：

其中，

附图说明

图1为根据本发明一个实施例的基于偏振感知的水下低光图像增强方法的流程示意图；

图2为根据本发明一个实施例的水下偏振成像模型示意图；

图3为根据本发明一个实施例的仿真数据集合成流程示意图；

图4为根据本发明一个实施例的仿真数据集示意图；

图5为根据本发明一个实施例的图像增强模型的网络结构示意图；

图6为根据本发明一个实施例的图像增强数据集亮度放大后的对比效果图；

图7为根据本发明一个实施例的在最先进的低照度图像增强技术中对真实世界数据集的视觉比较效果图；

图8为根据本发明一个实施例的基于偏振感知的水下低光图像增强装置的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

图1为根据本发明一个实施例的基于偏振感知的水下低光图像增强方法的流程示意图，其中，该基于偏振感知的水下低光图像增强方法包括以下步骤：

S101，获取原始数据集，其中，原始数据集包括语义分割图像和深度图像。

需要说明的是，原始数据集可选取经典的语义分割数据集Cityscapes-DBF作为的基础数据集。

S102，构建水下偏振成像模型，并采用水下偏振成像模型和偏振相机响应曲线对原始数据集进行处理，以生成多个不同角度的偏振图像对，其中，偏振图像对包括正常光照偏振图像和低光照偏振图像。

也就是说，将原始数据集输入到水下偏振成像模型中，以生成多个不同角度的正常光照偏振图像；采用偏振相机响应曲线对应多个不同角度的正常光照偏振图像进行处理，以得到对应的多个不同角度的低光照偏振图像；如图4所示，生成的每一对偏振图像包括正常光照偏振图像和低光照偏振图像，且每一对偏振图像之间的角度不同。

S103，根据多个不同角度的偏振图像对生成对应的图像增强数据集，其中，图像增强数据集包括第一图像数据集和第二图像数据集。

需要说明的是，生成的第一图像数据集包括由多个不同角度的低光照偏振图像得到的

S104，构建图像增强模型，将图像增强数据集输入到图像增强模型，以便通过图像增强模型对第一图像数据集进行亮度增强以得到第一处理图像，对第二图像数据集进行细节增强以得到第二处理图像。

也就是说，如图5所示，采用两个分支独立的对S

S105，根据第一处理图像和第二处理图像得到最终的增强图像。

另外，为了更好的理解上述方法，本申请提出了一个具体的实施方式，如下所述：

如图2所示，水下偏振图像仿真方法利用水下偏振成像物理模型模拟水下偏振图像，然后利用相机响应函数CRF曲线模拟不同照度的情况，最终得到包括多种水体退化情况和不同光照条件的水下低照度偏振图像数据集。

其中，生成水下风格图像的关键在于合理的利用水下场景结构信息和水下成像模型；根据水下偏振成像模型，利用场景深度图z尽可能的还原真实水下场景；对于偏振图像的模拟，需要语义分割图像S生成合理的P

1)带有深度图z的清晰图像L(x,y)。以便通过模拟β和A

2)配对的语义分割图S。从语义信息S根据P

Cityscapes-DBF被广泛应用于场景理解和语义分割任务，由德国多个城市的高分辨率图像组成，数据集涵盖多种天气条件和城市环境，每张图像分为标记和未标记部分，标记部分提供了像素级别的语义分割标签，涵盖了道路，建筑物，车辆，行人等类别，方便利用语义信息将处于同一语义段的物体赋予相似的偏振属性；选取2975张图像作为基础图像，最终数据集经由裁剪扩充为14875组，每组包含4个角度的偏振图像。

需要说明的是，大气散射模型是图像去雾和一些水下图像增强方法中常用的经典去雾模型，其中探测器接收到的辐照度I(x,y)来自于下述两部分的叠加：

I(x,y)＝D(x,y)+B(x,y)

第一个源是视野中的物体信号，其辐射在水中经由吸收和散射而衰减，一般被称作直接传输信号D(x,y)，可以被描述为：

D(x,y)＝L(x,y)t(x,y)

其中，(x,y)表示图像中像素的坐标，L(x,y)表示物体在视线上(line of sight,LOS)没有经过衰减之前的物体辐射，t(x,y)表示介质的透射率，可以被表示为：

t(x,y)＝e

公式中的z表示拍摄距离，参数β＝{β(c)}是衰减系数，与水体的吸收和散射效应有关。

第二个源来自于部分环境光被水中的粒子向相机散射的光，一般被称作遮蔽光或反向散射信号B(x,y)，可以被表示为：

B(x,y)＝A

其中，A

水下散射受偏振的影响，前向散射和后向散射对偏振都有贡献，一些传统的偏振成像方法忽略了前向散射的贡献，会导致最后去浑浊的性能下降。首先，假设任何散射粒子的照明都来自一个方向，从摄像机到散射粒子发出的平行线定义为一个入射平面(planeof incidence,POI)，那么对于POI具有两个方向，平行方向和垂直方向，这两个方向根据偏振差分成像的思想，表示差异最大的两个图像。那么上述的成像模型就可以被分为两个方向I

I

I

同样的，获取的辐照度的总光强可以被表示为：

I(x,y)＝I

那么，成像模型中的D和B也可以被表示为：

D(x,y)＝D

B(x,y)＝B

相应的，他们的偏振度可以表示为：

假设I

由于散射光部分偏振于POI的垂直方向，因此P、P

因此，想要计算偏振信息，需要获取多张角度的偏振图像，原理是通过在相机前放置一个偏振器，当偏振角度为α时，根据马吕斯定律，捕捉到的偏振图像I

其中，

根据上述式子可以推导出：

I·P＝D·P

这表示D和B由P，P

仿真数据集合成流程示意图如图3所示，得到P后，可以根据马吕斯定律计算偏振图像I

1852年，英国物理学家GeorgeG.Stokes利用一维矢量描述光的强度，把偏振和光强联系到一起，命名为斯托克矢量。目前偏振属性的描述一般使用斯托克矢量，因为其在宏观上具有很好的可测量性。斯托克参数可以很好的描述光波的偏振特性，S

S＝[S

偏振光的偏振参数包含偏振度(DOP，degree of polarization)和偏振角(AOP,angle of polarization)，这两个参数一般是由Stokes参数计算出来的。DOP表示有多少光被偏振，范围是0～1，0表示完全非偏振，1表示完全偏振；DOP还可以被进一步的表示为线偏振度(DOLP，degree of linear polarization)和圆偏振度(DOCP，degree of circularpolarization)，分别测量线偏振程度和圆偏振程度；AOP给出了偏振波的前进方向。

由于获取圆偏振分量的光学系统无法拍摄鱼类等动态目标，而线偏振分量目前已经可以通过商用的DoFP偏振相机采集，常被应用于水下场景；本申请是通过调制线偏振分量完成图像增强，而与圆偏振光具有四个斯托克斯参数不同，线偏振光可以完全由三个参数S

低光图像模拟方法大多是通过调整图像的亮度值，再添加噪声模拟真实低光环境带来的噪声影响。为了最大程度贴近真实世界，尽可能不破坏偏振约束关系，使用偏振相机CRF曲线模拟低光情况；由于偏振相机采集的图像具有不同的偏振方向，因此需要对每个偏振方向单独获取CRF曲线；使用拍摄的四个角度的偏振图像作为基准图像，根据这些基准图像可以得到了基于亮度值的CRF曲线。

最终的仿真数据集包括14875组图像，每组图像包括低光情况下的四角度偏振图像和正常光照情况下的四角度偏振图像。仿真数据集示例如图4所示。

如图6所示，通过对真实世界实验获取的大量偏振数据的观察分析，发现了Stokes参数的特殊物理属性，利用物理先验信息，设计双分支网络分别解决亮度降低和复杂噪声的问题，避免了统一放大亮度对偏振参数的影响。对于低光增强任务来说，直接放大10倍亮度后，S

由上所述，基于大量实验观察发现的Stokes物理特性。将低光图像直接放大亮度后发现，S

其中，f

如图5所示，具体的网络设计包含两个分支，亮度调整分支和细节增强分支。

其中，关于亮度调整分支：亮度调整分支的设计受到了Retinex理论的启发，由Layer Decomposition Net(LD)，Reflectance Restoration Net(RR),IlluminationAdjustment Net(IA)三部分组成。LD将图像分解为reflectance和illumination层。RR负责解决退化问题，IA负责调整亮度。根据偏振数据的特点，重新设计了损失函数，使网络更侧重于亮度的提升，并且设计了轻量化的网络结构以保证双分支网络的训练速度。

Layer Decomposition Net.层分解网络包含分别对应于reflectance和illumination层的两个分支。reflectance分支采用典型的5层U-Net，随后是卷积层和Sigmoid层。而illumination分支由两个conv+ReLU层和来自reflectance分支的串联特征贴图上的conv层组成，最后后跟一个Sigmoid层。从一幅图像中恢复两个分量是一个高度不适定问题，根据曝光信息将数据集分为

因此，层分解网络总的损失函数如下：

其中，λ

Reflectance Restoration Net.网络结构是更深的U-Net结构。由于其更注重于亮度的提升，所以此分支的损失函数比较简单,

Illumination Adjustment Net Loss.该网络包含3个卷积层和一个Sigmoid层。本部分的损失函数如下，

最后一步，使用增强后的

细节增强分支。细节增强分支注重于提取S

细节增强分支聚焦于提升目标和网络预测值的结构相似性，选择总变分损失提升结果的平滑性以及梯度损失来保持结构的不变性，并且添加了L1损失和L2损失来提高网络训练的稳定性和泛化能力。

x表示图像数据，在本分支中为S

除此之外，为了更好地重建偏振信息，还引入了偏振损失L

总的损失函数定义为：

L

其中，λ

使用PyTorch实现网络，并使用ADAM优化器(默认参数β

如图7所示，本申请测试了8种低光增强方法的效果，Retinex-Net,MBLLEN,KinD,EnlightenGAN,DSLR,ZeroDCE,RUAS,SCI以及1种偏振域低照度图像增强方法Polar，选取PSNR和SSIM作为本申请的评价指标，表1给出了实验结果。

表1

综上所述，根据本发明实施例的基于偏振感知的水下低光图像增强方法，首先，获取原始数据集，其中，原始数据集包括语义分割图像和深度图像；然后，构建水下偏振成像模型，并采用水下偏振成像模型和偏振相机响应曲线对原始数据集进行处理，以生成多个不同角度的偏振图像对，其中，偏振图像对包括正常光照偏振图像和低光照偏振图像；接着，根据多个不同角度的偏振图像对生成对应的图像增强数据集，其中，图像增强数据集包括第一图像数据集和第二图像数据集；再接着，构建图像增强模型，将图像增强数据集输入到图像增强模型，以便通过图像增强模型对第一图像数据集进行亮度增强以得到第一处理图像，对第二图像数据集进行细节增强以得到第二处理图像；最后，根据第一处理图像和第二处理图像得到最终的增强图像。由此，能够生成水下低光偏振图像数据集，以驱动网络的训练，以及引入偏振感知提高水下低光条件下图像的质量和清晰度，从而显著提升了图像增强的性能和效果。

图8为根据本发明一个实施例的基于偏振感知的水下低光图像增强装置的方框示意图。如图8所示，该基于偏振感知的水下低光图像增强装置包括获取模块10、第一生成模块20、第二生成模块30、图像处理模块40和图像增强模块50。

其中，获取模块10用于获取原始数据集，其中，原始数据集包括语义分割图像和深度图像；第一生成模块20用于构建水下偏振成像模型，并采用水下偏振成像模型和偏振相机响应曲线对原始数据集进行处理，以生成多个不同角度的偏振图像对，其中，偏振图像对包括正常光照偏振图像和低光照偏振图像；第二生成模块30用于根据多个不同角度的偏振图像对生成对应的图像增强数据集，其中，图像增强数据集包括第一图像数据集和第二图像数据集；图像处理模块40用于构建图像增强模型，将图像增强数据集输入到图像增强模型，以便通过图像增强模型对第一图像数据集进行亮度增强以得到第一处理图像，对第二图像数据集进行细节增强以得到第二处理图像；图像增强模块50用于根据第一处理图像和第二处理图像得到最终的增强图像。

需要说明的是，前述对于基于偏振感知的水下低光图像增强方法的实施例的解释说明同样适用于本实施例的基于偏振感知的水下低光图像增强置，此处不再赘述。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。