一种域自适应的水下图像增强方法

技术领域

本发明涉属于图像处理技术领域，特别涉及一种域自适应的水下图像增强方法，具体涉及一种基于双注意域自适应的水下图像增强方法。

背景技术

水下图像增强是近年来的一个研究热点，其目的是获得清晰、高质量的水下图像。水下图像增强是水下图像处理如目标检测，场景感知的重要过程。这项技术在水下研究的许多领域都有应用，如水下机器人、救援任务、生态监测、海洋生物跟踪、水下机器人控制、海洋生物学研究和考古学。发展水下图像增强方法是完成水下视觉质量和高水平水下视觉任务的必要条件。

与普通图像不同的是，复杂的水下环境和光在不同的水体中所呈现的特殊物理及化学特性，会导致水下图像出现退化的现象。受水体深度光波衰减及颗粒悬浮的影响，水下图像呈现较多的蓝绿色调及雾状效应。图像的颜色信息作为反应物体特性的重要信息，对水下目标识别及分类有着极为重要的作用，但水下光收到水体特征的影响会发生衰减和散射效应导致水体图像呈现对比度，散射模糊及颜色失真的现象，极大的降低了水下图像的质量，限制了水下图像处理相关技术的发展。

虽然现阶段水下领域不乏大型图像数据集，但依旧很难找到具有真实水下图像标签且水下数据分布符合真实水下的数据集合；缺乏较为公开的水下数据集对以数据驱动的深度学习增强方法带来极大的瓶颈，从而进一步的制约了水下图像增强算法的深入研究及应用拓展。

尽管该领域已有大量的研究工作，如针对水下数据进行处理和模拟，或针对硬件设施进行研究开发的，但缺少从水下图像的颜色纹理及全局结构角度，致使训练出来的水下增强方法缺少鲁棒性和较好的迁移性。相关的现有技术如下：

1CycleGAN

CycleGAN

2 DSG模块

DSG(Dual attention spatial feature group)

3 SFT

SFT(Spatial feature transform)

4 UNet

UNet

5全局特征映射层

结合全局特征进行全联接映射

针对上述现有技术，我们引入域自适应的生成对抗网络来缓解合成数据和真实数据集的域间差异，引入改进的全局特征映射来提高水下增强的效果，最后构建半监督的水下图像增强框架提高模型的可适性和鲁棒性。该方法基于双注意力机制、空间转换模块、CycleGAN和UNet，提出一种基于DSG_CycleGAN框架的双注意力水下图像风格迁移模型，一种基于全局特征映射的UNet水下增强模型。在训练的过程中引入域自适应机制进行全局调优，提高整体框架方法的迁移效果，框架可以结合输入图像的风格类型，纹理及颜色特征，进行自适应学习减少不同域环境间水下图像风格差异，增强过程引入图像特征的全局映射较少水下图像增强后的图像伪影。实验结果表明，我们的方法具有更好的效果，相比现阶段的水下图像增强方法我们的方法具有更好的应用效果，在不同的水下数据集下我们的方法具有更好的纹理细节特征和更好的增强效果。可以较好的模拟仿真水下图像数据。

为了验证我们的方法在真实图像上的鲁棒性，我们比较不同方法在水下图像增强后的效果，合成数据集合[6]和真实的公开数据集合Sea-Thru数据集

本发明为了缓解以数据驱动的水下模型的数据量不足的问题，提出了一种双向风格迁移水下图像颜色校正方法，结合域自适应，注意力特征提取和空间转化提高水下生成图像的风格感知效果，应用先验信息提高生成图像的结构特征和纹理特性，进而解决现有水下生成图片模型所具有的细节信息丢失的问题。

本方法涉及两个图像迁移模块，DSG可以较好的提高CycleGAN在X

发明内容

本发明的目的是提出一种域自适应的水下图像增强方法；其特征在于，包括如下步骤：

1)结合现有的水下图像数据集，选择已有的合成的水下及现实水下数据构建输入数据集合；

2)将训练图像随机裁剪到256*256，并将像素值归一化到[-1，1]，进行图像预处理；

3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，分别输入合成的水下图像数据和真实的水下数据进行，域自适应学习训练；

4)使用ADAM优化器，及所涉及的优化损失函数进行图像风格迁移的模型训练，并保留最后训练的模型权重及结果；

5)使用已训练好的DSG_CycleGAN模型权重，在生成的真数据集和真实水下数据集下训练F

6)合成数据水下图像增强模型F

7)全局模型优化调参过程，分别将已有的风格迁移网络和增强网络进行训练优化，以达到最后的全局最优过程，保留最后的三个调优网络的权重和结果；

8)使用训练好的模型对测试数据集测试输出。

所述步骤1)选取从10种合成的水下图像数据集NYU-v2RGB-D生成的水下图像数据集；这个数据集使用衰减系数来构建海洋和沿海类的十种不同的水类型。

所述步骤2)的训练的真实数据集是从Sea-thru中选择的550个(如图2所示)，该数据集包括从两个光学不同的水体在自然光下拍摄的分辨率为7360*4912，共计1100幅图像，

所述步骤3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，采用了改进的具有双注意空间特征组(DSG_CycleGAN)的循环GAN，该图像转换模型旨在迁移优化水下生成图像的效果；DSG_CycleGAN分支不需要包括散射系数、背向散射和宽带(RGB)衰减的任何水下数据参数。

所述图像转换模块包括两个转换器：合成到真实的水下网络G

所述DSG块通过使用空间特征变换层，通道注意和空间注意来执行特征重新校准；DSG的方程为：

T

本发明的有益效果是本发明提出的双向风格迁移水下图像颜色校正方法，结合域自适应，注意力特征提取和空间转化提高水下生成图像的风格感知效果，应用先验信息提高生成图像的结构特征和纹理特性，进而解决现有水下生成图片模型所具有的细节信息丢失的问题。经过改进的算子通过拟合局部曲线来学习微妙而复杂的功能，具有更高的能力，这些局部曲线可以将低质量的图像映射到高质量的图像，进而提高水下图像还原的效果。本发明具有的特点如下：

1.在构建CycleGAN风格迁移模型时，引入DSG模块来提高水下图像深度先验信息的特征，提高风格迁移的效果，从而为以后的水下图像增强提供有价值的数据集合。

2.训练整个模型过程引入全局特征向量映射改进UNet网络进行水下图像增强，减少水下增强图像的伪影和生成的图像效果。并借助有监督损失函数和无监督损失函数均衡协调，提高整个水下图像增强训练模型的效果。

3.本发明自适应机制的端到端水下图像风格迁移颜色校对采用CycleGAN为风格迁移基本框架，结合不同域间的水下图像数据集进行水下图像增强还引入自适应机制进行全局图像优化改进。

附图说明

图1为合成水下图像处理效果图。

图2为不同方法在真实数据的效果图。

图3为图像翻译DSG模块。

图4为在两张合成水下图像上的翻译结果。

图5为引入全局特征向量映射的UNet。

图6为自适应水下图像增强框架整体框架图。

图7为合成水下图像处理步骤流程图。

具体实施方式

本发明提出一种域自适应的水下图像增强方法；下面结合附图对本发明予以进一步说明。

如图7所示的合成水下图像处理步骤流程。主要包括结合现有的水下图像数据集进行数据处理、输入合成的水下图像数据和真实的水下数据进行，域自适应学习训练、使用训练好的模型对测试数据集测试输出；具体包括如下步骤：

1)结合现有的水下图像数据集，选择已有的合成的水下及现实水下数据构建输入数据集合；

2)将训练图像随机裁剪到256*256，并将像素值归一化到[-1，1]，进行图像预处理；

3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，分别输入合成的水下图像数据和真实的水下数据进行，域自适应学习训练；

4)使用ADAM优化器，及所涉及的优化损失函数进行图像风格迁移的模型训练，并保留最后训练的模型权重及结果；

5)使用已训练好的DSG_CycleGAN模型权重，在生成的真数据集和真实水下数据集下训练F

6)合成数据水下图像增强模型F

7)全局模型优化调参过程，分别将已有的风格迁移网络和增强网络进行训练优化，以达到最后的全局最优过程，保留最后的三个调优网络的权重和结果；

8)使用训练好的模型对测试数据集测试输出。

所述结合现有的水下图像数据集进行数据处理包括步骤1)和步骤2)；如图1、图2所示，图1中，选取从10种合成的水下图像数据集NYU-v2RGB-D生成的水下图像数据集；这个数据集使用衰减系数来构建海洋和沿海类的十种不同的水类型；它包含1449种水类型与相应的图像深度对大小620*460；选择5000张人工合成水下图像进行训练，2500张来自公海水域(即I型、IA型、IB型、II型和III型)，2500张来自沿海类别(即1型、3型和5型)。训练的真实数据集是从Sea-thru中选择的550个(如图2所示)，该数据集包括从两个光学不同的水体在自然光下拍摄的1100幅图像，分辨率约为7360*4912，场景深度图像的范围图是利用结构运动(SFM)对空间变化光源的估计得到的。

所述步骤3)运行引入双注意力空间迁移DSG训练CycleGAN模型，进行不同域间的图像风格迁移，采用了改进的具有双注意空间特征组(DSG_CycleGAN)的循环GAN，该图像转换模型旨在迁移优化水下生成图像的效果；DSG_CycleGAN分支不需要包括散射系数、背向散射和宽带(RGB)衰减的任何水下数据参数，

所述图像转换模块包括两个转换器：合成到真实的水下网络G

本方法基于双注意和条件域对抗网络的启发，采用双重注意模块和空间特征变换层将深度信息纳入水下图像风格迁移网络。优化改进的DSG模块的目标是抑制噪音点信息，仅允许通过更多有助于合成优化水下风格和纹理的信息通过，它还可以有效地融合深度图和合成图像中的功能。DSG块通过使用空间特征变换层，通道注意和空间注意来执行特征重新校准。

DSG的方程为：

T

在生成器G

T

其中，

在张量上引入全局特征向量从平均池中提取；然后，对输入图像的全局特征进行编码，实验证明对本方法对水下图像的复原有着十分重要的作用，可以较好的提高高水平任务，如边缘检测和目标检测。本方法同时也引入全连接层来提高对特征向量的处理能力；通过全连接学习的全局特征向量可以有效地减少增强后的水下图像中的视觉伪影，对可能导致伪影的低分辨率特征进行正则化。此外，与普通中的完全连通层相比，使用平均池来提取全局特征向量所需的参数要少得多。改进后的算子具有更高的能力，能够通过拟合局部曲线来学习图像的细微和复杂，从而实现从低质量图像到高质量图像的映射。

如图5所示引入全局特征向量映射的UNet在水下增强阶段，训练GUNet在针对水下图像数据集合的相关参数设置，70个epoch使用预训练GUNet模型。优化器采用ADAM分别动量设为β

图6所示为自适应水下图像增强框架整体框架图。利用损失函数来提高模型的训练的效果；主要涉及损失函数，MSE损失、VGG损失、GAN损失、TV损失、周期一致性损失、身份映射损失和知觉损失，定义如下：

λ

所述双向水下图像风格迁移损失，这里迁移模块模型学习目标将生成器G

为了获得逼真的水下图像，通过结合基于鉴别器的特征匹配损失来改善对抗损失。然后，我们采用图像级鉴别器

与G

为了确保输入和输出图像以有意义的方式配对，我们利用循环一致性损失，当将图像x

我们利用身份映射损失函数来约束生成器在合成域和真实域之间保留图片风格信息和内容信息的映射。它还将鼓励映射以保留合成色和实色之间的颜色组成：

双向图像转换模型的完整目标函数如下：

利用感知损失和保真度损失来增强图像的精细特征，保留原始颜色信息。对于监督分支，采用感知损失和保真度损失来保证图像的增强

保真度损失函数表示为下式，我们计算了清晰水下图像X和最终结果输出

在无监督的情况下，我们引入总变差损耗和暗信道损耗来正则化增强网络。全变差(TV)损耗是抑制高频噪声的有效方法l

C，H和W分别表示增强图像的通道数、高度和权重。

此外，我们采用以下暗通道(DC)损失，以确保预测图像的暗通道与干净图像的暗通道一致：

x和y是图像的像素坐标，