一种基于浅层神经网络的水下图像增强方法

技术领域

本申请属于图像处理技术，具体涉及一种基于浅层神经网络的水下图像增强方法。

背景技术

由于光在水中传播的衰减和散射，造成水下图像具有低对比度、模糊和颜色失真等特点。目前，水下图像增强方法大致可分为以下三类：基于传统图像处理的方法、基于物理模型的方法和基于深度学习的方法。传统方法大多是针对水上图像增强所提出来的，但其中的部分方法可以应用到水下图像领域，例如，自动白平衡、直方图均衡化以及Retinex图像增强算法及其改进算法等；基于物理模型的方法需要对水下图像的退化过程进行建模，然后对模型中的参数进行估计，最后获得增强后的图像；近年来，基于深度学习的方法在低级视觉任务上取得了极具竞争力的结果，在图像去雾、图像去噪和图像去模糊等领域提出了许多方法，并且达到了先进的性能，其中，循环一致对抗性网络CycleGAN克服了数据集配对的限制，使其更容易应用于实际问题中。但是上述算法要么专注于颜色校正或者逼真的细节刻画，要么主攻水下图片的对比度增强，造成了无法处理水下图像多样性的结果，如果遇到高浊度和低照度的水体特征图片，将不能获得令人满意的结果，并且上述的方法没有兼顾网络结构的改善和对生成图片的后续增强。

发明内容

本方法将改进了的浅层水下网络模型ISUWNet与网络模型CycleGAN相结合的水下图像增强方法，其技术方案为：

一种基于浅层神经网络的水下图像增强方法，利用改进的浅层神经网络ISUWNet模型进行图像特征提取，改进的浅层神经网络模型是在原浅层水下图像网络ShallowUWNet的基础上使用上采样或最大池进行特征压缩，通过激活函数LeakyReLU，将卷积块ConvBlock和多尺度特征提取模块MSDB组成一个集合训练模块，然后再将集合训练模块依次首尾相连，进行逐层叠加求和，以实现图像特征提取。

优选的，从模型ISUWNet获得的图像

优选的，模型ISUWNet包括多个卷积块ConvBlocks，每个所述的卷积块后面连接一个多尺度特征提取模块MSDB；每个所述的卷积块包括两组卷积层，每个卷积层后面都有一个Dropout层和激活函数ReLU，然后再将输出结果通过一组Conv-ReLU对，进行合残差连接。

优选的，多尺度特征提取模块实现三种不同大小的卷积核来进行卷积操作。

优选的，模型ISUWNet的损失函数为：

；

其中，

优选的，循环一致对抗性网络CycleGAN实现两种不同的网络结构相结合，具体步骤如下：

将从模型ISUWNet得到的输出图像

生成器G利用从ISUWNet得到的输出图像

生成器F利用清晰的水下真实图像

如果生成器G产生的图片

优选的，循环一致对抗性网络CycleGAN损失函数为：Loss=LossGAN+LossCycle，其中LossGAN保证生成器G和生成器F、判别器

与现有技术相比，本申请存在以下有益效果：

①提出了改进的浅层水下图像网络（ISUWNet）模型，原模型（ShallowUWnet）是由一个完全连接的卷积网络组成的，该网络的主体部分是串联的三个密集连接的卷积块，然后使用残差连连接（Skip Connections）将输入图像连接到每个卷积块的输出，通过对与输入图像相关联的通道施加更大的权重，来更好地结合原始图像的基本特征。在此基础上添加了向上采样和最大池化操作，可以减少运算参数、减轻运算压力；卷积块（ConvBlocks）由两组卷积层组成，每个卷积层后面都有一个Dropout和ReLU激活函数，然后再将结果通过一组Conv-ReLU对，利于结合残差连接，可以提高该网络对不同风格进行图像增强时的泛化能力和鲁棒性。

②在ISUWNet中结合而了多尺度特征提取模块（MSDB）来提高网络的特征提取能力。通过将其添加到卷积块之后，可以改善单尺度卷积难以完全提取图像特征的问题，达到了对不同尺度特征采用不同关注度的目的，一定程度上解决了网络特征提取不充分的问题。

③添加了循环一致性的对抗性网络（CycleGAN）部分，把从改进的浅层水下图像网络（ISUWNet）模型中获得的图像

附图说明

图1为本申请方法流程图。

图2为卷积块ConvBlocks示意图。

图3为多尺度特征提取模块MSDB示意图。

图4循环一致对抗性网络CycleGAN示意图。

具体实施方式

以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。

网络架构图如图1所示。该模型由两个主要部分组成：ISUWNet和CycleGAN。ISUWNet在原浅层水下图像网络（ShallowUWnet）的基础上使用上采样或最大池进行特征压缩，通过LeakyReLU激活函数，使用卷积块(ConvBlocks)和多尺度特征提取模块(MSDB)依次相连进行逐层叠加求和，以实现更详细的特征提取。此外，将得到的图片输入到循环一致对抗性网络当中，通过将其与不成对的清晰水下图像进行风格迁移训练，来减少噪声的影响，同时保留图像中的重要细节，甚至增强其局部信息，使得更容易辨认。

ISUWNet损失函数为：

卷积块由两组卷积层组成，每个卷积层后面都有一个Dropout和ReLU激活函数。再将结果输入到另一组Conv-ReLU对，提高来自跳跃连接原始图像的联系。该卷积块和跳跃连接起到了阻止网络在给定训练数据上过度拟合的作用，从而支持网络的泛化，结构如图2所示。

为了提高网络的特征提取能力，在充分考虑卷积尺度对特征提取所产生的影响的基础上，构建了多尺度特征提取模块(MSDB)，弥补了单尺度卷积难以完全提取图像特征的问题，如图3所示。多尺度特征提取模块(MSDB)对输入图像进行多尺度的特征提取。图中是使用3×3、5×5和7×7卷积和激活函数实现的。首先，将3×3、5×5所得到的卷积特征进行信道合并，合并后的特征随后进行卷积和激活操作。然后，将其结果与7×7所得到的卷积特征进行通道合并。最后，应用1×1卷积和激活层来输出特征。这便于特征融合，并且能够提高计算效率。

为了获得具有更好的感知质量、更高的图像信息熵和更少的噪声的图像，可以通过将循环一致对抗性网络(CycleGAN)与ISUWNet相结合来获得更清晰的图像。图4展示了整个过程，它由两个生成器和两个判别器组成。

循环一致对抗性网络的主要目的是实现风格迁移(Domain Adaptation)，将经过ISUWNet处理过的图像

循环一致对抗性网络CycleGAN损失函数为：Loss=LossGAN+LossCycle，其中LossGAN保证生成器G和生成器F、判别器

为了验证所提出的水下图像增强方法的有效性，在Windows系统上使用Python3.7和PyTorch 1.12.1深度学习框架进行了一系列实验。网络模型是使用Adam优化器进行训练而建立的。所有实验，包括训练和测试，都是在具有NVIDIA GeForce GTX3090和24GBGPU内存的服务器上进行的。将学习率设置为0.0002，批次数为16，并对网络进行200次迭代训练。

定量比较：

本文提出的方法在数据集UIEB和数据集EUVP上进行了测试，如表1所示。所有配对测试集的比较结果，如表2所示，提供了三个参考指标（峰值信噪比PSNR、结构相似性SSIM、水下图像质量评价指标UIQM）的平均分数。并且分别使用了基于直方图均衡算法（CLAHE）的方法 、基于快速水下图像增强网络（FUnIE-GAN）的方法以及基于浅层水下图像网络（Shallow-UWnet）的方法对水下图像进行处理，结果表明，本文提出的方法在数据集UIEB和数据集EUVP上的三种参考指标得分最高。如表2所示，基于深度学习和融合的技术比传统算法获得了更高的性能，因为深度学习网络通过拟合各种类型的场景信息具有更强的算法自适应性。因此，基于深度学习的图像增强算法更适用于机器人的检测需求。此外，比较每个深度学习图像增强网络的PSNR、SSIM和UIQM之间的差异很小。这表明，本研究中的算法生成的增强图像总体上更好，内容细节更丰富，更适合用来生成画面清晰的水下图像。

表 1 不同水下数据集的划分

表 2 不同方法的客观结果比较

总之，与上述方法相比，本模型提高了图片结果的亮度和对比度，不仅可以恢复和增强水下图像普遍存在的偏色、低对比度等问题，还可以在很大程度上保留图像的特征信息。此外，实验中还发现该方法可以在深海环境和弱光环境中获得更好的图片效果，颜色平衡更好、图像细节更清晰。