一种水下图像恢复方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种水下图像恢复方法、装置、电子设备及存储介质。

背景技术

目前，水下图像恢复技术在众多领域中起到了关键作用，现有技术的U-ShapeTransformer(水下U型变压器图像增强)，UIE(水下图像增强)，MLLE(最小的颜色损失和局部自适应对比度增强)，DA-hyper(使用超拉普拉斯反射先验的水下图像增强)，Ucolor(通过介质传输引导多色空间嵌入增强水下图像)，UWCNN(深水下图像增强)等技术均可以实现水下图像恢复，为深入了解水下的生态和地质特性提供了帮助，但现有技术仍存在需要占用较多计算资源的问题，要么需要增加额外设备以支持水下图像恢复较高的计算量，要么因计算时间过长影响水下图像恢复的实时性。

发明内容

本申请实施例的主要目的在于提出一种水下图像恢复方法、装置、电子设备及存储介质，以减少水下图像恢复的计算资源的占用，并提高水下图像恢复的实时性。

为实现上述目的，本申请实施例的一方面提出了一种水下图像恢复方法，所述方法包括：

获取水下图像；

利用经过预先训练的水下图像恢复模型中的编码器对所述水下图像提取特征，得到所述水下图像对应的特征图；所述预先训练的水下图像恢复模型采用U型自动编码器结构的深度学习模型；

利用所述预先训练的水下图像恢复模型中的解码器将所述特征图映射到所述水下图像的图像空间，得到第一恢复图像。

在一些实施例中，所述利用经过预先训练的水下图像恢复模型中的编码器对所述水下图像提取特征，得到所述水下图像对应的特征图，包括：

利用所述编码器中的多个卷积层对所述水下图像提取特征，再利用所述编码器对各个所述卷积层的输出进行非线性激活，得到所述水下图像对应的所述特征图。

在一些实施例中，所述利用所述预先训练的水下图像恢复模型中的解码器将所述特征图映射到所述水下图像的图像空间，得到第一恢复图像，包括：

利用所述解码器中的多个反卷积层扩大所述特征图的尺寸，并减少所述特征图的深度，再利用所述解码器对各个所述反卷积层的输出进行非线性激活，以将所述特征图映射到所述水下图像的图像空间，得到所述第一恢复图像。

在一些实施例中，所述方法还包括：

通过跳跃连接将所述特征图和所述第一恢复图像进行特征融合，得到第二恢复图像。

在一些实施例中，所述方法还包括训练所述水下图像恢复模型的步骤，所述训练所述水下图像恢复模型的步骤包括：

将均方误差损失函数和结构相似性指数损失函数组合为目标损失函数；

根据所述目标损失函数在预设的训练数据集中训练U型自动编码器结构的所述深度学习模型；

在预设的测试数据集中验证训练后的所述深度学习模型的性能参数，若所述性能参数达到预设条件，则将训练后的所述深度学习模型确定为所述经过预先训练的水下图像恢复模型。

在一些实施例中，所述根据所述目标损失函数在预设的训练数据集中训练U型自动编码器结构的所述深度学习模型，包括：

利用Adam优化算法根据所述目标损失函数在预设的训练数据集中训练U型自动编码器结构的所述深度学习模型。

在一些实施例中，所述方法还包括：

对所述第一恢复图像进行红色通道增强，得到第三恢复图像。

为实现上述目的，本申请实施例的另一方面提出了一种水下图像恢复装置，所述装置包括：

图像获取单元，用于获取水下图像；

特征提取单元，用于利用经过预先训练的水下图像恢复模型中的编码器对所述水下图像提取特征，得到所述水下图像对应的特征图；所述预先训练的水下图像恢复模型采用U型自动编码器结构的深度学习模型；

图像恢复单元，用于利用所述预先训练的水下图像恢复模型中的解码器将所述特征图映射到所述水下图像的图像空间，得到第一恢复图像。

为实现上述目的，本申请实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

为实现上述目的，本申请实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本申请实施例至少包括以下有益效果：

本申请获取水下图像；利用经过预先训练的水下图像恢复模型中的编码器对水下图像提取特征，得到水下图像对应的特征图；其中，预先训练的水下图像恢复模型采用U型自动编码器结构的深度学习模型；利用预先训练的水下图像恢复模型中的解码器将特征图映射到水下图像的图像空间，得到第一恢复图像。本申请的水下图像恢复模型采用轻量化设计的U型自动编码器结构的深度学习模型，因此该水下图像恢复模型可以直接部署在计算资源受限的水下设备中，且无需额外依赖其他计算设备即可高效实时地完成水下图像恢复，进一步，减少计算资源需求提高水下图像恢复速度的同时，还可以减少功耗，进而本申请还可以提高水下设备的续航能力。

附图说明

图1为本申请实施例提供的一种水下图像恢复方法的流程示意图；

图2为本申请实施例提供的一种水下图像恢复方法的示例流程图；

图3为本申请实施例提供的一种编码器和解码器的工作原理流程图；

图4为本申请实施例提供的一种水下图像恢复装置的结构示意图；

图5为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请实施例相一致的所有实施方式，它们仅是与如所附权利要求书中所详述的、本申请实施例的一些方面相一致的装置和方法的例子。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。例如，在不脱离本申请实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“若”、“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”等，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，每个是指对应的多个中的每一个，任一是指多个中的任意一个。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在对本申请实施例进行详细说明之前，首先对本申请实施例中涉及的部分名词、术语和可能涉及的相关技术进行说明，如下：

深度学习：源于人工神经网络的研究。通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

U型自动编码器：它是自编码器的一种变体，是一种深度学习模型。它的结构是一个U形，由编码器和解码器组成，中间有一个下采样层和上采样层。编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。编码器和解码器之间通常存在快捷连接，因此能帮助解码器更好地修复目标的细节。

水下图像恢复技术：由于水的物理特性和悬浮微粒往往呈现偏蓝绿色调、降低的对比度和不均匀的光线分布。水下图像恢复技术通过处理水下图像的退化过程，使其恢复到退化前的状态。

红色通道增强：一种图像处理技术，它可以通过增强图像中的红色通道来改善图像的质量，基于红色通道的注意力机制的水下图像增强方法。

神经网络：是由大量的节点直接相互关联而构成的一种计算模型；每个节点代表一种特定的输出函数，称为激励函数；每两个节点的连接都代表该信号在传输中所占的比重，称为权重；网络的输出由于激励函数和权重的不同而不同，是对于某种函数的逼近或是对映射关系的近似描述。

目前，水下图像恢复技术在众多领域中起到了关键作用，现有技术的U-ShapeTransformer(水下U型变压器图像增强)，UIE(水下图像增强)，MLLE(最小的颜色损失和局部自适应对比度增强)，DA-hyper(使用超拉普拉斯反射先验的水下图像增强)，Ucolor(通过介质传输引导多色空间嵌入增强水下图像)，UWCNN(深水下图像增强)等技术均可以实现水下图像恢复，为深入了解水下的生态和地质特性提供了帮助，但现有技术仍存在需要占用较多计算资源的问题，要么需要增加额外设备以支持水下图像恢复较高的计算量，要么因计算时间过长影响水下图像恢复的实时性。

U-Shape Transformer是一种结合了Transformer和U-Net的深度学习模型，用于图像分割任务。它的优点是可以处理图像中的全局依赖关系，同时保留了U-Net的局部特征提取能力。至于缺点，Transformer的计算开销较大，因此在计算资源有限的情况下，可能无法满足实时性要求。

Underwater Image Enhancement and Beyond(简称为UIE)，它通过引入两个对抗性的网络来学习图像的特征表示，从而提高分类和检索的准确性。具体来说，该方法首先开发了一个双向约束的闭环对抗增强模块，该模块通过双向反向映射来减轻成对数据的要求，并通过耦合来保留更多的信息特征。它的优点是可以提高水下图像的清晰度和色彩鲜艳度，同时保留图像的细节。此外，该方法还可以提高不同检测器在增强图像上的准确性。

Minimal Color Loss and Locally Adaptive Contrast Enhancement(简称为MLLE)，是一种用于水下图像增强的深度学习方法。由于水中光照条件差且复杂，水下图像会退化，为了解决这些问题，MLLE提出了一种高效且鲁棒的水下图像增强方法。具体来说，它首先根据最小颜色损失原则和最大衰减图像引导融合策略局部调整输入图像的颜色和细节。然后，它使用积分和平方积分图来计算局部图像块的均值和方差，这些值用于自适应调整输入图像的对比度。同时，它还引入了一种颜色平衡策略，以平衡CIELAB color space(CIELAB颜色空间)中通道a和通道b之间的颜色差异。总的来说，它的优点是可以提高水下图像的清晰度和色彩鲜艳度，同时保留图像的细节。此外，该方法的处理速度快，单个CPU上处理大小为1024×1024×3的图像不到1秒。实验进一步表明，该方法可以有效地提高水下图像分割、关键点检测和显着性检测的性能。

Underwater Image Enhancement With Hyper-Laplacian Reflectance Priors(简称DA-hyper)，它通过引入超拉普拉斯反射先验来提高水下图像的清晰度和色彩鲜艳度，同时保留图像的细节。此外，该方法还使用了自适应对比度增强技术来提高图像的对比度。实验结果表明，该方法在水下图像增强方面具有很好的效果。

Underwater Image Enhancement via Medium Transmission-Guided Multi-Color Space Embedding(简称Ucolor)，它通过引入超拉普拉斯反射先验来提高水下图像的清晰度和色彩鲜艳度，同时保留图像的细节。该方法的核心思想是利用超拉普拉斯反射先验来约束反射的梯度，从而提高图像的清晰度和色彩鲜艳度。此外，该方法还使用了自适应对比度增强技术来提高图像的对比度。实验结果表明，该方法在水下图像增强方面具有很好的效果。

Deep Underwater Image Enhancement(简称UWCNN)，是一种用于水下图像增强的深度学习方法。在水下场景中，由于波长依赖的光吸收和散射，图像的可见度会降低，导致对比度降低和色彩失真。UWCNN通过引入超拉普拉斯反射先验来提高水下图像的清晰度和色彩鲜艳度，同时保留图像的细节。该方法的核心思想是利用超拉普拉斯反射先验来约束反射的梯度，从而提高图像的清晰度和色彩鲜艳度。此外，该方法还使用了自适应对比度增强技术来提高图像的对比度。实验结果表明，该方法在水下图像增强方面具有很好的效果。

在水下图像恢复的实际应用中，主要存在以下问题：

U-Shape Transformer的计算开销较大，因此在计算资源有限的情况下，可能无法满足实时性要求；

UIE缺乏有效的训练数据和设计良好的水下图像增强网络结构；

水下光传感设备参数的标定和水下模糊图像的复原都存在一定的难度；

传统的图像增强算法可以消除图像模糊、增强边缘等，但仍存在噪声大、清晰度较低和颜色失真等问题。

本申请的目的在于提供一种更为高效且适用于各种环境的图像恢复方案，该方案可以具备以下有益效果：

轻量化设计的水下图像恢复模型，能够直接部署在水下设备中，无需额外的硬件支持。

推理速度较快，这对于实时或近实时的水下图像处理至关重要，尤其是对于续航能力有限的设备。

本申请的水下图像恢复模型在保证图像恢复效果的同时，最大程度地降低了计算资源需求。

有鉴于此，本申请实施例提供了一种水下图像恢复方法、装置、电子设备及存储介质。该方案通过获取水下图像；利用经过预先训练的水下图像恢复模型中的编码器对水下图像提取特征，得到水下图像对应的特征图；其中，预先训练的水下图像恢复模型采用U型自动编码器结构的深度学习模型；利用预先训练的水下图像恢复模型中的解码器将特征图映射到水下图像的图像空间，得到第一恢复图像。本申请的水下图像恢复模型采用轻量化设计的U型自动编码器结构的深度学习模型，因此该水下图像恢复模型可以直接部署在计算资源受限的水下设备中，且无需额外依赖其他计算设备即可高效实时地完成水下图像恢复，进一步，减少计算资源需求提高水下图像恢复速度的同时，还可以减少功耗，进而本申请还可以提高水下设备的续航能力。

本申请实施例提供的一种水下图像恢复方法，涉及图像处理技术领域。本申请实施例提供的水下图像恢复方法可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表以及车载终端等，但并不局限于此；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器，服务器还可以是区块链网络中的一个节点服务器；软件可以是实现水下图像恢复方法的应用等，但并不局限于以上形式。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

参照图1，本申请实施例提供了一种水下图像恢复方法，该方法可以包括但不限于包括S100至S120，具体如下：

S100：获取水下图像。

具体地，本实施例的水下图像恢复方法可以应用于水下设备中，例如应用到水下潜航器或水下机器人等设备中。

需要说明的是，本实施例可以获取水下设备实时拍摄的水下图像，还可以接收其他终端发送而来的水下图像。

S110：利用经过预先训练的水下图像恢复模型中的编码器对所述水下图像提取特征，得到所述水下图像对应的特征图；其中，所述预先训练的水下图像恢复模型采用U型自动编码器结构的深度学习模型。

具体地，本实施例可以利用该编码器对水下图像进行编码，从而根据编码结果提取特征，进而得到特征图。

进一步地，S110可以包括：

利用所述编码器中的多个卷积层对所述水下图像提取特征，再利用所述编码器对各个所述卷积层的输出进行非线性激活，得到所述水下图像对应的所述特征图。

具体地，本实施例可以对水下图像进行逐层特征提取。

本实施例的水下图像为RGB图像，每张水下图像预处理为统一的分辨率256x256像素，以适应水下图像恢复模型的输入要求。

初始特征提取使用卷积层(Conv2d)，卷积核大小为3x3，步长设置为1，并采用填充(padding)为1的策略，确保输出特征图的空间尺寸不变，即保持为256x256。

然后，通过激活函数(ReLU)对卷积层的输出进行非线性激活。

经过第一层卷积后，进行特征图缩减与深度增加。

第二层卷积后，特征图的尺寸减半至128x128，同时增加卷积层的输出深度，以捕捉更复杂的特征。

第三层进一步将特征图尺寸减半至64x64。

第四层继续减半至32x32。

第五层将特征图最终缩减至16x16，此时特征表示最为紧凑，其可以包括水下图像的高级语义信息。

S120：利用所述预先训练的水下图像恢复模型中的解码器将所述特征图映射到所述水下图像的图像空间，得到第一恢复图像。

具体地，本实施例可以通过解码器将编码器提取得到的特征图重新映射回水下图像的原始空间，进而还原得到水下图像对应的恢复图像，该恢复图像可以作为第一恢复图像。

进一步地，S120可以包括：

利用所述解码器中的多个反卷积层扩大所述特征图的尺寸，并减少所述特征图的深度，再利用所述解码器对各个所述反卷积层的输出进行非线性激活，以将所述特征图映射到所述水下图像的图像空间，得到所述第一恢复图像。

具体地，本实施例中的解码器可以包括多个反卷积层，利用多个反卷积层(ConvTranspose2d)逐步扩大特征图尺寸，并逐层减少深度，重建水下图像的细节：

第一层反卷积将特征图从16x16放大到32x32。

第二层反卷积继续放大到64x64。

第三层放大到128x128。

第四层最终放大到256x256，恢复至原始的水下图像的空间尺寸。

作为进一步的实施方式，为促进特征融合，以便更好地恢复水下图像的细节，本申请实施例还可以包括：

通过跳跃连接将所述特征图和所述第一恢复图像进行特征融合，得到第二恢复图像。

具体地，通过跳跃连接将编码器中各个卷积层输出的特征图与解码器中各个反卷积层输出的特征图(即第一恢复图像)进行连接，以进行图像特征融合，进而得到第二恢复图像，第二恢复图像可以恢复更多水下图像的细节。

考虑到水下图像常常呈现出偏蓝绿的色调，导致红色通道的信息丢失，作为进一步的实施方式，本申请实施例还可以包括：对所述第一恢复图像进行红色通道增强，得到第三恢复图像。

具体地，本实施例可以在水下图像恢复模型的输出第一恢复图像之后，增加对第一恢复图像进行红色通道增强的步骤，以恢复水下图像中的红色细节，使得恢复后得到的第三恢复图像更加真实和生动。

然后，本实施例可以通过水下图像恢复模型输出256x256像素的RGB图像，该RGB图像可以作为第三恢复图像，其经过去噪和色彩增强处理，显著提升了水下图像的质量和可见性。

上述实施例介绍了利用水下图像恢复模型将水下图像进行恢复的实施方式，本申请实施例还可以包括训练水下图像恢复模型的步骤，接下来将对训练该水下图像恢复模型的步骤进行说明，训练步骤可以包括：

将均方误差损失函数和结构相似性指数损失函数组合为目标损失函数；

根据所述目标损失函数在预设的训练数据集中训练U型自动编码器结构的所述深度学习模型；

在预设的测试数据集中验证训练后的所述深度学习模型的性能参数，若所述性能参数达到预设条件，则将训练后的所述深度学习模型确定为所述经过预先训练的水下图像恢复模型。

进一步地，本实施例可以利用Adam优化算法根据所述目标损失函数在预设的训练数据集中训练U型自动编码器结构的所述深度学习模型。

具体地，训练水下恢复模型首先可以确定目标损失函数，然后进行模型训练和优化。

定义目标损失函数：将均方误差(MSE)损失函数和结构相似性指数(SSIM)损失函数组合为目标损失函数，以优化像素级别的准确性和图像的整体结构保持。

模型训练和优化：使用Adam优化算法对模型参数进行更新，可选地，本实施例可以设置初始学习率为0.001。

定义训练过程为100个小批次训练次数(epochs)，每个小批次训练次数(epoch)后在验证集上进行性能评估。

若水下图像恢复模型在预设的测试数据集上表现出更低的损失，则保存当前的模型权重。

预设的训练数据集可以采用增强水下视觉感知(EUVP)数据集中的水下场景(underwater scenes)子集(2185张图片)。

预设的测试数据集可以包括：大规模水下图像数据集(LSUI)(4279张图片)、EUVP数据集的水下图像网(underwater imagenet)子集(3700张图片)和underwater dark子集(5550张图片)。

本实施例可以从上述预设的测试数据集中选取若干图像进行视觉对比分析，验证水下图像恢复模型的图像恢复性能，若水下图像恢复模型的性能参数达到预设阈值，则可认为水下图像恢复模型达到训练目标，完成训练。

与现有技术相比，本申请实施例的有益效果包括：

采用U型自动编码器结构的深度学习模型作为水下图像恢复模型，由于U型自动编码器结构更为简洁和轻量化，更适合部署到到计算资源受限的水下设备中，避免了对额外硬件的依赖。

图像还原质量出众本实施例的水下图像恢复模型通过跳跃连接融合编码器输出的特征和解码器输出的特征，并强化了红色通道，从而极大地提升了图像恢复的真实度。

接下来将结合具体的应用例子，对本申请实施例的方案作详细介绍和说明：

本实施例的水下恢复模型可以命名为AquaAE模型，该水下恢复模型可以采用U型自动编码器结构的深度学习模型，以有效捕获和恢复水下图像的局部特征和空间关系。该水下恢复模型由两个主要部分组成：一个编码器(Encoder)和一个解码器(Decoder)，编码器和解码器之间通过跳跃连接(Skip Connections)实现特征融合，从而更好地保留水下图像的细节信息。

U型自动编码器结构：编码器逐步从输入的RGB图像中提取特征，经过五个卷积层与ReLU激活函数，实现了图像特征的层次化提取。解码器则使用五个反卷积层将编码器提取的特征重新映射回原始图像空间，实现图像的恢复。跳跃连接策略可以实现在不同层级间传递特征，确保在恢复过程中图像的质量和细节都得以保留。

红色通道增强：考虑到水下图像常常呈现出偏蓝绿的色调，导致红色通道的信息丢失，本实施例可以在水下图像恢复模型的输出阶段增加了红色通道增强的步骤，以恢复图像中的红色细节，使得恢复后的图像更加真实和生动。

训练目标：水下图像恢复模型的训练过程中，本实施例可以综合考虑MeanSquared Error(MSE)损失和结构相似性指数(SSIM)损失。MSE损失主要用于量化模型输出与真实图像之间的像素级差异，而SSIM损失则从结构、亮度和对比度三个方面度量图像的相似性。结合这两种损失能够确保水下图像恢复模型不仅关注像素级的恢复，还能保持图像的整体结构和质量。

具体地，对本实施例进行详细说明。

参照图2，本实施例提供了一种水下图像恢复方法的示例流程图。

输入预处理：本实施例的水下图像为RGB图像，每张水下图像预处理为统一的分辨率256x256像素，以适应水下图像恢复模型的输入要求。

参照图3，本实施例提供了一种编码器和解码器的工作原理流程图。

编码器提取特征：初始特征提取使用卷积层(Conv2d)，卷积核大小为3x3，步长设置为1，并采用填充(padding)为1的策略，确保输出特征图的空间尺寸不变，即保持为256x256。然后，通过激活函数(ReLU)对卷积层的输出进行非线性激活。经过第一层卷积后，进行特征图缩减与深度增加；第二层卷积后，特征图的尺寸减半至128x128，同时增加卷积层的输出深度，以捕捉更复杂的特征；第三层进一步将特征图尺寸减半至64x64；第四层继续减半至32x32；第五层将特征图最终缩减至16x16，此时特征表示最为紧凑，其可以包括水下图像的高级语义信息。

解码器恢复图像：本实施例中的解码器可以包括多个反卷积层，利用多个反卷积层(ConvTranspose2d)逐步扩大特征图尺寸，并逐层减少深度，重建水下图像的细节：第一层反卷积将特征图从16x16放大到32x32；第二层反卷积继续放大到64x64；第三层放大到128x128；第四层最终放大到256x256，恢复至原始的水下图像的空间尺寸。

跨层特征融合：通过跳跃连接将编码器中各个卷积层输出的特征图与解码器中各个反卷积层输出的特征图进行连接，以进行图像特征融合，进而初步得到恢复图像。

红色通道增强：对上述初步得到的恢复图像进行红色通道增强，然后输出256x256像素的RGB图像，该RGB图像经过去噪和色彩增强处理，显著提升了水下图像的质量和可见性。

本实施例还可以包括训练水下恢复图像的步骤：

具体地，训练水下恢复模型首先可以确定目标损失函数，然后进行模型训练和优化。

定义目标损失函数：将均方误差(MSE)损失函数和结构相似性指数(SSIM)损失函数组合为目标损失函数，以优化像素级别的准确性和图像的整体结构保持。

模型训练和优化：使用Adam优化算法对模型参数进行更新，可选地，本实施例可以设置初始学习率为0.001。

定义训练过程为100个小批次训练次数(epochs)，每个小批次训练次数(epoch)后在验证集上进行性能评估。

若水下图像恢复模型在预设的测试数据集上表现出更低的损失，则保存当前的模型权重。

预设的训练数据集可以采用增强水下视觉感知(EUVP)数据集中的水下场景(underwater scenes)子集(2185张图片)。

预设的测试数据集可以包括：大规模水下图像数据集(LSUI)(4279张图片)、EUVP数据集的水下图像网(underwater imagenet)子集(3700张图片)和underwater dark子集(5550张图片)。

从上述预设的测试数据集中选取若干图像进行视觉对比分析，验证水下图像恢复模型的图像恢复性能，若水下图像恢复模型的性能参数达到预设阈值，则可认为水下图像恢复模型达到训练目标，完成训练。

参照表1，表1为本实施例的AquaAE模型与五种现有深度学习模型计算复杂度的指标对比数据，其中，五种现有深度学习模型包括ucolor模型、uwcnn模型、U-Transformer模型、Semi-UTR模型以及Twin-UIE模型。

在Total Parameters和FLOPs(Floating Point Operations)这两个指标上，本实施例的AquaAE模型的计算复杂度指标优于现有模型。其FLOPs是1.32G，仅为Twin-UIE的2.6％。而参数数量是0.88M，是U-Transformer的2.8％，远少于其他深度学习水下图像恢复模型。这意味着在维持良好的视觉效果的同时，本实施例的AquaAE模型对计算资源和硬件的需求比其他现有模型少得多，这对于解决水下潜航设备续航时间短和硬件限制的问题至关重要。

表1

为了评估本实施例的AquaAE模型的性能，本实施例引入了四个的指标：MeanSquared Error(MSE)、峰值信噪比(PSNR)、结构相似性指数(SSIM)、UCIQE(UnderwaterColor Image Quality Evaluation)，以定量地评估恢复图像与水下图像之间的相似度和恢复图像的整体恢复质量。高PSNR值意味着恢复图像与水下图像之间的差异较小，而SSIM通过亮度、对比度和结构的比较，评估了图像之间的相似性，其值介于0到1之间，接近1表示更高的相似性。UCIQE作为专门评估恢复图像的质量指标，值越高则颜色质量越好。

参照表2，表2包括在EUVP Underwaer-imagenet、EUVP Underwaer-dark和LSUI三大数据集上的四种图像恢复评估指标的对比，从表2中可以看出，本实施例的AquaAE模型在Underwater_imagenet数据集上表现出色，PSNR和SSIM指标均高于其他现有模型。然而，尽管本实施例的AquaAE模型在UCIQE指标上表现不是最佳，其他具有高UCIQE值的MLLE和DAhyper模型的图像恢复效果并不突出，这表明UCIQE指标可能不能完全准确地反映恢复图像在人眼下的恢复效果。在Underwater_dark和LSUI数据集上，虽然本实施例的AquaAE模型的PSNR排名第二，但其他三个指标与其他最佳模型相差无几。考虑到本实施例的AquaAE模型需要部署到计算资源非常有限的水下设备中，这种水下图像恢复效果已经相当出色。

MSE是衡量模型预测与真实输出之间差异的指标，其值越低，性能越好。而PSNR和SSIM则是评估图像质量的，它们的值越高，代表恢复图像的质量越好。

/>

表2

本实施例可以利用轻量化设计的水下图像恢复模型对水下图像进行高效实时恢复，同时最大程度地降低了计算资源需求。而且，本实施例的水下图像恢复模型不仅在性能指标上达到了领先的水平，而且在计算复杂度和模型大小上具有显著优势，特别是在MSE、PSNR和SSIM这三个关键指标上。

参照图4，本申请实施例还提供了一种水下图像恢复装置，可以实现上述的水下图像恢复方法，该装置包括：

图像获取单元，用于获取水下图像；

特征提取单元，用于利用经过预先训练的水下图像恢复模型中的编码器对所述水下图像提取特征，得到所述水下图像对应的特征图；其中，所述预先训练的水下图像恢复模型采用U型自动编码器结构的深度学习模型；

图像恢复单元，用于利用所述预先训练的水下图像恢复模型中的解码器将所述特征图映射到所述水下图像的图像空间，得到第一恢复图像。

可以理解的是，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述水下图像恢复方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

可以理解的是，上述方法实施例中的内容均适用于本设备实施例中，本设备实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

请参阅图5，图5示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器501，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器502，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器502可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器502中，并由处理器501来调用执行本申请实施例的水下图像恢复方法；

输入/输出接口503，用于实现信息输入及输出；

通信接口504，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线505，在设备的各个组件(例如处理器501、存储器502、输入/输出接口503和通信接口504)之间传输信息；

其中处理器501、存储器502、输入/输出接口503和通信接口504通过总线505实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述水下图像恢复方法。

可以理解的是，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。