一种基于先验知识的动态水下图像增强方法及装置

技术领域

本申请属于水下场景人工智能应用领域，尤其涉及一种基于先验知识的动态水下图像增强方法及装置。

背景技术

水下图像处理具有广泛的应用前景，比如海底机器人、海洋勘探、海底电缆检测等。但由于不同波长的光线在水下传播的速率不同，而绿光和蓝光的波长最，所以水下照片通常总是偏蓝、偏绿或偏黄，这使得海洋动植物等目标物体的原始颜色被掩盖。另外，由于光线的散射与折射，导致水下图像具有低饱和度、模糊等问题。

目前的水下图像增强方法大致可以分为两类：传统的水下图像增强方法和基于深度学习的水下图像增强方法。其中，传统的水下图像增强方法中包括基于先验的和无模型的方法。基于先验的方法利用丰富的先验信息并估计水下图像成像模型的参数来生成增强的图像。虽然这些方法充分利用了先验信息，但在复杂的场景下实用性不强，往往会导致图像的过度增强，因此不能应用于真实的水下场景。无模型的方法通常依靠原始水下图像的像素值之间的空间关系来改善图像的亮度、对比度和饱和度，如灰色世界和白平衡方法。然而，这些方法往往忽略了图像的细节和深度信息，导致出现伪影和存在过度增强的情况。

深度学习为水下图像增强任务引入了新的策略。这些方法可以实现复杂的非系统化的端到端建模，或者将物理先验与神经网络结合起来，以解决现有的问题。这些方法具有很好的特征表示能力，得益于他们利用的大量数据进行训练。然而，主要的挑战是获取大规模水下数据集的高成本和难度，这迫使大多数方法使用小规模的数据集。

总的来说，水下图像增强中存在的挑战总结如下：1.由于水对光线的散射和吸收，水下图像经常出现颜色失真和低对比度的问题。此外，水质和透光距离也会影响图像的清晰度，使水下图像变得模糊不清。2.高质量配对训练样本的稀缺性制约了深度学习模型的性能。3.模型的泛化是水下图像增强任务的一个关键任务，它很重要，但却被人们忽略了。

发明内容

本申请的目的是提供一种基于先验知识的动态水下图像增强方法及装置，以解决现有技术所存在的上述技术问题，能够适应多种场景的水下图像，能够在复杂的场景中进行应用，具有良好的鲁棒性。

为了实现上述目的，本申请技术方案如下：

一种基于先验知识的动态水下图像增强方法，基于构建的图像增强网络模型对水下图像进行图像增强，所述图像增强网络模型包括基于大气光的动态网络模块、基于先验的多尺度网络模块和传输率引导的动态网络模块，所述基于先验知识的动态水下图像增强方法，包括：

将待增强水下图像输入基于大气光的动态网络模块，在基于大气光的动态网络模块中经过动态卷积和全局平均池化，提取得到大气光先验信息；

将待增强水下图像输入传输率引导的动态网络模块，在传输率引导的动态网络模块中经过动态卷积和全局平均池化，提取得到传输率先验信息；

将待增强水下图像和对应的传输率图输入基于先验的多尺度网络模块，在基于先验的多尺度网络模块中依次经过第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络，得到增强的图像；

其中，所述第一多尺度U型网络和和第二多尺度U型网络通过对大气光先验信息进行处理来得到卷积核参数，所述传输率引导的特征提取网络通过对传输率先验信息进行处理来得到卷积核参数。

进一步的，所述基于大气光的动态网络模块和传输率引导的动态网络模块，均包括第一单元和第二单元，每个单元包括两个动态卷积和一个全局平均池化。

进一步的，所述第一多尺度U型网络和第二多尺度U型网络结构相同，包括特征提取块、卷积网络、特征提取块和卷积网络，所述第一多尺度U型网络和第二多尺度U型网络各层通过快速连接相连；所述特征提取块包括超卷积、多尺度特征提取块和超卷积，所述卷积网络包括三个超卷积；所述传输率引导的特征提取网络，包括超卷积、连接层、多尺度特征提取块和超卷积。

进一步的，所述超卷积包括一个残差块和一个全连接层，所述残差块采用公式表示如下：

f′

其中，f

所述第一多尺度U型网络和第二多尺度U型网络的超卷积中，大气光先验信息通过全连接层得到残差块中卷积核的参数；

所述传输率引导的特征提取网络的超卷积中，传输率先验信息通过全连接层得到残差块中卷积核的参数。

进一步的，所述连接层，采用公式表示如下：

f″＝f′·f

其中，f′表示连接层的输入特征，f″表示连接层的输出特征，f

进一步的，所述多尺度特征提取块，包括三个不同尺度的卷积分支和一个通道注意力模块，所述多尺度特征提取块执行如下操作：

多尺度特征提取块的输入特征f经过通道注意力模块，采用公式表示如下：

f

f

f

其中，f

多尺度特征提取块的输入特征经过三个不同尺度的卷积分支，三个不同尺度的卷积分支的输出特征分别与f

进一步的，所述基于先验知识的动态水下图像增强方法，还包括：训练所述图像增强网络模型；

训练所述图像增强网络模型时，包括：

固定基于大气光的动态网络模块和传输率引导的动态网络模块的网络参数，训练基于先验的多尺度网络模块；

固定基于先验的多尺度网络模块和传输率引导的动态网络模块的网络参数，训练基于大气光的动态网络模块；

固定基于先验的多尺度网络模块和基于大气光的动态网络模块的网络参数，训练传输率引导的动态网络模块。

进一步的，训练所述图像增强网络模型时，所采用的联合损失函数如下：

L(J，I

其中，λ

本申请还提出了一种基于先验知识的动态水下图像增强装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现上述方法的步骤。

本申请提出的一种基于先验知识的动态水下图像增强方法及装置，能够根据输入图像动态的调节网络的参数，使得该方法能够应用于真实的水下场景中。充分利用了水下成像的先验知识，将先验知识与深度学习模型结合，增强了深度学习模型的特征提取能力与提高了深度学习模型的鲁棒性。能够使用小规模的数据集进行训练，并达到良好的泛化性能，这克服了水下图像数据集数量不足带来的挑战。能够应用于多种水下作业场景，比如水下机器人、海底电缆修复、海洋勘测等。

附图说明

图1为本申请基于先验知识的动态水下图像增强方法流程图。

图2为本申请图像增强网络模型示意图。

图3为本申请实施例动态网络模块示意图。

图4为本申请实施例基于先验的多尺度网络模块示意图。

图5为本申请实施例多尺度特征提取块示意图。

图6为本申请实施例传输率引导的特征提取网络示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提出了一种基于先验知识的动态水下图像增强方法，基于构建的图像增强网络模型对水下图像进行图像增强，所述图像增强网络模型包括基于大气光的动态网络模块、基于先验的多尺度网络模块和传输率引导的动态网络模块。本实施例，一种基于先验知识的动态水下图像增强方法，包括：

步骤S1、将待增强水下图像输入基于大气光的动态网络模块，在基于大气光的动态网络模块中经过动态卷积和全局平均池化，提取得到大气光先验信息。

本实施例构建图像增强网络模型如图2所示，用于对水下图像进行图像增强，所述图像增强网络模型包括基于大气光的动态网络模块(ADS)、基于先验的多尺度网络模块(PMS)和传输率引导的动态网络模块(TDS)。

基于大气光的动态网络模块使用动态卷积和全局平均池化从水下图像中自适应地提取大气光先验信息，对大气光先验信息进行处理为基于先验的多尺度网络模块中的多尺度U型网络中的卷积核提供参数。这也使得整个图像增强网络模型能够根据输入图像的退化程度来调整参数适应输入图像的退化程度，提高网络的泛化能力。

在一个具体的实施例中，基于大气光的动态网络模块如图3所示，主要包含两种模块，动态卷积模块(记为DC)和全局平均池化(记为GAP)。其组成方式包括第一单元和第二单元，每个单元包括两个动态卷积和一个全局平均池化。基于大气光的动态网络模块，采用公式表示如下：

其中，

步骤S2、将待增强水下图像输入传输率引导的动态网络模块，在传输率引导的动态网络模块中经过动态卷积和全局平均池化，提取得到传输率先验信息。

本实施例，传输率引导的动态网络模块使用动态卷积和全局平均池化从水下图像中自适应地提取传输率先验信息，对传输率先验信息进行处理为基于先验的多尺度网络模块中的传输率引导的特征提取网络中的卷积核提供参数。传输率引导的动态网络模块促使网络更多地关注质量下降最严重的区域，使网络能够自适应地根据水质情况选择适当的参数。

具体的，如图3所示，传输率引导的动态网络模块与所述基于大气光的动态网络模块所包含的模块与结构相同，其计算公式如下：

其中，f

步骤S3、将待增强水下图像和对应的传输率图输入基于先验的多尺度网络模块，在基于先验的多尺度网络模块中依次经过第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络，得到增强的图像。

本实施例基于先验的多尺度网络模块，如图4所示，包括第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络。待增强水下图像依次经过第一多尺度U型网络、传输率引导的特征提取网络和第二多尺度U型网络，得到增强的图像。第一多尺度U型网络和和第二多尺度U型网络通过对大气光先验信息进行处理来得到卷积核参数，所述传输率引导的特征提取网络通过对传输率先验信息进行处理来得到卷积核参数。

在一个具体的实施例中，第一多尺度U型网络和第二多尺度U型网络结构相同，包括特征提取块、卷积网络、特征提取块和卷积网络。所述第一多尺度U型网络和第二多尺度U型网络各层通过快速连接相连，快速连接指的是在解码器阶段的每一层输入特征为编码器阶段的相应层的输出特征和解码器阶段前面层的输出特征进行相加。快速连接能够将底层的位置信息与深层的语义信息相融合，使得网络能够在具有更大的感受野的同时，也关注到边缘特征的细节信息。

其中，特征提取块包括超卷积(HRB)、多尺度特征提取块(MFE)和超卷积(HRB)。卷积网络包括三个超卷积(HRB)。

其中，超卷积HRB包括一个残差块和一个全连接层，残差块计算公式如下：

f′

其中，f

例如，大气光先验信息f

其中，多尺度特征提取块(MFE)如图5所示，包含三个不同尺度的卷积分支(即1×1，3×3和5×5)和一个通道注意力模块。通道注意力模块用于生成对应不同尺度卷积的权重。

其中通道注意力模块的计算方式如下：

f

f

f

其中，f

另外，多尺度特征提取块的输入特征经过三个不同尺度的卷积分支，每一个卷积分支包含Conv、ReLU和Conv，卷积分支中Conv卷积的卷积核大小不同，分别为1×1，3×3和5×5。最后，三个不同尺度的卷积分支的输出特征分别与f

在一个具体的实施例中，传输率引导的特征提取网络如图6所示，包括：超卷积HRB、连接层TC、多尺度特征提取块MFE和超卷积HRB。

传输率引导的特征提取网络的计算公式如下：

f′＝HRB(f)；

f″＝f′·f

f″′＝HRB(MFE(f″)；

其中，f′表示连接层的输入特征，即第一个超卷积HRB的输出特征；f″表示连接层的输出特征，f

区别于多尺度U型网络，传输率引导的特征提取网络中两个超卷积的卷积核的参数由传输率先验信息f

需要说明的是，待增强水下图像的传输率图f

本实施例技术方案，能够根据输入图像的水型特征自适应的生成网络参数，使得所述结构能够应用于真实的水下场景，并且增强具有不同水型特征的水下图像。所述不同水型特征是指不同类型的大气光和不同类型的传输率。

在一个具体的实施例中，为了训练所述图像增强网络模型，构建联合损失函数，以指导模型产生色彩伪影、模糊度最小的增强结果，并使细节与参考图像最接近。

联合损失函数为：

L(J，I

其中，λ

其中，感知损失L

L

其中，L

重建损失L

其中n＝H×W是整体像素数，采用重建损失L

平均平方误差损失L

其中μ

本申请所述基于先验的多尺度网络模块受益于基于大气光的动态网络模块和传输率引导的动态网络模块，能够根据输入图像的水型特征自适应的生成网络参数，使得所述结构能够应用于真实的水下场景，并且增强具有不同水型特征的水下图像。所述不同水型特征是指不同类型的大气光和不同类型的传输率。

为利用图像增强网络模型进行水下图像增强，并提高该模型的泛化性能和鲁棒性，本申请设计了分层训练方式和超参数优化方案，对基于大气光的动态网络模块和传输率引导的动态网络模块进行超参数优化。

在一个具体的实施例中，对图像增强网络模型进行训练，包括：

固定基于大气光的动态网络模块和传输率引导的动态网络模块的网络参数，训练基于先验的多尺度网络模块；

固定基于先验的多尺度网络模块和传输率引导的动态网络模块的网络参数，训练基于大气光的动态网络模块；

固定基于先验的多尺度网络模块和基于大气光的动态网络模块的网络参数，训练传输率引导的动态网络模块。

本实施例采用分层训练的方式，将训练样本分为多个批次，采用一个批次先训练基于先验的多尺度网络模块，然后采用另一个批次训练基于大气光的动态网络模块，再采用另一个批次训练传输率引导的动态网络模块，循环训练直到达到训练的终止条件。

其中，对基于先验的多尺度网络模块进行训练，表示为：

其中，

计算所有损失：

其中，L表示联合损失函数，I

然后更新基于先验的多尺度网络模块

其中，

训练基于大气光的动态网络模块，表示为：

其中，

其中，L为总损失函数，

然后更新基于大气光的动态网络模块

其中，

训练传输率引导的动态网络模块，表示为：

其中，

其中

其中，

具体的，在基于大气光的动态网络模块中，首先根据水下图像成像模型，通过随机改变大气光，来调整输入图像的颜色，并以此作为输入，来对所述基于大气光的动态网络模块进行训练，并更新超参数。这使得所述动态结构能够学习到更多关于颜色的信息，从而自适应的对不同的色差进行调整，使通过所述模型增强后的图像具有丰富且生动的颜色。

具体的，所述成像模型为：

I

其中，x表示每个像素的空间位置，I

Tc(x)＝e

具体的，所述调整输入图像的颜色具体计算公式如下：

其中，

具体的，在传输率引导的动态网络模块中，首先估计输入图像的传输率图，再将传输率图乘以随机生成的参数矩阵。并根据水下图像的成像模型，调整输入图像的传输率，并以此作为输入，来训练所述传输率引导的动态网络模块，并更新相应的超参数。从而使通过所述模型增强动态结构促使网络更多地关注质量下降最严重的区域，并且能够增强更多不同水质中拍摄的图像。

具体的，所述调整输入图像的传输率具体计算公式如下：

其中，

在另一个实施例中，本申请还提供了一种基于先验知识的动态水下图像增强装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现上述基于先验知识的动态水下图像增强方法的步骤。

关于基于先验知识的动态水下图像增强装置的具体限定可以参见上文中对于基于先验知识的动态水下图像增强方法的限定，在此不再赘述。上述基于先验知识的动态水下图像增强装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的网络拓扑布局方法。

其中，所述存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。

所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。