基于环境背景光的水下图像颜色恢复方法、装置及存储介质

技术领域

本发明涉及水下图像处理技术领域，特别是涉及一种基于环境背景光的水下图像颜色恢复方法、装置及存储介质。

背景技术

在水下拍摄时，由于拍摄环境复杂，如水下环境光线的折射和吸收、水中的悬浮粒子、颜色的失真等，成像设备采集到的水下图像经常会出现色彩偏移、模糊、对比度低、失真等图像质量问题，这会降低水下目标检测、海洋生物识别及跟踪等计算机视觉应用效力。

目前在利用计算机视觉方法进行水下图像颜色恢复时，通常是对水下图像进行模拟得到训练数据集，进而完成对水下图像颜色恢复。

然而，由于水下图像具有自身的风格特点，受多种因素影响，区别于陆地图像，所以很难模拟出与水下图像风格接近的图像，水下图像颜色恢复的效果不佳。

发明内容

有鉴于此，本发明提供了一种基于环境背景光的水下图像颜色恢复方法、装置及存储介质，以实现对水下失真图像的颜色恢复，得到更清晰的水下图像，进而在基于水下图像进行目标检测时，能够提高目标检测的准确度。

为此，本发明提供了以下技术方案：

本发明提供了一种基于环境背景光的水下图像颜色恢复方法，所述方法包括：

获取真实水下颜色畸变图像数据集；所述真实水下颜色畸变图像数据集包括若干真实水下颜色畸变图像；

使用统计方法获取所述真实水下颜色畸变图像的环境背景光；

获取陆地真实图像数据集；所述陆地真实图像数据集包括若干组陆地真实图像及其对应的深度图；

构建并训练基于生成对抗网络的水下图像合成模型；所述水下图像合成模型基于环境背景光、所述陆地真实图像数据集和所述真实水下颜色畸变图像数据集进行训练；

将噪声、所述环境背景光、所述陆地真实图像、所述陆地真实图像对应的深度图作为一组样本输入训练好的水下图像合成模型，得到具有水下风格的陆地真实图像；

建立基于卷积神经网络的水下图像颜色恢复模型；

将所述陆地真实图像及其对应的具有水下风格的图像作为一组训练数据，利用若干组训练数据形成的训练集训练所述水下图像颜色恢复模型；

获取待颜色恢复的水下图像，并利用训练好的水下图像颜色恢复模型对所述待颜色恢复的水下图像进行颜色恢复。

进一步地，使用统计方法获取所述真实水下颜色畸变图像的环境背景光，包括：

分别对所述真实水下颜色畸变图像的R、G、B值进行统计分析，得到所述真实水下图像数据的R、G、B值的分布模型；

根据所述R、G、B值的分布模型推导环境背景光的R、G、B值；

将所述环境背景光的R、G、B值组合成与RGB图像相同的维度，得到环境背景光。

进一步地，所述R、G、B值的分布模型为正态分布模型。

进一步地，所述水下图像合成模型包括生成器和鉴别器；

所述生成器以噪声、所述环境背景光、所述陆地真实图像及其对应的深度图、所述真实水下颜色畸变图像作为输入，以合成的具有水下图像风格的陆地真实图像作为输出；

所述鉴别器以所述生成器合成的具有水下图像风格的陆地真实图像和所述真实水下颜色畸变图像作为输入，以所述具有水下图像风格的陆地真实图像的分类结果作为输出，所述分类结果包括真实或合成。

进一步地，所述生成器包括注意力机制和后向散射机制；

相应地，将噪声、所述环境背景光、所述陆地真实图像、所述陆地真实图像对应的深度图作为一组样本输入训练好的水下图像合成模型，得到具有水下风格的陆地真实图像，包括：

训练好的生成器基于注意力机制对所述陆地真实图像进行处理，得到第一图像，处理方式如下：

T(x)＝I

其中，I

训练好的生成器基于后向散射机制对噪声进行卷积，再结合所述环境背景光，得到第二图像；

基于图像成像模型，将所述第一图像和所述第二图像合成为具有水下图像风格的陆地真实图像。

进一步地，水下图像颜色恢复模型包括5层卷积层；

相应地，利用训练好的水下图像颜色恢复模型对所述待颜色恢复的水下图像进行颜色恢复，包括：

利用所述5层卷积层对所述待颜色恢复的水下图像进行5层卷积操作；

对每一层的卷积结果进行连接；

对连接之后的卷积结果再进行卷积操作，得到与所述待颜色恢复的水下图像相同形状的残差；

将所述残差与所述待颜色恢复的水下图像相加，得到颜色恢复后的目标水下图像。

进一步地，获取真实水下颜色畸变图像数据集包括：利用水下单目摄像头获取真实水下颜色畸变图像数据集。

进一步地，获取陆地真实图像数据集包括：从NYU数据集中获取陆地真实图像数据集。

本发明还提供了一种基于环境背景光的水下图像颜色恢复装置，所述装置包括：

第一获取单元，用于获取真实水下颜色畸变图像数据集；所述真实水下颜色畸变图像数据集包括若干真实水下颜色畸变图像；

第二获取单元，用于使用统计方法获取所述第一获取单元获取的真实水下颜色畸变图像的环境背景光；

第三获取单元，用于获取陆地真实图像数据集；所述陆地真实图像数据集包括若干组陆地真实图像及其对应的深度图；

第一模型单元，用于构建并训练基于生成对抗网络的水下图像合成模型；所述水下图像合成模型基于所述第二获取单元获取的环境背景光、所述第三获取单元获取的陆地真实图像数据集和所述第一获取单元获取的真实水下颜色畸变图像数据集进行训练；

图像合成单元，用于将噪声、所述环境背景光、所述陆地真实图像、所述陆地真实图像对应的深度图作为一组样本输入所述第一模型单元训练好的水下图像合成模型，得到具有水下风格的陆地真实图像；

第二模型单元，用于建立基于卷积神经网络的水下图像颜色恢复模型；将所述陆地真实图像及所述图像合成单元合成的具有水下风格的图像作为一组训练数据，利用若干组训练数据形成的训练集训练所述水下图像颜色恢复模型；

颜色恢复单元，用于获取待颜色恢复的水下图像，并利用所述第二模型单元训练好的水下图像颜色恢复模型对所述待颜色恢复的水下图像进行颜色恢复。

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上述基于环境背景光的水下图像颜色恢复方法。

本发明的优点和积极效果：

本发明提出了基于环境背景光的水下图像合成模型，该水下图像合成模型基于生成式对抗网络(Generative Adversarial Networks，GAN)。由于缺乏水下环境的真实辐射和深度图(depthmap)，因此需要GAN利用陆地真实图像(groundtruth)以及对应的depthmap，同时将所获得的水下颜色畸变图像作为GAN训练时的监督，充分训练之后的GAN能够生成与水下失真图像风格相似的失真图像。利用生成的水下风格图像与groundtruth作为一对数据输入水下图像颜色恢复模型，将groundtruth作为训练水下图像颜色恢复模型做失真图像颜色恢复时的监督，以此得到训练好的水下图像颜色恢复模型即可直接用于对应风格水下失真图像的颜色恢复，得到的颜色恢复的图像相较于原图像更清晰，可用于水下目标检测，进而能够提高目标检测的准确度。

此外，本发明中经过水下图像颜色恢复模型进行颜色恢复之后，无需再进行任何图像格式转化等操作，整个图像颜色恢复的时间也较短，操作简单。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于环境背景光的水下图像颜色恢复方法的流程图；

图2为本发明实施例中一种水下颜色畸变图像实例；

图3为本发明实施例中水下图像的B、G、R值的分布示意图；

图4为本发明实施例中水下图像合成模型的结构示意图；

图5为本发明实施例中水下图像颜色恢复模型的结构示意图；

图6为本发明实施例中水下图像颜色恢复前后对比图；

图7为本发明实施例中一种基于环境背景光的水下图像颜色恢复装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参见图1，其示出了本发明实施例中一种基于环境背景光的水下图像颜色恢复方法的流程图，该方法包括：

步骤1、获取真实水下颜色畸变图像数据集；

其中，所述真实水下颜色畸变图像数据集包括若干真实水下颜色畸变图像；

通过水下单目摄像头获得的将近2000张水下颜色畸变图像，图像风格如图2所示。

步骤2、使用统计方法获取所述真实水下颜色畸变图像的环境背景光；

发明人在对获取到的2000多张图像的分析中，发现这些水下图像的R、G、B值大致符合一个正态分布的模型，如图3所示。由获得的正态分布模型推导出环境背景光的R、G、B值，并且将环境背景光的R、G、B组合成与RGB图像具有相同的维度，从而得到环境背景光。具体实施中，可以利用统计学方法统计R、G、B三通道像素值，发现其成正态分布，分别计算各通道方差值确定置信区间(取值范围)，从而提取三通道像素值，再将三个值扩展至与RGB图像相同维度并输入至GAN网络进行训练，最终获取最优背景光矩阵，以用于生成水下风格图片。

步骤3、获取陆地真实图像数据集；

其中，所述陆地真实图像数据集包括若干组陆地真实图像及其对应的深度图；

陆地真实图像数据集可以使用NYU的数据集，NYU的数据集(一种公开数据集，常用于基于深度的图像处理应用中)中包括陆地真实图像及其配对的深度图。

步骤4、构建并训练基于GAN的水下图像合成模型；所述水下图像合成模型基于环境背景光、所述陆地真实图像数据集和所述真实水下颜色畸变图像数据集进行训练；

将已获得的环境背景光输入GAN网络模型，以groundtruth及其对应的depthmap和一组水下图像为样本，对水下图像合成模型进行训练。

水下图像合成模型的模型结构如图4所示。

根据图像成像模型IFM：J(x)＝I(x)T(x)+(1-B)T(x)，其中T(x)＝e

GAN包括两个网络，一个是生成器，一个是鉴别器，同时训练。生成器的输入是一个噪声向量z，通过投影、重塑、传播、一系列的卷积和反褶积层，输出为合成图像G(z)。鉴别器以生成器生成的合成图像集和真实水下颜色畸变图像集x作为输入，将每个合成图像分类为真实(real(1))或合成(synthetic(0))。

生成器的目标是输出鉴别器分类为真实的合成图像。在优化生成器时，采用以下公式：

log(D(G(z))) (1)

鉴别器的目标是达到较高的分类精度，使上述函数最小化，使总值函数的D(x)最大化：

log(D(x))+log(1-D(G(z))) (2)

生成器主要由两个部分组成：第一部分为注意力机制(Attenuation)，第二部分为后向散射机制(backscatter)，这样的结构能够使合成图像与原输入的陆地真实图像结构保持一致。具体如下：

第一部分：光在水下环境中传播时，会受到水中介质粒子的反射，因此对于水下图像成像会造成一定的影响。

对此，对所述陆地真实图像进行处理，得到第一图像，处理方式如下：

T(x)＝I

其中I

第二部分：对噪声进行卷积，再结合所述环境背景光B，得到第二图像。

根据IFM(图像成像模型)：

J(x)＝I

将所述第一图像和所述第二图像合成为具有水下图像风格的陆地真实图像。

步骤5、将噪声、所述环境背景光、所述陆地真实图像、所述陆地真实图像对应的深度图作为一组样本输入训练好的水下图像合成模型，得到具有水下风格的陆地真实图像；

将获得的环境背景光B输入进GAN，由此将陆地真实图像的风格图片转换为如图2所示的水下风格的图像，生成的具有水下风格的图像及其陆地真实图像用于水下图像颜色恢复模型的训练。

步骤6、建立基于卷积神经网络的水下图像颜色恢复模型；

为了实现对某一风格的水下图像的颜色恢复，本发明实施例中使用了一种水下图像颜色恢复的CNN网络模型，如图5所示，该模型中不包含全连接层，仅由5层卷积层组成，这种轻量级的模型结构可以让网络高效和快速，减少训练和测试时间。

步骤7、将所述陆地真实图像及其对应的具有水下风格的图像作为一组训练数据，利用若干组训练数据形成的训练集训练所述水下图像颜色恢复模型；

步骤8、获取待颜色恢复的水下图像，并利用训练好的水下图像颜色恢复模型对所述待颜色恢复的水下图像进行颜色恢复。

假设，相机在水下拍摄的图片J与真实的环境场景辐射I的关系为：

J＝I+θ(x) (5)

通过多层卷积网络获得θ(x)，以此来获得水下场景的真实辐射，首先在第一层卷积层，有：

θ(x)

其中θ(x)

θ(x)

类似这样的有四层，之后再对水下颜色衰退的图片做一次3ⅹ3的卷积，记作z，随后concatθ(x)

R＝concat(θ(x)

接着对获得R做一次3ⅹ3ⅹ3的卷积的，得到与原图像相同形状的残差r，最后将残差与待颜色恢复的水下图像相加：

output＝r+input (9)

即可得到颜色恢复后的水下图像，如图6所示。

本发明实施例中提出了基于环境背景光的水下图像合成模型，能够生成比现有GAN更接近对应水下风格的图像。利用生成的水下风格图像与groundtruth作为一对数据输入水下图像颜色恢复模型，将groundtruth作为训练水下图像颜色恢复模型做失真图像颜色恢复时的监督，以此得到训练好的水下图像颜色恢复模型即可直接用于对应风格水下失真图像的颜色恢复，得到的颜色恢复的图像相较于原图像更清晰，可用于水下目标检测，进而能够提高目标检测的准确度。

表1提供了使用本发明方法和使用UDCP(水下暗通道先验)对同一水下图像处理后的图像质量评估：

表1

在PSNR(峰值信道比)、SSIM(结构相似性)、UIQM(无参考水下图像质量评价指标)、以及MSE(均方误差)等图像评测指标中，其中前三个指标越大越好，最后一个指标越小越好。本发明的结果在每一项指标上都要优于UDCP所获得的结果。

对应本发明中的基于环境背景光的水下图像颜色恢复方法，本发明还提供了基于环境背景光的水下图像颜色恢复装置。如图7所示，其示出了本发明实施例中一种基于环境背景光的水下图像颜色恢复装置的结构示意图，该装置包括：

第一获取单元701，用于获取真实水下颜色畸变图像数据集；所述真实水下颜色畸变图像数据集包括若干真实水下颜色畸变图像；

第二获取单元702，用于使用统计方法获取所述第一获取单元701获取的真实水下颜色畸变图像的环境背景光；

第三获取单元703，用于获取陆地真实图像数据集；所述陆地真实图像数据集包括若干组陆地真实图像及其对应的深度图；

第一模型单元704，用于构建并训练基于生成对抗网络的水下图像合成模型；所述水下图像合成模型基于所述第二获取单元702获取的环境背景光、所述第三获取单元703获取的陆地真实图像数据集和所述第一获取单元701获取的真实水下颜色畸变图像数据集进行训练；

图像合成单元705，用于将噪声、所述环境背景光、所述陆地真实图像、所述陆地真实图像对应的深度图作为一组样本输入所述第一模型单元704训练好的水下图像合成模型，得到具有水下风格的陆地真实图像；

第二模型单元706，用于建立基于卷积神经网络的水下图像颜色恢复模型；将所述陆地真实图像及所述图像合成单元705合成的具有水下风格的图像作为一组训练数据，利用若干组训练数据形成的训练集训练所述水下图像颜色恢复模型；

颜色恢复单元707，用于获取待颜色恢复的水下图像，并利用所述第二模型单元706训练好的水下图像颜色恢复模型对所述待颜色恢复的水下图像进行颜色恢复。

对于本发明实施例的基于环境背景光的水下图像颜色恢复装置而言，由于其与上面实施例中的基于环境背景光的水下图像颜色恢复方法相对应，所以描述的比较简单，相关相似之处请参见上面实施例中部分的说明即可，此处不再详述。

本发明实施例还公开了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一实施例所提供的基于环境背景光的水下图像颜色恢复方法。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。