一种基于多尺度颜色迁移参数预测的水下图像增强方法

技术领域

本发明公开一种基于多尺度颜色迁移参数预测的水下图像增强方法，属于图像处理技术领域。

背景技术

随着人们对水下无人观测和操作需求的日益增长，促使了遥控潜水器ROV和自主水下航行器AUV的研究和应用。视觉作为ROV和AUV的主要观测信息源之一，在水下任务中起着重要的作用。然而水下场景中摄影的图像往往存在明显的退化，包括颜色偏差、外观模糊、视觉对比度低、能见度差。迫切需要一种适用于提高多样水下场景下高分辨率图像视觉质量的高效水下图像增强算法。

目前，水下图像视觉增强算法主要可以分为传统的水下图像增强方法和基于深度学习的水下图像增强方法。对于传统的水下图像增强方法，由于水下环境的复杂性，不同水体环境中光的衰减和散射情况各有差异，单一的物理模型往往无法适用于多样的水下场景，泛化性较差，图像增强结果中会存在色偏问题。同时，基于非物理模型的水下图像增强方法具有一定的图像质量改善效果，但在处理过程中往往会引入其他噪声和颜色失真的问题，尤其是对于极端退化的场景，此类方法通常无法进行有效地处理。另外，由于水体环境的差异和复杂性，不同水下场景所成图像的退化情况各有差异，因此基于非物理模型的水下图像增强方法面对不同场景的退化图像往往不具有较强的泛化性，难以取得良好的图像处理效果。

随着深度学习技术的进步，得益于良好的特征学习和预测表达能力，水下图像视觉增强研究取得了快速的发展，但仍面临着较大的局限性。首先，真实水下图像样本仍相对有限，在真实环境中获取水下图像样本难度巨大。基于匮乏的训练样本，端到端地学习由退化图像到非退化图像的像素级映射关系是相对困难的，其增强结果往往会引入颜色失真和过度校正的问题。其次，对于极端退化场景，由于退化情况更加复杂且对应于此类场景的样本相对有限，现有的深度学习模型对极端退化场景往往无法取得理想的增强效果。此外，以往基于深度学习的水下图像增强方法受模型自身结构与运算量的影响，对于高分辨率图像甚至超高分辨率图像的处理效率较低。

发明内容

本发明的目的在于提供一种基于多尺度颜色迁移参数预测的水下图像增强方法，以解决现有技术中，水下图像处理效果差的问题。

一种基于多尺度颜色迁移参数预测的水下图像增强方法，包括：

S1.获得待处理的图像数据集，构建深度学习增强模型训练与学习过程中所需的训练样本，一个训练样本包含：水下退化图像

S2.搭建深度学习增强网络；

S3.训练深度学习增强网络，得到深度学习增强模型，利用参数回归损失对颜色迁移基础参数预测模块进行约束优化，利用像素值差异损失和结构相似度损失约束深度学习增强网络的总体输出，反馈优化整个深度学习增强网络的模型参数；

S4.将一幅视觉质量退化的水下图像作为深度学习增强网络的模型，经过颜色迁移参数预测、内置颜色迁移模块处理后，输出一幅视觉质量得到改善的增强图像。

S1包括：

S1.1.计算

其中，

S1包括：

S1.2.利用步骤S1.1计算获得的

S1.3. 

S2包括：

S2.1.搭建深度学习增强网络

S2.2.根据深度回归网络结构，搭建用于获取全局迁移参数的颜色迁移基础参数预测模块，以Lab颜色空间表征的退化图像为输入，预测输出用于颜色迁移的六个基础参数，即目标迁移图像的

颜色迁移基础参数预测模块由深度编码模块和深度回归模块组成，其中深度编码模块采用卷积层-激活层-池化层，以深度特征提取结构堆叠而成，提取输入图像的各层次深度特征表达；深度回归模块采用全连接结构，获取全局迁移参数引导，预测输出用于颜色迁移的六个基础参数。

S2包括：

S2.3.基于编码-解码结构，搭建用于获取局部差异迁移参数的颜色迁移偏置参数矩阵预测模块，包含三个预测分支，分别以Lab颜色空间表征的退化图像三通道为输入，分别输出目标迁移图像的

颜色迁移偏置参数矩阵预测模块包括自注意力谱感知模块、通道特征提取模块和基于编码-解码模块的颜色迁移偏置参数矩阵预测模块，其中自注意力谱感知模块以输入图像的

通道特征提取模块以各通道归一化矩阵为输入，在自注意力谱的引导下提取用于迁移偏置参数矩阵预测的特征，结构采用卷积层-激活层-池化层，以典型深度特征提取结构堆叠而成；

深度编码-解码模块采用获取局部差异迁移参数引导，预测生成均值和标准差分别对应的两个颜色迁移偏置参数矩阵

S2包括：

S2.4.将预测的6组基础迁移参数与颜色迁移偏置参数矩阵进行对应矩阵通道逐像素相加，获得用于进行颜色迁移的融合颜色迁移参数矩阵：

其中，

S2包括：

S2.5.基于S2.4获得的融合颜色迁移参数矩阵，根据下式设计网络内置的颜色迁移模块，获得颜色迁移后的水下视觉增强图像

式中，

内置的颜色迁移模块以待增强的退化图像、颜色迁移基础参数和偏置参数融合后的参数矩阵为输入，输出颜色迁移后视觉质量得到增强的水下图像。

S3包括：

S3.1.将退化的水下图像记为

S3.2.将颜色迁移基础参数预测模块的六个基础参数输出，即目标迁移图像的

S3包括：

S3.3.输入

S3包括：

S3.4.通过最小化损失项之和

相对比现有技术，本发明具有以下有益效果：降低了深度增强模型训练过程中对成对学习样本的依赖，提高了视觉增强模型对于有复杂水下视觉退化的鲁棒性；基于颜色迁移参数预测策略，可有效处理大尺寸水下图像，处理效率高；通过引入多尺度参数预测和自注意力机制，提升了深度模型对水下视觉非均匀退化的恢复能力。

附图说明

图1 是本发明一种实施例的水下图像增强方法的流程示意图；

图2 是本发明一种实施例的水下图像增强方法的详细流程示意图；

图3是本发明一种实施例的水下图像增强系统的框架示意图；

图4是本发明一种实施例的水下图像增强深度网络的训练数据准备流程示意图。

图5是本发明一种实施例的水下图像增强深度网络的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于多尺度颜色迁移参数预测的水下图像增强方法，包括：

S1.获得待处理的图像数据集，构建深度学习增强模型训练与学习过程中所需的训练样本，一个训练样本包含：水下退化图像

上述水下退化图像和参考增强图像可从目前常用的UIEB和SUIM-E等水下数据集中获取，亦可自行制备获取：水下退化图像可通过搭载相机的水下机器人拍摄获得，由于水下光的吸收、散射等作用，其视觉质量往往存在颜色畸变、模糊等退化，其参考增强图像可仿照UIEB、SUIM-E等水下图像增强数据集的制备方式，即通过一系列现有水下图像增强方法（如直方图均衡、暗通道先验方法、Retinex模型方法）处理后，由志愿投票选出视觉效果最优的增强结果作为参考增强图像。

S2.搭建深度学习增强网络；

深度学习增强网络的公式为：

深度学习增强网络的本质是通过预测颜色迁移参数后，利用上式对输入的退化图像进行颜色迁移，从而对其实现视觉增强的作用。颜色迁移参数包含两个部分，这也是网络中两个参数预测模块的输出，分别是（1）六个颜色迁移基础参数，即目标迁移图像的

传统的颜色迁移算法本质上不是为了视觉增强设计的，而是通过指定一幅图像作为迁移模板后，将待处理图像的颜色、纹理外观向该模板图像变化。本发明创新也体现在，将该策略应用在水下图像增强问题上，同时还设计了参数预测深度模型，使得在颜色迁移过程中不必提供一个真实的模版图像。此外，传统的颜色迁移方法根据模版图像获得迁移参数后，在迁移过程中是不具备像素差异化处理能力的，这是因为上述参数是面向各颜色通道全局的，本发明的优势在于通过预测迁移偏置参数矩阵，实现了对各像素的差异化迁移处理，使得增强结果更加自然。

S3.训练深度学习增强网络，得到深度学习增强模型，利用参数回归损失对颜色迁移基础参数预测模块进行约束优化，利用像素值差异损失和结构相似度损失约束深度学习增强网络的总体输出，反馈优化整个深度学习增强网络的模型参数；

步骤S3介绍了如何训练S2搭建的网络。搭建的网络本质上是通过先预测颜色迁移参数，再以该参数为参照对原始退化图像进行颜色迁移，达到视觉增强的效果。所以，S3就是通过训练，使搭建的深度增强网络经过模型参数优化后：一方面能够准确预测迁移参数；另一方面能够生成视觉质量尽可能好的增强图像。

基于上述目的，设计了参数预测误差损失、像素差异损失和结构相似度损失作为深度增强模型的训练的损失函数。

输入的水下退化图像经历的过程其实就是两个：一个是以其为输入，预测颜色迁移参数（对应网络的两个参数预测模块）；然后再以它和上述预测颜色迁移参数为输入，根据深度学习增强网络的公式获得其视觉质量增强后增强图像。

S4.将一幅视觉质量退化的水下图像作为深度学习增强网络的模型，经过颜色迁移参数预测、内置颜色迁移模块处理后，输出一幅视觉质量得到改善的增强图像。

S1包括：

S1.1.计算

其中，

S1包括：

S1.2.利用步骤S1.1计算获得的

S1.3. 

S2包括：

S2.1.搭建深度学习增强网络

S2.2.根据深度回归网络结构，搭建用于获取全局迁移参数的颜色迁移基础参数预测模块，以Lab颜色空间表征的退化图像为输入，预测输出用于颜色迁移的六个基础参数，即目标迁移图像的

颜色迁移基础参数预测模块由深度编码模块和深度回归模块组成，其中深度编码模块采用卷积层-激活层-池化层，以深度特征提取结构堆叠而成，提取输入图像的各层次深度特征表达；深度回归模块采用全连接结构，获取全局迁移参数引导，预测输出用于颜色迁移的六个基础参数。

S2包括：

S2.3.基于编码-解码结构，搭建用于获取局部差异迁移参数的颜色迁移偏置参数矩阵预测模块，包含三个预测分支，分别以Lab颜色空间表征的退化图像三通道为输入，分别输出目标迁移图像的

颜色迁移偏置参数矩阵预测模块包括自注意力谱感知模块、通道特征提取模块和基于编码-解码模块的颜色迁移偏置参数矩阵预测模块，其中自注意力谱感知模块以输入图像的

通道特征提取模块以各通道归一化矩阵为输入，在自注意力谱的引导下提取用于迁移偏置参数矩阵预测的特征，结构采用卷积层-激活层-池化层，以典型深度特征提取结构堆叠而成；

深度编码-解码模块采用获取局部差异迁移参数引导，预测生成均值和标准差分别对应的两个颜色迁移偏置参数矩阵

S2包括：

S2.4.将预测的6组基础迁移参数与颜色迁移偏置参数矩阵进行对应矩阵通道逐像素相加，获得用于进行颜色迁移的融合颜色迁移参数矩阵：

其中，

S2包括：

S2.5.基于S2.4获得的融合颜色迁移参数矩阵，根据下式设计网络内置的颜色迁移模块，获得颜色迁移后的水下视觉增强图像

式中，

内置的颜色迁移模块以待增强的退化图像、颜色迁移基础参数和偏置参数融合后的参数矩阵为输入，输出颜色迁移后视觉质量得到增强的水下图像。

S3包括：

S3.1.将退化的水下图像记为

S3.2.将颜色迁移基础参数预测模块的六个基础参数输出，即目标迁移图像的

S3包括：

S3.3.输入

S3包括：

S3.4.通过最小化损失项之和

本发明实施例中，水下图像增强方法的流程示意图如图1，首先获得一副视觉成像质量退化的水下图像，作为输入图像，然后利用训练好的水下图像增强网络，预测用于图像增强的多尺度颜色迁移参数，利用上述多尺度颜色迁移参数，通过网络内嵌的颜色迁移模块，获得与输入退化水下图像相对应的水下清洗图像。水下图像增强方法详细流程如图2所示，首先获得数据增强扩展数据集，执行训练数据准备、增强模型训练和模型部署。水下图像增强系统的框架如图3所示，包括水下图像获取模块、可选择的图像降采样模块、多尺度颜色迁移参数预测模块、可选择的融合颜色迁移参数矩阵插值模块和基于颜色迁移的图像增强模块。水下图像增强深度网络的训练数据准备流程如图4，将图像增强数据集分别水下退化图像和水下清晰图像，分别输入三个通道中，并将图像增强数据集拓展为图像增强扩展数据集。水下图像增强深度网络的结构示意图如图5所示，将水下退化图像导入

本申请的深度回归网络结构使用例如Alex-Net、VGG-Net等回归预测网络结构，编码-解码结构使用例如U-Net、Dense-Net等深度编码-解码结构，水下退化-增强图像的水下图像数据集使用例如UIEB数据集、SUIM-E数据集，卷积层-激活层-池化层使用例如Conv-ReLu-MaxPool，本段举例都是本领域的现有技术，因此未解释详细内容。

以上实施例仅用于说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。