一种水下图像增强算法

技术领域

本发明涉及一种水下图像增强算法，属于图像处理技术领域。

背景技术

水下成像技术已应用于各行各业，诸如港口设施的监测，水下目 标的检测，海洋生物的发现和水下机器人的控制等。得到清晰准确的 图像是开展相关水下任务的重要前置条件。由于光在水中的传输受水 中介质的散射和吸收的作用，使水下图片往往具有颜色失真、对比度 降低、细节信息不足等缺陷。其中水对光的吸收取决于光波的长度， 一般超过5米水深拍摄的图像便会呈现明显的蓝绿色调。水下成像的 特点严重影响了人们开展水下工作的进程。

人们已针对水下图像质量退化问题开展了诸多研究。其主要方法 可分为以下四类：一是基于额外硬件设备获取单一场景多幅图像的去 雾方法；二是基于空间域或频率域变换的水下图像增强算法；三是基 于反演水下成像模型的水下图像复原算法；四是最近比较热门的基于 深度学习技术的水下图像去雾算法。

其中第一类方法因水下环境的局限性，对单一场景获取多幅图像 的设备往往极为昂贵且操作复杂，一般的使用人员无法实操。第三类 方法基于反演水下成像模型的复原方法往往需要大量的环境先验知 识作为应用前提，并根据特定水域特点进行相关成像参数的预估，运 算极为复杂、耗时，且仅适用于单一水域场景，通用性不强。而最近 比较热门的基于深度学习技术的水下去雾方法往往需要大量的水下 相关相片样本构建完善的数据库才能发挥其水下去雾的功能，具有较 强的使用限制。因此我们提出一种水下图像增强算法和系统，只根据 获得的单幅水下图像的信息及我们发明的算法和系统即可对其进行 水下图像的质量增强，操作简便，效果明显。

发明内容

一种水下图像增强算法，包括：

S1、获取水下图像；检测图像像素点的红色通道、绿色通道、蓝 色通道的像素值，并计算各通道的像素均值；

使用(x，y)代表所在图像的像素点的位置，I

S2、提出五种颜色补偿方式：绿色补偿红色；蓝色补偿红色；蓝 色、绿色补偿红色；蓝色补偿绿色和红色；绿色补偿蓝色和红色；并 对图像的每个像素点进行颜色矫正；

所述S2步骤中颜色补偿(即上述“颜色矫正”)所使用的具体计 算公式1～5如下：

绿色通道对红色通道增强：

蓝色通道对红色通道增强：

蓝色、绿色通道对红色通道增强：

绿色通道对蓝色及红色通道增强：

蓝色通道对绿色及红色通道增强：

使用I

S3、对5种颜色通道补偿后的图像通过UCIQE和UIQM两种评 价方法分别进行定量评价；当α＝1时，选取UCIQE值与UIQM值最 大的两幅图像作为拟选最优颜色通道补偿图像；

UCIQE的计算公式为UCIQE＝c

UIQM的计算公式为UIQM＝c

S4、对于所述S3步骤中获得的拟选最优颜色通道补偿图像，分 别采用UCIQE和UIQM对采用不同补偿系数α生成的图像进行定量 评价；

分别以n(n＜1)的增强在(0，1]的范围内设定α的值，生成相应的2/n 幅图像，并设定m＝(0：1：2/n]分别代表这2/n幅图像；

所述步骤S4中使用UCIQE(m)代表第m种α值的通道增强后的 图像UCIQE的取值，min(UCIQE)代表2/n幅图像UCIQE最低的值， max(UCIQE)代表2/n幅图像UCIQE最高的值；UIQM(m)代表第m 种α值的通道增强后的图像UIQM的取值，min(UIQM)代表2/n幅图 像UIQM最低的值，max(UIQM)代表2/n幅图像UIQM最高的值；

S5、使用公式6，取最大的比重和结果对应的α值作为所述S2 步骤计算公式1～5中的α值，选择此α值对应的颜色补偿方法生成的 图像作为最佳颜色矫正图像；

公式6中UCIQE(m)代表第m种α值的通道增强后的图像UCIQE 的取值，min(UCIQE)代表2/n幅图像UCIQE最低的值，max(UCIQE) 代表2/n幅图像UCIQE最高的值；UIQM(m)代表第m种α值的通道 增强后的图像UIQM的取值，min(UIQM)代表2/n幅图像UIQM最低 的值，max(UIQM)代表2/n幅图像UIQM最高的值；

S6、对最佳颜色矫正图像进行白平衡处理，采用Gray World白 平衡假设进行白平衡处理即得到改进白平衡强化图像；

S7、人工调节γ值生成改进白平衡强化图像的多幅欠曝光版本公 式：

S8、通过公式7～9计算三种权重值；

对比度权重值公式：

公式7中

饱和度权重值公式：

公式8中

最佳曝光度权重值公式：

公式9中

S9、通过公式10将三种权重值相乘，计算结果进行标准化处理；

相乘公式：

公式10中W

将W

S10、通过将Wk

多尺度图像融合算法公式：

优选的是，所述S1步骤中将被补偿通道像素值高于图像像素最 高强度95％的点取出，去除，无需处理。

优选的是，所述S7步骤中当γ＞5后图像因对比度降低太多而发 暗，丢失太多细节信息而没有使用价值；因此γ取值1、2、3、4、5， 同时生成不同γ值对应的5幅图片。

优选的是，所述S8步骤中常数系数σ经大量实验后确认设置为 0.2效果最佳。

本发明展示的算法系统简单实用，能有效纠正水下图像色偏，提 升图像对比度，恢复细节信息，具备很好的鲁棒性。只根据获得的单 幅水下图像的信息及我们发明的算法和系统即可对其进行水下图像 的质量增强，操作简便，效果明显。

附图说明

为了清楚说明本发明技术方案，同时展示与其他现有算法的处理 效果进行对比的结果，下面对发明内容中所需要的附图做简单介绍。

图1为本发明描述的一种水下图像增强算法流程图。

图2为本发明改进的白平衡和其他白平衡方式对比图。

图3为本发明算法与其他算法的水下图像处理增强效果对比图。

图4为本发明算法处理的低光照对比图。

图5为本发明算法处理的雾天、自然图像对比图。

图6为本发明算法采用SIFT图像匹配算法成功匹配对数显示对 比图。

具体实施方式

下面对本发明的具体实施方式进行详细说明。

为了更好的理解本发明的图像增强算法，首先对先对本发明中使 用的改进白平衡技术做详细介绍。

a、改进白平衡技术

流程如图1所示，采用的具体技术如下：

S1、获取水下图像的红色通道、绿色通道、蓝色通道的像素值， 并计算各通道的像素均值。

使用(x，y)代表所在图像的像素点的位置，I

其中为防止颜色补偿过多的情况发生，事先将被补偿通道像素值 高于其最高强度95％的点取出不做进一步补偿处理。

S2、基于红色通道在水中被吸收最多这一普遍观察特性，我们仅 关注绿色通道对红色通道增强；蓝色通道对红色通道增强；蓝色、绿 色通道共同对红色通道增强；绿色通道对红色、蓝色通道增强以及蓝 色通道对红色、绿色通道增强这五种颜色矫正方法。

使用这五种颜色补偿(即上述“颜色矫正”)方法进行补偿计算， 计算公式1～5如下：

绿色通道对红色通道增强：

蓝色通道对红色通道增强：

蓝色、绿色通道对红色通道增强：

绿色通道对蓝色及红色通道增强：

蓝色通道对绿色及红色通道增强：

上式中I

S3、对5种颜色通道补偿方式后的图像通过UCIQE和UIQM两 种评价方法分别进行定量评价，并选取UCIQE值与UIQM两值最大 的两幅图像作为拟选最优颜色通道补偿图像。

UCIQE是水下彩色图像质量评价，其计算公式为 UCIQE＝c

UIQM是水下图像质量测量指标，其计算公式为 UIQM＝c

S4、对于获得的拟选最优颜色通道补偿图像，分别以0.1的增强 在(0，1]的范围内设定α的值，生成相应的20幅图像，并设定m＝(0：1：20] 代表这20幅图像。

使用UCIQE(m)代表第m种α值的通道增强后的图像UCIQE的 取值，min(UCIQE)代表20幅图像UCIQE最低的值，max(UCIQE)代 表20幅图像UCIQE最高的值；用UIQM(m)代表第m种α值的通道 增强后的图像UIQM的取值，min(UIQM)代表20幅图像UIQM最低 的值，max(UIQM)代表20幅图像UIQM最高的值；

S5、将20幅图像的UCIQE和UIQM值的两比重相加，取最大 的比重和结果对应的α值作为第2步骤计算公式1～5中的α值，此α 值对应的颜色补偿方法生成的图像即最佳颜色矫正图像。

所用相加公式：

公式6中UCIQE(m)代表第m种α值的通道增强后的图像UCIQE 的取值，min(UCIQE)代表20幅图像UCIQE最低的值，max(UCIQE)代 表20幅图像UCIQE最高的值；用UIQM(m)代表第m种α值的通道 增强后的图像UIQM的取值，min(UIQM)代表20幅图像UIQM最低 的值，max(UIQM)代表20幅图像UIQM最高的值；

某一图像的value值最大时，可以认为这幅增强图像的图像质量 最高，被选取为最佳颜色矫正图像；同时，其所对应的m值(即α值) 是最佳颜色矫正图像的增强系数。

S6、对最佳颜色矫正图像进行白平衡处理，采用Gray World白 平衡假设(参考文献：H.Zhang，B.Dong，and Z.Jiang，″Single Image Dehazing Using Improved GrayWorld Theory and Dark Channel Prior，″ in 10th International Symposium ofArtificial Intelligence supported by the Japanese Society for ArtificialIntelligence，JSAI-isAI 2018， November 12，2018-November 14，2018，Yokohama，Japan，2019，vol. 11717LNAI：Springer Science and Business Media DeutschlandGmbH， in Lecture Notes in Computer Science(including subseries Lecture Notesin Artificial Intelligence and Lecture Notes in Bioinformatics)，pp.67-73，doi：10.1007/978-3-030-31605-1_5.[Online].Available：http：//dx.doi.org/10.1007/978-3-030-31605-1_5)进行白平衡处理即得到通过定量评价改 进白平衡技术处理的水下图像。

获得改进白平衡技术处理的水下图像后，使用人工生成多幅欠曝 光融合技术处理，并采用基于拉普拉斯分层的经典多尺度融合方式对 我们改进白平衡处理后的图像进行增强。下面对采用的人工生成多幅 欠曝光融合技术做详细介绍。

b、人工生成多幅欠曝光融合技术

S1、引入γ值，人工调节伽马值生成白平衡后的图像的多幅欠曝 光版本公式：

由于γ＞5的图像因对比度降低太多而发暗，丢失太多细节信息导 致没有使用价值。因此只采用γ＝1、2、3、4、5的5幅图片。

S2、通过公式7～9分别计算“对比度”、“饱和度”及“最佳曝光度” 三种权重值，计算结果

对比度权重值公式：

等号左边的

饱和度权重值公式：

等号左边的

最佳曝光度权重值公式：

等号左边d的

S3、通过公式10将得到的对比度，饱和度和最佳曝光度权重值 进行相乘，并进行标准化处理。

相乘公式为：

其中等号左边W

S4、将得到的W

多尺度图像融合算法公式：

为验证本算法的有效性，更好的证明本发明的算法可以有效提高 所处理的图像的质量，如图2～6及表1、表2所示，进行了以下测试。

图2为本发明改进的白平衡和其他白平衡方式对比，其中图2(a) 为水下原图，原图存在模糊、色彩不均的问题；图2(b)为Gray Edge 白平衡处理效果图(参考文献：J.vande Weijer，T.Gevers，and A. Gijsenij，″Edge-based color constancy，″IEEETransactions on Image Processing，vol.16，no.9，pp.2207-2214，2007.)；图2(c)为Shades of Gray白平衡处理效果图(参考文献：G.D.Finlayson and E.Trezzi， ″Shadesof gray and colour constancy，″in Final Program and Proceedings of the IS andT and SID-12th Color&Imaging Conference：Co1or Science and Engineering：Systems，Technologies，Applications， November 9，2004-November 12，2004，Scottsdale，AZ，United states， 2004，pp.37-41：Societyfor Imaging Science andTechnology.)；图2(d) 为MAX RGB白平衡处理效果图(参考文献：D.Marini，A.Rizzi，andC. Carati，″Color constancy effects measurement of the Retinex theory，″Proceedings of SPIE-The International Society for Optical Engineering，vol.3648，pp.249-256，1998.)；图2(e)为Gray World白平衡图像处理 图(参考文献：H.Zhang，B.Dong，and Z.Jiang，″Single Image Dehazing Usining Improved Gray WorldIheory and Dark Channel Prior，″in l0th International Symposium of ArtificialIntelligence supported by the Japanese Society for Artificial Intelligence，JSAI-isAI 2018，November 12，2018-November 14，2018，Yokohama，Japan，2019，vol.11717 LNAI：Springer Science and Business Media Deutschland GmbH，inLecture Notes in Computer Science(including subseries Lecture Notes inArtificial Intelligence and Lecture Notes in Bioinformatics)，pp.67-73， doi：10.1007/978-3-030-31605-1_5.[Online].Available：http：//dx.doi.org/10 .1007/978-3-030-31605-1_5)；图2(f)为CosminAncuti颜色纠正技术处 理效果图(参考文献：C.Ancuti，C.O.Ancuti，T.Haber，and P.Bekaert， ″Enhancing underwater images andvideos by fusion，″in 2012IEEE Conference on Computer Vision and PatternRecognition，CVPR 2012， June 16，2012-June 21，2012，Providence，RI，United states，2012，pp. 81-88：IEEE Computer Society.)；图2(g)为Codruta O.Ancuti白平衡技 术处理效果图(参考文献：C.O.Ancuti，C.Ancuti，C.De Vleeschouwer， and P.Bekaert，″ColorBalance and Fusion for Underwater Image Enhancement，″IEEE Trans ImageProcess，vol.27，no.1，pp.379-393， Jan 2018.)；图2(h)为本发明的改进白平衡技术效果处理图。

表1用SSIM与PCQI技术评定图2中各颜色矫正方法的效果

同时表1为用SSIM与PCQI技术评定图2中各颜色矫正方法的 效果，评价指标计算公式如下：

其中x，y代表被对比的两幅图像(增强图和参考图)，μ，σ，σ

PCQI(x，y)＝P

其中x，y分别代表被对比的两幅图像(增强图和参考图)，P

结合图2与表1，本发明中改进白平衡技术对于模糊不清、颜色 失真的原图有良好的矫正效果，与其他算法相比，处理的图像对比度 更高，图像质量更好。

图3(a)为水下原始图像，图3(b)为UDCP水下图像处理技术优化 图像(参考文献：P..L..J.Drews，E.R.Nascimento，S.S.C.Botelho，and M.F.M.Campos，″Underwater depthestimation and image restoration based on single images，″IEEE ComputerGraphics and Applications，vol. 36，no.2，pp.24-35，2016.)，图3(c)为Cosmin Ancuti水下图像处理技 术优化图像(参考文献：C.Ancuti，C.O.Ancuti，T.Haber，and P.Bekaert，″Enhancing underwater images and videos by fusion，″in 2012IEEE Conference onComputer Vision and Pattern Reeognition，CVPR 2012， June 16，2012-June 21，2012，Providence，RI，United states，2012，pp. 81-88：IEEE Computer Society.)，图3(d)为L

表2用UIQM，UCIQE与PCQI技术评定图3中各水下图像增 强算法效果

表2为用UIQM，UCIQE与PCQI技术评定图3中各水下图像增 强算法效果。

综合图3与表2，图3原图(a)的图像背景色偏绿，对比度差。经 本发明改善后显著改善色偏，对比度提高，且相较于其他算法有更好 的图像质量。

图4(a)为原始输入低光照图像，图4(b)为本发明优化后低光照图 像。图5(a)为原始输入雾天、自然图像，图5(b)为本发明优化后雾天、 自然图像。本发明的算法在改善雾天，低光照及自然图像的视觉质量 上也有显著效果。

图6(a)为水下原始图像采用SIFT图像匹配算法成功匹配对数显 示(参考文献：Z.Wang，A.C.Bovik，H.R.Sheikh，and E.P.Simoncelli， ″Image quality assessment：From error visibility to structural similarity，″ IEEE Transactions on ImageProcessing，vol.13，no.4，pp.600-612， 2004.)，图6(b)为本发明优化后采用SIFT图像匹配算法成功匹配对数 显示。原始图像匹配数量分别为：7和690；经本发明算法优化后匹 配数量为：91和1109。可以看出本发明的算法增强后的图像可以被 检测出更多的关键点和更准确的匹配结果。

以上所述仅用于对本发明的技术方案进行详细介绍，帮助理解本 发明的技术手段及其核心设计思想，不应认为是对本发明做出的限制。 本技术领域的技术人员应当明白，凡在本发明的核心思想之内，所作 的任何修改、等同替换、改进等，均应包含于本发明的保护范围。