水下图像拼接方法及装置

技术领域

本申请属于图像处理技术领域，具体涉及一种水下图像拼接方法 及装置。

背景技术

水下图像又称水下光学图像，指的是利用无人潜水器或者水下航 行器等水下图像设备拍摄的位于水面下方的图像。其与传统的水上图 像不同，由于光在水中传播时存在严重的衰减、散射和吸收，水下图 像经常出现色彩失真、细节模糊、对比度和清晰度较低等质量问题以 及视野受限等视场问题。因此，亟需一种用于改善上述问题的水下图 像拼接方法。

发明内容

本申请实施例的目的是提供一种水下图像拼接方法及装置，能够 解决水下图像经常出现色彩失真、细节模糊、对比度和清晰度较低等 质量问题以及视野受限等视场问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种水下图像拼接方法，所述方 法包括：

获取至少两张待拼接的水下图像；

将至少两张所述水下图像中每张所述水下图像先后分别进行红 色通道衰减补偿处理和白平衡处理，得到每张所述水下图像对应的预 处理水下图像，所述红色通道衰减补偿处理指的是针对所述待拼接图 像中每个像素，转移绿色通道值补偿红色通道值；

基于多层图像金字塔对每张所述预处理水下图像进行图像增强 处理，得到每张所述预处理水下图像对应的增强后水下图像；

基于网格优化对至少两张所述增强后水下图像进行图像配准处 理，得到配准后水下图像；

基于拉普拉斯金字塔多尺度图像融合算法对所述配准后水下图 像进行图像融合处理，得到融合后水下图像；

确认所述融合后水下图像为拼接后的水下图像，输出所述拼接后 的水下图像。

第二方面，本申请实施例提供了一种水下图像拼接装置，所述装 置包括：

获取模块，用于获取至少两张待拼接的水下图像；

预处理模块，用于将至少两张所述水下图像中每张所述水下图像 先后分别进行红色通道衰减补偿处理和白平衡处理，得到每张所述水 下图像对应的预处理水下图像，所述红色通道衰减补偿处理指的是针 对所述待拼接图像中每个像素，转移绿色通道值补偿红色通道值；

增强处理模块，用于基于多层图像金字塔对每张所述预处理水下 图像进行图像增强处理，得到每张所述预处理水下图像对应的增强后 水下图像；

配准处理模块，用于基于网格优化对至少两张所述增强后水下图 像进行图像配准处理，得到配准后水下图像；

融合处理模块，用于基于拉普拉斯金字塔多尺度图像融合算法对 所述配准后水下图像进行图像融合处理，得到融合后水下图像；

输出模块，用于确认所述融合后水下图像为拼接后的水下图像， 输出所述拼接后的水下图像。

第三方面，本申请实施例提供了一种电子设备，电子设备，其特 征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理 器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如 第一方面任一所述的水下图像拼接方法的步骤。

本申请实施例提供的水下图像拼接方法及装置，通过将获取的至 少两张待拼接的水下图像中每张水下图像先后分别进行红色通道衰 减补偿处理和白平衡处理，得到每张水下图像对应的预处理水下图像。 基于多层图像金字塔对每张预处理水下图像进行图像增强处理，得到 每张预处理水下图像对应的增强后水下图像。基于网格优化对至少两张增强后水下图像进行图像配准处理，得到配准后水下图像。基于拉 普拉斯金字塔多尺度图像融合算法对配准后水下图像进行图像融合 处理，得到融合后水下图像，该融合后水下图像为拼接后的水下图像。 实现了一种水下图像拼接方法。在此基础上，拼接后的水下图像具有 较大视场，解决了水下图像视野受限的问题。并且该方法中对待拼接 的水下图像进行红色通道衰减补偿处理和白平衡处理解决了因红色 光在水中传播存在易吸收和衰减快等因素造成的水下图像色差，且基 于多层图像金字塔的图像增强方法也增强了水下图像的细节信息和 对比度，避免了水下图像经常出现的边缘和细节模糊等问题。基于网 格优化的图像配准处理提升了图像配准精度。基于拉普拉斯金字塔多 尺度图像融合算法，解决了配准后图像的重叠区域边界处存在重影与 缝隙等过渡不均匀问题，提高了图像质量。

附图说明

图1是本申请实施例提供的一种水下图像拼接方法的流程示意 图；

图2是本申请实施例提供的另一种水下图像拼接方法的流程示 意图；

图3是本申请实施例提供的一种图像增强处理的算法流程图；

图4是本申请实施例提供的一种确定初始旋转角度以及初始尺 寸比例方法的流程示意图；

图5是本申请实施例提供的一种得到配准后水下图像方法的流 程示意图；

图6是本申请实施例提供的又一种水下图像拼接方法的流程示 意图；

图7是本申请实施例提供的一种水下图像拼接装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方 案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实 施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技 术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属 于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于 区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这 样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除 了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所 区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是 一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连 接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或” 的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例 提供的水下图像拼接方法进行详细地说明。

水下图像又称水下光学图像，指的是利用无人潜水器或者水下航 行器等水下图像设备拍摄的位于水面下方的图像。其与传统的水上图 像不同，由于光在水中传播时存在严重的衰减、散射和吸收，水下图 像经常出现色彩失真、细节模糊、对比度和清晰度较低等质量问题以 及视野受限等视场问题。为了解决上述问题，将多幅具有重叠区域的 单一水下图像进行增强、配准与融合，拼接形成一幅具有较大视场的 高质量图像成为克服水下视野小的有效手段。

鉴于图像信息的差异性，目前常用的图像拼接方法主要分为三种： 基于灰度的图像拼接方法、基于空间变换域的图像拼接方法和基于特 征匹配的图像拼接方法。在实现本申请过程中，发明人发现现有技术 中至少存在如下问题：

1、没有考虑水下光照变化、色彩失真等因素的影响，导致拼接 后的图像普遍呈现偏蓝绿色，清晰度与对比度都较低，视觉效果较差。

2、专注于提高图像重叠部分的对齐精度，但当两幅图像存在非 刚性伸缩和映射等情况时，并不能实现精准配准。

3、仅考虑了图像重叠区域的局部对齐，导致非重叠区域易出现 失真或变形，未能保持图像非重叠区域的原始视角。

4、拼接后的图像在重叠边界过渡区域出现重影、缝隙等非均匀 过度问题。

请参考图1，其示出了本申请实施例提供的一种水下图像拼接方 法的流程示意图。该水下图像拼接方法可以应用于电子设备，该电子 设备可以为个人手机、笔记本电脑等终端。其可以在一定程度上解决 上述问题。如图1所示，该方法包括：

步骤101、获取至少两张待拼接的水下图像。

步骤102、将至少两张水下图像中每张水下图像先后分别进行红 色通道衰减补偿处理和白平衡处理，得到每张水下图像对应的预处理 水下图像。红色通道衰减补偿处理指的是针对待拼接图像中每个像素， 转移绿色通道值补偿红色通道值。

步骤103、基于多层图像金字塔对每张预处理水下图像进行图像 增强处理，得到每张预处理水下图像对应的增强后水下图像。

步骤104、基于网格优化对至少两张增强后水下图像进行图像配 准处理，得到配准后水下图像。

步骤105、基于拉普拉斯金字塔多尺度图像融合算法对配准后水 下图像进行图像融合处理，得到融合后水下图像。

步骤106、确认融合后水下图像为拼接后的水下图像，输出拼接 后的水下图像。

综上所述，本申请实施例提供的水下图像拼接方法，通过将获取 的至少两张待拼接的水下图像中每张水下图像先后分别进行红色通 道衰减补偿处理和白平衡处理，得到每张水下图像对应的预处理水下 图像。基于多层图像金字塔对每张预处理水下图像进行图像增强处理， 得到每张预处理水下图像对应的增强后水下图像。基于网格优化对至 少两张增强后水下图像进行图像配准处理，得到配准后水下图像。基 于拉普拉斯金字塔多尺度图像融合算法对配准后水下图像进行图像 融合处理，得到融合后水下图像，该融合后水下图像为拼接后的水下 图像。实现了一种水下图像拼接方法。在此基础上，拼接后的水下图 像具有较大视场，解决了水下图像视野受限的问题。并且该方法中对 待拼接的水下图像进行红色通道衰减补偿处理和白平衡处理解决了 因红色光在水中传播存在易吸收和衰减快等因素造成的水下图像色 差，且基于多层图像金字塔的图像增强方法也增强了水下图像的细节 信息和对比度，避免了水下图像经常出现的边缘和细节模糊等问题。 基于网格优化的图像配准处理提升了图像配准精度。基于拉普拉斯金 字塔多尺度图像融合算法，解决了配准后图像的重叠区域边界处存在 重影与缝隙等过渡不均匀问题，提高了图像质量。

请参考图2，其示出了本申请实施例提供的一种水下图像拼接方 法的流程图。该水下图像拼接方法可以应用于电子设备，该电子设备 可以为个人手机、笔记本电脑等终端。如图1和图2所示，该方法包 括：

步骤101、获取至少两张待拼接的水下图像。

图2中，步骤201也执行获取至少两张待拼接的水下图像。至少 两张待拼接的水下图像指的是两张或者两张以上的待拼接的水下图 像。本申请实施例以下均以电子设备获取两张待拼接的水下图像为例 进行说明。该两张待拼接的水下图像可以为第一水下图像I

其中，该两张待拼接的水下图像可以是对同一大场景进行两个角 度拍摄得到的。该两张待拼接的水下图像具有公共部分，因此，可以 对该两张待拼接的水下图像进行后续图像增强(又称图像预处理)、 图像配准和图像融合三部分处理，以输出一张水下图像。本申请实施 例中，图像增强处理包括第一预处理阶段和第二预处理阶段。该第一 预处理阶段可以为步骤102，第二预处理阶段可以为步骤103。图像 配准处理可以为步骤104。图像融合处理可以为步骤105。

图像增强处理：

请参考图3，其示出了本申请实施例提供的图像增强处理的算法 流程图。图像增强处理中，第一预处理阶段为色彩平衡与恢复阶段， 包括先进行原始水下图像输入，然后进行红色通道衰减补偿处理，之 后进行白平衡处理。第二预处理阶段为边缘细节增强阶段，包括对白 平衡处理后的结果分别进行伽马校正和边缘锐化，然后将伽马校正的 结果和边缘锐化的结果进行多尺度图像金字塔融合，之后进行增强后 图像输出。

步骤102、将至少两张水下图像中每张水下图像先后分别进行红 色通道衰减补偿处理和白平衡处理，得到每张水下图像对应的预处理 水下图像。

其中，红色通道衰减补偿处理指的是针对待拼接图像中每个像素， 转移绿色通道值补偿红色通道值。由于光在水下传播时，波长较长的 红色光衰减程度最为严重，而绿色光因其波长较短衰减程度较弱，因 此，对于每张待拼接的水下图像，可以对该水下图像中每个像素进行 红色通道衰减补偿处理，以补偿因红色光在水下传播存在易吸收和衰 减快等因素所造成的水下图像色差，恢复水下图像的自然外观。其中， 对该水下图像中每个像素进行红色通道衰减补偿处理可以理解为对 每个像素位置通过转移部分绿色信息对图像的红色通道值进行补偿。

可选的，电子设备将至少两张水下图像中每张水下图像先后分别 进行红色通道衰减补偿处理和白平衡处理，得到每张水下图像对应的 预处理水下图像的过程可以包括：

步骤202、针对每张待拼接水下图像中的每个像素，采用补偿公 式，确定补偿后的水下图像中每个像素补偿后的红色通道值，得到每 张水下图像对应的补偿后水下图像。

其中，补偿公式满足：

C

步骤203、利用Gray-World算法对每个补偿后水下图像进行白平 衡处理，得到预处理水下图像。

电子设备可以利用Gray-World算法对每个补偿后水下图像进行白 平衡处理，以去除水下图像表面偏蓝绿色的雾状外观，恢复水下图像 的真实颜色。

步骤103、基于多层图像金字塔对每张预处理水下图像进行图像 增强处理，得到每张预处理水下图像对应的增强后水下图像。

由于水下图像的边缘和细节信息均会受到水体散射的影响，因此 水下图像在经过白平衡处理后，会存在图像边缘和细节模糊等问题。 为了解决该问题，电子设备可以采用伽马校正、边缘锐化以及图像金 字塔多尺度权重融合方法对每个预处理水下图像进行处理。

可选的，电子设备可以基于多层图像金字塔对每张预处理水下图 像进行图像增强处理，以解决该问题的过程可以包括：

步骤204、针对每张预处理水下图像，分别进行伽马校正处理和 边缘锐化处理，得到伽马校正后水下图像和边缘锐化后水下图像。

步骤205、分别对伽马校正后水下图像和边缘锐化后水下图像进 行分解处理，依次得到伽马校正后的第一拉普拉斯图像金字塔和边缘 锐化后的第一拉普拉斯图像金字塔。

该伽马校正后的第一拉普拉斯图像金字塔可以表示为L

步骤206、分别确定三个权重图，三个权重图包括拉普拉斯对比 度权重图、物体显著性权重图和饱和度控制权重图。

电子设备分别确定拉普拉斯对比度权重图W

步骤207、将三个权重图相加，并将结果进行归一化处理，得到 归一化权重图。

其中，电子设备将三个权重图线性相加，并将结果进行线性归一 化处理，得到归一化权重图

步骤208、将归一化权重图进行分解处理，得到第一高斯图像金 字塔，第一高斯图像金字塔的层数与第一拉普拉斯图像金字塔的层数 相同。

电子设备将权重图

步骤209、基于多尺度融合方法公式，对第一拉普拉斯图像金字 塔和第一高斯图像金字塔进行对应层的融合，得到增强后水下图像。

电子设备基于多尺度融合方法公式，对第一拉普拉斯图像金字塔 和第一高斯图像金字塔进行对应层的融合，也即是电子设备将预处理 水下图像(输入图像)与归一化权重图在金字塔每一层上进行独立计 算，其计算公式为多尺度融合公式。其中，金字塔包括第一拉普拉斯 图像金字塔和第一高斯图像金字塔。多尺度融合方法公式满足：

I

本申请实施例中，通过对待拼接的水下图像进行红色通道补偿和 白平衡处理解决了因红色光在水中传播存在易吸收和衰减快等因素 造成的水下图像色差，修复水下图像的颜色。并且基于多层图像金字 塔的图像增强方法中，采用伽马校正、边缘锐化以及图像金字塔多尺 度融合方法增强了水下图像的细节信息和对比度，避免了水下图像经 常出现的边缘和细节模糊等问题。

图像配准处理：

步骤104、基于网格优化对至少两张增强后水下图像进行图像配 准处理，得到配准后水下图像。

电子设备在将待拼接的水下图像进行上述图像增强处理后，可以 对图像增强处理后的待拼接的水下图像(也即是增强后水下图像)进 行图像配准处理。

可选的，电子设备基于网格优化对至少两张增强后水下图像进行 图像配准处理，得到配准后水下图像的过程可以包括：

步骤210、基于SIFT算法，提取至少两张增强后水下图像的特 征点，选取特征点对并进行匹配，以完成至少两张增强后水下图像对 齐。

电子设备可以基于尺度不变特征变换(Scale-invariant feature transform，SIFT)算法提取每个增强后水下图像的特征点，然后选取 特征点对并进行匹配，以完成两张增强后水下图像的对齐。其中，特 征点对用于反映增强后水下图像之间的特征点的关系。

可选的，电子设备基于SIFT算法，提取至少两张增强后水下图 像的特征点，选取特征点对并进行匹配，以完成至少两张增强后水下 图像对齐的过程还可以包括：基于SIFT算法，提取至少两张增强后 水下图像的特征点。采用随机抽取一致性(Random SampleConsensus， RANSAC)算法对提取的特征点进行筛选，基于筛选后的理想特征点 选取特征点对并进行匹配。

步骤211、采用APAP算法为每张增强后水下图像分配一个网格， 并基于至少两张增强后图像对齐结果和网格中方格顶点生成匹配点， 将匹配点替换增强后水下图像的特征点。

电子设备可以采用APAP算法为每张增强后水下图像分配一个 网格，并基于至少两张增强后图像对齐结果和网格中方格顶点生成匹 配点，将匹配点替换增强后水下图像的特征点完成后续的配准过程。 其中，采用APAP算法基于特征点对匹配结果和网格生成的匹配点p

步骤212、基于网格中每个方格对应的单应性矩阵，确定至少两 张增强后水下图像之间的初始旋转角度以及每个增强后水下图像的 初始尺寸比例。

电子设备可以在基于APAP算法生成两张增强后水下图像的网 格后，基于网格中每个方格对应的单应性矩阵，确定至少两张增强后 水下图像之间的初始旋转角度以及每个增强后水下图像的初始尺寸 比例，完成两幅图像的初始配准。其中，电子设备可以分别基于该网 格，确定第一水下图像I

可选的，如图4所示，电子设备基于网格中每个方格对应的单应 性矩阵，确定至少两张增强后水下图像之间的初始旋转角度以及每个 增强后水下图像的初始尺寸比例的过程可以包括下述步骤301至步 骤302。

步骤301、基于网格中每个方格对应的单应性矩阵以及旋转角度 公式，通过最小化投影误差确定初始旋转角度。

其中，旋转角度公式满足：

R

步骤302、针对每张增强后水下图像，确定网格中每个方格对应 的增强后水下图像的焦距估计值。

示例的，电子设备可以分别确定第一水下图像I

步骤303、将所有方格对应的焦距估计值的中值确定为初始化焦 距值。

示例的，电子设备将第一水下图像I

步骤304、基于初始化焦距值和所有方格对应的焦距估计值，以 及尺寸公式，确定至少两张增强后的水下图像中每个增强后水下图像 的初始尺寸比例。

其中，尺寸公式满足：

S

示例的，继续以上述步骤301至步骤303中的例子为例，电子设 备基于第一增强后水下图像I

基于第一增强后水下图像I

步骤213、基于初始旋转角度、初始尺寸比例、精准对齐函数、 局部变形函数和全局相似函数，优化调整网格，基于优化后的网格， 融合至少两张增强后水下图像得到配准后水下图像。

可选的，如图5所示，电子设备基于初始旋转角度、初始尺寸比 例、精准对齐函数、局部变形函数和全局相似函数，优化调整网格， 基于优化后的网格，融合至少两张增强后水下图像得到配准后水下图 像的过程可以包括：

步骤401、基于精准对齐函数、局部变形函数和全局相似函数三 个约束函数，确定目标函数。

在基于网格优化的图像配准过程中，由于局部性配准和全局性配 准都可以直接决定最终拼接图像的自然性。因此，不仅需要考虑配准 局部性地尽可能保证两幅图像重叠区域的对齐和配准精度。也需要考 虑配准全局性地寻找最佳的缩放尺寸和旋转范围来保持图像原始视 角。基于此，目标函数可以基于精准对齐函数Φ

其中，目标函数满足：

具体的，精准对齐函数Φ

P

局部变形函数Φ

v

系数c(e

全局相似函数Φ

w(e

其中，相似变换函数

s

进一步，由于两张图像中重叠区域的网格四边形主要需要用于对 齐，而远离重叠区域的网格四边形主要需要用于相似性变换，缺少对 齐约束。为了确保相似变换的质量，所以权重函数w(e

权重函数w(e

β和λ均为控制全局相似函数相对重要性的常数项；Q

步骤402、当目标函数为最小值时，确定网格的优化调整完成。

步骤403、基于优化后的网格，融合至少两张增强后水下图像得 到配准后水下图像。

本申请实施例中，通过基于网格优化的图像配准方法，添加了精 准对齐、局部变形和全局相似三者相互约束的目标函数，确定两幅待 拼接图像的最佳旋转角度和缩放比例，提升了图像配准精度。

图像融合处理：

由于光在水下传播时，具有衰减、吸收和传播不均匀等问题，这 就会导致配准后的图像存在重影与缝隙。为了使得两张图像在重叠区 域的拼接边界处过渡更为平滑，因此可以采用拉普拉斯金字塔多尺度 图像融合算法对配准后水下图像进行图像融合处理(后处理)。

步骤105、基于拉普拉斯金字塔多尺度图像融合算法对配准后水 下图像进行图像融合处理，得到融合后水下图像。

可选的，电子设备基于拉普拉斯金字塔多尺度图像融合算法对配 准后水下图像进行图像融合处理，得到融合后水下图像的过程可以包 括：

步骤214、对配准后水下图像循环进行高斯滤波卷积处理和下采 样处理，得到第二高斯图像金字塔。

电子设备将配准后水下图像I

第二高斯图像金字塔G

L

步骤215、对第二高斯图像金字塔中各层图像进行上采样插值处 理，得到各层图像对应的插值后图像，任一层图像对应的插值后图像 的尺寸与任一层的前一层图像的尺寸相同。

由于第二高斯图像金字塔G

步骤216、依次确定任一层图像对应的插值后图像与任一层的后 一层图像的差值。

依次相减第二高斯图像金字塔G

步骤217、基于差值确定第二拉普拉斯图像金字塔。

第二拉普拉斯图像金字塔L

L

步骤218、从第二拉普拉斯图像金字塔的顶层图像开始，依次对 各层图像进行上采样插值处理，并将插值后的图像与下一层图像进行 叠加，直至第二拉普拉斯图像金字塔的底层图像，得到融合后水下图 像。

电子设备基于第二拉普拉斯图像金字塔构建的逆过程，以进行图 像重建，完成图像融合处理。具体的，电子设备从第二拉普拉斯图像 金字塔的顶层图像

L

本申请实施例中，通过采用拉普拉斯金字塔多尺度图像融合算法 对配准后水下图像进行图像融合处理，解决了配准后图像的重叠区域 边界处存在重影与缝隙等过渡不均匀问题。

步骤106、确认融合后水下图像为拼接后的水下图像，输出拼接 后的水下图像。

图2中，步骤219执行确认融合后水下图像为拼接后的水下图像， 输出拼接后的水下图像。可选的，电子设备可以在确定融合后水下图 像为拼接后的水下图像后，输出显示该拼接后的水下图像。

综上所述，本申请实施例提供的水下图像拼接方法，通过将获取 的至少两张待拼接的水下图像中每张水下图像先后分别进行红色通 道衰减补偿处理和白平衡处理，得到每张水下图像对应的预处理水下 图像。基于多层图像金字塔对每张预处理水下图像进行图像增强处理， 得到每张预处理水下图像对应的增强后水下图像。基于网格优化对至 少两张增强后水下图像进行图像配准处理，得到配准后水下图像。基 于拉普拉斯金字塔多尺度图像融合算法对配准后水下图像进行图像 融合处理，得到融合后水下图像，该融合后水下图像为拼接后的水下 图像。实现了一种水下图像拼接方法。在此基础上，拼接后的水下图 像具有较大视场，解决了水下图像视野受限的问题。并且该方法中对 待拼接的水下图像进行红色通道衰减补偿处理和白平衡处理解决了 因红色光在水中传播存在易吸收和衰减快等因素造成的水下图像色 差，且基于多层图像金字塔的图像增强方法也增强了水下图像的细节 信息和对比度，避免了水下图像经常出现的边缘和细节模糊等问题。 基于网格优化的图像配准处理提升了图像配准精度。基于拉普拉斯金 字塔多尺度图像融合算法，解决了配准后图像的重叠区域边界处存在 重影与缝隙等过渡不均匀问题，提高了图像质量。

请参考图6，其示出了本发明实施例提供的又一种水下图像拼接 方法的流程图。该水下图像拼接方法可以应用于电子设备，该电子设 备可以为个人手机、笔记本电脑等终端。如图6所示，该方法包括：

步骤601、导入两幅待拼接图像I

该步骤601的解释可以参考上述步骤101和步骤201的解释，本 申请实施例不做赘述。

步骤602、在每个像素位置(x)上，转移部分绿色信息对红色 通道的衰减进行补偿，并进行白平衡处理。

该步骤602的解释可以参考上述步骤102以及步骤202和步骤 203的解释，本申请实施例对此不做赘述。

步骤603、伽马矫正。

对两幅待拼接图像I

步骤604、边缘锐化。

对两幅待拼接图像I

步骤605、定义三种权重图W

分别定义拉普拉斯对比度权重图W

步骤606、分解成L

将伽马校正处理后的图像分解成L

步骤607、分解成L

将边缘锐化处理后的图像分解成L

步骤608、分解成L

将归一化权重图

步骤609、将L

该步骤609的解释可以参考上述步骤103中步骤209的解释，本 申请实施例对此不做赘述。

步骤610、利用SIFT算法提取并匹配图像I

该两幅待配准的图像指的是导入两幅待拼接图像I

步骤611、采用APAP算法分别为I

该步骤611的解释可以参考上述步骤104中步骤211的解释，本 申请实施例对此不做赘述。

步骤612、两幅图像的网格中每个小方格均生成一个单应性矩阵 K

步骤613、由两幅图像网格中小方格给出的焦距估计值f

尺寸S

步骤614、设定精准对齐、局部变形和全局相似三种约束函数， 优化调整网格，使得目标函数

最佳配准图像I

步骤615、对配准图像I

该步骤615的解释可以参考上述步骤105中步骤214的解释，本 申请实施例对此不做赘述。

步骤616、对第二高斯图像金字塔G

该步骤616的解释可以参考上述步骤105中步骤215至步骤217 的解释，本申请实施例对此不做赘述。

步骤617、从第二拉普拉斯图像金字塔L

该步骤617的解释可以参考上述步骤105中步骤218的解释，本 申请实施例对此不做赘述。

步骤618、输出拼接后的大视场图像I

该步骤618的解释可以参考上述步骤106的解释，本申请实施例 对此不做赘述。

需要说明的是，本申请实施例中拉普拉斯金字塔也称为拉普拉斯 图像金字塔，高斯金字塔图像也称为高斯图像金字塔。

综上所述，本申请实施例提供的水下图像拼接方法，通过将获取 的至少两张待拼接的水下图像中每张水下图像先后分别进行红色通 道衰减补偿处理和白平衡处理，得到每张水下图像对应的预处理水下 图像。基于多层图像金字塔对每张预处理水下图像进行图像增强处理， 得到每张预处理水下图像对应的增强后水下图像。基于网格优化对至 少两张增强后水下图像进行图像配准处理，得到配准后水下图像。基 于拉普拉斯金字塔多尺度图像融合算法对配准后水下图像进行图像 融合处理，得到融合后水下图像，该融合后水下图像为拼接后的水下 图像。实现了一种水下图像拼接方法。在此基础上，拼接后的水下图 像具有较大视场，解决了水下图像视野受限的问题。并且该方法中对 待拼接的水下图像进行红色通道衰减补偿处理和白平衡处理解决了 因红色光在水中传播存在易吸收和衰减快等因素造成的水下图像色 差，且基于多层图像金字塔的图像增强方法也增强了水下图像的细节 信息和对比度，避免了水下图像经常出现的边缘和细节模糊等问题。

请参考图7，其示出了本发明实施例提供的一种水下图像拼接装

置的框图。如图7所示，该装置800包括：

获取模块801，用于获取至少两张待拼接的水下图像。

预处理模块802，用于将至少两张水下图像中每张水下图像先后 分别进行红色通道衰减补偿处理和白平衡处理，得到每张水下图像对 应的预处理水下图像，红色通道衰减补偿处理指的是针对待拼接图像 中每个像素，转移绿色通道值补偿红色通道值。

增强处理模块803，用于基于多层图像金字塔对每张预处理水下 图像进行图像增强处理，得到每张预处理水下图像对应的增强后水下 图像。

配准处理模块804，用于基于网格优化对至少两张增强后水下图 像进行图像配准处理，得到配准后水下图像。

融合处理模块805，用于基于拉普拉斯金字塔多尺度图像融合算 法对配准后水下图像进行图像融合处理，得到融合后水下图像。

输出模块806，用于确认融合后水下图像为拼接后的水下图像， 输出拼接后的水下图像。

可选的，增强处理模块803，还用于：

针对每张预处理水下图像，分别进行伽马校正处理和边缘锐化处 理，得到伽马校正后水下图像和边缘锐化后水下图像；

分别对伽马校正后水下图像和边缘锐化后水下图像进行分解处 理，依次得到伽马矫正后的第一拉普拉斯图像金字塔和边缘锐化后的 第一拉普拉斯图像金字塔；

分别确定三个权重图，三个权重图包括拉普拉斯对比度权重图、 物体显著性权重图和饱和度控制权重图；

将三个权重图相加，并将结果进行归一化处理，得到归一化权重 图；

将归一化权重图进行分解处理，得到第一高斯图像金字塔，第一 高斯图像金字塔的层数与第一拉普拉斯图像金字塔的层数相同；

基于多尺度融合方法公式，对第一拉普拉斯图像金字塔和第一高 斯图像金字塔进行对应层的融合，得到增强后水下图像，其中，多尺 度融合方法公式满足：

I

可选的，配准处理模块804，还用于：

基于SIFT算法，提取至少两张增强后水下图像的特征点，选取 特征点对并进行匹配，以完成至少两张增强后水下图像对齐；

采用APAP算法为每张增强后水下图像分配一个网格，并基于至 少两张增强后图像对齐结果和网格中方格顶点生成匹配点，将匹配点 替换增强后水下图像的特征点；

基于网格中每个方格对应的单应性矩阵，确定至少两张增强后水 下图像之间的初始旋转角度以及每个增强后水下图像的初始尺寸比 例；

基于初始旋转角度、初始尺寸比例、精准对齐函数、局部变形函 数和全局相似函数，优化调整网格，基于优化后的网格，融合至少两 张增强后水下图像得到配准后水下图像。

可选的，至少两张增强后水下图像的数量为2，配准处理模块804， 还用于：基于网格中每个方格对应的单应性矩阵以及旋转角度公式， 通过最小化投影误差E

R

针对每张增强后水下图像，确定网格中每个方格对应的增强后水 下图像的焦距估计值。

将所有方格对应的焦距估计值的中值确定为初始化焦距值；

基于初始化焦距值和所有方格对应的焦距估计值，以及尺寸公式， 确定每个所述增强后水下图像的初始尺寸比例，

其中，尺寸公式满足：

S

可选的，配准处理模块804，还用于：

基于尺度不变特征变换SIFT算法，提取至少两张增强后水下图 像的特征点；

采用RANSAC算法对提取的特征点进行筛选，基于筛选后的理 想特征点选取特征点对并进行匹配。

可选的，配准处理模块804，还用于：

基于精准对齐函数、局部变形函数和全局相似函数三个约束函数， 确定目标函数，目标函数满足：

当目标函数为最小值时，确定网格的优化调整完成；

基于优化后的网格，融合至少两张增强后水下图像得到配准后水 下图像。

可选的，融合处理模块805，还用于：

对配准后水下图像循环进行高斯滤波卷积处理和下采样处理，得 到第二高斯图像金字塔；

对第二高斯图像金字塔中各层图像进行上采样插值处理，得到各 层图像对应的插值后图像，任一层图像对应的插值后图像的尺寸与任 一层的前一层图像的尺寸相同；

依次确定任一层图像对应的插值后图像与任一层的后一层图像 的差值；

基于差值确定第二拉普拉斯图像金字塔；

从第二拉普拉斯图像金字塔的顶层开始，依次对各层图像进行上 采样插值处理，并将插值后的图像与下一层图像进行叠加，直至第二 拉普拉斯图像金字塔的最后一层，得到融合后水下图像。

可选的，预处理模块802，还用于：

针对每张水下图像中的每个像素，采用补偿公式，确定补偿后的 水下图像中每个像素补偿后的红色通道值，得到每张水下图像对应的 补偿后水下图像；

利用Gray-World算法对每个补偿后水下图像进行白平衡处理， 得到预处理水下图像；

其中，补偿公式满足：

C

综上所述，本申请实施例提供的水下图像拼接装置，通过预处理 模块将获取的至少两张待拼接的水下图像中每张水下图像先后分别 进行红色通道衰减补偿处理和白平衡处理，得到每张水下图像对应的 预处理水下图像。增强处理模块基于多层图像金字塔对每张预处理水 下图像进行图像增强处理，得到每张预处理水下图像对应的增强后水 下图像。配准处理模块基于网格优化对至少两张增强后水下图像进行 图像配准处理，得到配准后水下图像。融合处理模块基于拉普拉斯金 字塔多尺度图像融合算法对配准后水下图像进行图像融合处理，得到 融合后水下图像，该融合后水下图像为拼接后的水下图像。实现了一 种水下图像拼接方法。在此基础上，拼接后的水下图像具有较大视场， 解决了水下图像视野受限的问题。并且该方法中对待拼接的水下图像 进行红色通道衰减补偿处理和白平衡处理解决了因红色光在水中传 播存在易吸收和衰减快等因素造成的水下图像色差，且基于多层图像 金字塔的图像增强方法也增强了水下图像的细节信息和对比度，避免 了水下图像经常出现的边缘和细节模糊等问题。基于网格优化的图像 配准处理提升了图像配准精度。基于拉普拉斯金字塔多尺度图像融合 算法，解决了配准后图像的重叠区域边界处存在重影和缝隙等过渡不 均匀问题，提高了图像质量。

本申请实施例还提供一种电子设备。该电子设备包括处理器，存 储器及存储在所述存储器上并可在所述处理器上运行的程序或指令， 所述程序或指令被所述处理器执行时实现本申请实施例提供的水下 图像拼接方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于 上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是 限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申 请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于 本申请的保护之内。