一种基于图像增强的水下视觉slam优化方法及系统

技术领域

本发明涉及一种水下视觉建模方法，尤其涉及一种基于图像增强的水下视觉slam优化方法及系统。

背景技术

海洋是国家安全、经济和科技发展的重要组成部分，海洋探索具有重要的战略意义，我国提出建设海洋强国的目标，致力于加强海洋科技创新、海洋资源开发与保护、海洋安全防护等方面的能力，以推动海洋经济的发展和提升国家海洋实力。水下视觉slam利用图像处理和机器学习等技术，实现无人潜航器在水下环境中进行定位与建图的方法，可以助力科研人员高效地获取海底地形数据，辅助巡查海底环境，帮助开展海洋科考工作，并且此技术方法具有成本低，能获取的信息量丰富等优点。然而，由于传统相机硬件的限制，视觉slam技术严重受到环境因素的影响，通常应用于陆上或空中能见度状况良好的场景下。在较为特殊且复杂的水下环境中，无人潜航器所带的相机等视觉传感器在采集图像信息时受水质、浑浊度、色彩衰弱、光照条件、光线的折射散射效应等因素影响，常导致图像信息模糊畸变，甚至失真，无法获取有效数据，后续难以进行特征提取匹配，严重降低无人潜航器定位精度和建图效果。因此，迫切需要设计一种能够快速自适应获取水下高清晰度图像的方法。

发明内容

发明目的：针对以上问题，本发明提出一种基于图像增强的水下视觉slam优化方法及系统，能够提高水下地图建模的精度。

技术方案：本发明所采用的技术方案是一种基于图像增强的水下视觉slam优化方法，包括以下步骤：

S1，对原始水下图像进行RGB通道分离，计算各通道的通道平均值及对应通道的自适应均衡因子，应用自适应均衡因子补偿各通道后再合并RGB通道得到颜色补偿图像；步骤S1具体包括：

(1)将水下原始图像的RGB通道分离得到三通道图像，再分别计算得到三通道的通道均值，其中红色通道均值为I

(2)设定目标均值，并根据目标均值和通道均值分别计算自适应均衡因子，公式如下：

其中，c∈{r、g、b}，T

(3)应用自适应均衡因子进行通道补偿并设定颜色保护比例，继而得到补偿后的通道值，计算公式如下：

I′

其中，c∈{r、g、b}，I′

(4)合并R、G、B通道得到颜色补偿后的图像。

S2，采用改进暗通道去雾算法和大律法阈值分割算法处理颜色补偿图像，所述改进暗通道去雾算法是通过权重系数调整控制透射率和大气光值得到去雾图像；步骤S2包括：

(1)结合水下环境与大雾天气成像原理的相似性，对水下光学成像进行建模，得到水下图像退化模型，表达式如下：

I＝t×J+(1-t)×A

其中，I为水下原始图像，J为去退化后的清晰图像，t为物体出射光没有被散射抵达相机的透射率，A为全局大气光。

(2)采用去雾算法得到暗通道先验图像的水下去退化函数，暗通道先验图像定义如下：

其中，x，y为某一像素点位置，I

(3)改进去雾算法求取大气光值的方法，采用基于大律法计算颜色补偿图像的二值化阈值并获得二值化图像，取二值化图像亮白区域对应的灰度图像的灰度中位值以及暗通道图像的最大像素值，综合两者数值设定大气光值权重系数求得全局大气光值，公式如下：

A＝(k×G

其中，A为全局大气光值，G

(4)改进去雾算法求取透射率的方法，根据暗通道图像求得归一化均值，再设定透射率权重系数，结合成像模型得到透射率值，公式如下：

其中，x为某一像素点位置，M

(5)利用水下图像退化模型获得水下去雾图像，公式如下：

其中，J(x)为水下去雾图像，I(x)为水下原始图像(颜色补偿后)，t(x)为物体出射光没有被散射抵达相机的透射率，A为大气光值。

S3，使用高斯滤波平滑去雾图像，再对原始图像与平滑图像的差异图像进行线性变换得到水下增强图像；具体包括：

(1)使用高斯滤波器处理去雾图像得到平滑图像；

(2)计算处理前图像与平滑图像的差异获得差异图像，公式如下：

D(x)＝J(x)-α×B(x)

其中，D(x)为差异图像，J(x)为高斯滤波处理前的图像，B(x)为平滑图像，α为平滑图像权重系数；

(3)对差异图像和处理前图像进行线性变换，公式如下：

L(x)＝J(x)+β×D(x)

其中，L(x)为最终增强图像，J(x)为高斯滤波处理前图像，D(x)为差异图像，β为差异图像的权重系数。

将水下增强图像输入视觉slam算法前端进行特征提取、视觉里程计和回环检测，进而得到优化的全局地图。

视觉slam前端包括特征提取、匹配和视觉里程计，视觉里程计和回环检测中的特征提取步骤包括提取Fast角点、提取Harris角点、提取GFTT角点、提取ORB描述子、特征点匹配、光流跟踪。

本发明提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于图像增强的水下视觉slam优化方法。

本发明提出一种水下增强视觉slam系统，应用于水下定位和地图构建，包括对原始水下图像进行优化，将优化后的水下增强图像输入视觉slam算法前端进行特征提取和匹配、视觉里程计以及回环检测。所述对原始水下图像进行优化包括：颜色补偿模块，用于对原始水下图像进行RGB通道分离，计算各通道的通道平均值及对应通道的自适应均衡因子，应用自适应均衡因子补偿各通道后再合并RGB通道得到颜色补偿图像；图像去雾模块，采用改进暗通道去雾算法和大律法阈值分割算法处理颜色补偿图像，所述改进暗通道去雾算法是通过大律法阈值分割算法得到大气光值A后再通过暗通道归一化均值和大气光值A控制透射率得到去雾图像；图像增强模块，用于使用高斯滤波平滑去雾图像，再对原始图像与平滑图像的差异图像进行线性变换得到水下增强图像。

有益效果：相比于现有技术，本发明具有以下优点：本发明区别于传统陆上视觉slam算法中的图像处理方法，创新性地改进算法前端，有效解决了部分因为水质、浑浊度、色彩衰弱、光照条件、光线的折射散射效应等水下环境因素导致的水下图像信息模糊畸变和失真问题，有效提高了特征提取匹配的准确率，进而提升水下无人潜航器定位精度和建图效果。进一步的，本发明公开了一种利用各通道的通道平均值及对应通道的自适应均衡因子校正水下图像色偏的方法，同时对于不同色偏程度的水下原始图像有针对性的进行颜色补偿。同时，本发明区别于传统去雾算法中的求解大气光值和透射率的方法，创新性地利用二值化图像亮白区域对应的灰度图像的灰度中位值以及暗通道图像的最大像素值根据设定的大气光值权重系数求取全局大气光值，创新性地利用暗通道图像求得归一化均值，再设定透射率权重系数，结合成像模型得到透射率值，有效减小了计算复杂度，提高了时间效率，此改进很好地适应了视觉slam算法对优化算法的效率要求。

附图说明

图1为本发明在无人潜航器上应用作业示意图；

图2为本发明对原始水下图像进行优化的具体流程图；

图3为实施例中水下光学成像模型的示意图；

图4为本发明改进优化视觉slam前端算法的具体流程图；

图5为本发明方法与其他6种方法针对不同场景水下图像增强效果对比图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

实施例1

如图1所示，本发明在无人潜航器上应用作业示意图，其包括无人潜航器1、水下视觉传感器2、微型计算机3，对作业区域进行三维环境图像构建，见重建模型4。

如图1所示，无人潜航器1头部搭载有水下视觉传感器2和微型计算机3，无人潜航器在到达指定作业区域时，由头部视觉传感器采集水下环境图像，采集到的原始图像传入内置微型计算机，微型计算机运行优化算法程序快速处理原始图像，处理结果保存在计算机存储设备中，无人潜航器利用重建模型4实现水下自主定位和导航。

如图2所示，本发明所述的基于图像增强的水下视觉slam优化方法，包括以下步骤：

S1.对原始水下图像进行RGB通道分离，计算各通道的通道平均值及对应通道的自适应均衡因子，应用均衡因子补偿再合并RGB通道得到颜色补偿图像，具体步骤如下：

1)将水下原始图像的RGB通道分离得到三通道图像，再分别计算得到三通道的通道均值，其中红色通道均值为I

2)设定目标均值，并根据目标均值和通道均值分别计算自适应均衡因子，具体公式如下：

其中，c∈{r、g、b}，T

3)应用自适应均衡因子进行通道补偿并设定颜色保护比例，继而得到补偿后的通道值，具体公式如下：

I′

其中，c∈{r、g、b}，I′

4)合并R、G、B通道得到颜色补偿后的图像。

S2.采用暗通道去雾算法和大律法阈值分割算法处理颜色补偿图像，通过权重系数调整控制透射率和大气光值快速得到去雾图像，具体步骤如下：

1)如图3所示，结合水下环境与大雾天气成像原理的相似性，对水下光学成像进行建模，得到水下图像退化模型，具体表达式如下：

I＝t×J+(1-t)×A#(3)

其中，I为水下原始图像，J为去退化后的清晰图像，t为物体出射光没有被散射抵达相机的透射率，A为全局大气光；

2)采用去雾算法原理得到暗通道先验图像的水下去退化函数，所述的暗通道先验图像定义如下：

其中，x，y为某一像素点位置，I

3)改进传统去雾算法求取大气光值的方法，采用基于大律法计算颜色补偿图像的二值化阈值并获得二值化图像，取二值化图像亮白区域对应的灰度图像的灰度中位值以及暗通道图像的最大像素值，综合两者数值设定大气光值权重系数求得全局大气光值，具体公式如下：

A＝(k×G

其中，A为全局大气光值，G

4)改进传统去雾算法求取透射率的方法，根据暗通道图像求得归一化均值，再设定透射率权重系数，结合成像模型得到透射率值，具体公式如下：

其中，x为某一像素点位置，M

5)利用水下图像退化模型获得水下去雾图像，具体公式如下：

其中，J(x)为水下去雾图像，I(x)为水下原始图像(颜色补偿后)，t(x)为物体出射光没有被散射抵达相机的透射率，A为大气光值。

S3.使用高斯滤波平滑去雾图像，再对原始图像与平滑图像的差异图像进行线性变换得到最终水下增强图像，具体步骤如下：

1)使用高斯滤波器处理去雾图像得到平滑图像；

2)计算处理前图像与平滑图像的差异获得差异图像，具体公式如下：

D(x)＝J(x)-α×B(x)#(9)

其中，D(x)为差异图像，J(x)为高斯滤波处理前的图像，B(x)为平滑图像，α为平滑图像权重系数；

3)对差异图像和处理前图像进行线性变换，具体公式如下：

L(x)＝J(x)+β×D(x)#(10)

其中，L(x)为最终增强图像，J(x)为高斯滤波处理前图像，D(x)为差异图像，β为差异图像的权重系数；

S4.如图4所示，将最终水下增强图像输入传统视觉slam算法前端进行特征提取，得到全局地图和优化视觉里程计；

将最终处理后的图像输入现有的视觉slam算法中进行ORB特征提取，采用特征点均匀化策略避免特征点过于集中，再进行特征点的匹配和地图初始化，使用词袋模型和地图点投影等方法优化匹配结果，利用匹配好的特征点进行视觉里程计解算获取相邻帧之间的位姿关系，同时，跟踪局部地图，进行局部优化。随后选择并创建关键帧，更新和优化地图点，进行局部建图并更新共视图，接着在领域关键帧中查找更多匹配对，执行局部BA，然后检查并剔除冗余的局部关键帧。回环检测线程，在关键帧队列中寻找并验证闭环关键帧，并利用闭环关系进行位姿和地图点校正。最后进行全局建图，对所有的地图点和关键帧位姿进行全局BA优化，最终拼接成全局地图。

实施例2

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于图像增强的水下视觉slam优化方法。

实施例3

在一个实施例中，提供了一种水下增强视觉slam系统，应用于水下地图构建，包括对原始水下图像进行优化，将优化后的水下增强图像输入视觉slam算法前端进行特征提取和匹配、视觉里程计和回环检测。所述对原始水下图像进行优化包括：颜色补偿模块，用于对原始水下图像进行RGB通道分离，计算各通道的通道平均值及对应通道的自适应均衡因子，应用自适应均衡因子补偿各通道后再合并RGB通道得到颜色补偿图像；图像去雾模块，采用改进暗通道去雾算法和大律法阈值分割算法处理颜色补偿图像，所述改进暗通道去雾算法是通过大律法阈值分割算法得到大气光值A后再通过暗通道归一化均值和大气光值A控制透射率得到去雾图像；图像增强模块，用于使用高斯滤波平滑去雾图像，再对原始图像与平滑图像的差异图像进行线性变换得到水下增强图像。各模块的具体实现过程在实施例1中有对应介绍，不再赘述。

效果实验

如图5所示，为本实施例与其他六种方法针对不同场景水下图像的增强效果对比图，通过比较本发明方法与其他方法的效果图可知，CLAHE、RGHS方法能一定程度上消除图像偏色，但无法修正图像色彩饱和度，并引入了部分色彩失真，DCP、ICM、UCM、UDCP方法无法完全消除图像的偏色，并所得图像的局部对比度不高且细节不清晰，本发明方法本发明方法能有效实现图像颜色失真校正，去除偏色；同时本发明所得图像的全局及局部区域对比度高，细节更清晰，因此本发明具有较好的水下图像增强效果。

本实施例用水下图像质量评价指标UIQM和图像信息熵对不同方法的实验结果进行客观对比，从表1和表2的数据可知，本发明获得的UIQM值和信息熵值均高于其他方法，这表明本发明对原始水下图像的颜色恢复、对比度和细节的增强优于其他方法。

表1.本发明和其他方法的UIQM指标值

表2.本发明和其他方法的信息熵指标值