一种基于深度学习的水下热扰动图像复原的系统及方法

技术领域

本发明涉及水下热扰动图像复原技术领域，具体是一种基于深度学习的水下热扰动图像复原的系统及方法。

背景技术

海洋占据了地球表面的71％，在未来，对未知海洋的探索无疑是人类研究的重大课题之一。然而，在水下进行图像采集的时候，图像质量会遇受到诸多因素的影响，例如水体浑浊，水的吸收，水环境温度分布不均等。而水下热扰动是其中的一个重要因素。其是由水下热源形成了温度场，佐以水下不均匀的水环境密度变化而产生的动态场引起的。根据斯涅尔定律，在水体不断产生流动时，光线在水环境中的折射率会不断发生变化，这给进行高质量，高精度的水下图像采集带来了严峻的挑战。

近年来，国内外的研宄学者对如何处理水下水下扭曲图像，提高图像质量，提出了不同方法，水下扭曲图像处理技术主要分为三大类，分别是基于‘幸运块’的传统方法、基于成像模型的图像复原技术和新兴起的基于深度学习的方法。Wen等人则是提出了基于双谱分析技术的幸运块融合方法，将扭曲图像分割成不同的重叠的区域，并舍弃掉失真的区域，而后通过使用双谱分析技术，计算出每个“幸运块”的傅里叶幅值与相位，然后将不失真的部分进行拼接，最后再重建并输出无扭曲的图像。Tian等人则是提出了一种基于模型的跟踪算法来处理水下扭曲图像序列,通过结合数据驱动的梯度下降算法，迭代恢复出扭曲图像。Li等人提出了基于生成对抗网络的两步单帧扭曲图像恢复算法，其作用是学习水下扭曲图像的扭曲场，而后依据通过插值的方法对扭曲进行恢复，然而这种方法恢复出来的图像通常比较模糊。

这些方法存在较大的局限性，在图像数量较少的情况下这些方法的实用性便大大降低。在二十世纪末到二十一世纪初这段时间，机器学习发展迅速，而近些年兴起的深度学习技术使得使用水下扭曲图像进行图像恢复成为了可能。相比较于耗时长，要求大量图片的传统方法，基于深度学习技术的水下扭曲图像处理技术适用范围更广，工业价值更大，因此对基于深度学习的水下扭曲图像的恢复算法研究显得越发的重要。

在进行水下作业的过程中，图像无疑是最为重要的信息来源之一。在未知的水下领域进行探索的过程中，清晰的水下图像是高效工作，以及作业者人身安全的重要保障。然而在水下的光学环境与陆地截然不同，存在光照不足，吸收等问题严重，制约着图像的采集。致使一大部分水下作业如水下矿物勘探、水下导航、水下军事侦察等无法顺利开展。近年来，许多人对水下成像采取了诸多改进方法，在增强图像质量方面取得一定的成果。但其研究对象大抵都处于一个理想环境中，对复杂水环境下的图像修复少之又少。然而，在水体水流湍急的情况下，成像光路存在热源时，热流叠加水流会产生一个非均匀的动态场，会直接导致采集的图像发生失真，模糊等问题，而这类情况在自然水体的勘测中并不罕见。因此，对在水体热扰动情况下的图像复原技术研究十分重要。

发明内容

本发明的目的在于提供一种基于深度学习的水下热扰动图像复原的系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于深度学习的水下热扰动图像复原的系统，包括桶体，所述桶体的底部内壁中心部位设置有目标板，所述目标板的两侧均设置有加热棒，作为形成热扰动的热源，所述桶体内腔位于目标板的正上方处设置有水下相机，所述水下相机顶端设置有电动伸缩杆，用以获得不同距离下的目标板图像，所述桶体的内壁设置有温度计，用以实时显示桶内的水温，所述桶体的顶端一侧设置有照明灯，且所述桶体的两侧不同高度处设置有三组对流孔，实验时接入水流，模拟水流环境。

作为本发明进一步的方案：所述桶体为顶端开口的圆柱体结构。

作为本发明再进一步的方案：所述目标板的图像为黑白条纹状。

作为本发明再进一步的方案：所述桶体外壁分别设置有温度显示仪及加热开关，且所述温度显示仪与温度计电性连接，所述加热开关与加热棒电性连接，在进行实验时，可以根据需要调节热源温度。

作为本发明再进一步的方案：所述电动伸缩杆为金属材料制成，且所述电动伸缩杆竖直分布于桶体内腔，所述电动伸缩杆的顶端通过固定板与桶体的顶端固定连接。

作为本发明再进一步的方案：所述水下相机上设置有无线收发模块，且所述水下相机通过WiFi连接计算机，所述计算机上设置有数据处理平台。

作为本发明再进一步的方案：所述数据处理平台用以对水下相机采集到的图像进行配准，通过python对不同距离下的图像进行配准，并裁剪出有效图像，再通过一定的图形质量评估方法对不同高度下的热扰动和水体扰动图像影响进行分析，总结在湍急水体下的热扰动图像失真规律。

作为本发明再进一步的方案：三组所述对流孔之间的高度间隔20cm，且所述对流孔内设置有密封装置。

本发明还公开了一种基于深度学习的水下热扰动图像复原的方法，包括如下步骤：

S101、在桶体内设计三个图像采集点，分别为距离目标板20cm处为L1、40cm处为L2、60cm处为L3，与三组对流孔的高度相同。

S201、将桶体中灌满水，将水下相机置于L1处，打开照明灯，待水体平静后，先采集无干扰图像20幅作为参考图样，然后打开加热装置及L1处水流对流孔，通过温度显示仪实时监测温度变化，待温度不再变化，扰动情况稳定时，通过水下相机对图像进行采集，在L2，L3处采取同样的实验方法获取图像。

S301、将采集到的图像通过wifi发送至计算机，通过数据处理平台，以进行后续的图像失真规律总结。

作为本发明再进一步的方案：所述图像失真规律总结方法如下：

通过结构相似形特征对图像进行综合评价，用以评定热扰动对图像的影响，并用以评价算法优化效果；

结构相似形特征可以分别从亮度、对比度、结构三方面度量两幅图像的相似性，具体实现方法如下：

对轴向上不同深度的无热扰动和水扰动条件下的目标靶进行采集，作为相似性分析的参考图像，再分别采集同样条件下含有热扰动和水扰动的图像作为待测图像，最后通过相似性分析方法得到相似性结构值。

通过基于统计学的灰度分析方法对图像扭曲及对比度变化进行评价；

利用Python对扰动前后图像进行配准，得到尺寸一致的图像；提取扰动前后图像的一系列像素点的灰度值，以像素点位置为横坐标，该点灰度值为纵坐标，利用Matlab绘制二维曲线，通过比对扰动前后曲线区别，获知热扰动和水扰动对图像扭曲及对比度的影响。

通过灰度方差评价函数对图像清晰度进行评价；

在有水流及热扰动的影响下，水下成像图片存在模糊的情况，对于图像的清晰度分析可以采用SMD(灰度方差)评价函数。当完全聚焦时，图像最清晰，图像中的高频分量也最多，故可将灰度变化作为聚焦评价的依据，灰度方差法的公式如下：

D(f)＝∑

式中f(x,y)代表(x,y)坐标处的灰度值。

与现有技术相比，本发明的有益效果是：

1、本发明通过模拟水下热扰动环境，设计水下热扰动图像采集系统，采取不同深度下的水下热扰动图像，与无扰动图像相比较，基于图像处理技术，选取合适的图像质量评判标准，分析水下热扰动光学成像的规律，根据所得到的规律，基于深度学习的方法，设计深度学习模型，对水下热扰动图像进行复原，以便于获取清晰的水下场景信息，对科研、军事以及人道救援等方面做出有利贡献。

2、通过自主设计水下热扰动图像采集系统，模拟水下热扰动环境，实现不同(深度、热扰动强度等)条件下水下热扰动图像的采集。

3、通过设计水下热扰动图像分析实验方法，根据图像处理技术，从多个角度分析水下热扰动对水下光学成像的影响规律，便于水下热扰动图像的复原。

4、结合深度学习，设计深度学习模型，训练收集的水下热扰动图像，从中学习水下热扰动光学成像的规律，智能化地实现水下热扰动图像的高精度复原。

附图说明

图1为一种基于深度学习的水下热扰动图像复原的系统的结构示意图。

图2为一种基于深度学习的水下热扰动图像复原的系统中内部结构示意图。

图3为一种基于深度学习的水下热扰动图像复原的系统中水下相机与数据处理平台的连接图。

图4为一种基于深度学习的水下热扰动图像复原的系统中生成器结构框架图。

图中：1、桶体；2、电动伸缩杆；3、照明灯；4、固定板；5、对流孔；6、温度显示仪；7、加热开关；8、温度计；9、水下相机；10、目标板；11、加热棒。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1～4，本发明实施例中，一种基于深度学习的水下热扰动图像复原的系统，包括桶体1，所述桶体1的底部内壁中心部位设置有目标板10，所述目标板10的两侧均设置有加热棒11，作为形成热扰动的热源，所述桶体1内腔位于目标板10的正上方处设置有水下相机9，所述水下相机9顶端设置有电动伸缩杆2，用以获得不同距离下的目标板10图像，所述桶体1的内壁设置有温度计8，用以实时显示桶内的水温，所述桶体1的顶端一侧设置有照明灯3，且所述桶体1的两侧不同高度处设置有三组对流孔5，实验时接入水流，模拟水流环境。

所述桶体1为顶端开口的圆柱体结构。

所述目标板10的图像为黑白条纹状。

所述桶体1外壁分别设置有温度显示仪6及加热开关7，且所述温度显示仪6与温度计8电性连接，所述加热开关7与加热棒11电性连接，在进行实验时，可以根据需要调节热源温度。

所述电动伸缩杆2为金属材料制成，且所述电动伸缩杆2竖直分布于桶体1内腔，所述电动伸缩杆2的顶端通过固定板4与桶体1的顶端固定连接。

所述水下相机9上设置有无线收发模块，且所述水下相机9通过WiFi连接计算机，所述计算机上设置有数据处理平台。

所述数据处理平台用以对水下相机9采集到的图像进行配准，通过python对不同距离下的图像进行配准，并裁剪出有效图像，再通过一定的图形质量评估方法对不同高度下的热扰动和水体扰动图像影响进行分析，总结在湍急水体下的热扰动图像失真规律。

三组所述对流孔5之间的高度间隔20cm，且所述对流孔5内设置有密封装置。

本发明还公开了一种基于深度学习的水下热扰动图像复原的方法，包括如下步骤：

S101、在桶体1内设计三个图像采集点，分别为距离目标板20cm处为L1、40cm处为L2、60cm处为L3，与三组对流孔5的高度相同。

S201、将桶体1中灌满水，将水下相机9置于L1处，打开照明灯3，待水体平静后，先采集无干扰图像20幅作为参考图样，然后打开加热装置及L1处水流对流孔5，通过温度显示仪实时监测温度变化，待温度不再变化，扰动情况稳定时，通过水下相机9对图像进行采集，在L2，L3处采取同样的实验方法获取图像。

S301、将采集到的图像通过wifi发送至计算机，通过数据处理平台，以进行后续的图像失真规律总结。

所述图像失真规律总结方法如下：

通过结构相似形特征对图像进行综合评价，用以评定热扰动对图像的影响，并用以评价算法优化效果；

结构相似形特征可以分别从亮度、对比度、结构三方面度量两幅图像的相似性，具体实现方法如下：

对轴向上不同深度的无热扰动和水扰动条件下的目标靶进行采集，作为相似性分析的参考图像，再分别采集同样条件下含有热扰动和水扰动的图像作为待测图像，最后通过相似性分析方法得到相似性结构值。

通过基于统计学的灰度分析方法对图像扭曲及对比度变化进行评价；

利用Python对扰动前后图像进行配准，得到尺寸一致的图像；提取扰动前后图像的一系列像素点的灰度值，以像素点位置为横坐标，该点灰度值为纵坐标，利用Matlab绘制二维曲线，通过比对扰动前后曲线区别，获知热扰动和水扰动对图像扭曲及对比度的影响。

通过灰度方差评价函数对图像清晰度进行评价；

在有水流及热扰动的影响下，水下成像图片存在模糊的情况，对于图像的清晰度分析可以采用SMD(灰度方差)评价函数。当完全聚焦时，图像最清晰，图像中的高频分量也最多，故可将灰度变化作为聚焦评价的依据，灰度方差法的公式如下：

D(f)＝∑

式中f(x,y)代表(x,y)坐标处的灰度值。

设计深度学习模型；

1)、拟采用生成式对抗网络(Generative Adversarial Networks,GAN)的深度学习模型：

生成式对抗网络是基于可微生成器网络的另一种生成式建模方法。基于博弈论场景，生成器网络(Generator,G)必须与对手竞争，其中生成器对一个随机噪声信号直接产生样本x＝g(z；θ

在生成器与判别器两个网络互相博弈的过程中，两个网络的能力都不断提高：生成器生成的图样越来越真实，而判别器对判断图像真假的能力也越发增强，当生成器的能力强化到一定程度时，便可以把生成器生成的图像直接拿来作为真实图像。

2)、在生成式对抗的网络的基础上，拟通过pix2pix对抗网络模型实现图像复原：

传统的生成式对抗网络是通过输入随机噪声生成随机图像，没有用户控制能力，且图像分辨率低，质量低。

pix2pix在传统的生成式对抗网络基础上进行改动，生成器G的不再输入随机噪声，而是以用户给定的原始草图作为输入，同时，将生成器G输入与输出相叠加作为判别器D的输入。以此实现系统按照用户提供的框架生成图像而非生成随机图像的功能，这样让系统拥有了用户控制能力。

在pix2pix对抗网络模型的框架下，我们可以将扰动前、扰动后的成对图像制成训练集，结合水下热扰动图像退化规律，搭建深度学习网络，并利用训练集对该网络进行训练，不断提升网络的判别能力和生成高质量图像的能力，最终达到对水下热扰动退化图像精度复原，输出高质量图像的效果。

3)、针对我们的研究内容，生成器结构框架如图4所示：

水下热干扰图像先通过输入层进行低层次特征提取；而后通过降采样层对特征图降采样，减小特征图大小；然后将图像输入三个密集连接块，进行高层次特征提取；然后通过升采样层恢复出图像的原始大小；最后通过输出层给出生成的图像。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。