一种基于通道共享时空网络的自适应光学图像盲复原方法

技术领域

本发明属于自适应光学图像处理技术领域，涉及一种基于通道共享时空网络的自适应光学图像盲复原方法。

背景技术

大气湍流的存在会引起光波的波前严重畸变，影响地基望远镜对目标的观测。因此，地基望远镜对目标的成像分辨率远低于预期的理论衍射极限，严重影响成像质量。

为了缓解这些问题，地基望远镜通常使用自适应光学技术来补偿大气湍流的影响。它通过一个波前传感器实时测量大气扰动，并通过一个变形镜实时补偿大气湍流引起的波前畸变。自适应光学技术可以显著降低低阶像差，有效地改善光学系统的成像质量。

但是，由于自适应光学系统自身硬件的限制,自适应光学系统对波前畸变的校正是部分的、不完全的，目标的高频信息大量丢失。为了进一步提高自适应光学图像的质量，必须对自适应光学图像进行后处理。

在图像处理领域，图像退化过程一般可以表示为：

g(x,y)＝f(x,y)*h(x,y)+n(x,y)

其中，g(x,y)为输出图像，f(x,y)为输入图像，h(x,y)为点扩散函数，n(x,y)为加性噪声，“*”是二维循环卷积，根据退化图像g(x,y)估计潜在清晰图像的过程称为图像解卷积或复原；如果点扩散函数未知，则称为图像盲解卷积或图像盲复原。

目前主要有四种用于自适应光学图像后处理的方法，斑点成像技术、相位差法、盲解卷积算法、基于深度学习的方法。斑点成像技术利用大气湍流的统计信息重建大气湍流的相位和振幅，通常需要上百帧的短曝光图像才能完成一次重建；相位差法利用一组聚焦图像和一组离焦图像的图像强度来建立误差度量，通过最小化误差度量，重建出目标和点扩散函数，它需要额外的成像设备，且算法对系统参数敏感，在实际应用中还存在一些技术难点；盲解卷积算法直接从单帧或几帧模糊图像中同时重建目标和点扩散函数，然而盲解卷积问题通常是一个病态逆问题，因此需要大量先验信息对算法的求解加以约束，否则难以获得理想的处理结果；基于深度学习的方法利用大量的模糊-清晰图像对，对深度神经网络进行训练，从而学习到模糊图像和清晰图像之间的非线性映射关系，最终利用训练好的网络，复原出清晰的图像。现有的基于深度学习的自适应光学图像盲复原方法有用于人眼视网膜图像去模糊的Retinal-CNN(参见Fei X,Zhao J,Zhao H,et al.Deblurringadaptive optics retinal images using deep convolutional neural networks[J].BiomedOpt Express,2017,8(12):5675-5687.)，用于太阳自适应光学图像去模糊的Encoder-DNN和Recurent-DNN(参见Ramos AA,De La Cruz Rodríguez J,YabarAP.Real-time multiframeblinddeconvolution ofsolar images[J].Astronomy&Astrophysics,2018,620:A73.)，Retinal-CNN只有五个卷积层；Encoder-DNN是加了对称跳跃连接的标准的编解码器网络结构；Recurent-DNN是循环神经网络结构。

现有的基于深度学习的自适应光学图像盲复原方法都假设输入图像是空不变的，因此当点扩散函数是空变时，它们都不能很好地复原出潜在清晰图像，且用于训练的损失函数只有均方误差损失函数，复原的结果严重失真。因此需要构造一个可以用于处理空变点扩散函数的网络。

发明内容

针对上述研究的问题，本发明提出了一种基于通道共享时空网络的自适应光学图像盲复原方法，能够显著提高自适应光学图像的对比度和视觉效果，复原效果好，速度快，泛化性能强。

为了达到上述目的，本发明采用如下技术方案：

本发明公开了一种基于通道共享时空网络的自适应光学图像盲复原方法，包括以下步骤：

A1，首先通过地基望远镜得到自适应光学图像，然后通过斑点重建技术得到自适应光学图像对应的理想清晰图像；

A2，构建用于训练的通道共享时空网络模型，该网络包括特征提取网络、通道共享时空滤波自适应网络和重建网络，特征提取网络包含三个超级块，每个超级块都包含一个卷积层和三个残差块，第一个超级块中卷积层的卷积核大小为5×5，步长为1，其它超级块中卷积层的卷积核大小为5×5，步长为2；重建网络包含三个超级块，第一个超级块和第二个超级块都包含三个残差块和一个解卷积层，每个解卷积层卷积核大小为3×3，步长为2，第三个超级块包含三个残差块和一个卷积层，卷积层卷积核大小为5×5，步长为1；所述的残差块都包含两个3×3卷积层，以上卷积层都以LeakyReLU为激活函数，特征提取网络和重建网络之间有对称跳跃连接；

通道共享时空滤波自适应网络的结构为：包含7个超级块和2个通道共享滤波自适应卷积层，第一、二、三个超级块都包含一个卷积层和三个残差块，第一个超级块中卷积层的卷积核大小为5×5，步长为1，其它超级块中卷积层的卷积核大小为5×5，步长为2；第四、六个超级块都包含两个卷积层和两个残差块，卷积层卷积核大小都为3×3，步长为1；第五个超级块卷积核大小为1×1，步长为1；第七个超级块包含一个卷积层，卷积核大小为3×3，步长为1；通道共享滤波自适应卷积层应用通道共享时空滤波自适应网络生成的空变滤波器到所述特征提取网络所提取的特征的每个通道。

A3，将由步骤A1获得的自适应光学图像与对应理想清晰图像的训练集输入到由步骤A2建立的通道共享时空网络模型中，通道共享时空网络的损失函数由均方误差损失函数L

L＝L

这里λ为均方误差损失和感知损失的平衡因子，均方误差损失函数定义为：

这里C、H、W为图像的维数，R和G分别为复原图像和训练清晰图像，感知损失函数定义为：

这里Φ

A4，将待复原的自适应光学图像输入到由步骤A3训练好的通道共享时空网络模型中，得到复原后的潜在清晰图像。

与现有技术相比，本发明的有益效果表现在于：通过本发明的复原方法，可以解决现有的基于深度学习的自适应光学图像盲复原方法不能很好地去除空变模糊的问题，能够显著提高自适应光学图像的对比度和视觉效果，复原效果好，速度快，泛化性能强。

附图说明

图1是本发明实施例的基于通道共享时空网络的自适应光学图像盲复原方法的流程图；

图2是本发明实施例的通道共享时空网络的结构示意图；

图3是图2中通道共享时空滤波自适应网络的结构示意图；

图4是本发明的一个实施例，其中(a)是1792×1792的自适应光学校正图像；(b)是本发明的复原结果。

具体实施方式

下面将结合附图及具体实施方式对本发明进行详细的说明。

本发明公开了一种基于通道共享时空网络的自适应光学图像盲复原方法，其流程如图1所示，具体按照如下步骤实施：

A1，首先通过地基望远镜得到6700帧自适应光学图像，然后通过斑点重建技术得到自适应光学图像对应的理想清晰图像；

A2，构建用于训练的通道共享时空网络模型，如图2所示，该网络包括特征提取网络、通道共享时空滤波自适应网络和重建网络，特征提取网络包含三个超级块，每个超级块都包含一个卷积层和三个残差块，第一个超级块中卷积层的卷积核大小为5×5，步长为1，其它超级块中卷积层的卷积核大小为5×5，步长为2；重建网络包含三个超级块，第一个超级块和第二个超级块都包含三个残差块和一个解卷积层，每个解卷积层卷积核大小为3×3，步长为2，第三个超级块包含三个残差块和一个卷积层，卷积层卷积核大小为5×5，步长为1；所述的残差块都包含两个3×3卷积层，以上卷积层都以LeakyReLU为激活函数，特征提取网络和重建网络之间有对称跳跃连接；

如图3所示，通道共享时空滤波自适应网络的结构为：包含7个超级块和2个通道共享滤波自适应卷积层，第一、二、三个超级块都包含一个卷积层和三个残差块，第一个超级块中卷积层的卷积核大小为5×5，步长为1，其它超级块中卷积层的卷积核大小为5×5，步长为2；第四、六个超级块都包含两个卷积层和两个残差块，卷积层卷积核大小都为3×3，步长为1；第五个超级块卷积核大小为1×1，步长为1；第七个超级块包含一个卷积层，卷积核大小为3×3，步长为1；通道共享滤波自适应卷积层应用通道共享时空滤波自适应网络生成的空变滤波器到特征的每个通道。

A3，将A1得到的自适应光学图像和相应的理想清晰图像随机裁剪到128×128大小，并对数据进行随机水平翻转和垂直翻转，将训练集输入到A2建立的通道共享时空网络模型中，通道共享时空网络的损失函数由均方误差损失函数L

L＝L

这里λ为均方误差损失和感知损失的平衡因子，均方误差损失函数定义为：

这里C、H、W为图像的维数，R和G分别为复原图像和训练清晰图像，感知损失函数定义为：

这里Φ

A4，将待复原的自适应光学图像输入到由步骤A3训练好的通道共享时空网络模型中，得到复原后的潜在清晰图像。

在一个实例中，将一张大小为1792×1792的太阳自适应光学图像，经过训练好的网络后，如图4所示，图像视觉效果得到了很大的提升，一个米粒区子图对比度也从2.50提高到了5.89；根据本发明的复原方法，可以提前训练好目标神经网络，由于目标神经网络是端到端的由输入模糊图像到输出潜在清晰图像的映射，一旦训练好网络，在内存为16G的Intel i7-8700KCPU和显存为12G的NVIDIATitanXp GPU上只需要0.38s就可以完成对1792×1792大小图像的复原，有很强的实用价值；本发明不仅速度快、复原效果好，也有很好的泛化性能。

以上仅是结合本发明众多具体应用范围中的一个实施例对本发明所作的进一步详细说明，不能认定本发明的具体实施只限于这些说明。对于采用若干等同替代或明显变形，而且性能或用途相同，均落在本发明权利保护范围之内。