基于全局一致性的海洋叶绿素浓度图像的补全方法及网络

技术领域

本发明属于图像处理技术领域，涉及图像补全方法，特别涉及基于全局一致性的海洋叶绿素浓度图像的补全方法及网络。

背景技术

利用深度神经网络开展海表面叶绿素浓度时空数据场补全是近年来将人工智能应用于海洋科学的重要尝试。传统方法通常基于生成模型，如生成对抗网络、重构模型，如编码器-解码器等神经网络模型，利用历史海洋数据直接对海洋叶绿素浓度补全场进行估计和补全。传统方法存在以下问题：补全不稳定、不准确，造成的原因是由于：一方面，传统方法通常采用一次补全的方式直接对缺失区域开展补全，另一方面，叶绿素浓度场的数值范围通常很大，而直接对这么大的数值范围进行估计会导致补全过程非常不稳定，同时又难以准确的估计每个点的数值，从而限制了补全的准确性。

目前，基于深度学习的海洋叶绿素浓度补全的前沿方法采用“由粗到细“的图像补全机制，大多采用两阶段的补全方法，整体结构如图1所示，首先采用海洋叶绿素浓度月均值估计周均值，然后借助待补全的海洋叶绿素浓度日数据中未缺失的部分和周均值的间的偏差值去估计缺失部分的偏差，然后再与周平均值进行叠加得到补全的日叶绿素浓度场，实现了在图像补全过程中既兼顾全局的一致性又兼顾局部的细粒度准确性，解决了基于深度学习的海洋图像补全传统方法直接补全图像造成的补全不稳定、不准确的问题。

但是，该方法存在以下问题：第一，在局部建模过程中仅利用待补全数据当天的未缺失数据，忽略了其他时刻的情况，降低结果的可靠性。例如，在海洋图像中，单一时刻海洋叶绿素浓度场不仅在数值大小上受到之前多个时刻的影响。第二，在局部建模过程中将缺失部分估计得到的偏差与周平均值进行直接叠加得到补全结果，该融合机制未充分利用全局一致性的约束性，容易引入局部的噪声干扰。例如，该方法在利用未缺失数据与周均值数据之间偏差的数据模式来估计缺失区域数据的过程中，该数据模式几乎完全依赖于未缺失数据的情况，而在海洋环境中，叶绿素浓度场通常会受到一些不可控因素的噪声干扰，例如突然出现的台风以及海洋中的涡旋等，因此，未缺失数据夹带了大量噪声的干扰，干扰了局部建模过程对缺失部分的估计，随后该方法又将局部估计的结果与周均值直接进行叠加，这种简单直接的融合方式未利用中长时序均值的全局一致性对两者的融合过程进行降噪约束，容易引入噪声的干扰，降低补全的质量。

发明内容

针对现有技术存在的不足，本发明提供基于全局一致性的海洋叶绿素浓度图像的补全方法及网络，通过全局一致性提取网络借助周均值提取出全局一致性向量，随后，时序演进相关性提取网络借助历史数据来抽取其他时刻的时序相关性向量，最后在图像补全网络中，本方法利用全局一致性向量的约束和其他时刻的时序相关性向量对叶绿素浓度图像进行补全；本发明解决了现有技术局部建模过程中未考虑其他时刻的情况的问题、未充分利用全局一致性的约束性的问题。

为了解决上述技术问题，本发明采用的技术方案是：

首先，本发明提供一种基于全局一致性的海洋叶绿素浓度图像的补全方法，包括以下步骤，分别介绍。

S1、图像数据获取：

获取不同时刻的叶绿素浓度图像SST、周平均图像、待补全图像、待补全图像的云掩码图像。

S2、全局一致性提取：

输入周平均图像、待补全图像及待补全图像的云掩码图像，通过由神经网络组成的全局信息编码器输出全局一致性向量。

S3、时序演进相关性提取：

获取不同时刻的叶绿素浓度图像SST的云掩码图像M，将不同时刻的叶绿素浓度图像SST与周平均图像作差后得到不同时刻的偏差图像，然后将偏差图像与相应的云掩码图像M一同输入由神经网络组成的时序信息编码器中，随后输出不同时刻的表征向量，最后使用由门控循环神经网络单元组成的时序建模模块来提取不同时刻的表征向量的时序相关性，输出时序相关性向量。

S4、图像补全：

将步骤S2输出的全局一致性向量和步骤S3输出的时序相关性向量输入基于U-net网络设计的全局一致性约束下的时序演进深层解码模块，该全局一致性约束下的时序演进深层解码模块基于全局一致性向量的约束和时序相关性向量对图像进行补全，输出补全的图像。

最后，补全的图像和真实的图像一同送入判别器开展整个模型的训练。

进一步的，所述全局信息编码器和时序信息编码器结构相同，包括多个门控卷积层。

进一步的，所述时序建模模块包括多个门控循环神经网络单元，不同时刻的表征向量作为时序建模模块的输入，分别输入门控循环神经网络单元1、门控循环神经网络单元2、门控循环神经网络单元3，分别简称为

其中，用隐藏状态

进一步的，所述全局一致性约束下的时序演进深层解码模块包括上下两流，上流包括多层由反卷积层和原始卷积层组成的基本神经网络层，下层包括多层由反卷积层、跳跃连接层和原始卷积层组成的神经网络层，上流处理步骤S2输出的全局一致性向量，下流处理步骤S3输出的时序相关性向量，上流中的每一层的基本神经网络层的输出都与下流中的相应输出进行f操作，其中，f操作的公式如下：

其中，

其次，本发明还提供一种基于全局一致性的海洋叶绿素浓度图像的补全网络，用于实现如前所述的基于全局一致性的海洋叶绿素浓度图像的补全方法，所述网络包括全局一致性提取网络、时序演进相关性提取网络、图像补全网络，所述全局一致性提取网络，包括全局信息编码器，用于提取全局一致性向量；所述时序演进相关性提取网络，包括时序信息编码器和时序建模模块，用于提取时序相关性向量；所述图像补全网络，包括全局一致性约束下的时序演进深层解码模块和判别器，用于利用提取的全局一致性向量和时序相关性向量对原始图像进行补全，得到补全的图像，并将补全的图像预原始图像进行判别。

与现有技术相比，本发明优点在于：

（1）本发明在时序演进相关性提取网络中，首先计算其他时刻的数据与周均值的偏差，随后通过时序建模模块来提取其他时刻的时序相关性。通过充分考虑多个时刻的偏差数据，能进一步挖掘出其他时刻的潜在信息和其变化规律，解决了现有技术在局部建模过程中未考虑其他时刻的情况的问题，提高局部建模结果的可靠性，提高图像补全的准确性；

（2）本发明在图像补全网络中，利用全局一致性约束下的时序演进深层解码模块上下两流分别处理全局一致性向量和时序相关性向量，并在处理过程中将上流每层的输出与下流的每层进行深度嵌入（f操作），充分利用全局一致性的约束来指导两种信息的融合，充分利用全局一致性的约束更大程度地减少局部建模结果的噪声干扰。解决了现有技术在局部建模过程中将缺失部分估计得到的偏差与周均值直接叠加的操作过于直接并容易引入噪声的问题，提高图像补全的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术的方法示意图；

图2为本发明的网络结构图；

图3为本发明的编码器的结构图；

图4为本发明的时序建模模块结构图；

图5为本发明的全局一致性约束下的时序演进深层解码模块结构图；

其中，图3中的G代表门控卷积层；

图5中的R代表反卷积、S代表跳跃连接、V代表原始卷积，f是指f操作。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

实施例1

结合图2所示，本实施例提供一种基于全局一致性的海洋叶绿素浓度图像的补全方法，包括以下步骤，分别介绍。

S1、图像数据获取：

获取不同时刻的叶绿素浓度图像SST、周平均图像

其中，本实施例以t-1、t-2、t-3三个不同时刻为例进行说明，也就是说不同时刻的叶绿素浓度图像SST为

S2、全局一致性提取：

输入周平均图像

其中，全局信息编码器结构如图3所示，包括多个门控卷积层，其中图3中的G表示门控卷积层。

S3、时序演进相关性提取：

获取不同时刻的叶绿素浓度图像

其中，时序信息编码器结构与全局信息编码器结构相同，包括多个门控卷积层。

时序建模模块结构如图4所示，时序建模模块包括多个门控循环神经网络单元，本实施例为3个，分别是门控循环神经网络单元1、门控循环神经网络单元2、门控循环神经网络单元3，分别简称为

其中，用隐藏状态

首先，t-3时刻的表征向量

其中，图4中的表征向量1为t-3时刻的表征向量

该部分设计解决了现有技术在局部建模过程中未考虑其他时刻的情况的问题。

S4、图像补全：

将步骤S2输出的全局一致性向量

其中，全局一致性约束下的时序演进深层解码模块如图5所示，图中的R代表反卷积、S代表跳跃连接、V代表原始卷积。不同于传统的U-net结构的是，本发明为了在融合过程中充分发挥全局一致性向量

/>

其中，

该部分解决了现有技术在局部建模过程中将缺失部分估计得到的偏差与周平均值进行直接叠加得到补全结果，未充分利用全局一致性的约束性，容易引入局部的噪声干扰的问题。

最后，补全的图像

此外，需要说明的是，本发明的损失函数如下：

其中，D表示判别器，

其中，

实施例2

本实施例提供一种基于全局一致性的海洋叶绿素浓度图像的补全网络，包括全局一致性提取网络、时序演进相关性提取网络、图像补全网络。

全局一致性提取网络，包括全局信息编码器，用于提取全局一致性向量。

时序演进相关性提取网络，包括时序信息编码器和时序建模模块，用于提取时序相关性向量。

图像补全网络，包括全局一致性约束下的时序演进深层解码模块和判别器，用于利用提取的全局一致性向量和时序相关性向量对原始图像进行补全，得到补全的图像，并将补全的图像与原始图像进行判别。

该网络用于实现一种基于全局一致性的海洋叶绿素浓度图像的补全方法，方法流程、各模块的组成及功能可参见实施例1部分的记载，此处不再赘述。

在应用时，将待补全的海洋叶绿素浓度图像输入本发明的基于全局一致性的海洋叶绿素浓度图像的补全网络，即可输出补全后的充分考虑其他时刻海洋叶绿素浓度场的影响及充分利用全局一致性约束的叶绿素浓度图像。

综上所述，本发明的时序演进相关性提取网络，用以解决了现有技术在局部建模过程中未考虑其他时刻的情况的问题；本方法的图像补全网络，用以解决了现有技术在局部建模过程中将缺失部分估计得到的偏差与周平均值进行直接叠加得到补全结果，未充分利用全局一致性的约束性，容易引入局部的噪声干扰的问题。通过本发明的基于全局一致性的海洋叶绿素浓度图像的补全网络及方法，实现海洋叶绿素浓度图像的精准补全。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。