弱监督深度学习水体提取方法、装置、计算机设备和介质

技术领域

本发明涉及遥感图像处理技术领域，尤其涉及一种弱监督深度学习水体提取方法、装置、计算机设备和介质。

背景技术

水体提取是指从图像中提取水体表面，具体是从遥感图像中提取江、河、湖、海等自然形成的水体、水田、水库和水渠等人工水体。传统遥感图像水体提取方法通常包括单波段法、水体指数法、监督分类法和谱间关系法等相关算法。尽管这些方法在水体提取方面取得一定进展，但是仍然存在自动化程度低、手工特征繁琐且提取精度不足等问题。同时，由于遥感技术的快速进步，高分辨率遥感图像所包含的地物纹理信息越来越精细，边缘结构信息越来越丰富，传统遥感水体提取方法难以充分利用语义丰富的高分辨率遥感图像信息，也难以满足日益增长的遥感应用需求。

发明内容

针对以上技术问题，本发明提供一种可有效提高水体提取精度的弱监督深度学习水体提取方法、装置、计算机设备和介质。

在一个实施例中，弱监督深度学习水体提取方法，所述方法包括以下步骤：

步骤S100：构建初始卷积神经网络，获取遥感图像训练集，根据遥感图像训练集对初始卷积神经网络进行训练，得到训练好的卷积神经网络；

步骤S200：获取原始遥感图像，通过邻近采样器对原始遥感图像进行邻近采样得到一组邻近图像组；

步骤S300：将邻近图像组输入至训练好的卷积神经网络中，得到预测的水体提取概率图组；

步骤S400：对预测的水体提取概率图组进行二值化处理得到预测结果组，按照预设的投票原则对预测结果组进行投票确定得到最终的水体提取结果。

优选地，原始遥感图像的宽度和高度分别为W和H，每个网格的大小为K×K，步骤S200包括：

步骤S210：将原始遥感图像分成

步骤S220：从

优选地，步骤S100包括：

步骤S110：构建初始卷积神经网络，初始卷积神经网络的结构为编码器-解码器网络结构；

步骤S120：获取遥感图像训练集，通过邻近采样器对遥感图像训练集中的遥感图像进行邻近采样得到一组训练邻近图像组；

步骤S130：将训练邻近图像组输入至初始卷积神经网络中，提取邻近特征得到邻近特征组；

步骤S140：将邻近特征组进行邻近特征聚合得到邻近聚合后的特征；

步骤S150：对邻近聚合后的特征进行后处理与点约束处理，得到伪标签；

步骤S160：将伪标签替换初始卷积神经网络中的点标签监督信息，重复步骤S120至步骤S130得到预测概率图组，对预测概率图组进行二值化处理得到训练预测结果组，按照预设的投票原则对训练预测结果组进行投票确定得到综合预测结果；

步骤S180：将综合预测结果替换伪标签，重复步骤S160进行迭代训练，当迭代次数达到预设迭代次数时完成训练，得到训练好的卷积神经网络。

优选地，步骤S160之后步骤S180之前还包括：

步骤S170：根据综合预测结果和点标签监督信息计算得到二值交叉熵L

优选地，步骤S140包括：

步骤S141：对邻近特征组中的每个邻近特征沿通道维度使用最大池化获得中间结果；

步骤S142：对所有邻近特征的中间结果使用最大间类方差法进行二值化处理，得到所有邻近特征的邻近特征图；

步骤S143：按照预设的投票原则对邻近特征组的所有邻近特征的邻近特征图进行投票，得到邻近聚合后的特征。

优选地，步骤S150包括：

步骤S151：对邻近聚合后的特征进行空洞填充,并将空洞填充后的聚合特征进行形态学开运算去除噪点；

步骤S152：对去除噪点后的聚合特征使用点约束处理筛选得到伪标签。

优选地，编码器-解码器网络结构具体包括多个编码模块和多个解码模块，每个编码模块包含连续两个3×3卷积层、一个批归一化层、一个修正线性单元和一个最大池化层，最后一个解码模块包含连续两个3×3卷积层、一个批归一化层、一个修正线性单元和一个sigmoid函数，其余解码模块包含连续两个3×3卷积层、一个批归一化层、一个修正线性单元和一个上采样层。

在一个实施例中，弱监督深度学习水体提取装置，包括：

神经网络构建训练模块，用于构建初始卷积神经网络，获取遥感图像训练集，根据遥感图像训练集对初始卷积神经网络进行训练，得到训练好的卷积神经网络；

邻近采样模块，用于获取原始遥感图像，通过邻近采样器对原始遥感图像进行邻近采样得到一组邻近图像组；

水体提取概率图组预测模块，用于将邻近图像组输入至训练好的卷积神经网络中，得到预测的水体提取概率图组；

水体提取结果确定模块，用于对预测的水体提取概率图组进行二值化处理得到预测结果组，按照预设的投票原则对预测结果组进行投票确定得到最终的水体提取结果。

在一个实施例中，计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述方法的步骤。

在一个实施例中，计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。

上述弱监督深度学习水体提取方法、装置、计算机设备和介质，通过邻近采样器对原始遥感图像进行邻近采样得到一组邻近图像组，有利于解耦水体与非水体特征，提高了水体提取的精度，使得提取性能有所提升，将邻近图像组输入训练好的卷积神经网络，聚合了邻近图像的水体特征生成预测的水体提取概率图，使得水体的误提取和漏提取区域显著减少，最后对预测的水体提取概率图组进行二值化处理得到预测结果组，按照预设的投票原则对预测结果组进行投票确定得到最终的水体提取结果，有效提升了水体区域预测准确率。

附图说明

图1为本发明一实施例提供的一种弱监督深度学习水体提取方法的流程图；

图2是本发明一实施例提出的卷积神经网络训练过程示意图；

图3是本发明一实施例提出的邻近采样器邻近采样示意图；

图4是本发明一实施例提出的邻近特征聚合部分示意图；

图5是本发明一实施例提出的后处理部分示意图；

图6是本发明一实施例方法和其他现有方法的测试结果对比表；

图7是本发明一实施例方法和其他现有方法的水体提取结果对比示意图；

图8是本发明一实施例提出的迭代训练的测试结果对比图；

图9是本发明一实施例提出的迭代训练的水体提取结果对比示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

在一个实施例中，如图1所示，一种弱监督深度学习水体提取方法，包括以下步骤：

步骤S100：构建初始卷积神经网络，获取遥感图像训练集，根据遥感图像训练集对初始卷积神经网络进行训练，得到训练好的卷积神经网络。

近年来，深度学习成为了人工智能领域的新兴热点，深度学习技术的快速发展与计算机硬件性能的提高使得深度学习，尤其是卷积神经网络，在图像分类、目标检测、语义分割等多个领域成功得到应用，并且其性能已经超越了许多传统算法，将水体提取转化为一个二分类语义分割问题显得十分必要。在本申请中，通过构建初始卷积神经网络并对初始卷积神经网络进行训练，得到训练好的卷积神经网络，由于卷积神经网络强大的捕获遥感图像信息特征的能力，将其作为自动提取特征的方法能够很好地解决传统方法的不足，从而提高水体提取的准确率。

在一个实施例中，步骤S100包括：

步骤S110：构建初始卷积神经网络，初始卷积神经网络的结构为编码器-解码器网络结构。

进一步地，编码器-解码器网络结构具体包括多个编码模块和多个解码模块，每个编码模块包含连续两个3×3卷积层、一个批归一化层、一个修正线性单元和一个最大池化层，最后一个解码模块包含连续两个3×3卷积层、一个批归一化层、一个修正线性单元和一个sigmoid函数，其余解码模块包含连续两个3×3卷积层、一个批归一化层、一个修正线性单元和一个上采样层。

步骤S120：获取遥感图像训练集，通过邻近采样器对遥感图像训练集中的遥感图像进行邻近采样得到一组训练邻近图像组。

具体地，如图2所示，本发明中遥感图像都是对应的高分辨率可见光遥感图像，对高分辨率可见光遥感图像x进行邻近采样是指针对同一张高分辨率可见光遥感图像x，采用邻近采样器N=(n1,n2,...ni)进行采样，使用邻近采样器N中的ni获取对应的邻近图像ni(x)，其中i表示邻近图像组中的第i张邻近图像，{n1(x),n2(x),...ni(x)}即为邻近采样器N=(n1,n2,...ni)所采样的邻近图像组。

进一步地，遥感图像训练集中的遥感图像的宽度和高度分别为W和H，每个网格的大小为K×K，步骤S120包括：

步骤S121：将遥感图像训练集中的遥感图像分成

步骤S122：从

具体地，当K取2时，对于第i行j列个网格，左上、右上、左下和右下相邻的位置被选择，分别视为N=(n1,n2,n3,n4 )的第(i , j)个元素，对于所有W/K×H/K个网格，重复前面步骤，直到所有网格采样完成，生成邻近采样器N=(n1,n2,n3,n4 )。给定图像x，一组邻近图(n1 (x), n2 (x), n3 (x), n4 (x))被生成，其中，每张图像大小为W/K×H∕K。

如图3所示，本实例中给出邻近采样器从单张图像x生成邻近图像组示例，在这里K=2，网格的大小则为2×2。在每个网格中依次选择左上、右上、左下和右下相邻元素，分别用Ai、Bi、Ci、Di填充，i表示第i个网格中的元素的像素。所有以Ai填充的像素作为下采样图像n1(x) 的像素，Bi填充的像素作为另一下采样图像n1(x) 的像素，其他同理。获得的邻近图像组(n1 (x), n2 (x), n3 (x), n4 (x))，如图3中右侧所示。通过邻近采样器和卷积神经网络进行弱监督学习，不需要像素级标签，有效节省遥感图像标注的人力与财力成本。

步骤S130：将训练邻近图像组输入至初始卷积神经网络中，提取邻近特征得到邻近特征组。

具体地，如图2所示，对于邻近图像组{n1(x),n2(x),n3(x),n4(x)}特征提取所描述的端到端卷积神经网络使用的是编码器-解码器网络结构，该结构使用点标签w监督训练，在图2中，N表示邻近采样器，E

步骤S140：将邻近特征组进行邻近特征聚合得到邻近聚合后的特征。

进一步地，步骤S140包括：

步骤S141：对邻近特征组中的每个邻近特征沿通道维度使用最大池化获得中间结果；

步骤S142：对所有邻近特征的中间结果使用最大间类方差法进行二值化处理，得到所有邻近特征的邻近特征图；

步骤S143：按照预设的投票原则对邻近特征组的所有邻近特征的邻近特征图进行投票，得到邻近聚合后的特征。

具体地，图4中，输入维度为B×C×W/2×H/2×I的邻近特征组{f1,f2,f3,f4}，其中B为一个批次，C为特征图的通道数，W、H分别为输入图像x的长和宽，I为一组邻近图像的数量，在我们的方法中，当邻近采样器中网格大小K=2时，I=4。对每个B×C×W/2×H/2大小的邻近特征沿通道维度使用最大池化（C-MaxPooling），获取的B×I×W/2×H/2特征，然后使用最大间类方差法(Ostu)进行二值化处理，得到B×I×W/2×H/2大小的特征图，最后对其在I方向上进行投票得到B×W/2×H/2的邻近聚合后的特征F。本发明能够利用水体邻近像素之间的类内差异小于其他自然地物邻近像素之间类内差异这一特性，区分水体与其它自然地物，使得提取结果中水体轮廓更加清晰。

步骤S150：对邻近聚合后的特征进行后处理与点约束处理，得到伪标签。具体地，后处理（Post Processing,PP）包括区域填充和形态学处理。

进一步地，如图5所示，步骤S150包括：

步骤S151：对邻近聚合后的特征进行空洞填充,并将空洞填充后的聚合特征进行形态学开运算去除噪点。具体地，空洞填充（Fill）具体为将闭合区域中的空洞填补为水体区域。

步骤S152：对去除噪点后的聚合特征使用点约束处理筛选得到伪标签。

具体地，首先对邻近聚合特征进行填充，然后使用形态学开运算操作(Openoperation)将噪点去除。接着对处理后的图像进行点标签约束(Point constraint)，具体过程如下：若图像中的区域包含点标签，则保留整个区域；若图像中的区域若不包含点标签，则不保留该区域。

步骤S160：将伪标签替换初始卷积神经网络中的点标签监督信息，重复步骤S120至步骤S130得到预测概率图组，对预测概率图组进行二值化处理得到训练预测结果组，按照预设的投票原则对训练预测结果组进行投票确定得到综合预测结果。

具体地，如图2所示，伪标签m替换编码器-解码器网络的点标签w监督信息，按照步骤S120至步骤S130训练网络。从最后一层解码模块中获取预测概率图组{p

步骤S180：将综合预测结果替换伪标签，重复步骤S160进行迭代训练，当迭代次数达到预设迭代次数时完成训练，得到训练好的卷积神经网络。

具体地，将综合预测结果替换伪标签，即当前综合预测结果作为新的监督信息参与到训练过程中，重复步骤S160。

在一个实施例中，步骤S160之后步骤S180之前还包括：

步骤S170：根据综合预测结果和点标签监督信息计算得到二值交叉熵L

具体地，通过正向传播和反向传播训练卷积神经网络中的参数，可进一步提高卷积神经网络提取水体的精度。

在一个实施例中，步骤S200：获取原始遥感图像，通过邻近采样器对原始遥感图像进行邻近采样得到一组邻近图像组。

进一步地，原始遥感图像的宽度和高度分别为W和H，每个网格的大小为K×K，步骤S200包括：

步骤S210：将遥感图像分成

步骤S220：从

在一个实施例中，步骤S300：将邻近图像组输入至训练好的卷积神经网络中，得到预测的水体提取概率图组。

具体地，在正式测试阶段，不需要点标签，而是将测试遥感图像输入训练好的卷积神经网络结构，从sigmoid函数模块部分输出得到预测的水体提取概率图组{p

在一个实施例中，步骤S400：对预测的水体提取概率图组进行二值化处理得到预测结果组，按照预设的投票原则对预测结果组进行投票确定得到最终的水体提取结果。

具体地，对预测的水体提取概率图组{p

上述弱监督深度学习水体提取方法，利用水体邻近像素之间的类内差异小于其他自然地物邻近像素之间类内差异这一特性，区分水体与其它自然地物，通过邻近采样器对原始遥感图像进行邻近采样得到一组邻近图像组，有利于解耦水体与非水体特征，提高了水体提取的精度，使得提取性能有所提升，将邻近图像组输入训练好的卷积神经网络，聚合了邻近图像的水体特征生成预测的水体提取概率图，使得水体的误提取和漏提取区域显著减少，最后对预测的水体提取概率图组进行二值化处理得到预测结果组，按照预设的投票原则对预测结果组进行投票确定得到最终的水体提取结果，有效提升了水体区域预测准确率,仅使用点标签监督信息可使得预测结果接近于全监督的水平。

在一个详细的本实施例中，整个弱监督深度学习水体提取方法的完整流程包括：

1）、构建初始卷积神经网络，遥感图像训练集中的遥感图像x按照步骤S120至步骤S150依次生成邻近图像组{n1(x),n2(x),n3(x),n4(x)}，邻近特征组{f1(x),f2(x),f3(x),f4(x)}，邻近聚合后的特征F以及伪标签m，这些步骤不再进行赘述；

2）、使用伪标签m替换编码器-解码器网络的点标签w监督信息，按照步骤S120和步骤S130训练网络，从最后一层解码模块中获取预测概率图组{p

3）、对预测概率图组{p

4）、预测结果组{k

5）、使用k替换步骤2）中的伪标签m，重复步骤2）到4）实现迭代训练。

6）、使用训练好的编码器-解码器网络进行预测，并将预测的概率图进行二值化处理，得到最终的预测结果y。

本实施例中，步骤6）之前网络训练阶段，均使用二值交叉熵L

在测试阶段不需要点标签，而是将测试图像输入训练好的卷积神经网络结构，从Sigmoid函数模块输出得到预测概率图组{p

为了验证卷积神经网络的有效性，本实施例使用水体提取数据集进行了网络框架的训练和测试，并且与其他方法进行了对比。水体数据集包含700组训练图像与点标签，300组测试图像，每一组数据大小为492×492×3的一米分辨率可见光遥感图像。本实施例提出的算法（即NFACNN）与全监督方法和点标签监督进行对比。具体结果如图6所示。评价指标共有6种，依次为前景交并比（fgIoU），背景交并比（bgIoU），平均交并比（mIoU），前景骰子系数（fgDice），背景骰子系数（bgDice），平均骰子系数（mDice）。结合图6可以看出，本实施例方法在6个评价指标中均高于点标签监督，其中，Point(OP)表示使用点标签的正例，Point(W1)表示使用交叉熵的正例与负例之比为10：1，Point(W2) 表示使用交叉熵的正例与负例之比为2：1， Point(BCE) 表示使用交叉熵，NFACNN表示使用邻近特征聚合卷积神经网络，Full supervision表示全监督方法。此外，本实施例方法NFACNN的mIoU仅比全监督低4.19%，mDice仅比全监督低3.06%，接近于全监督水平。图7为针对两幅遥感图像进行不同方法的定性分析结果，点标签监督存在较多错误预测与漏预测，而我们的方法NFACNN的结果十分接近全监督，尽管在一些水体局部存在一定的小范围错误，但是在某些局部相比全监督更加准确，与全监督标签一致。综上，本实施例方法使用的弱监督技术能够提升水体区域预测准确率。邻近采样器有利于解耦水体与非水体特征，提高了水体提取的精度，使得提取性能有所提升，邻近特征聚合部分聚合了邻近图像的水体特征，使得水体的误提取与漏提取区域显著减少，水体的形状特征保持的更加完善。

为了验证迭代训练的有效性，本实施例将不同的迭代次数的预测结果进行对比。经过三次迭代训练，结果得到逐步提升。图8展示了每轮迭代训练的趋势，我们的方法使用迭代训练后mIoU从71.93%提升到74.29%，mDice从82.52%提升到84.37%。图9展示了每轮迭代训练水体提取预测结果，可以看到迭代训练能够逐步修正边界，第一次迭代后边界不平滑，存在较多的毛刺，第二次迭代后水体区域边界更加平滑，第三次迭代后水体与非水体之间的边界更加准确。说明迭代训练方法能够逐步修正水体轮廓边界，使得水体轮廓过度更加平滑自然，更加接近于全监督预测结果。

在一个实施例中，一种弱监督深度学习水体提取装置，包括神经网络构建训练模块、邻近采样模块、水体提取概率图组预测模块和水体提取结果确定模块，神经网络构建训练模块用于构建初始卷积神经网络，获取遥感图像训练集，根据遥感图像训练集对初始卷积神经网络进行训练，得到训练好的卷积神经网络；邻近采样模块用于获取原始遥感图像，通过邻近采样器对原始遥感图像进行邻近采样得到一组邻近图像组；水体提取概率图组预测模块用于将邻近图像组输入至训练好的卷积神经网络中，得到预测的水体提取概率图组；水体提取结果确定模块用于对预测的水体提取概率图组进行二值化处理得到预测结果组，按照预设的投票原则对预测结果组进行投票确定得到最终的水体提取结果。

关于弱监督深度学习水体提取装置的具体限定可以参见上文中对于弱监督深度学习水体提取方法的限定，在此不再赘述。上述弱监督深度学习水体提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述弱监督深度学习水体提取方法的步骤。

在一个实施例中，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述弱监督深度学习水体提取方法的步骤

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上对本发明所提供的弱监督深度学习水体提取方法、装置、计算机设备和介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。