一种水利目标识别方法、系统、电子设备及介质

技术领域

本发明涉及遥感信息自动解译领域，特别是涉及一种水利目标识别方法、系统、电子设备及介质。

背景技术

近年来，遥感信息自动解译技术发展迅速，产生了包括：多尺度分割技术，面向对象的计算机分类技术，以及当前流行的基于深度学习的分类算法在内的多个遥感信息自动解译技术。随着遥感解译技术的发展，将新技术在实际项目中进行了应用，例如，2015年在“南水北调西线生态遥感调查”项目中使用面向对象的分类技术实现了不同植被种类的划分；2018年的信息化项目“基于卫星遥感影像的测绘产品快速自动化获取方法研究”中，尝试使用了简译软件中基于深度学习的卷积神经网络算法对黑河干流中下游部分区域生态环境进行自动解译工作，取得了一定的效果。但由于商业软件中的分类算法封装严密，可调参数较少，导致效果一般。因此，急需一种适合水利行业需求的遥感影像自动解译系统。

发明内容

本发明的目的是提供一种水利目标识别方法、系统、电子设备及介质，能够提高对多种水利业务目标的解译精度。

为实现上述目的，本发明提供了如下方案：

一种水利目标识别方法，所述方法包括：

获取待预测水利目标的多波段遥感图像；

构建水利目标识别模型；所述水利目标识别模型包括多个语义分割模型；

以设定水利目标类别的多波段遥感图像样本为输入，以对应的二值化图像为输出，对多个所述语义分割模型进行训练，得到多个训练好的语义分割模型；所述设定水利目标类别为建筑物、林地、水体、草地、采砂采土坑或者耕地；

将所述待预测水利目标的多波段遥感图像输入多个所述训练好的语义分割模型，得到多个预测二值化图像；

应用投票法，从多个所述预测二值化图像中，确定待预测水利目标的多波段遥感图像中设定水利目标类别的二值化图像；

对所述设定水利目标类别的二值化图像进行处理，得到设定水利目标类别的矢量图形；所述设定水利目标类别的矢量图形为水利目标识别结果。

可选地，多个所述语义分割模型包括U-Net、segNet、HRNet和R2ATTU-Net。

可选地，所述方法还包括：

对所述设定水利目标类别的多波段遥感图像样本进行数据增强；所述数据增强的方法包括水平翻转、垂直翻转、旋转、平移、缩小和放大。

可选地，所述以设定水利目标类别的多波段遥感图像样本为输入，以对应的二值化图像为输出，对多个所述语义分割模型进行训练，得到多个训练好的语义分割模型，之前还包括：

应用ADAM算法对多个所述语义分割模型进行优化。

可选地，所述对所述设定水利目标类别的二值化图像进行处理，得到设定水利目标类别的矢量图形，具体包括：

对所述待预测水利目标的多波段遥感图像的的二值化图像进行腐蚀操作，得到腐蚀后的二值化图像；

对所述腐蚀后的二值化图像进行膨胀操作，得到还原的二值化图像；

对所述还原的二值化图像进行孔洞填充，得到孔洞填充的二值化图像；

对所述孔洞填充的二值化图像进行中值滤波，得到平滑二值化图像；

对所述平滑二值化图像进行细化，得到骨架图形；

对所述骨架图形进行追踪，得到矢量图形。

一种水利目标识别系统，应用于上述的水利目标识别方法，所述系统包括：

获取模块，用于获取待预测水利目标的多波段遥感图像；

构建模块，用于构建水利目标识别模型；所述水利目标识别模型包括多个语义分割模型；

训练模块，用于以设定水利目标类别的多波段遥感图像样本为输入，以对应的二值化图像为输出，对多个所述语义分割模型进行训练，得到多个训练好的语义分割模型；所述设定水利目标类别为建筑物、林地、水体、草地、采砂采土坑或者耕地；

预测模块，将所述待预测水利目标的多波段遥感图像输入多个所述训练好的语义分割模型，得到多个预测二值化图像；

设定水利目标类别的二值化图像确定模块，用于应用投票法，从多个所述预测二值化图像中，确定待预测水利目标的多波段遥感图像中设定水利目标类别的二值化图像；

二值化图像处理模块，用于对所述设定水利目标类别的二值化图像进行处理，得到设定水利目标类别的矢量图形；所述设定水利目标类别的矢量图形为水利目标识别结果。

可选地，所述系统还包括：

数据增强模块，用于对所述设定水利目标类别的多波段遥感图像样本进行数据增强；所述数据增强的方法包括水平翻转、垂直翻转、旋转、平移、缩小和放大。

可选地，所述二值化图像处理模块包括：

腐蚀子模块，用于对所述待预测水利目标的多波段遥感图像的的二值化图像进行腐蚀操作，得到腐蚀后的二值化图像；

膨胀子模块，用于对所述腐蚀后的二值化图像进行膨胀操作，得到还原的二值化图像；

填充子模块，用于对所述还原的二值化图像进行孔洞填充，得到孔洞填充的二值化图像；

滤波子模块，用于对所述孔洞填充的二值化图像进行中值滤波，得到平滑二值化图像；

细化子模块，用于对所述平滑二值化图像进行细化，得到骨架图形；

追踪子模块，用于对所述骨架图形进行追踪，得到矢量图形。

一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的水利目标识别方法。

一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的水利目标识别方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的一种水利目标识别方法，包括：获取待预测水利目标的多波段遥感图像；构建水利目标识别模型；水利目标识别模型包括多个语义分割模型；以设定水利目标类别的多波段遥感图像样本为输入，以对应的二值化图像为输出，对多个语义分割模型进行训练，得到多个训练好的语义分割模型；设定水利目标类别为建筑物、林地、水体、草地、采砂采土坑或者耕地；将待预测水利目标的多波段遥感图像输入多个训练好的语义分割模型，得到多个预测二值化图像；应用投票法，从多个预测二值化图像中，确定待预测水利目标的多波段遥感图像中设定水利目标类别的二值化图像；对设定水利目标类别的二值化图像进行处理，得到设定水利目标类别的矢量图形；设定水利目标类别的矢量图形为水利目标识别结果。本发明通过对水利目标识别模型进行改进，对多个语义分割模型进行训练后，通过投票法得到设定水利目标类别的二值化图像，从而提高了对多种水利业务目标的解译精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的水利目标识别方法流程图；

图2为本发明提供的数据随机增强示意图；

图3为本发明提供的残差模型结构示意图；

图4为本发明提供的支路特征融合示意图；

图5为本发明提供的概率修正模块示意图；

图6为本发明提供的腐蚀结构示意图；

图7为本发明提供的膨胀结构示意图；

图8为本发明提供的填充孔洞前示意图；

图9为本发明提供的填充孔洞后示意图；

图10为本发明提供的祛除毛刺前示意图；

图11为本发明提供的祛除毛刺后示意图；

图12为本发明提供的水利目标识别系统模块图。

符号说明：

1-获取模块，2-构建模块，3-训练模块，4-预测模块，5-设定水利目标类别的二值化图像确定模块，6-二值化图像处理模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种水利目标识别方法、系统、电子设备及介质，能够提高对多种水利业务目标的解译精度。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供了一种水利目标识别方法，所述方法包括：

步骤S1：获取待预测水利目标的多波段遥感图像。

步骤S2：构建水利目标识别模型；所述水利目标识别模型包括多个语义分割模型。具体地，多个所述语义分割模型包括U-Net、segNet、HRNet和R2ATTU-Net。

其中，基于U-Net网络结构，对网络编码层增加残差网络，增加若干个残差模块替代原始卷积层提高网络深度，中间层使用膨胀卷积进行级联模式堆叠，使得到的融合特征比原始特征更具有语义丰富程度，并对每层上采样解码层在层尺度上添加交并比损失，以此增加概率修正模块。

在实际应用中，首先为了提高网络的泛化能力和特征提取能力，在网络编码层增加残差网络模型，增加若干个残差模块替代原始的卷积层，提高网络深度，提升对不同水利目标地物特征表达能力，即提升对不同水利目标的地物特征表达能力，如图3所示，其中F(x)表示残差块在第二层激活函数之前的输出，最终残差块通过

中间层使用膨胀卷积(Dilated Convolution)进行级联模式堆叠，膨胀卷积即在普通标准卷积基础上注入空洞，膨胀系数分别为1、2、4、8的空洞卷积层(卷积核大小为3*3)，级联模式堆叠分别采用膨胀系数1、1-2、1-2-4、1-2-4-8等支路方式对编码层特征进行卷积运算，最后将每条支路结果相加，得到融合的特征。解码层进行反卷积上采样，对不同尺度特征进行相加融合，如图4所示，网络特征F1经卷积下采样得到F2，F2尺度缩小一倍，后经反卷积恢复至原始尺度F3，将原始特征F1与反卷积特征F3进行加操作，得到最终融合特征，该特征相比于原始特征具有更加丰富的语义特征。

对每层进行上采样的解码层在层尺度上添加交并比损失，将不同尺度输出概率进行反卷积并进行叠加，对叠加后的概率特征进行卷积运算，增加概率修正模块，对不同尺度输出概率进一步优化，得到最终概率特征，如图5所示。其中P1-P4分别表示四种尺度下地物分布概率，即水利目标的概率，将四种尺度分布概率进行级联模式堆叠，利用交并比损失进一步调整优化网络，实现最终水利目标的分类识别。具体地，网络目标函数采用交叉熵损失和交并比联合优化，其中，交叉熵损失被广泛应用于深度神经网络语义分割中，对于复杂类别具有较好的分割效果。在交叉熵的基础上，交叉熵损失公式如下：

其中，1{y

但是正如下式推论：

交叉熵损失有一个特性，即当每一个参数都改变同样的数值时，损失函数不变，也就是说，函数的最优解一定不止一个，如果θ＝(θ

因此，对于交叉熵损失函数，需要引入正则化项来解决这个问题。正则化项的作用是通过解空间寻找一个相对而言的最优解来实现输入样本同标记数据的映射关系。当加入正则化项后，不仅能够降低函数针对训练样本的误差而且能够通过对参数的约束降低参数的规模，控制函数的复杂度。当以L

其中，λ为正则化参数，作用在于权衡最小代价函数与最小函数权重之间的关系，通过控制λ的大小使两者尽量达到平衡。

此时，针对损失函数的梯度求解方式为：

交并比损失计算公式如下：

Loss＝1-I

公式中I

在步骤S2之后，先应用ADAM算法对多个所述语义分割模型进行优化。然后对优化后的多个语义分割模型进行训练。

具体地，模型网络优化采用ADAM算法(Adaptive Moment)是一种自适应动量的随机优化方法，输入端为模型的学习率，输出端为优化后的学习率。ADAM使用了动量变量v

v

s

其中，g

使用上述经过偏差修正后的变量

其中，η是初始设置的学习率，ε是为了避免分母为零而添加的小常数。最后根据g

y

步骤S3：以设定水利目标类别的多波段遥感图像样本为输入，以对应的二值化图像为输出，对多个所述语义分割模型进行训练，得到多个训练好的语义分割模型；所述设定水利目标类别为建筑物、林地、水体、草地、采砂采土坑或者耕地。

在实际应用中，将已经优化后的网络模型U-Net、segNet、HRNet、R2ATTU-Net分别进行样本训练，其中将数据集按照建筑物、林地、水体、草地、采砂采土坑、耕地等不同水利目标分类制作样本库数据集，将每个不同样本种类的数据集输入到U-Net、segNet、HRNet、R2ATTU-Net网络中分别进行计算，得到24个对应相应网络模型和样本类型的网络模型权重文件。

而后使用集成学习中的voting投票法，对U-Net、segNet、HRNet、R2ATTU-Net网络回归模型的相应样本种类权重文件输入相同的待预测影像，计算多个回归模型预测结果的求和平均值，最终选择概率之和最大的类标签。

在进行集成学习时，先随机取出作为替代的B个观测值，然后根据一个规模为N的初始数据集生成大小为B的样本。在一级近似中，它们可以被视为是直接从真实的底层(并且往往是未知的)数据分布中抽取出来的，并且彼此之间相互独立。因此，它们被认为是真实数据分布的代表性和独立样本(几乎是独立同分布的样本)。

在进行预测回归问题时，使用的分类方法是一种树形结构，树的每个非叶子节点表示对样本在一个特征上的判断，节点下方的分支代表对样本的划分。决策树的建立过程是一个对数据不断划分的过程，每次划分中，首先要选择用于划分的特征，之后要确定划分的方案(类别/阈值)，节点划分过程中所用的指标主要是信息增益和GINI系数。

信息增益衡量的是划分前后信息不确定性程度的减小。信息不确定程度一般使用信息熵来度量，其计算方式是：

H(Y)＝-∑p

其中，i表示样本的标签，p表示该类样本出现的概率。当对样本做出划分之后，计算样本的条件熵：

其中，x表示用于划分的特征的取值。信息增益定义为信息熵与条件熵的差值：

IG＝H(Y)-H(Y|X)；

信息增益IG越大，说明使用该特征划分数据所获得的信息量变化越大，子节点的样本“纯度”越高。

同样的，也可以利用Gini指数来衡量数据的不纯度，计算方法如下：

当对样本做出划分后，计算划分后的G

一般来说，选择使得划分后G

步骤S4：将所述待预测水利目标的多波段遥感图像输入多个所述训练好的语义分割模型，得到多个预测二值化图像。

步骤S5：应用投票法，从多个所述预测二值化图像中，确定待预测水利目标的多波段遥感图像中设定水利目标类别的二值化图像。

在实际应用中，对建筑物、林地、水体、草地、采砂采土坑、耕地多种水利目标进行单独训练，并保存相应模型。训练模型先单独选择U-Net(默认)、segNet、HRNet、R2ATTU-Net等模型，并利用影像膨胀预测对卫星遥感影像进行处理，而后进行多模型集成融合，使用Voting软投票法，就是使用基模型的分类概率，对U-Net、segNet、HRNet、R2ATTU-Net等模型预测结果中的概率加和最大类选择，最终使用IOU(交并比)作为精度评定指标。从而能够从多个所述预测二值化图像中，确定待预测水利目标的多波段遥感图像中设定水利目标类别的二值化图像。

步骤S6：对所述设定水利目标类别的二值化图像进行处理，得到设定水利目标类别的矢量图形；所述设定水利目标类别的矢量图形为水利目标识别结果。

在实际应用中，对语义分割后的二值化图像进行腐蚀操作，消除碎斑；利用结构元膨胀填充分割结果中出现的小孔洞；采用中值滤波祛除二值图像出现的毛刺现象；最后进行栅格矢量化。

作为一个具体的实施方式，步骤S6具体包括：

步骤S61：对所述待预测水利目标的多波段遥感图像的的二值化图像进行腐蚀操作，得到腐蚀后的二值化图像。

作为一个具体的实施方式，针对于语义分割后的二值化图像出现的碎斑，需要对二值图像先进行腐蚀操作，腐蚀在形态学中结构A被结构B腐蚀的定义为，

步骤S62：对所述腐蚀后的二值化图像进行膨胀操作，得到还原的二值化图像。

作为一个具体的实施方式，通过腐蚀后的二值图像会移除一些细小的碎斑，但是正常的水利目标地物边界也受到其影响，导致出现边界缩小现象，为了能够有效还原得到原始二值图像的地物轮廓特征，需要在腐蚀操作的基础上进行形态学的膨胀操作，以便于对二值图像进行还原，结构A被结构B膨胀的定义为，

步骤S63：对所述还原的二值化图像进行孔洞填充，得到孔洞填充的二值化图像。

作为一个具体的实施方式，语义分割的分割结果有时会有一些小孔洞，如图8所示，其中黑白两色表示两种不同的类别。一般情况下，这些孔洞属于错分情况，为了优化结果，通常对这些孔洞进行填充。先找孔洞的一个点，用结构元去膨胀，然后用原图像的补集进行约束(就是求个交集)，不断重复膨胀，约束直至图形不改变(即收敛)就停止，与原图求个交集，此时孔洞就被移除，如图9所示。

步骤S64：对所述孔洞填充的二值化图像进行中值滤波，得到平滑二值化图像。

作为一个具体的实施方式，对于提取的二值图像，即所述孔洞填充的二值化图像，不可避免会出现一些尖锐的毛刺现象，如图10所示，中值滤波是一种非线性空域滤波方法。它是可以有效抑制图像噪声，提高图像信噪比的非线性滤波技术。中值滤波首先对邻域点的灰度进行排序，然后选择中间值作为输出灰度值。中值滤波(Median filtering)的思想是用邻域中像元的中值取代图像当前的点，对于有毛刺出现的二值区域，尖锐的毛刺通常在邻域内占比低于50％，因此可以通过中值滤波有效祛除毛刺现象，对凸出部分进行收缩，对凹进部分使用增长，进而平滑矢量的边缘，使更接近真实的水利目标边界达到边界平滑的效果，如图11所示。

步骤S65：对所述平滑二值化图像进行细化，得到骨架图形。

作为一个具体的实施方式，将二值图像象元阵列逐步剥除轮廓边缘的点，使之成为线划宽度只有一个象元的骨架图形。细化后的图形骨架既保留了原图形的绝大部分特征，又便于下一步的跟踪处理。细化后的二值图像形成了骨架图。

步骤S66：对所述骨架图形进行追踪，得到矢量图形。

作为一个具体的实施方式，追踪就是把骨架转换为矢量图形的坐标序列。其基本步骤为：

①从左向右，从上向下搜索线划起始点，并记下坐标。

②朝该点的8个方向追踪点，若没有，则本条线的追踪结束，转①进行下条线的追踪；否则记下坐标。

③把搜索点移到新取的点上，转②。

值得注意的是，对于已追踪点应作标记，防止重复追踪。

此外，所述方法还包括：

对所述设定水利目标类别的多波段遥感图像样本进行数据增强；所述数据增强的方法包括水平翻转、垂直翻转、旋转、平移、缩小和放大。

在实际应用中，如图2所述，对多波段遥感数据集及对应样本进行随机水平翻转(矩阵列变换)、随机垂直翻转(矩阵行变化)、随机旋转(矩阵仿射变换)、随机平移(矩阵仿射变换)及随机缩放(矩阵仿射变换)。

本发明提供一种基于多波段遥感影像的对多网络模型结构改进优化后，对于多模型训练后得到的权重对比投票优化得出最优解的方法。该方法中使用了样本增强，网络模型结构优化，目标函数交叉熵和交互比融合技术进一步提升网络模型精度。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种水利目标识别系统，如图12所示，所述系统包括：

获取模块1，用于获取待预测水利目标的多波段遥感图像。

构建模块2，用于构建水利目标识别模型；所述水利目标识别模型包括多个语义分割模型。

训练模块3，用于以设定水利目标类别的多波段遥感图像样本为输入，以对应的二值化图像为输出，对多个所述语义分割模型进行训练，得到多个训练好的语义分割模型；所述设定水利目标类别为建筑物、林地、水体、草地、采砂采土坑或者耕地。

预测模块4，将所述待预测水利目标的多波段遥感图像输入多个所述训练好的语义分割模型，得到多个预测二值化图像。

设定水利目标类别的二值化图像确定模块5，用于应用投票法，从多个所述预测二值化图像中，确定待预测水利目标的多波段遥感图像中设定水利目标类别的二值化图像。

二值化图像处理模块6，用于对所述设定水利目标类别的二值化图像进行处理，得到设定水利目标类别的矢量图形；所述设定水利目标类别的矢量图形为水利目标识别结果。

其中，所述二值化图像处理模块包括：

腐蚀子模块，用于对所述待预测水利目标的多波段遥感图像的的二值化图像进行腐蚀操作，得到腐蚀后的二值化图像。

膨胀子模块，用于对所述腐蚀后的二值化图像进行膨胀操作，得到还原的二值化图像。

填充子模块，用于对所述还原的二值化图像进行孔洞填充，得到孔洞填充的二值化图像。

滤波子模块，用于对所述孔洞填充的二值化图像进行中值滤波，得到平滑二值化图像。

细化子模块，用于对所述平滑二值化图像进行细化，得到骨架图形。

追踪子模块，用于对所述骨架图形进行追踪，得到矢量图形。

此外，所述系统还包括：

数据增强模块，用于对所述设定水利目标类别的多波段遥感图像样本进行数据增强；所述数据增强的方法包括水平翻转、垂直翻转、旋转、平移、缩小和放大。

实施例三

本发明实施例提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行计算机程序以使电子设备执行实施例一的水利目标识别方法。

可选地，上述电子设备可以是服务器。

另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的水利目标识别方法。

本发明具有以下优点：

本发明集成多种深度学习算法，开发具有自主知识产权的基于深度学习的水利业务目标遥感影像自动解译系统，对基础神经网络模型进行水利目标解译自适应优化，实现了从遥感影像语义分割、多模型集成、优化语义分割结果到可视化界面展示的完全自动化，智能化的处理流程。该系统大大提高了对多种水利业务目标的解译精度，同时提升了解译效率，减轻相关人员的遥感解译工作压力。本发明以深度学习算法为突破口，探索不同算法间的差异以及优缺点，了解每个算法因子对分析结果的影响程度，通过组合优势的算法，调整合理的参数，实现计算机对水利业务目标遥感影像的自动识别解译，提取所需的专题信息，为水利管理部门和水利业务部门提供专业的水利业务目标提取软件，进一步增强“水利行业强监管”手段，提升快速监管能力。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。