卫星影像水体要素提取与水系矢量要素生成方法及系统

技术领域

本发明属于遥感数据与人工智能的交叉技术领域，涉及一种卫星影像水体要素提取与水系矢量要素生成方法及系统，具体涉及一种基于语义分割与矢量生成一体化的大幅面卫星影像水体要素提取与水系矢量要素生成方法及系统，包含多视场自适应融合与跨窗口一致性约束的大幅面水体提取方案，基于样本采样优化策略的桥梁旋转检测方案，以及基于融合桥梁信息的轮廓点移动模型的水系(水体+桥梁)矢量生成方案。

背景技术

水体作为地球的基本组成要素之一，不仅在自然生态系统中必不可少，而且与人类生活密切相关，例如健康、能源、发电等方面。近年来，随着遥感对地观测能力和人工智能等多领域技术的快速发展，从遥感影像中自动提取水体目标成为可能。在全球水资源日益匮乏的背景下，面向大幅面遥感影像的水体提取、水系矢量要素生成技术能够被广泛应用于水资源评估、环境保护、城市规划等任务，引起了遥感领域众多研究人员的重视。其中，提取水体掩膜、生成水系矢量要素是后续空间统计分析、模拟水体动态变化和制定决策规划等工作的基础。

面向卫星影像的水体要素提取与水系矢量要素生成的难点主要由遥感影像中水体要素的形状、尺度、分布多样性、场景复杂性、边界复杂性与光谱多样性等因素引起。水体包括河流、灌溉渠、池塘、湖泊与海洋等形状与尺度差异较大的子类别。若只依赖光谱特性或形态学算法，很难用同一个范式去提取所有的水体信息。相较于自然图像，遥感影像具有幅面大、通道多、附有成像时间及地理坐标等元数据信息等特点。随着遥感传感器技术的快速发展，从观测平台获取的整景影像覆盖范围面积可达约500至2500平方公里以上。大幅面卫星影像能够同时提供宏观结构信息与微观细节信息。全局视角能够帮助对大幅面图像的整体理解，而局部视角则能够提供精确的细节信息。如同人眼视觉模式一样，对这二者的综合考虑能够达到更好的水体要素提取效果。针对大幅面卫星影像，由于GPU显存的限制，目前占据主流的基于深度学习的语义分割方法通常采用降采样或裁剪为小幅面影像瓦片两种处理方式。其一，影像降采样势必会损失大量的细节信息，导致提取的水体要素细节表现较差；其二，裁剪为小幅面的影像瓦片会破坏水体要素的连续性与完整性。经过系统的文献调研，已有方法大都停留在对深度分割网络进行改进，旨在有效编码全局与局部信息。但如何结合水体要素的特点在数据利用层面进行优化仍然有很大的研究空间。因此，综合考虑大幅面遥感影像数据特性及水体要素拓扑连续性特点，研究可以挖掘大范围上下文的深度语义分割网络的结构设计与优化方法，消除网络推理阶段的分块效应显得十分重要。

此外，相较于栅格数据，矢量数据具有方便空间分析与相关信息快速查询的优势，并且像素级语义分割结果与制图级地物提取要求仍然存在很大的差距。因此，如何通过遥感影像实现高精度自动化自然地物矢量要素制图同样是研究热点问题。首先，相较于一般实例或者建筑物，水体地物呈现更加复杂的几何形态。遥感影像中主要有湖泊、大小型河流等典型形态类型，包括面状、块状、长条状等各异的几何特征，还有圆环等特殊形状。此外，卫星影像中水体要素具有较强的连通性，面向大幅面卫星影像去生成水系矢量是必要的。现有方法无法针对大幅面影像直接进行矢量建模。对于水系等需要考虑更大上下文信息的自然地物要素而言，更加有效地利用大幅面卫星影像中蕴含的全局上下文信息能够提升复杂场景下的矢量提取效果，同时能尽可能地避免影像瓦片之间矢量要素的拼接问题。此外，水系中的跨水桥梁作为水体存在的表示，往往无法被语义分割方法提取，造成水系矢量结果失准。因此，还需进一步考虑和补全水系中的跨水桥梁等目标，形成完整连通的水系矢量。

发明内容

本发明主要是解决现有面向卫星影像的水体要素提取技术方案存在模型较难适应大规模水体提取场景、水体要素提取的稳定性与普适性较差、模型没有针对大幅面遥感影像进行方法优化等问题。而现有面向卫星影像的水系矢量生成技术方案存在算法无法适应复杂场景条件下的水系矢量生成任务、无法处理跨水体的桥梁等目标、无法直接处理大幅面卫星影像等局限性。针对上述问题与挑战，本发明提出了一种基于语义分割与矢量生成一体化的大幅面卫星影像水体要素提取与水系矢量要素生成方法及系统，能够实现面向大幅面卫星影像水体要素的高精度提取与跨水桥梁目标检测，综合生成准确的水系矢量。

本发明的方法采用的技术方案是：一种卫星影像水体要素提取与水系矢量要素生成方法，通过多视场自适应融合网络，进行水体要素提取，获取水体掩膜结果；通过桥梁位置检测网络，进行桥梁检测，获取桥梁位置矩形框；基于水体掩膜结果，通过轮廓点移动网络，获取水系轮廓；结合水体掩膜结果、桥梁位置矩形框及水系轮廓，得到水系全要素的矢量提取结果。

作为优选，所述多视场自适应融合网络，整体由影像金字塔构建模块和特征自适应融合模块构成。所述影像金字塔构建模块，用于将原始大幅面图像下采样N

所述基础特征提取网络为经典的DeepLabv3+网络，它包括一个Encoder和一个Decoder，用于对三个视场的图像进行基础特征提取。

所述CBRCS模块包括串联设置的五个网络层，用于对三个视场提取到的基础特征进行细化特征提取，得到水体概率图。第一层是卷积核大小为3的卷积层，步长为1；第二层是Batch Normalization标准化层；第三层是Relu激活层，第四层是卷积核大小为3的卷积层，步长为1；第五层是Sigmoid激活层。

所述注意力模块，用于对于所述基础特征提取网络输出的特征进行像素级权值图计算，对于三个视场对应的特征图在通道维度拼接，然后通过大小为1的卷积核进行特征降维，接着进行softmax激活操作，得到像素级权值图。最终将来自三个视场的水体概率图和像素级权值图相乘再相加，得到最终自适应融合后的水体预测结果。

作为优选，所述多视场自适应融合网络，是训练好的网络；训练过程中采用的损失函数L由交叉熵损失L

L＝L

其中，λ

针对View1和View2仅采用交叉熵损失函数对输出的水体概率图与对应的水体标签进行监督；

其中，y

针对View3，定义相邻的互相有重叠的影像瓦片为一个四元组(X

其中，

作为优选，所述桥梁位置检测网络，采用常规旋转目标检测网络，并采用正负样本采样优化策略；

首先令真值框范围内的像素点作为候选样本点，设第j个真值框被分配给第i个候选样本点，计算该样本点到对应真值框的中心的二维距离d

其中，λ

再由定位分支得到候选正样本p

w

其中，IoU

对w

作为优选，所述桥梁位置检测网络，是训练好的网络；训练过程中采用的损失函数为：

L

其中，L

作为优选，所述轮廓点移动网络，整体由边界追踪模块和点位概率预测模块组成。

所述边界追踪模块用于根据水体的二值栅格影像获取水系的粗略轮廓点，其使用基于最近点的边界追踪方法；

所述点位概率预测模块由基础特征提取网络和CBR模块共同构成；所述基础特征提取网络，为经典的HRNet结构；所述CBR模块包括串联设置的三个网络层和并联的两个分支，第一层是卷积核大小为3的卷积层，步长为1；第二层是Batch Normalization标准化层；第三层是Relu激活层。之后特征进入两个分支，分别为掩膜分支和概率分支，掩膜分支由一个卷积核大小为1，通道数量为基础特征维度的卷积层和一个Sigmoid激活层串联组成；概率分支由一个卷积核大小为1，通道数量为基础特征维度+1的卷积层组成，用于得到水体掩膜概率图和轮廓概率图。

输入影像瓦片、多视场自适应融合网络预测的水体分割结果，由所述边界追踪模块根据水体的二值栅格影像获取水系的粗略轮廓点，以粗略轮廓点位为中心得到影像瓦片作为网络输入，经过特征提取模块得到瓦片的特征信息；将特征信息输入CBR模块获得瓦片影像上对应水体掩膜概率图，将特征图与水体概率图在通道上拼接，再经过CBR模块输出轮廓点位概率图，点位概率图中数值top-one所在位置坐标即为该影像瓦片中心(即语义分割粗糙轮廓点)对应的精确轮廓点，同时该数值还作为描述网络输出结果的准确性。对于用于计算损失的标签制作，根据粗略轮廓点基于邻近原则在标签数据选择精确轮廓点；制作图像瓦片的水体掩膜信息以及精确轮廓点的图像级标签，对于水体掩膜标签直接从大幅面水体影像对应标签中直接裁剪，对于精确轮廓点的图像级标签，按下式在全零矩阵上赋值；

其中，(X,Y)是精确轮廓点的坐标，(x,y)是标签影像上每个点的坐标，r是核半径。

作为优选，所述轮廓点移动网络，是训练好的网络；训练过程中采用的损失函数为：

L＝L

其中，mask是网络输出的水体概率图，gt_mask是水体标签，hm为网络输出的点位概率图，gt_hm是高斯核点位标签；fp(*)表示展平操作，即将二维张量平铺为一维张量，L

作为优选，所述结合水体掩膜结果、桥梁位置矩形框及水系轮廓，得到水系全要素的矢量提取结果；具体实现过程是：确定水体掩膜轮廓上需要优化的点位：将水体掩膜与桥梁位置叠加，通过放大桥梁矩形框得到与水体轮廓线的交点，优化上述交点，将以这些点位为中心的影像瓦片逐个输入所述轮廓点移动网络，输出期望的精确轮廓点以及该点是水体轮廓点的概率，若这个概率小于阈值则将该点删除，否则用网络输出的轮廓点代替原先的语义分割轮廓点；最后将优化后的交点对应相连，实现水系全要素的提取。

本发明的系统采用的技术方案是：一种卫星影像水体要素提取与水系矢量要素生成系统，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的卫星影像水体要素提取与水系矢量要素生成方法。

与现有的面向卫星影像的水系矢量生成方法相比，本发明具有以下优点和积极效果：

(1)本发明通过基于多视场自适应融合与跨窗口一致性约束的水体要素提取网络，能够综合大幅面卫星影像多个视场的信息，并挖掘大幅面卫星影像中水体要素的拓扑连续性，从而改善水体要素的连续性与完整性，提升水体要素提取精度大幅面卫星影像的水体要素提取，实现高精度水体识别；

(2)本发明基于桥梁形状特点提出了新颖的桥梁检测方法，将旋转目标特性纳入采样策略和损失函数设计，更加适应纵横比极端的桥梁，使水系矢量化不受桥梁等水上目标的干扰；

(3)本发明设计直接处理大幅面卫星影像的水体轮廓优化方法，在不损失轮廓信息的条件下，针对水系轮廓点的位置进行可学习式调整，顾及语义和形状特征进行水系轮廓矢量化，结合桥梁检测结果生成精确的水系矢量结果，有效地提升了大幅面卫星影像水体要素矢量化的准确性。

附图说明

下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。

图1：为本发明实施例的总体原理图。

图2：为本发明实施例的方法流程图。

图3：为本发明实施例的多视场自适应融合网络结构图。

图4：为本发明实施例的多视场自适应融合网络中大幅面影像四元组的重叠依赖关系示意图。

图5：为本发明实施例的多视场自适应融合网络中重要性因子原理解释示意图。

图6：为本发明实施例的基于样本采样优化策略的桥梁旋转检测网络结构图。

图7：为本发明实施例的轮廓点移动网络结构图。

图8：为本发明实施例的水系矢量连通结果示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1与图2，本发明提供的一种卫星影像水体要素提取与水系矢量要素生成方法，通过多视场自适应融合网络，进行水体要素提取，获取水体掩膜结果；通过桥梁位置检测网络，进行桥梁检测，获取桥梁位置矩形框；基于水体掩膜结果，通过轮廓点移动网络，获取水系轮廓；结合水体掩膜结果、桥梁位置矩形框及水系轮廓，得到水系全要素的矢量提取结果。

在一种实施方式中，请见图3，多视场自适应融合网络结构以原始的大幅面卫星影像数据作为输入，是一个具有金字塔结构的深度学习模型并由两部分组成，分别是影像金字塔构建模块和特征自适应融合模块。所述影像金字塔构建模块，用于将原始大幅面图像下采样N

所述基础特征提取网络为经典的DeepLabv3+网络，它包括一个Encoder和一个Decoder，用于对三个视场的图像进行基础特征提取。

所述CBRCS模块包括串联设置的五个网络层，用于对三个视场提取到的基础特征进行细化特征提取，得到水体概率图。第一层是卷积核大小为3的卷积层，步长为1；第二层是Batch Normalization标准化层；第三层是Relu激活层，第四层是卷积核大小为3的卷积层，步长为1；第五层是Sigmoid激活层。

所述注意力模块，用于对于所述基础特征提取网络输出的特征进行像素级权值图计算，对于三个视场对应的特征图在通道维度拼接，然后通过大小为1的卷积核进行特征降维，接着进行softmax激活操作，得到像素级权值图。最终将来自三个视场的水体概率图和像素级权值图相乘再相加，得到最终自适应融合后的水体预测结果。

在一种实施方式中，所述多视场自适应融合网络，是训练好的网络；训练过程中采用的损失函数由交叉熵损失和跨窗口一致性约束损失构成，如式壹所示。

L＝L

针对View1和View2仅采用交叉熵损失函数对输出的水体概率图与对应的水体标签进行监督，如式贰所示。

其中，y

针对View3的网络训练阶段，定义相邻的互相有重叠的影像瓦片为一个四元组(X

其中，l

其中，

正负样本采样优化策略具体为：首先令真值框范围内的像素点作为候选样本点，设第j个真值框被分配给第i个候选样本点，计算该样本点到对应真值框的中心的二维距离d

其中，λ

w

其中，IoU

在一种实施方式中，所述桥梁位置检测网络，是训练好的网络；训练过程中采用的损失函数定义如式柒所示。

L

在一种实施方式中，所述轮廓点移动网络，整体由边界追踪模块和点位概率预测模块组成。

所述边界追踪模块用于根据水体的二值栅格影像获取水系的粗略轮廓点，其使用基于最近点的边界追踪方法；

所述点位概率预测模块由基础特征提取网络和CBR模块共同构成；所述基础特征提取网络，为经典的HRNet结构；所述CBR模块包括串联设置的三个网络层和并联的两个分支，第一层是卷积核大小为3的卷积层，步长为1；第二层是Batch Normalization标准化层；第三层是Relu激活层。之后特征进入两个分支，分别为掩膜分支和概率分支，掩膜分支由一个卷积核大小为1，通道数量为基础特征维度的卷积层和一个Sigmoid激活层串联组成；概率分支由一个卷积核大小为1，通道数量为基础特征维度+1的卷积层组成，用于得到水体掩膜概率图和轮廓概率图。

输入影像瓦片、多视场自适应融合网络预测的水体分割结果，由所述边界追踪模块根据水体的二值栅格影像获取水系的粗略轮廓点，以粗略轮廓点位为中心得到影像瓦片作为网络输入，经过特征提取模块得到瓦片的特征信息；将特征信息输入CBR模块获得瓦片影像上对应水体掩膜概率图，将特征图与水体概率图在通道上拼接，再经过CBR模块输出轮廓点位概率图，点位概率图中数值top-one所在位置坐标即为该影像瓦片中心(即语义分割粗糙轮廓点)对应的精确轮廓点，同时该数值还作为描述网络输出结果的准确性。对于用于计算损失的标签制作，根据粗略轮廓点基于邻近原则在标签数据选择精确轮廓点；制作图像瓦片的水体掩膜信息以及精确轮廓点的图像级标签，对于水体掩膜标签直接从大幅面水体影像对应标签中直接裁剪，对于精确轮廓点的图像级标签，按下式在全零矩阵上赋值；

其中，(X,Y)是精确轮廓点的坐标，(x,y)是标签影像上每个点的坐标，r是核半径，默认设置为5。从上式可以发现，越接近精确轮廓点其值越接近1，越远其值越接近0。高斯核点位标签能够明确定位目标点，有助于深度学习网络学习点位信息。

在一种实施方式中，所述轮廓点移动网络，是训练好的网络；训练过程中采用的损失函数如式玖所示，在测试端，对heat map进行top_one操作，寻找概率值最高的点位坐标(x，y)，并输出该点是否为水体轮廓点的概率值(probability)。

L＝L

其中，mask是网络输出的水体概率图，gt_mask是水体标签，hm为网络输出的点位概率图，gt_hm是高斯核点位标签。fp(*)表示展平操作，即将二维张量平铺为一维张量，L

在一种实施方式中，设计融合桥梁检测结果的水系矢量后处理算法，结合水体掩膜结果、桥梁位置矩形框及水系轮廓，得到水系全要素的矢量提取结果。具体实现过程是：首先确定水体掩膜轮廓上需要优化的点位：将水体掩膜与桥梁位置叠加，通过适当放大桥梁矩形框得到与水体轮廓线的交点，当水体轮廓边界优化网络(PMnet)优化水体轮廓线时，只会优化交点和相邻交点之外的轮廓点；利用PMnet优化上述点位，将以这些点位为中心的影像瓦片逐个输入网络，网络会输出期望的精确轮廓点以及该点是水体轮廓点的概率，若这个概率小于阈值则将该点删除，否则用网络输出的轮廓点代替原先的语义分割轮廓点；最后将优化后的交点对应相连，实现水系全要素的提取。本实施例的水系矢量连通结果如图8所示。

本发明方法基于光学遥感影像数据实现，面向大幅面卫星影像，提出多视场自适应融合与跨窗口一致性约束的大幅面水体提取算法，区别于降采样或裁剪的语义分割处理方法，本发明方法能够处理完整的大幅面卫星影像，提取出的水体要素的连续性与完整性得到较大的改善。基于样本采样优化策略的桥梁旋转检测方法更加关注桥梁目标的形状特征，能够准确地检测出横纵比各异的桥梁目标，有效解决漏检、虚警等问题，为后续水系矢量生成提供可靠支撑。基于融合桥梁信息的轮廓点移动模型的水系(水体+桥梁)矢量生成算法综合考虑跨水桥梁目标，使水系矢量生成结果更加准确，与真实水系边界轮廓更加贴合，并在一定程度上剔除水体提取中的误判情况。本发明通过多视场自适应融合与跨窗口一致性约束的大幅面水体提取方法解决了现有面向卫星影像的水系矢量生成技术方案存在算法无法适应复杂场景条件下的水系矢量生成任务、无法处理跨水体的桥梁等目标以及无法直接处理大幅面卫星影像的问题，实现了面向大幅面卫星影像水体要素的高精度提取与跨水桥梁目标检测，有效提升了生成的水系矢量的准确性。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。