一种卫星视频影像获取水域自动掩膜处理DSM的方法

技术领域

本发明属于图像处理技术领域；具体涉及一种卫星视频影像获取水域自动掩膜处理DSM的方法。

背景技术

由长光卫星技术有限公司自主研制的“吉林一号”系列视频卫星分辨率达到了米级，影像尺寸达到了12k×5k，其成像模式为凝视成像，可以长时间以不同角度对地面同一区域进行拍摄成像，获取卫星视频，该视频是由不同角度的视频单帧影像组成，挑选视角差较大的影像对可以构成基高比满足要求的立体像对，进行立体测图生产DSM成果；在拍摄的视频影像中经常会有水域地貌特征出现，由于水域纹理单一，在进行立体测图生产时，对匹配有很大影响，会出现匹配精度低、匹配错误等现象，导致获取的DSM成果在水域对应区域的高程值异常，需要后续人工掩膜，消耗较大的时间和精力。

传统立体像对进行立体测图无法对水域覆盖区域进行处理，生成DSM成果后，需要花费时间和精力进行水域掩膜。

发明内容

本发明提供一种卫星视频影像获取水域自动掩膜处理DSM的方法，用以解决传统立体像对进行立体测图无法对水域覆盖区域进行处理，生成DSM成果后，需要花费时间和精力进行水域掩膜的问题。

本发明通过以下技术方案实现：

一种卫星视频影像获取水域自动掩膜处理DSM的方法，所述处理DSM的方法包括以下步骤：

步骤1：输入卫星视频凝视影像；

步骤2：利用步骤1卫星视频凝视影像的立体像对水域进行提取；

步骤3：利用步骤1卫星视频凝视影像的立体像对区域网进行平差；

步骤4：利用步骤1卫星视频凝视影像的立体像生成核线影像；

步骤5：利用步骤4生成的核线影像的进行密集匹配；

步骤6：利用步骤5的密集匹配对水域区域的密集匹配点进行剔除；

步骤7：对步骤6水域区域剔除密集匹配点的区域进行高程解算；

步骤8：基于步骤7解算出的DSM点云，在其内插入规则格网进而生成DSM影像。

进一步的，所述步骤2具体包括以下步骤：

步骤2.1：分别读取主影像Image_m和搜索影像Image_fz，输入至语义特征提取网络CoarseNet中，通过步长为2的卷积层和多个改进的综合卷积神经网络模块后，点卷积计算得主影像和搜索影像对应的到包含语义信息的特征图Feature_map_one_m和Feature_map_one_fz。

步骤2.2：分别读取主影像Image_m和搜索影像Image_fz输入至位置特征提取网络FineNet中，通过下采样操作压缩图像尺寸为原影像尺寸的1/2，通过改进的综合卷积神经网络模块提取空间细节信息，生成主影像和搜索影像对应的精细的水域分割边界特征Feature_map_two_m和Feature_map_two_fz。

步骤2.3：上述步骤2.1与步骤2.2为并行计算过程，将步骤2.1计算得到的特征图Feature_map_one_m和Feature_map_one_fz分别与步骤2.2计算得到的特征图Feature_map_two_m和Feature_map_two_fz进行双线性插值上采样操作，通过逐像素线性计算，得到与视频影像影像同等大小的水域二值图影像Real_Feature_m和Real_Feature_fz，两幅二值图中水域区域点灰度值为255，非水域区域点灰度值为0。

进一步的，所述步骤3具体包括以下步骤：

步骤3.1：在主影像Image_m上均匀选取N个像素点作为影像参考点(r

步骤3.2：采用主影像的RPC参数和辅助DEM，解算主影像中的参考点(r

步骤3.3：采用搜索影像的RPC参数和辅助DEM，解算参考物点在搜索影像上对应的像点坐标，记为参考对应点(r′

步骤3.4：以每一个参考对应点和参考点为中心，在搜索影像和主影像上分别取像素个数为m

步骤3.5：为主影像Image_m和搜索影像Image_fz各设置一组像方补偿参数用来消除影像的系统误差；

步骤3.6：将提取的匹配点结合控制点与像方补偿参数构建平差模型；

步骤3.7：解算平差模型方程，分别保存主影像Image_m和搜索影像Image_fz的像方补偿参数。

进一步的，所述步骤3.2中参考物方点(X

式中，p′

所述步骤3.3参考对应点(r′

式中，X

p

其中，X、Y、Z为地面点坐标，a

所述步骤3.5像方补偿参数的具体应用形式为：

其中，a

所述步骤3.6平差模型如下：

其中X

进一步的，所述步骤4具体包括以下步骤：

步骤4.1：选取主影像Image_m的RPC参数中的高程标准化平移尺度参数H为投影高程面；

步骤4.2：确定核线在步骤4.1中投影高程面上的近似核线方向；

步骤4.3：根据4.2中解算得到的立体像对近似核线排列方向，进行核线影像重采样；

对主影像Image_m进行重采样，生成主影像对应的核线影像Image_epi_m并保存其映射关系Image_epi_tab_m，对搜索影像Image_fz进行重采样生成搜索影像对应的核线影像Image_epi_fz，并保存其映射关系Image_epi_tab_fz。

进一步的，所述步骤4.2具体为，首先，在主影像Image_m的中心位置取一个像点A，令D1和D2为其摄影光线上位于投影高程面H附近的两点，其高程分别为H+H

然后，根据RPC模型正解方程解算得到D1和D2在搜索影像Image_fz上的像点D3、D4的像素坐标；

最后，根据搜索影像Image_fz的RPC参数和RPC反解模型解算D3、D4在投影高程面H上的经纬度坐标D5、D6，此时，D5和D6的经纬度坐标连线方向为立体像对的近似核线方向，即立体像对近似核线在投影高程面上的排列方向。

进一步的，所述步骤5具体包括以下步骤：

步骤5.1：主影像的核线影像Image_epi_m和搜索影像的核线影像Image_epi_fz具有行对应关系，即主影像某地物点所在的行数与对应的匹配点所在的行数必然相同，采用SGM算法获取主影像核线影像上所有点对应的匹配点并保存为视差图Image_disparity'；

步骤5.2：根据步骤4中核线影像生成过程中保存的核线影像与原始立体像对的映射关系Image_epi_tab_m和Image_epi_tab_fz，将密集匹配点对的核线影像坐标转换为原始立体像对上的影像坐标，保存为密集匹配连接点集SM_Points。

进一步的，所述步骤6具体包括以下步骤：

步骤6.1：对密集匹配连接点集SM_Points中的每个连接点对建立水域属性参数Wot，以1和0来分别标记该连接点在水域中与不在水域中；

步骤6.2：根据主影像水域分布二值图Real_Feature_m，对连接点集SM_Points中的每个连接点对进行标记，连接点对中主影像点坐标在主影像水域分布二值图中对应点的灰度值为255时，该连接点对的Wot参数值标记为1，否则Wot参数值标记为0；

步骤6.3：根据搜索影像水域分布二值图Real_Feature_fz，对连接点集SM_Points中的每个连接点对进行标记，连接点对中搜索影像坐标在搜索影像水域分布二值图中对应点的灰度值为255时，该连接点对的Wot参数值标记为1，否则Wot参数值标记为0；

步骤6.4：将密集匹配连接点集SM_Points中所有水域属性参数Wot值为1的连接点对进行剔除，保留水域属性参数Wot值为0的连接点对，生成有效密集匹配连接点集SM_Points_Real。

进一步的，所述步骤7具体包括以下步骤：

步骤7.1：使用6.4获取的有效密集匹配连接点集SM_Points_Real中的所有连接点坐标、像方补偿参数和RPC参数构建方程，方程具体形式为：

式中，l

步骤7.2：以(X

进一步的，所述步骤8具体包括以下步骤：

步骤8.1：统计DSM点云Cloud_Dsm中所有点覆盖的经纬度范围，确定经纬度的最大值和最小值，以经纬度的最大值、最小值作为DSM影像的覆盖范围，并根据设定的DSM影像分辨率建立DSM影像格网空间结构，并确定所有格网点的经纬度坐标；

步骤8.2：利用KD-Tree算法对点云Cloud_Dsm中的每个三维点按平面坐标生成索引，建立KD-Tree，使用基于KD-Tree的近邻搜索算法，搜索每个格网点平面距离最近的Num个备用点，计算每个搜索到的备用点与格网点的平面距离，剔除平面距离值大于3倍分辨率的备用点，根据剩余备用点的三维坐标，内插出对应格网点的高程值；

步骤8.3：根据内插后获取的每个格网点的三维坐标生成DSM影像并以GeoTIFF格式输出，完成DSM产品的生成。

本发明的有益效果是：

立体测图使用的数据为卫星视频影像，并非传统的推扫影像，同时，本技术方案创新性的将深度学习应用到立体测图中来，能够自动化的实现水域区域提取，并且根据提取的水域分布二值图，对立体测图结果进行筛选优化，从而保证生成的DSM成果中的水域区域完成自动掩膜，无需后续的人工编辑，实现高效、高精度水域自动掩膜DSM成果的生成。

附图说明

附图1是本发明的方法流程图。

附图2是本发明的立体像对图，其中，(a)立体像对主影像图，(b)立体像对搜索影像图。

附图3是本发明的水域二值图图，其中，(a)主影像水域二值图，(b)搜索影像水域二值图。

附图4是本发明的无水域掩膜DSM成果图，其中，(a)无水域掩膜DSM成果黑白图，(b)无水域掩膜DSM成果渲染图。

附图5是本发明的自动水域掩膜DSM成果图，其中，(a)自动水域掩膜DSM成果黑白图，(b)自动水域掩膜DSM成果渲染图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

一种卫星视频影像获取水域自动掩膜处理DSM的方法，所述处理DSM的方法包括以下步骤：

步骤1：输入卫星视频凝视影像；

步骤2：利用步骤1卫星视频凝视影像的立体像对水域进行提取；

步骤3：利用步骤1卫星视频凝视影像的立体像对区域网进行平差；

步骤4：利用步骤1卫星视频凝视影像的立体像生成核线影像；

步骤5：利用步骤4生成的核线影像的进行密集匹配；

步骤6：利用步骤5的密集匹配对水域区域的密集匹配点进行剔除；

步骤7：对步骤6水域区域剔除密集匹配点的区域进行高程解算；

步骤8：基于步骤7解算出的DSM点云，在其内插入规则格网进而生成DSM影像。

进一步的，卫星在凝视拍摄模式下获取一组不同拍摄角度的视频影像，选取基高比大于0.5的一对影像作为输入影像，选择其中一幅影像作为主影像Image_m，另一幅影像作为搜索影像Image_fz，如图2中影像所示。

进一步的，所述步骤2具体包括以下步骤：

步骤2.1：分别读取主影像Image_m和搜索影像Image_fz，输入至语义特征提取网络CoarseNet中，通过步长为2的卷积层和多个改进的综合卷积神经网络模块后，点卷积计算得主影像和搜索影像对应的到包含语义信息的特征图Feature_map_one_m和Feature_map_one_fz。

步骤2.2：分别读取主影像Image_m和搜索影像Image_fz输入至位置特征提取网络FineNet中，通过下采样操作压缩图像尺寸为原影像尺寸的1/2，通过改进的综合卷积神经网络模块提取空间细节信息，生成主影像和搜索影像对应的精细的水域分割边界特征Feature_map_two_m和Feature_map_two_fz。

步骤2.3：上述步骤2.1与步骤2.2为并行计算过程，将步骤2.1计算得到的特征图Feature_map_one_m和Feature_map_one_fz分别与步骤2.2计算得到的特征图Feature_map_two_m和Feature_map_two_fz进行双线性插值上采样操作，通过逐像素线性计算，得到与视频影像影像同等大小的水域二值图影像Real_Feature_m和Real_Feature_fz，两幅二值图中水域区域点灰度值为255，非水域区域点灰度值为0，如图3中所示。

进一步的，所述步骤3具体包括以下步骤：

步骤3.1：在主影像Image_m上均匀选取N个像素点作为影像参考点(r

步骤3.2：采用主影像的RPC(Rational Polynomial Coefficients，有理函数模型)参数和辅助DEM(Digital Elevation Model，数字高程模型)，解算主影像中的参考点(r

步骤3.3：采用搜索影像的RPC参数和辅助DEM，解算参考物点在搜索影像上对应的像点坐标，记为参考对应点(r′

步骤3.4：以每一个参考对应点和参考点为中心，在搜索影像和主影像上分别取像素个数为m

步骤3.5：为主影像Image_m和搜索影像Image_fz各设置一组像方补偿参数用来消除影像的系统误差；

步骤3.6：将提取的匹配点结合控制点与像方补偿参数构建平差模型；

步骤3.7：解算平差模型方程，分别保存主影像Image_m和搜索影像Image_fz的像方补偿参数。

进一步的，所述步骤3.2中参考物方点(X

式中，p′

所述步骤3.3参考对应点(r′

式中，X

p

其中，X、Y、Z为地面点坐标，a

所述步骤3.5像方补偿参数的具体应用形式为：

其中，a

所述步骤3.6平差模型如下：

其中X

进一步的，所述步骤4具体包括以下步骤：

步骤4.1：选取主影像Image_m的RPC参数中的高程标准化平移尺度参数H为投影高程面；

步骤4.2：确定核线在步骤4.1中投影高程面上的近似核线方向；

步骤4.3：根据4.2中解算得到的立体像对近似核线排列方向，进行核线影像重采样；

对主影像Image_m进行重采样，生成主影像对应的核线影像Image_epi_m并保存其映射关系Image_epi_tab_m，对搜索影像Image_fz进行重采样生成搜索影像对应的核线影像Image_epi_fz，并保存其映射关系Image_epi_tab_fz。

进一步的，所述步骤4.2具体为，首先，在主影像Image_m的中心位置取一个像点A，令D1和D2为其摄影光线上位于投影高程面H附近的两点，其高程分别为H+H

然后，根据RPC模型正解方程解算得到D1和D2在搜索影像Image_fz上的像点D3、D4的像素坐标；

最后，根据搜索影像Image_fz的RPC参数和RPC反解模型解算D3、D4在投影高程面H上的经纬度坐标D5、D6，此时，D5和D6的经纬度坐标连线方向为立体像对的近似核线方向，即立体像对近似核线在投影高程面上的排列方向。

进一步的，所述步骤5具体包括以下步骤：

步骤5.1：主影像的核线影像Image_epi_m和搜索影像的核线影像Image_epi_fz具有行对应关系，即主影像某地物点所在的行数与对应的匹配点所在的行数必然相同，采用SGM(半全局匹配)算法获取主影像核线影像上所有点对应的匹配点并保存为视差图Image_disparity'；

步骤5.2：根据步骤4中核线影像生成过程中保存的核线影像与原始立体像对的映射关系Image_epi_tab_m和Image_epi_tab_fz，将密集匹配点对的核线影像坐标转换为原始立体像对上的影像坐标，保存为密集匹配连接点集SM_Points。

进一步的，所述步骤6具体包括以下步骤：

步骤6.1：对密集匹配连接点集SM_Points中的每个连接点对建立水域属性参数Wot，以1和0来分别标记该连接点在水域中与不在水域中；

步骤6.2：根据主影像水域分布二值图Real_Feature_m，对连接点集SM_Points中的每个连接点对进行标记，连接点对中主影像点坐标在主影像水域分布二值图中对应点的灰度值为255时，该连接点对的Wot参数值标记为1，否则Wot参数值标记为0；

步骤6.3：根据搜索影像水域分布二值图Real_Feature_fz，对连接点集SM_Points中的每个连接点对进行标记，连接点对中搜索影像坐标在搜索影像水域分布二值图中对应点的灰度值为255时，该连接点对的Wot参数值标记为1，否则Wot参数值标记为0；

步骤6.4：将密集匹配连接点集SM_Points中所有水域属性参数Wot值为1的连接点对进行剔除，保留水域属性参数Wot值为0的连接点对，生成有效密集匹配连接点集SM_Points_Real。

进一步的，所述步骤7具体包括以下步骤：

步骤7.1：使用6.4获取的有效密集匹配连接点集SM_Points_Real中的所有连接点坐标、像方补偿参数和RPC参数构建方程，方程具体形式为：

式中，l

步骤7.2：以(X

进一步的，所述步骤8具体包括以下步骤：

步骤8.1：统计DSM点云Cloud_Dsm中所有点覆盖的经纬度范围，确定经纬度的最大值和最小值，以经纬度的最大值、最小值作为DSM影像的覆盖范围，并根据设定的DSM影像分辨率建立DSM影像格网空间结构，并确定所有格网点的经纬度坐标；

步骤8.2：利用KD-Tree算法对点云Cloud_Dsm中的每个三维点按平面坐标生成索引，建立KD-Tree，使用基于KD-Tree的近邻搜索算法，搜索每个格网点平面距离最近的Num个备用点，计算每个搜索到的备用点与格网点的平面距离，剔除平面距离值大于3倍分辨率的备用点，根据剩余备用点的三维坐标，内插出对应格网点的高程值；

步骤8.3：根据内插后获取的每个格网点的三维坐标生成DSM影像并以GeoTIFF格式输出，完成DSM产品的生成，如图5中所示。

使用卫星视频影像进行立体测图生产。

使用深度学习进行立体影像水域提取，将深度学习应用于卫星视频影像立体测图生产中。

使用深度学习提取的水域范围对立体匹配连接点进行筛选，删除水域区域的连接点。

生成水域自动掩膜的DSM成果，无需后续人工处理。

实施例2

结合图1至图5说明本实施例，本实施例具体实施例1所述的卫星视频影像获取水域自动掩膜处理DSM成果的方法的验证实例：依次给出技术方法流程图、卫星视频立体像对、立体像对对应的水域二值图，并在最后展示生成的水域自动掩膜处理前后的DSM成果。

如图1所示为卫星视频影像获取水域自动掩膜处理DSM成果的方法的技术流程图；

图2所示为吉林一号视频03星拍摄的两景视频卫星影像，具有较高的重叠度基高比超过0.5，可满足立体测图要求，该图中局部区域为水域；图3中图3a和图3b分别为使用深度学习提取的立体像对的主影像和搜索影像对应的水域二值图；图4中图4a为没有经过水域连接点剔除处理生成的DSM成果，其中非水域区域具有较高精度，并且纹理丰富清晰，能够真实反映地形地貌，水域对应区域高程值异常且无规律，无法反映水域地貌，图4b为该DSM成果对应的彩色渲染图；图5中图5a为经过水域连接点自动剔除处理生成的DSM成果，其中非水域区域具有较高精度，并且纹理丰富清晰，能够真实反映地形地貌，水域区域高程统一被掩膜为地区平均高程值，整体效果较好，能够反映水域区域地貌特征，无需后续人工处理，图5b为该DSM成果对应的彩色渲染图。