基于残差网络的DEM超分辨率方法和装置

技术领域

本说明书实施例涉及地形测绘技术领域，尤其涉及一种基于残差网络的DEM超分辨率方法和装置。

背景技术

数字高程模型(Digital Elevation Model，DEM)是数字地形模型(DigitalTerrain Model，DTM)的一个分支，它是用一组有序数值阵列形式表示地面高程的一种实体地面模型。高分辨率的DEM可以提供更加准确的基础地理数据，在相关科学研究和实际应用中发挥着至关重要的作用。举例来说，大量的洪水研究表明，使用高分辨率陆地地形数据作为输入，能极大程度提高洪水模型整体的可靠性和准确性。又例如，高分辨率全球海洋地形是海洋地质和海洋测绘的前沿分支，可以为了解海底构造运动、海底演化提供直接依据。随着数字化的高度发展，DEM在社会生活中的应用也越来越广泛，人们对高精度DEM的要求也越来越高。因此，针对DEM建立高精度的超分辨率方法具有十分重要的意义。

发明内容

本说明书的实施例描述了一种基于残差网络的DEM超分辨率方法和装置，本方法在针对DEM所训练的超分辨率模型中引入残差网络，从而消除了网络中的梯度弥散现象，提高了超分辨率模型的网络深度，由此提升了超分辨率模型的性能，使基于该超分辨率模型处理得到的DEM数据更加准确。

根据第一方面，提供了一种基于残差网络的DEM超分辨率方法，包括：获取待处理DEM数据；将上述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，其中，上述超分辨率模型用于将输入的DEM数据的分辨率提升上述预设倍数，其中，上述超分辨率模型包括残差网络。

在一个实施例中，上述超分辨率模型是通过以下步骤训练得到的：根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据，其中，上述第二分辨率比上述第一分辨率低上述预设倍数；基于上述第一DEM数据和上述第二DEM数据，生成训练样本集；基于上述训练样本集，训练得到上述超分辨率模型。

在一个实施例中，上述根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据，包括：利用最临近像元法将上述第一DEM数据下采样到第二分辨率的第二DEM数据。

在一个实施例中，上述第一DEM数据和第二DEM数据为数据矩阵；以及上述基于上述第一DEM数据和上述第二DEM数据，生成训练样本集，包括：将上述第一DEM数据对应的数据矩阵按预设方式切分为第一尺寸的第一子矩阵图区；将上述第二DEM数据对应的数据矩阵按上述预设方式切分为第二尺寸的第二子矩阵图区，其中，上述第一尺寸的长和宽分别是上述第二尺寸的长和宽的上述预设倍数；使用相应位置切分得到的第一子矩阵图区和第二子矩阵图区组成训练样本，存入训练样本集。

在一个实施例中，上述待处理DEM数据为全球DEM数据。

在一个实施例中，上述超分辨率模型包括目标卷积层、至少一个残差网络、目标求和层和上采样网络，其中，按处理数据的顺序，各残差网络依次包括卷积层、激活函数层、卷积层和求和层；以及上述将上述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，包括：将上述待处理DEM数据输入上述目标卷积层，进行卷积操作；将上述卷积操作的输出结果输入到上述至少一个残差网络，其中，各残差网络将上述目标卷积层的输出或者上一个残差网络的输出作为该残差网络的输入，将该残差网络的输入与该残差网络的后一个卷积层的输出在该残差网络的求和层进行求和，形成第一残差结构；将上述目标卷积层的输出和上述至少一个残差网络中最后一个残差网络的输出在上述目标求和层进行求和，形成第二残差结构；将上述目标求和层的求和结果作为上述上采样网络的输入，以及将上述上采样网络的输出作为分辨率提高预设倍数的DEM数据。

在一个实施例中，上述上采样网络包括上采样层，上述上采样层采用像素重组的上采样方法。

根据第二方面，提供了一种基于残差网络的DEM超分辨率装置，包括：获取单元，配置为获取待处理DEM数据；生成单元，配置为将上述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，其中，上述超分辨率模型用于将输入的DEM数据的分辨率提升上述预设倍数，其中，上述超分辨率模型包括残差网络。

根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行如第一方面中任一实现方式描述的方法。

根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现如第一方面中任一实现方式描述的方法。

根据本说明书实施例提供的基于残差网络的DEM超分辨率方法和装置，首先获取待处理DEM数据，然后将获取的DEM数据输入预先训练的超分辨率模型，从而得到分辨率提高预设倍数的DEM数据，其中，超分辨率模型中包括残差网络，残差网络的引入可以消除网络中的梯度弥散现象，提高超分辨率模型的网络深度，由此可以提升超分辨率模型的性能，从而使基于该超分辨率模型处理得到的DEM数据更加准确。

附图说明

图1示出了根据一个实施例的基于残差网络的DEM超分辨率方法的流程图；

图2示出了使用本实施例的方法对全球DEM数据的部分区域进行4倍超分辨率的结果示意图；

图3示出了一种实现方式中的超分辨率模型的结构示意图；

图4示出了一种用于训练超分辨率模型的方法的流程示意图；

图5示出了根据一个实施例的基于残差网络的DEM超分辨率装置的示意性框图。

具体实施方式

下面结合附图和实施例，对本说明书提供的技术方案做进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。需要说明的是，在不冲突的情况下，本说明书的实施例及实施例中的特征可以相互组合。

如前所述，高分辨率的DEM在相关科学研究和实际应用中发挥着至关重要的作用。为了得到高分辨率的DEM，在一种方式中，可以通过各种测量仪器直接收集DEM数据，例如，通过载有激光雷达或干涉测量合成孔径雷达的卫星、飞机以及利用全站仪对地形进行测量和测绘。这种方式生产成本高，特别是对于海底地形的测绘，成本增加尤为显著。在另一种方式中，可以采用超分辨率的策略，应用于现有的低分辨率DEM中，以获得高分辨率DEM，这种方式对进一步扩大DEM的应用具有重要意义。传统的基于学习的超分辨率方法只能提取DEM数据较为简单的特征，例如，图像的一阶、二阶梯度等，这些特征不足以充分地表征DEM信息，致使重建后的DEM精度受到限制。基于深度学习的卷积神经网络(ConvolutionalNeural Networks,CNNs)的超分辨率(Super-Resolution Convolutional NeuralNetwork,SRCNN)算法证明了卷积神经网络在图像增强中的有效性。然而，由于卷积神经网络中梯度弥散现象等的影响，随着卷积网络层数的不断增加，可能出现梯度弥散、网络退化等问题，难以充分表征DEM数据的信息，导致最终重建质量下降，限制了算法的重建性能。

为此，本说明书的实施例提供了一种基于残差网络的DEM超分辨率方法。如图1所示，图1示出了根据一个实施例的基于残差网络的DEM超分辨率方法的流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来执行。如图1所示，该基于残差网络的DEM超分辨率方法，可以包括以下步骤：

步骤101，获取待处理DEM数据。

在本实施例中，用于执行基于残差网络的DEM超分辨率方法的执行主体，可以获取待处理DEM数据。这里，待处理DEM数据可以是指想要提升分辨率的DEM数据。

在一种实现方式中，待处理DEM数据可以是全球DEM数据。在本实施例中，由于用于处理待处理DEM数据的超分辨率模型中引入了残差网络，可以提高超分辨率模型的网络深度，由此可以提升超分辨率模型的性能，使模型具有更强的学习能力，能够适应全球DEM数据。

步骤102，将待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据。

在本实施例中，可以将步骤101获取的待处理DEM数据输入预先训练的超分辨率模型，该超分辨率模型可以用于将输入的DEM数据的分辨率提升预设倍数。这样，针对输入的待处理DEM数据，超分辨率模型可以输出分辨率提高预设倍数的DEM数据。这里，超分辨率模型可以包括残差网络。作为示例，上述超分辨率模型可以是包括残差网络，且用于实现DEM数据分辨率提升的各种神经网络。作为示例，图2示出了使用本实施例的方法对全球DEM数据的部分区域进行4倍超分辨率的结果示意图,在本例中，全球DEM数据选用了大洋地势图General bathymetric chart of the oceans(GEBCO)。可以理解，图2仅仅用于示意本实施例对全球DEM数据的部分区域进行4倍超分辨率的结果，而非对分辨率提升倍数、所适用区域等的限定，实践中，本实施例可以适用于全球DEM数据的各个区域。

在一种实现方式中，如图3所示，图3示出了一种实现方式中的超分辨率模型的结构示意图。在本实现方式中，超分辨率模型可以包括目标卷积层、至少一个残差网络、目标求和层和上采样网络。作为示例，图3中目标求和层可以用符号

在本实现方式中，按处理数据的顺序，各残差网络可以依次包括卷积层、激活函数层、卷积层和求和层。作为示例，图3中求和层可以用符号

这里，各卷积层的参数计算可以如公式N＝(W-F+2P)/S+1。其中，W可以表示输入大小；F可以表示卷积核大小，例如，卷积核大小尺寸可以为3×3；P可以表示填充值，例如，填充值的大小可以为0；S可以表示步长大小，例如，步长大小可以为1；N可以表示输出大小。作为示例，超分辨率模型中的各卷积层可以采用256个卷积核，每次卷积操作完成后，输出数据中都要填充0，以防止图像尺寸增大。这样，深层网络模型可以进一步从DEM数据中提取特征信息，有助于重建图像的纹理恢复，从而使超分辨重建得到的DEM数据更加准确。

作为示例，各残差网络的激活函数层可以采用线性修正单元(Rectified LinearUnit，ReLU)作为激活函数。

可选的，上述上采样网络可以包括上采样层，如图3所示，上采样网络按处理数据的顺序，可以依次包括卷积层、上采样层、卷积层、上采样层和卷积层。在卷积层后设置上采样层，可以用于提升图像的分辨率。这里，上采样层可以采用像素重组(Pixel Shuffle)的上采样方法，而非直接通过插值等方式产生高分辨率图像。举例来说，在像素重组的实现过程中，可以通过卷积先得到r

在一种实现方式中，基于图3所示的网络结构的超分辨率模型，上述步骤102可以具体如下进行：

首先，将待处理DEM数据输入目标卷积层，进行卷积操作。

其次，将卷积操作的输出结果输入到至少一个残差网络。

在本实现方式中，可以将目标卷积层进行卷积操作后的输出结果输入到至少一个残差网络。这里，各残差网络可以将目标卷积层的输出或者上一个残差网络的输出作为该残差网络的输入，将该残差网络的输入与该残差网络的后一个卷积层的输出在该残差网络的求和层进行求和，形成第一残差结构。作为示例，对于第一个残差网络而言，可以将目标卷积层的输出作为输入，将输入与后一个卷积层的输出在求和层进行求和，形成第一残差结构。对于除第一个残差网络之外的其它残差网络，可以将上一个残差网络的输出作为输入，将输入与后一个卷积层的输出在求和层进行求和，形成第一残差结构。

然后，将目标卷积层的输出和至少一个残差网络中最后一个残差网络的输出在目标求和层进行求和，形成第二残差结构。

最后，将目标求和层的求和结果作为上采样网络的输入，以及将上采样网络的输出作为分辨率提高预设倍数的DEM数据，从而得到分辨率提高预设倍数的DEM数据。

在一种实现方式中，如图4所示，图4示出了一种用于训练超分辨率模型的方法的流程示意图。上述超分辨率模型可以是用于执行基于残差网络的DEM超分辨率方法的执行主体或者其他执行主体，通过以下步骤训练得到的：

步骤401，根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据。

在本实现方式中，首先可以获取第一DEM数据，该第一DEM数据的分辨率为第一分辨率。该第一DEM数据可以是现有的DEM数据。举例来说，可以通过互联网下载DEM数据。作为示例，第一DEM数据可以是全球DEM数据。之后，可以对获取的第一分辨率的第一DEM数据进行处理，生成第二分辨率的第二DEM数据。这里，第二分辨率可以比第一分辨率低上述预设倍数，该预设倍数与上述超分辨率模型能够提升的倍数相同。例如，假设超分辨率模型可以将输入的DEM数据的分辨率提升4倍，那么第二分辨率比第一分辨率低4倍，也就是说，第一分辨率是第二分辨率的4倍。作为示例，可以采用各种下采样方法(例如最近邻插值、双线性插值、均值插值、中值插值等等)对第一DEM数据进行下采样，从而得到第二DEM数据。

在一种实现方式中，上述步骤401可以具体如下进行：利用最临近像元法将第一DEM数据下采样到第二分辨率的第二DEM数据。

在本实现方式中，对第一DEM数据进行最临近像元法的本质是使用邻近4个点的像元值按照其距内插点的距离赋予不同的权重,进行线性内插。最临近像元法具有平均化的低通滤波效果,在内插处理时滤去了部分图像的高频信息，而通过神经网络方法则可以恢复滤去的高频信息。因此，本实现方式可以采用最临近像元法生成第二分辨率的第二DEM数据。

步骤402，基于第一DEM数据和第二DEM数据，生成训练样本集。

在本实现方式中，可以从第一DEM数据和第二DEM数据中提取数据，形成训练样本集。举例来说，可以将从第一DEM数据中提取的数据作为高分辨率图区，将从第二DEM数据中提取的、对应的数据作为低分辨率图区，组成训练样本。这里，对应的数据可以是指所指示区域相同的数据。之后，还可以将高分辨率图区和低分辨率图区组成的训练样本保存为用于训练的h5文件。h5文件是层次数据格式第5代的版本(Hierarchical Data Format，HDF5)，它是用于存储科学数据的一种文件格式和库文件。可以理解，根据实际需要，在得到训练的DEM数据集之后，还可以对DEM数据进行归一化，即对DEM的灰度值从0到1进行归一化处理，以消除局部感知特征的影响。

在一种实现方式中，第一DEM数据和第二DEM数据可以是数据矩阵的形式。以及上述402还可以具体如下进行：

首先，将第一DEM数据对应的数据矩阵按预设方式切分为第一尺寸的第一子矩阵图区。

在本实现方式中，由于获取的第一DEM数据可能比较大，因此可以将第一DEM数据进行切分以满足模型输入的大小。举例来说，可以预先设定切分大小和切分方式，例如，可以预定切分大小为第一尺寸，切分方式按从左往右从上往下的顺序，或者按从上往下从左往右的顺序，再或者按从右往左从上往下的顺序等等。这样，可以将第一DEM数据对应的数据矩阵按预设方式切分为多个第一尺寸的第一子矩阵图区。

然后，将第二DEM数据对应的数据矩阵按预设方式切分为第二尺寸的第二子矩阵图区。

在本实现方式中，可以将第二DEM数据对应的数据矩阵按与第一DEM数据的切分方式相同的方式切分为多个第二尺寸的第二子矩阵图区。这里，第一尺寸的长和宽分别是第二尺寸的长和宽的预设倍数。该预设倍数与上述超分辨率模型能够提升的倍数相同。举例来说，假设超分辨率模型可以将输入的DEM数据的分辨率提升n倍，第一DEM数据的切分大小为32n*32n，即第一尺寸为32n*32n，则第二DEM数据的切分大小可以为32*32，即第二尺寸为32*32。第一尺寸的长和宽分别是第二尺寸的长和宽的n倍。

最后，使用相应位置切分得到的第一子矩阵图区和第二子矩阵图区组成训练样本，存入训练样本集。

在本实现方式中，可以使用按相同切分方式切分得到的相应位置的第一子矩阵图区和第二子矩阵图区组成一个训练样本，并存入训练样本集。其中，训练样本集中可以包括多个训练样本。举例来说，可以将第一DEM数据切分得到的第i块第一子矩阵图区和第二DEM数据切分得到的第i块第二子矩阵图区作为相应位置切分得到的第一子矩阵图区和第二子矩阵图区。

步骤403，基于训练样本集，训练得到超分辨率模型。

在本实现方式中，可以根据步骤302生成的训练样本集，训练得到超分辨率模型。举例来说，可以将一个训练样本中的低分辨率图区作为输入，将该训练样本的高分辨率图区作为期望输出，利用机器学习方法训练超分辨率模型。例如，可以首先利用预设的损失函数计算模型输出的DEM数据与期望输出之间的差异。然后，可以基于计算所得的差异，调整超分辨率模型的网络参数，并在满足预设的训练结束条件的情况下，结束训练。

可选的，在超分辨率模型的训练过程中，可以采用Adam优化算法来减少模型损耗，指数衰减法来设置模型的学习速率，并采用可变学习率的策略。当满足预设的条件时，可以将学习率调整为当前学习率的预设比例。举例来说，可以将初始的学习率设定为某个值，例如，0.01。当满足预设条件时，例如，完成20次对训练集中样本的训练，可以将学习率下降为之前的预设比例，例如，10％。通过这种策略可以保证模型迅速收敛的同时抑制梯度弥散现象，使模型收敛在一个较优的位置。

实际使用中，超分辨率模型完成后，还可以采用各种评价指标对模型进行评价，以判断模型的优劣。

根据另一方面的实施例，提供了一种基于残差网络的DEM超分辨率装置。上述基于残差网络的DEM超分辨率装置可以部署在任何具有计算、处理能力的设备、平台或设备集群中。

图5示出了根据一个实施例的基于残差网络的DEM超分辨率装置的示意性框图，如图5所示，该基于残差网络的DEM超分辨率装置500，包括：获取单元501，配置为获取待处理DEM数据；生成单元502，配置为将上述待处理DEM数据输入预先训练的超分辨率模型，得到分辨率提高预设倍数的DEM数据，其中，上述超分辨率模型用于将输入的DEM数据的分辨率提升上述预设倍数，其中，上述超分辨率模型包括残差网络。

在本实施例的一些可选的实现方式中，上述超分辨率模型是通过模型训练单元(图中未示出)训练得到的，其中，上述模型训练单元包括：数据生成单元(图中未示出)，配置为根据第一分辨率的第一DEM数据，生成第二分辨率的第二DEM数据，其中，上述第二分辨率比上述第一分辨率低上述预设倍数；样本集生成单元(图中未示出)，配置为基于上述第一DEM数据和上述第二DEM数据，生成训练样本集；训练单元(图中未示出)，配置为基于上述训练样本集，训练得到上述超分辨率模型。

在本实施例的一些可选的实现方式中，上述数据生成单元进一步配置为：利用最临近像元法将上述第一DEM数据下采样到第二分辨率的第二DEM数据。

在本实施例的一些可选的实现方式中，上述第一DEM数据和第二DEM数据为数据矩阵；以及上述样本集生成单元进一步配置为：将上述第一DEM数据对应的数据矩阵按预设方式切分为第一尺寸的第一子矩阵图区；将上述第二DEM数据对应的数据矩阵按上述预设方式切分为第二尺寸的第二子矩阵图区，其中，上述第一尺寸的长和宽分别是上述第二尺寸的长和宽的上述预设倍数；使用相应位置切分得到的第一子矩阵图区和第二子矩阵图区组成训练样本，存入训练样本集。

在本实施例的一些可选的实现方式中，上述待处理DEM数据为全球DEM数据。

在本实施例的一些可选的实现方式中，上述超分辨率模型包括目标卷积层、至少一个残差网络、目标求和层和上采样网络，其中，按处理数据的顺序，各残差网络依次包括卷积层、激活函数层、卷积层和求和层；以及上述生成单元502进一步配置为：将上述待处理DEM数据输入上述目标卷积层，进行卷积操作；将上述卷积操作的输出结果输入到上述至少一个残差网络，其中，各残差网络将上述目标卷积层的输出或者上一个残差网络的输出作为该残差网络的输入，将该残差网络的输入与该残差网络的后一个卷积层的输出在该残差网络的求和层进行求和，形成第一残差结构；将上述目标卷积层的输出和上述至少一个残差网络中最后一个残差网络的输出在上述目标求和层进行求和，形成第二残差结构；将上述目标求和层的求和结果作为上述上采样网络的输入，以及将上述上采样网络的输出作为分辨率提高预设倍数的DEM数据。

在本实施例的一些可选的实现方式中，上述上采样网络包括上采样层，上述上采样层采用像素重组的上采样方法。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行图1所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现图1所描述的方法。

本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。