一种遥感图像的道路提取方法、装置、设备和存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种遥感图像的道路提取方法、装置、设备和存储介质。

背景技术

随着中国卫星行业、无人机行业越来越发达，遥感图像也越来越多。从遥感图像种提取所需要的信息也成了一门新技术，例如从遥感图像将道路给提取出来。

遥感图像的道路提取普遍采用基于卷积神经网络的遥感图像道路提取模型。其普遍采用深度较深、模型较复杂的网络结构。这样的结构在模型训练完毕时，虽然能够比深度较浅、参数规模较小的网络模型，得到更好的提取效果。但又深又大的网络结构，使得网络显得很臃肿，一方面难以训练，另一方面也容易导致过拟合。

发明内容

本发明提供了一种遥感图像的道路提取方法、装置、设备和存储介质，以改善相关技术中的道路提取模型过于臃肿的问题。

第一方面、

本发明实施例提供了一种遥感图像的道路提取方法，其包含：

S101、获取遥感图像。

S102、构建轻型U-Net模型。

S103、根据所述轻型U-Net模型构建道路提取模型。其中，所述道路提取模型包括逐级连接的多个所述轻型U-Net模型，以及将多个轻型U-Net模型的输出融合成最终输出的融合模型。

S104、根据所述道路提取模型从所述遥感图中提取道路提取图。

可选地，所述轻型U-Net模型用于从输入的图像中提取特征图。

可选地，逐级连接的多个轻型U-Net模型中，第一个轻型U-Net模型的输入为所述遥感图像。其余轻型U-Net模型的输入为所述遥感图像和前一个轻型U-Net模型的特征图的拼接图像。

可选地，融合模型具体用于：

S1、获取多个轻型U-Net模型的多个特征图。

S2、将所述多个特征图进行拼接、卷积、激活、以及全连接操作，以获得所述道路提取图。

可选地，S103具体为：

S1031、根据所述轻型U-Net模型构建原始模型。

S1032、获取训练集。其中，所述训练集包括原始图像和标记图像。

S1033、初始化所述原始模型的参数，并设置损失函数。其中，所述参数包括训练批次、学习率，以及参数求解模型。

S1034、将所述训练集输入初始化后的所述原始模型，开始训练，直至模型收敛，获得所述道路提取模型。

可选地，所述训练集为多个256×256×3的测试图像。

可选地，所述参数求解模型为Adam或SGD。

可选地，所述损失函数为binary-loss-entropy函数。

可选地，所述损失函数的表达式为

可选地，所述轻型U-Net模型包括编码部分和解码部分。

可选地，所述编码部分包括三个第一卷积组合和两个第二卷积组合，以及五个最大池化跳跃层。

可选地，所述第一卷积组合包括依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层，以及第一最大池化层。

可选地，所述第二卷积组合包括依次连接的第三卷积层、第三激活层、第四卷积层、第四激活层、随机失活层，以及第二最大池化层。最大池化层分别连接有一个所述最大池化跳跃层。

可选地，所述解码部分包括五个上采样组合，以及输出组合。

可选地，所述上采样组合包括依次连接的上采样层、第五卷积层、第五激活层、连接层、第六卷积层、第六激活层、第七卷积层，以及第七激活层。其中，所述连接层连接于一个所述最大池化跳跃层。

可选地，所述输出组合包括依次连接的第八卷积层、第八激活层、第九卷积层、第九激活层，以及第八激活层。

可选地，第一到第七激活层为ReLU层，第八激活层为Si gmoi d层。

第二方面、

本发明实施例提供一种遥感图像的道路提取装置，其包含：

图像获取模块，用于获取遥感图像。

第一模型构建模块，用于构建轻型U-Net模型。

第二模型构建模块，用于根据所述轻型U-Net模型构建道路提取模型。其中，所述道路提取模型包括逐级连接的多个所述轻型U-Net模型，以及将多个轻型U-Net模型的输出融合成最终输出的融合模型。

道路提取模块，用于根据所述道路提取模型从所述遥感图中提取道路提取图。

可选地，所述轻型U-Net模型用于从输入的图像中提取特征图。

可选地，逐级连接的多个轻型U-Net模型中，第一个轻型U-Net模型的输入为所述遥感图像。其余轻型U-Net模型的输入为所述遥感图像和前一个轻型U-Net模型的特征图的拼接图像。

可选地，融合模型具体用于：

S1、获取多个轻型U-Net模型的多个特征图。

S2、将所述多个特征图进行拼接、卷积、激活、以及全连接操作，以获得所述道路提取图。

可选地，第二模型构建模块包括：

原始模型构建单元，用于根据所述轻型U-Net模型构建原始模型。

训练集获取单元，用于获取训练集。其中，所述训练集包括原始图像和标记图像。

初始化单元，用于初始化所述原始模型的参数，并设置损失函数。其中，所述参数包括训练批次、学习率，以及参数求解模型。

训练单元，用于将所述训练集输入初始化后的所述原始模型，开始训练，直至模型收敛，获得所述道路提取模型。

可选地，所述训练集为多个256×256×3的测试图像。

可选地，所述参数求解模型为Adam或SGD。

可选地，所述损失函数为binary-loss-entropy函数。

可选地，所述损失函数的表达式为

可选地，所述轻型U-Net模型包括编码部分和解码部分。

可选地，所述编码部分包括三个第一卷积组合和两个第二卷积组合，以及五个最大池化跳跃层。

可选地，所述第一卷积组合包括依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层，以及第一最大池化层。

可选地，所述第二卷积组合包括依次连接的第三卷积层、第三激活层、第四卷积层、第四激活层、随机失活层，以及第二最大池化层。最大池化层分别连接有一个所述最大池化跳跃层。

可选地，所述解码部分包括五个上采样组合，以及输出组合。

可选地，所述上采样组合包括依次连接的上采样层、第五卷积层、第五激活层、连接层、第六卷积层、第六激活层、第七卷积层，以及第七激活层。其中，所述连接层连接于一个所述最大池化跳跃层。

可选地，所述输出组合包括依次连接的第八卷积层、第八激活层、第九卷积层、第九激活层，以及第八激活层。

可选地，第一到第七激活层为ReLU层，第八激活层为Sigmoid层。

第三方面、

本发明实施例提供一种遥感图像的道路提取设备，其包括处理器、存储器，以及存储在所述存储器内的计算机程序。所述计算机程序能够被所述处理器执行，以实现如第一方面任意一段所述的遥感图像的道路提取方法。

第四方面、

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如第一方面任意一段所述的遥感图像的道路提取方法。

通过采用上述技术方案，本发明可以取得以下技术效果：

本发明通过逐级连接的多个所述轻型U-Net模型，并通过融合模型将多个所述U-Net模型的输出图像融合，以获得道路提取图。所使用的道路提取模型结构简单，且能够端对端的训练，一体化强，提取质量也很高。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明第一实施例提供的一种道路提取方法的流程示意图。

图2是本发明第一实施例提供的轻型U-Net模型的网络结构图。

图3是本发明第一实施例提供的道路提取模型的网络结构图。

图4是本发明第一实施例提供的融合模型的网络结构图。

图5是本发明第二实施例提供的一种道路提取装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些内容以外的顺序实施。

下面结合附图与具体实施方式对本发明作进一步详细描述：

实施例一：

请参阅图1，本发明第一实施例提供的一种遥感图像的道路提取方法，其可由遥感图像的道路提取设备(以下简称提取设备)来执行。特别地，由服务器内的一个或多个处理器来执行，以实现如下步骤：

S101、获取遥感图像。

如图2、图3所示，遥感图像为包含有道路的俯视图像，其可由无人机、卫星等空中设备拍摄获得。

S102、构建轻型U-Net模型。

在本实施例中，设计了一个小型的轻量U-Net(以下简称轻型U-Net)，输入为遥感图像，输出为对应尺寸大小的道路提取结果。轻型U-Net网络结构简单，好训练，且能够快速的从图像中提取出来特征图。可以理解的是，在其它实施例中，也可以选择其它在先技术中的图像分割模型，本发明对此不作具体限定。

在上述实施例的基础上，本发明一可选实施例中，如图2、表1所示，轻型U-Net模型(Light-Weight U-Net)包括编码部分(Encoding)和解码部分(Decoding)。具体地，编码部分包括三个第一卷积组合和两个第二卷积组合，以及五个最大池化跳跃层。解码部分包括五个上采样组合，以及输出组合。可以理解的是，在其它实施例中，也可以选择其它在先技术中的U-Net模型，或者采用不同的卷积组合、采样组合的数量，本发明对此不作具体限定。

表1.轻型U-Net的网络参数。

在上述实施例的基础上，本发明一可选实施例中，第一卷积组合包括依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层，以及第一最大池化层。第二卷积组合包括依次连接的第三卷积层、第三激活层、第四卷积层、第四激活层、随机失活层，以及第二最大池化层。最大池化层分别连接有一个最大池化跳跃层。上采样组合包括依次连接的上采样层、第五卷积层、第五激活层、连接层、第六卷积层、第六激活层、第七卷积层，以及第七激活层。其中，连接层连接于一个最大池化跳跃层。输出组合包括依次连接的第八卷积层、第八激活层、第九卷积层、第九激活层，以及第八激活层。可以理解的是，在其它实施例中，卷积组合、采样组合，以及输出组合内的卷积数量可以为其它数量，本发明对此不作具体限定。

在上述实施例的基础上，本发明一可选实施例中，第一到第七激活层为ReLU层，第八激活层为Sigmoid层。可以理解的是，在其它实施例中，激活层可以是其它在先技术中的激活层，本发明对此不作具体限定。

S103、根据轻型U-Net模型构建道路提取模型。其中，道路提取模型包括逐级连接的多个轻型U-Net模型，以及将多个轻型U-Net模型的输出融合成最终输出的融合模型。所述轻型U-Net模型用于从输入的图像中提取特征图。

如图3所示，在本实施例中，道路提取模型包括一级连着一级的连接多个轻型U-Net。为了使得上下级U-Net之间具备很强的关联性，上级U-Net的输出将作为下级U-Net的输入。此外，为了保证每个U-Net的独立学习能力，最初始的原始输入图像(遥感图像)将通过跳跃连接、拼接的结构，与上级U-Net的输出(特征图)拼接后一起作为下级U-Net的输入。需要说明的时，所述拼接指的是按像素对应，每个像素的值由原始图像的RGB三通道叠(彩色或黑白，通道数为3)加上一级U-Net的RGB输出(黑白，通道数为3)，因此拼接完后，图像尺寸大小不变，但通道数增加了到了6。

可以理解的是，除了第一个U-Net以外，其他U-Net的输入为原始输入图像与上级输出结果的拼接。具体地，逐级连接的多个轻型U-Net模型中，第一个轻型U-Net模型的输入为遥感图像。其余轻型U-Net模型的输入为遥感图像和前一个轻型U-Net模型的特征图的拼接图像。

在上述实施例的基础上，本发明一可选实施例中，如图3和图4所示，融合模型具体用于：

S1、获取多个轻型U-Net模型的多个特征图。

S2、将多个特征图进行拼接、卷积、激活、以及全连接操作，以获得道路提取图。

在本实施例中，通过融合模型，实现了多输出联合的方式，不仅大大增强了模型最后的重建能力，并且使得道路提取模型具有端到端一体化训练的优点。得益于一体化训练，多个轻型U-Net之间呈现出显著的逐步增强效果。

在所述融合模型中，没有设定不同U-Net的连接权重。而是用拼接层、卷积层和Sigmoid层来自动学习多个U-Net间的连接方式。采用自主学习融合权重的方式。将所有U-Net的输出按通道进行相加，然后连接多个全连接层，与网络模型权重的学习同步，最终完成多个U-Net输出的融合。

在上述实施例的基础上，本发明一可选实施例中，S103具体为：

S1031、根据轻型U-Net模型构建原始模型。

S1032、获取训练集。其中，训练集包括原始图像和标记图像。其中，训练集为多个256×256×3的测试图像；标记图像为道路区域为白色(255,255,255)，背景区域为黑色(0,0,0)的RGB图像。

S1033、初始化原始模型的参数，并设置损失函数。其中，参数包括训练批次(batch)、学习率，以及参数求解模型。所述参数求解模型为Adam或SGD。所述损失函数为binary-loss-entropy函数，表达式为：

其中，T为轻型U-Net模型的个数，t为轻型U-Net模型的编号，q

在本实施例中，所述损失函数为一个多目标学习任务，使得模型变为端到端的训练模型。其中，每个U-Net的损失权重都为1，而最后的输出权重为2。

对于每个轻型U-Net模型的输出都采用该损失函数。在最后融合阶段的损失函数设置，则为所有输出的binary_loss_entropy的加权累加。轻量U-Net损失函数的权重为1，最后累加融合的损失权重为2。设置完毕后，开始训练。

S1034、将训练集输入初始化后的原始模型，开始训练，直至模型收敛，获得道路提取模型。所述道路提取模型，能有效增强轻型U-Net模型的道路提取能力，最终通过多个U-Net模型的连接，能取得比当前其他深度学习道路提取算法更好的效果。

在开放数据集LRSNY数据集上测试对比，提升效果明显，在提取质量的指标上，明显优于其他方法。具体测试结果如表2所示：

表2在LRSNY数据集上的测试效果对比。

如表2所示，相比当前其他深度学习道路提取算法，本实施例的道路提取模型参数规模较小，只有约2千万个参数，而像较深的PSPNet-101有将近6千500万个参数。本实施例的道路提取模型比像PSPNet-101这样又深又大的网络取得了更好的道路提取精度和质量。

S104、根据道路提取模型从遥感图中提取道路提取图。在本实施例中，所述道路提取图为256×256×1的黑白图像。在其它实施例中，也可以是256×256×3的黑白图像

实施例二、

如图5所示，本发明实施例提供一种遥感图像的道路提取装置，其包含：

图像获取模块110，用于获取遥感图像。

第一模型构建模块120，用于构建轻型U-Net模型。

第二模型构建模块130，用于根据轻型U-Net模型构建道路提取模型。其中，道路提取模型包括逐级连接的多个轻型U-Net模型，以及将多个轻型U-Net模型的输出融合成最终输出的融合模型。

道路提取模块140，用于根据道路提取模型从遥感图中提取道路提取图。

可选地，轻型U-Net模型用于从输入的图像中提取特征图。

可选地，逐级连接的多个轻型U-Net模型中，第一个轻型U-Net模型的输入为遥感图像。其余轻型U-Net模型的输入为遥感图像和前一个轻型U-Net模型的特征图的拼接图像。

可选地，融合模型具体用于：

S1、获取多个轻型U-Net模型的多个特征图。

S2、将多个特征图进行拼接、卷积、激活、以及全连接操作，以获得道路提取图。

可选地，第二模型构建模块130包括：

原始模型构建单元，用于根据轻型U-Net模型构建原始模型。

训练集获取单元，用于获取训练集。其中，训练集包括原始图像和标记图像。

初始化单元，用于初始化原始模型的参数，并设置损失函数。其中，参数包括训练批次、学习率，以及参数求解模型。

训练单元，用于将训练集输入初始化后的原始模型，开始训练，直至模型收敛，获得道路提取模型。

可选地，训练集为多个256×256×3的测试图像。

可选地，参数求解模型为Adam或SGD。

可选地，损失函数为binary-loss-entropy函数。

可选地，损失函数的表达式为

可选地，轻型U-Net模型包括编码部分和解码部分。

可选地，编码部分包括三个第一卷积组合和两个第二卷积组合，以及五个最大池化跳跃层。

可选地，第一卷积组合包括依次连接的第一卷积层、第一激活层、第二卷积层、第二激活层，以及第一最大池化层。

可选地，第二卷积组合包括依次连接的第三卷积层、第三激活层、第四卷积层、第四激活层、随机失活层，以及第二最大池化层。最大池化层分别连接有一个最大池化跳跃层。

可选地，解码部分包括五个上采样组合，以及输出组合。

可选地，上采样组合包括依次连接的上采样层、第五卷积层、第五激活层、连接层、第六卷积层、第六激活层、第七卷积层，以及第七激活层。其中，连接层连接于一个最大池化跳跃层。

可选地，输出组合包括依次连接的第八卷积层、第八激活层、第九卷积层、第九激活层，以及第八激活层。

可选地，第一到第七激活层为ReLU层，第八激活层为Sigmoid层。

实施例三、

本发明实施例提供一种遥感图像的道路提取设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如第一实施例任意一段的遥感图像的道路提取方法。

实施例四、

本发明实施例提供一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如第一实施例任意一段的遥感图像的道路提取方法。

在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备100，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。