一种遥感影像实例分类方法、系统、终端及存储介质

技术领域

本发明涉及遥感图像处理技术领域，具体涉及一种遥感影像实例分类方法、系统、终端及存储介质，主要用于地物分类。

背景技术

近年来，高分辨率遥感影像被广泛应用于智慧城市、拆违拆临、木业林业甚至军工生产方面。其中，遥感图像分类检测，对科学实验、生产生活都具有实际意义。

高分辨率遥感影像可以是高分辨率全色图像，也可以是多光谱图像。高分辨率全色图像较多光谱图像来说,分辨率更高，图像更为清晰，目标实例(即目标物)更易识别,但相较于灰度图像来说，全色图像缺少颜色信息。遥感图像的多光谱图像有着丰富的颜色信息但是分辨率较全色图像低。

随着深度学习在图像领域的广泛应用，现有遥感影像的分类检测越来越多地采用了卷积神经网络进行特征提取。然而，现有的遥感影像分类检测方法大都是基于单一类遥感影像的分类检测，即仅使用全色图像或仅使用多光谱图像进行分类检测，没有结合两类图像的优点，即没有充分利用全色图像的高空间分辨率以及多光谱图像丰富的光谱信息，效果相对差。而随着遥感图像分类检测在遥感图像处理领域应用价值的提升，如何提升遥感影像实例分类效果已经变得越来越重要。

发明内容

针对现有技术的上述不足，本发明提供一种遥感影像实例分类方法、系统、终端及存储介质，通过对全色图像和多光谱图像进行融合，结合全色图像和多光谱图像两种类型图像的信息，充分利用了全色图像空间分辨率高、多光谱图像光谱信息丰富的特点，提升了遥感影像实例分类的效果。

第一方面，本发明提供一种遥感影像实例分类方法，包括步骤：

S1：获取目标地理区域的高分辨率全色遥感影像及多光谱遥感影像；

S2：对获取到的高分辨率全色遥感影像和多光谱遥感影像均进行实例标注，得到标注好的高分辨率全色遥感影像以及标注好的多光谱遥感影像；

S3：对标注好的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；对标注好的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图；

S4：对所得到的全色图像特征图和多光谱图像特征图进行特征融合，得到融合特征图；

S5：将所得到的融合特征图，输入分类卷积神经网络进行实例分类。

进一步地，步骤S1实现方法为：

同时采集目标地理区域的高分辨率全色遥感影像和多光谱遥感影像，直至同时采集到的高分辨率全色遥感影像和多光谱遥感影像均符合预设条件；

获取上述同时采集到且均符合预设条件的高分辨率全色遥感影像和多光谱遥感影像，即得到所要获取的目标地理区域的高分辨率全色遥感影像及多光谱遥感影像。

进一步地，步骤S3包括：

步骤S31：将标注好的高分辨率全色遥感影像及标注好的多光谱遥感影像,裁剪为尺寸相同的预设大小，得到裁剪后的高分辨率全色遥感影像和裁剪后的多光谱遥感影像；

步骤S32：对裁剪后的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；对裁剪后的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图。

进一步地，步骤S4中采用Gram-Schmidt正交化算法进行特征融合。

第二方面，本发明提供一种遥感影像实例分类系统，包括：

遥感影像采集单元，用于获取目标地理区域的高分辨率全色遥感影像及多光谱遥感影像；

实例标注单元，用于对获取到的高分辨率全色遥感影像和多光谱遥感影像均进行实例标注，得到标注好的高分辨率全色遥感影像以及标注好的多光谱遥感影像；

特征提取单元，用于对标注好的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；还用于对标注好的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图；

特征融合单元，用于对所得到的全色图像特征图和多光谱图像特征图进行特征融合，得到融合特征图；

实例分类单元，用于采用预设的分类卷积神经网络，对所得到的融合特征图进行实例分类。

进一步地，所述遥感影像采集单元包括：

遥感影像采集模块，用于同时采集目标地理区域的高分辨率全色遥感影像和多光谱遥感影像，直至同时采集到的高分辨率全色遥感影像和多光谱遥感影像均符合预设条件；

遥感影像获取模块，用于获取遥感影像采集模块同时采集到的均符合预设条件的高分辨率全色遥感影像和多光谱遥感影像，即得到所要获取到的目标地理区域的高分辨率全色遥感影像及多光谱遥感影像。

进一步地，所述特征提取单元包括：

遥感影像裁剪模块，用于将标注好的高分辨率全色遥感影像及标注好的多光谱遥感影像,裁剪为尺寸相同的预设大小，得到裁剪后的高分辨率全色遥感影像和裁剪后的多光谱遥感影像；

图像特征图获取模块，用于对裁剪后的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；还用于对裁剪后的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图。

进一步地，所述的特征融合单元，采用Gram-Schmidt正交化算法进行特征融合。

第三方面，本发明提供一种终端，包括：

处理器；

用于存储处理器的执行指令的存储器；

其中，所述处理器被配置为执行以上各方面所述的方法。

第四方面，本发明提供一种存储有计算机程序的计算机可读存储介质，该程序被处理器执行时实现以上各方面所述的方法。

本发明的有益效果在于，

本发明提供的遥感影像实例分类方法、系统、终端及存储介质，均获取目标地理区域的高分辨率全色遥感影像及多光谱遥感影像，对获取到的全色遥感影像和多光谱遥感影像分别进行标注，对标注好的全色遥感影像和多光谱遥感影像分别进行特征提取，之后融合提取到的图像特征得到融合特征图，并能够以融合特征图为输入，实现对目标地理区域的遥感影像的实例分类，一定程度上有助于提升输入图像的质量，进而有助于提升对遥感影像实例分类的准确度及性能,继而达到提升遥感影像实例分类效果的目的。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的系统的示意性框图。

图3为本发明实施例提供的一种终端的结构示意图。

图4是本发明实施例提供的一种计算机存储介质的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

图1是本发明一个实施例的方法的示意性流程图。

如图1所示，该方法100包括：

步骤110，获取目标地理区域的高分辨率全色遥感影像及多光谱遥感影像；

步骤120，对获取到的高分辨率全色遥感影像和多光谱遥感影像均进行实例标注，得到标注好的高分辨率全色遥感影像以及标注好的多光谱遥感影像；

步骤130，对标注好的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；对标注好的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图；

步骤140，对所得到的全色图像特征图和多光谱图像特征图进行特征融合，得到融合特征图；

步骤150，将所得到的融合特征图，输入分类卷积神经网络进行实例分类。

作为本发明的一个示意性实施例，所述步骤110的实现方法为：

同时采集目标地理区域的高分辨率全色遥感影像和多光谱遥感影像，直至同时采集到的高分辨率全色遥感影像和多光谱遥感影像均符合预设条件；

获取上述同时采集到的均符合预设条件的高分辨率全色遥感影像和多光谱遥感影像，即得到所要获取的目标地理区域的高分辨率全色遥感影像及多光谱遥感影像。

其中，同时采集目标地理区域的高分辨率全色遥感影像和多光谱遥感影像，一定程度上有助于确保步骤140中融合得到的融合特征图更加符合客观事实，继而有助于提高分类效果。

其中，所述预设条件，可以是：影像属于整景影像，视野清晰度达到预设影像清晰度，影像中目标实例的数量大于一或影像中目标实例的种类大于一，影像中每个目标实例的清晰度均达到预设图像清晰度。

作为本发明的一个示意性实施例，所述步骤130包括：

步骤1301，将标注好的高分辨率全色遥感影像及标注好的多光谱遥感影像,裁剪为尺寸相同的预设大小，得到裁剪后的高分辨率全色遥感影像和裁剪后的多光谱遥感影像；

步骤1302，对裁剪后的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；对裁剪后的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图。

作为本发明的一个示意性实施例，上述步骤140中采用Gram-Schmidt正交化算法对步骤130中所得到的全色图像特征图和多光谱图像特征图进行特征融合。

为了便于对本发明的理解，下面结合本发明遥感影像实例分类方法的原理，以目标地理区域A(对应：北纬36.65°～北纬36.66°，东经116.98°～东经116.99°)为例，结合实施例中对遥感影像实例进行分类的过程，对本发明提供的遥感影像实例分类方法做进一步地描述。

具体的，所述遥感影像实例分类方法包括：

步骤P1：获取目标地理区域的高分辨率全色遥感影像以及获取所述目标地理区域的多光谱遥感影像。

具体方法为：利用高分二号卫星(也可以采用其他卫星替换该高分二号卫星)同时采集目标地理区域的高分辨率全色遥感影像和多光谱遥感影像，直至同时采集到的高分辨率全色遥感影像和多光谱遥感影像均符合预设条件；

获取上述同时采集到的均符合预设条件的高分辨率全色遥感影像和多光谱遥感影像，即得到步骤P1中所要获取到的高分辨率全色遥感影像及多光谱遥感影像。

在本实施例中，所述预设条件包括：影像属于整景影像，视野清晰度达到预设影像清晰度，影像中目标实例的种类大于一，影像中目标实例的清晰度均达到预设图像清晰度。

具体实施时，为方便后续处理，可对采集到的每一个高分辨率全色遥感影像及多光谱遥感影像，均采用相同的截取方法或截取策略，截取设定大小的影像，比如该设定大小可以在2000×2000像素～5000×5000像素之间。在本实施例中，该设定大小为3000×3000像素。

步骤P2：对获取到的高分辨率全色遥感影像和多光谱遥感影像均进行实例标注，得到标注好的高分辨率全色遥感影像以及标注好的多光谱遥感影像。

步骤P1中获取到的目标地理区域的高分辨率全色遥感影像和获取到的对应地理区域下的多光谱遥感影像的大小均为3000×3000像素。

具体实现时，步骤P2对步骤P1中获取到的高分辨率全色遥感影像和多光谱遥感影像均进行实例精细化标注，即对步骤P1中获取到的高分辨率全色遥感影像中的所有实例进行紧贴合目标实例边缘的实例精细化标注，得到标注好的高分辨率全色遥感影像，并对步骤P1中获取到的多光谱遥感影像中的所有实例进行紧贴合目标实例边缘的实例精细化标注，得到标注好的多光谱遥感影像。

步骤P3：对标注好的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；对标注好的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图。

具体地，可将标注好的高分辨率全色遥感影像及标注好的多光谱遥感影像,均裁剪成128×128像素，得到裁剪后的高分辨率全色遥感影像和裁剪后的多光谱遥感影像；

对裁剪后的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；对裁剪后的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图。

步骤P4：对所得到的全色图像特征图和多光谱图像特征图进行特征融合，得到融合特征图。

具体地，采用Gram-Schmidt正交化算法，对所述全色图像特征图和多光谱图像特征图进行特征融合，得到融合特征图。

步骤P5：将所得到的融合特征图，输入分类卷积神经网络进行实例分类。

具体地：将步骤P4中得到的融合特征图输入预先设定的分类卷积神经网络进行实例分类。

上述预先设定的分类卷积神经网络，使用ResNet-101作为骨干网络。

如图2示，该系统200包括：

遥感影像采集单元201，用于获取目标地理区域的高分辨率全色遥感影像及多光谱遥感影像；

实例标注单元202，用于对获取到的高分辨率全色遥感影像和多光谱遥感影像均进行实例标注，得到标注好的高分辨率全色遥感影像以及标注好的多光谱遥感影像；

特征提取单元203，用于对标注好的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；还用于对标注好的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图；

特征融合单元204，用于对所得到的全色图像特征图和多光谱图像特征图进行特征融合，得到融合特征图；

实例分类单元205，用于采用预设的分类卷积神经网络，对所得到的融合特征图进行实例分类。

进一步地，所述遥感影像采集单元201包括：

遥感影像采集模块，用于同时采集目标地理区域的高分辨率全色遥感影像和多光谱遥感影像，直至同时采集到的高分辨率全色遥感影像和多光谱遥感影像均符合预设条件；

遥感影像获取模块，用于获取遥感影像采集模块同时采集到的均符合预设条件的高分辨率全色遥感影像和多光谱遥感影像，即得到所要获取到的目标地理区域的高分辨率全色遥感影像及多光谱遥感影像。

进一步地，所述特征提取单元203包括：

遥感影像裁剪模块，用于将标注好的高分辨率全色遥感影像及标注好的多光谱遥感影像,裁剪为尺寸相同的预设大小，得到裁剪后的高分辨率全色遥感影像和裁剪后的多光谱遥感影像；

图像特征图获取模块，用于对裁剪后的高分辨率全色遥感影像进行图像特征提取，得到全色图像特征图；还用于对裁剪后的多光谱遥感影像进行图像特征提取，得到多光谱图像特征图。

进一步地，所述的特征融合单元204，采用Gram-Schmidt正交化算法进行特征融合。

图3为本发明实施例提供的一种终端300的结构示意图，该终端300可以用于执行本发明实施例提供的方法100。

其中，该终端300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(PRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。

处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(Integrated Circuit，简称IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器310可以仅包括中央处理器(Central Processing Unit，简称CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质400，如图4所示，该计算机存储介质400可存储有程序410，该程序410执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：ROM)或随机存储记忆体(英文：random access memory，简称：RAM)等。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法100的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

本说明书中所涉及的目标地理区域，为待对其遥感影像进行实例分类的地理区域。

本发明基于卷积特征互补实现遥感影像的实例分类，有助于提升遥感影像实例分类效果，继而有助于增加地物分类的准确性。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。