一种大规模遥感数据在线获取方法

技术领域

本发明涉及大数据获取技术领域，特别是涉及一种大规模遥感数据在线获取方法。

背景技术

随着遥感技术、通讯技术和计算机技术的飞速发展，对地观测领域进入了大数据时代。数据类型和数据量的不断增长，造成了数据海量性的特点。作为提供空间信息的一种重要手段，覆盖着特定地理区域的遥感数据在很多领域都发挥着重要的作用。在特定的应用场景下，面对大规模遥感数据，如何快速筛选出合适的数据并实现数据获取是当前必须解决的问题。另一方面，作为空间科学数据的重要组成部分，遥感数据具有重要的应用价值和研究价值，将其应用到地球环境的相关研究中，能够为防灾减灾、环境保护和宏观决策等提供地理信息和科学指导。作为科学研究的基础，遥感数据的获取效率制约着整个研究进程，选择合适的数据获取方法能够保证研究的顺利完成。因此，实现遥感数据的快速高效获取具有重要的理论和现实意义。

通常来说，遥感数据由元数据和实体数据组成。由于大数据背景下数据的海量性特点，实现所有实体数据汇聚会受到获取方式、存储空间和人力成本等因素的制约。此外，有些数据由于成像质量较低也没有很高的研究价值。例如，云量信息是筛选光学数据时需要考虑的一个重要因素，若研究区内的光学影像数据被云覆盖，此时从光学遥感影像上能够获取的信息就非常有限，那么微波数据由于具有穿透云层的能力成为一个更好的选择。在这种情况下，在实际的应用中，若我们先对元数据进行编目，实体数据的获取利用数据中心遵循的公开网络协议，这种方式就相对可行。目前，通过管理元数据来管理数据资源是最常用的数据管理模式。因此，建立统一的元数据编目模型，以便对遥感数据源进行科学、高效地管理非常重要。

遥感数据主要通过卫星数据中心网站和数据共享平台发布。尽管这些方式能够提供数据检索和下载服务，但它们都不能回答的一个问题是数据在特定区域的覆盖度是多少。用户不清楚区域内数据的整体覆盖信息，很可能遗漏高质量的遥感数据，那么建立数据覆盖度计算模型就显得尤为重要。利用覆盖度计算模型对筛选出来的数据进行空间覆盖度计算，使数据覆盖信息以一种直观的方式呈现出来，便于后续目标遥感数据的获取。

对于全球变化研究，如长时间序列的森林生物量，植被覆盖和冰冻圈要素等的动态变化研究，单幅影像因其时间和刈幅限制往往难以满足应用需求，这时需要结合不同卫星的数据，以达到更好的时空覆盖。而不同的数据要通过不同的数据平台获取，数据获取过程复杂繁琐。实现不同类型的遥感数据在同一平台上的检索和获取逐渐成为人们关注的焦点。此外，在获取研究区域的目标遥感数据时，传统的方法是通过浏览器将数据添加到购物车中并生成订单，这种方式更适合于小批量的数据获取，需要安排专门的人员频繁检查数据传输是否完成并开始新的数据获取任务。在获取大规模的数据时，以上方法既耗费时间，效率又低。那么实现大规模数据的自动化获取是一种较好的方法，人工干预较少。

发明内容

本发明的目的是提供一种大规模遥感数据在线获取方法，以解决现有技术中存在的技术问题，能够实现大规模遥感数据的在线、针对性和自动获取，实用性强。

为实现上述目的，本发明提供了如下方案：本发明提供一种大规模遥感数据在线获取方法，包括如下步骤：

S1、构建元数据编目模型，通过所述元数据编目模型对遥感元数据进行统一编目，并将编目结果保存到元数据库，根据应用需求在元数据库中筛选研究区域内符合条件的遥感数据；

S2、构建数据覆盖度计算模型，通过所述数据覆盖度计算模型对筛选出来的研究区域内的遥感数据进行覆盖度计算；

S3、判断覆盖度是否为1，若覆盖度为1，基于步骤S1筛选出的研究区域内符合条件的遥感数据生成数据列表；若覆盖度小于1，则输出研究区域内未被遥感数据覆盖的区域，并基于步骤S1筛选出的研究区域内符合条件的遥感数据生成数据列表；

S4、通过所述数据列表进行目标遥感数据的在线获取。

优选地，所述步骤S1中，元数据编目模型包括字段名称、数据类型、数据描述。

优选地，所述步骤S2中，构建数据覆盖度计算模型的具体方法包括：

S2.1、对遥感影像进行空间表达；

S2.2、基于遥感影像的空间表达，构建数据覆盖度计算模型。

优选地，所述步骤S2.1中，遥感影像数据集I表示为I＝{I

优选地，所述步骤S2.2中，数据覆盖度计算模型如式1所示：

式中，cov表示遥感影像的覆盖度值；T表示覆盖研究区域的地理区域；I表示T中的影像数据集；union()是对遥感影像数据集进行并集操作的函数；intersection()是对遥感影像数据集进行交集操作的函数；Area()是计算面积的函数。

优选地，所述步骤S3中，数据列表包括数据名称、卫星信息、传感器信息、影像获取时间、云量信息、影像位置信息、影像下载地址。

优选地，所述步骤S4中，基于卫星数据中心遵循的公开网络协议HTTP进行目标遥感数据的获取。

优选地，所述步骤S4中，遥感数据的获取接口为机器对机器的接口。

本发明公开了以下技术效果：

(1)本发明针对海量数据背景下大规模遥感数据获取过程中存在的问题，提出了一种大规模遥感数据在线获取方法，在特定应用场景下，通过元数据编目模型获取元数据，然后利用数据覆盖度计算模型计算数据覆盖度值，保证了遥感数据获取过程具有较高的针对性；本发明所提方法具有较强的实用性，能够实现数据的在线、针对性和自动获取，更适合于大规模遥感数据的获取，为数据获取策略提供了指导，有效提高了数据服务水平；

(2)本发明通过研究区域覆盖度的计算，有效保证了研究区域能够被遥感数据进行完整覆盖，为对地观测相关研究提供了有效的数据支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明大规模遥感数据在线获取方法流程图；

图2为本发明实施例中数据覆盖度计算模型结构示意图；

图3为本发明实施例中基于HTTP协议的遥感数据获取示意图；

图4为本发明实施例中数据列表示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1所示，本实施例提供一种大规模遥感数据在线获取方法，用于进行对地观测相关研究，具体包括如下步骤：

S1、构建元数据编目模型，通过所述元数据编目模型对遥感元数据进行统一编目，并将编目结果保存到元数据库，根据应用需求在元数据库中筛选研究区域内符合条件的遥感数据；

所述遥感数据由元数据和实体数据组成，所述元数据为遥感数据的描述信息，用于数据的组织、管理、维护和集成，同时为数据检索和使用提供便利。所述元数据描述了遥感影像获取有关的参数、获取后的后处理参数；其中，遥感影像获取有关的参数包括：影像获取的日期和时间、投影参数；遥感影像的后处理参数包括：几何纠正精度、图像分辨率、辐射校正参数。

所述元数据编目模型用于对多源遥感数据进行统一描述。

为了实现多源遥感数据的统一描述，本实施例对ISO 19115和CSDGM现有主流元数据标准进行调研，建立了元数据编目模型，包括数据名称、时间范围和空间范围等信息，具体如表1所示：

表1

从表1可以看出，除了遥感数据的基本信息外，元数据编目模型中还引入了体现数据获取方式、数据版权和数据共享等信息，其中“DataDownloadURL”字段的值对后续实体数据的获取过程是必要的；数据版权信息包括数据所有者“DataOwner”字段和数据提供者“DataProvider”字段，数据所有者生产数据，一般为拥有数据所有权的机构或组织；数据提供者负责提供数据，原则上拥有分发数据的权利。此外，随着对地观测数据开放共享理念和实践的不断深入，数据共享标准是本实施例元数据编目模型中考虑的最后一个方面，在模型中体现为“DataSharingStandard”字段。

S2、构建数据覆盖度计算模型，通过所述数据覆盖度计算模型对筛选出来的研究区域内的遥感数据进行覆盖度计算；具体包括：

S2.1、对遥感影像进行空间表达；遥感影像数据集I表示为I＝{I

S2.2、基于遥感影像的空间表达，构建数据覆盖度计算模型，所述数据覆盖度计算模型如式(1)所示：

式中，cov表示遥感影像的覆盖度值；T表示覆盖研究区域的地理区域；I表示T中的影像数据集；union()是对遥感影像数据集进行并集操作的函数；union(I)＝I

本实施例中，数据覆盖度计算模型如图2所示，图2中，T表示覆盖研究区域的地理区域，I

S3、判断覆盖度是否为1，若覆盖度为1，基于步骤S1筛选出的研究区域内符合条件的遥感数据生成数据列表；若覆盖度小于1，则输出研究区域内未被遥感数据覆盖的区域，并基于步骤S1筛选出的研究区域内符合条件的遥感数据生成数据列表；

覆盖度为1说明研究区域已完全被遥感影像覆盖，能够直接生成数据列表，并根据数据列表进行目标遥感数据的在线获取；覆盖度＜1，说明所选取的数据源中的遥感影像无法对研究区域进行完全覆盖，输出研究区域内未被遥感数据覆盖的区域，针对未覆盖区域，重新选择数据源，并重复步骤S1～S3，直到研究区域被完全覆盖。

本实施例采用基于OpenLayers3和Java Struts2所开发的WebGIS系统对遥感数据进行覆盖度计算，WebGIS系统能够直观地在地图上显示研究区域的覆盖区域和未覆盖区域。

本实施例中，数据列表包括数据名称、卫星信息、传感器信息、影像获取时间、云量信息、影像位置信息、影像下载地址；其中，影像位置信息包括：左上角纬度、左上角经度、右上角纬度、右上角经度、右下角纬度、右下角经度、左下角纬度、左下角经度。

S4、通过所述数据列表进行目标遥感数据的在线获取；

本实施例不再通过浏览器直接获取数据，而是将现有的数据获取接口扩展为一个机器对机器的接口，基于卫星数据中心遵循的公开网络协议HTTP，通过机器对机器接口实现目标遥感数据的获取，以实现大规模遥感数据的服务能力，使数据获取过程简单化和自动化；同时，无需安排人员花费时间进行数据获取，节省了人力成本。遥感数据获取过程具体如图3所示。

为进一步验证本发明大规模遥感数据在线获取方法的有效性，本实施例将Landsat-8和Sentinel-1/2/3作为数据源获取海南岛遥感数据，对本发明大规模遥感数据在线获取方法进行实验验证。

实验环境如下：Windows 10操作系统、16GB内存、1TB硬盘和3.20GHz CPU。程序基于MyEclipse 8.5开发，由Tomcat 7.0发布。

基于遥感数据的时间分辨率、空间分辨率、数据类型和实际应用需求，数据获取详细信息如表2所示：

表2

首先，基于元数据编目模型进行元数据的编目，并将获取到的所有遥感元数据都保存在元数据表中统一管理；根据任务要求，本实施例获取了2016-2019年全球的遥感元数据，元数据表中有25301255条记录，其中Landsat-8 1030086条，Sentinel-1 4304532条，Sentinel-2 15576763条和Sentinel-3 2194932条。获取的不同卫星每年的元数据数量如表3所示：

表3

通过比较，数据库中的元数据记录数与卫星数据中心网站上发布的元数据记录数一致，保证了元数据的完整性和一致性。

其次，通过数据覆盖度计算模型进行数据覆盖度计算，海南岛区域遥感影像的覆盖度值为1，即在该区域内有一个完整的数据覆盖；

再次，基于覆盖度值为1进行遥感数据的筛选，并基于筛选出的遥感数据生成数据列表，数据列表如图4所示，通过数据列表进行目标遥感数据的在线获取，共获得225幅Sentinel-1影像数据和435幅Sentinel-2影像数据，从而能够根据任务需求，有针对性的自动获取大规模遥感数据。

本发明针对海量数据背景下大规模遥感数据获取过程中存在的问题，提出了一种大规模遥感数据在线获取方法，在特定应用场景下，通过元数据编目模型获取元数据，然后利用数据覆盖度计算模型计算数据覆盖度值，保证了遥感数据获取过程具有较高的针对性；实验结果表明，本发明所提方法具有较强的实用性，能够实现数据的在线、针对性和自动获取，更适合于大规模遥感数据的获取，为数据获取策略提供了指导，有效提高了数据服务水平。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。