一种基于分片模式的遥感数据管理方法

技术领域

本发明属于遥感数据管理技术领域，具体涉及一种基于分片模式的遥感数据管理方法。

背景技术

地球系统中的大气、海洋、陆地和植被等条件的变化实时刻影响着人类获得，地球作为一个综合系统，包含地学各学科所涉及的所有领域以及信息技术。对地球系统的观测为人类理解地球系统提供提供了有用的信息来源，也成为人类研究地球系统不可替代的研究途径。只有对地观测系统才能提供全球多时相的连续地球数据，这类数据可用于对地球系统作为一个整体的描述，对地观测系统包括对地观测卫星、机载遥感系统、对地观测数据接收系统等多个观测地球的平台相互配合使用，在对地观测系统中，遥感数据是最主要的数据之一，

截止2017年，1738颗卫星在轨正常运行，其中对地观测卫星596颗，2012年升空的ZY-3卫星，每天获取的数据量就在10TB以上。遥感技术和信息技术的进步使得遥感数据快速的增长，全球的遥感数据将会达到PB级别。

最近几年不同来源的遥感数据整合收到更多的关注，在过去的30年间，中国遥感卫星地面先后接收了包括Landsat，SPOT，JERS，CBERS，HJ，ZY和GF等国内外系列卫星数据，截止2013年存档各类对地观测卫星数据资料达330余万景。由于遥感数据的轨道参数、卫星重访周期、空间分辨率和传感器类型有差异，这些区别给遥感数据大数据集成造成了一些困难。此外，探索一个不同来源的高效的遥感数据管理方法可以提供高效数据服务，现有的管理存储遥感影像数据的模式有两种，文件管理和关系数据库管理方式，由于遥感影像的数据特点，大部分遥感图像处理软件都采用文件方式来管理遥感影像数据。

目前，传统的对地观测数据管理方式已经无法满足大数据环境下遥感数据整合的要求，不适用对地观测大数据特性的存储框架，存在着缺陷和限制，为了改善遥感数据的共享和互操作性，数据存储集成管理方式的创新是非常有必要的。因此，我们应该探索出一个高效数据管理组织方法，这个方法应该具有一个完整的空间元数据系统和高效的空间分布存储方法的特点。

发明内容

针对现有技术中的上述不足，本发明提供的基于分片模式的遥感数据管理方法解决了现有的对地观测大数据集成管理效率低下的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于分片模式的遥感数据管理方法，包括以下步骤：

S1、对遥感数据及其对应的遥感元数据进行预处理及数据匹配，形成若干遥感数据块；

S2、基于网络传输协议将遥感数据块上传至分布式数据中心；

S3、通过分布式数据中心的数据库服务器根据其分片对接收到的遥感数据块进行分配，并利用自动分配机制对遥感数据块进行切分保存；

S4、利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中，并使遥感数据块在各个数据分片中达到负载平衡，实现遥感数据管理。

进一步地，所述步骤S1中，对遥感数据进行预处理的方法具体为：

A1、基于地理编码格式的遥感元数据，对遥感数据进行多维特征描述；

A2、根据遥感数据的多维特征描述结果，描述其对应的遥感元数据的内容和结构；

A3、基于各遥感元数据的内容和结构，构建由若干个遥感元数据子集组成的元数据描述体系对遥感数据进行特征描述，实现遥感数据的预处理。

进一步地，所述步骤A1具体为：

基于地理编码格式的遥感元数据中的地理位置信息、波段信息、卫星重访周期和空间分辨率中的一种或多种信息作为多维特征对遥感数据进行多维特征描述；

所述步骤A2中，采用统一建模语言和数据字典相结合的方式对遥感数据对应核心元数据的内容和结构进行描述；

所述步骤A3中，通过元数据描述体系对遥感数据进行特征描述时的特征包括内容信息、数据质量信息、引用信息、标识信息、联系信息、分发信息和空间参考信息。

进一步地，所述步骤S3具体为：

S31、通过分布式数据中心将接收到的遥感数据块移交至数据库服务器中，并基于分片分配若干个用于存储遥感数据块的数据节点；

S32、对用于存储遥感数据块的数据节点进行节点保护，形成对应的分布式集群；

S33、将遥感数据块通过分片的方式存储在数据库服务器中的分布式集群中；

S34、将遥感数据块通过分片的方式存储在各分布式集群中，并通过自动分配机制将遥感数据块切分成小块分散保存在各数据节点中，实现遥感数据块的切分保存。

进一步地，所述步骤S32中，对数据节点进行节点保护时，每个分片包括至少三个数据节点，包括一个主数据节点和两个从数据节点，当主数据节点宕机后，两个从数据节点进行竞选，其中一个从数据节点变为主数据节点，当主数据节点恢复后作为从数据节点加入到对应的分布式集群中。

进一步地，所述步骤S4中利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中的方法具体为：

将遥感数据块中的遥感数据通过数据库服务器的配置服务中的元数据路由至对应的数据分片中，通过在分片服务中设置片键和数据库中的Chunk索引关系，使遥感数据以分片的形式保存在不同的数据分片中。

进一步地，所述分片服务为分布式集群中实际存储数据的位置；

在所述分片服务中，根据设置的不同片键，将遥感数据块分为若干个Chunk，并按照设置的片键类型将遥感数据以不同的逻辑保存在不同的数据分片中。

进一步地，所述步骤S4中，通过设置平衡进程使遥感数据块在各个数据分片中达到负载平衡；

所述平衡进程自动巡查所有数据分片上Chunk的分布情况，当数据分片上的Chunk数量达到设定的迁移阈值时，通过平衡进程在各数据分片之间自动迁移Chunk，使每个数据分片中的Chunk数量相同，进而使遥感数据在各个数据分片中达到负载平衡。

进一步地，在所述平衡进程中，当数据分片中的Chunk大小超过了配置限制时，将其平均分为两个大小相同的新的Chunk。

本发明的有益效果为：

(1)本发明使用一种地理编码格式的数据结构作为遥感元数据的存储形式，并设计了完整的多源遥感数据表为高效的数据查询提供索引基础；

(2)本发明中遥感数据的分布式存储为遥感数据集集成提供了快速、安全和稳定的数据存储模式；

(3)本发明中的遥感数据分布式数据结构能够实现遥感数据的检索、整合和共享，并且在高并发情况下，多个请求的查询被合并成一次进行，以减少数据库的访问次数，不但为多源遥感数据的集成提供了一种新的分布式管理思路，还为并行化计算提供了理论和数据结构基础。

附图说明

图1为本发明提供的基于分片模式的遥感数据管理方法流程图。

图2为本发明提供的数据节点保护示意图。

图3为本发明提供的Chunk迁移示意图。

图4为本发明提供的Chunk迁移分配示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，一种基于分片模式的遥感数据管理方法，包括以下步骤：

S1、对遥感数据及其对应的遥感元数据进行预处理及数据匹配，形成若干遥感数据块；

S2、基于网络传输协议将遥感数据块上传至分布式数据中心；

S3、通过分布式数据中心的数据库服务器根据其分片对接收到的遥感数据块进行分配，并利用自动分配机制对遥感数据块进行切分保存；

S4、利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中，并使遥感数据块在各个数据分片中达到负载平衡，实现遥感数据管理。

上述步骤S1中，对遥感数据进行预处理的方法具体为：

A1、基于地理编码格式的遥感元数据，对遥感数据进行多维特征描述；

该步骤具体为：

基于地理编码格式的遥感元数据中的地理位置信息、波段信息、卫星重访周期和空间分辨率中的一种或多种信息作为多维特征对遥感数据进行多维特征描述；

A2、根据遥感数据的多维特征描述结果，描述其对应的遥感元数据的内容和结构；

该步骤具体为：

采用统一建模语言和数据字典相结合的方式对遥感数据对应核心元数据的内容和结构进行描述；

A3、基于各遥感元数据的内容和结构，构建由若干个遥感元数据子集组成的元数据描述体系对遥感数据进行特征描述，实现遥感数据的预处理；

在该步骤中，通过元数据描述体系对遥感数据进行特征描述时的特征包括内容信息、数据质量信息、引用信息、标识信息、联系信息、分发信息和空间参考信息。

上述步骤S1中，地理编码格式的遥感元数据自动地和对应的遥感数据进行匹配。

上述步骤S2中，遥感数据以tiff格式或img格式传输，其对应的遥感元数据以地理编码格式传输，该地理编码格式可以为GeoJSON。

上述步骤S3具体为：

S31、通过分布式数据中心将接收到的遥感数据块移交至数据库服务器中，并基于分片分配若干个用于存储遥感数据块的数据节点；

该步骤中的数据库服务器为分布式模式数据库，可以为MongoDB；

S32、对用于存储遥感数据块的数据节点进行节点保护，形成对应的分布式集群；

如图2所示，对数据节点进行节点保护时，每个分片包括至少三个数据节点，包括一个主数据节点和两个从数据节点，当主数据节点宕机后，两个从数据节点进行竞选，其中一个从数据节点变为主数据节点，当主数据节点恢复后作为从数据节点加入到对应的分布式集群中。

S33、将遥感数据块通过分片的方式存储在数据库服务器中的分布式集群中；

S34、将遥感数据块通过分片的方式存储在各分布式集群中，并通过自动分配机制将遥感数据块切分成小块分散保存在各数据节点中，实现遥感数据块的切分保存。

上述所述步骤S4中利用数据库服务器的管理模式将切分保存后的遥感数据块保存在不同的数据分片中的方法具体为：

将遥感数据块中的遥感数据通过数据库服务器的配置服务中的元数据路由至对应的数据分片中，通过在分片服务中设置片键和数据库中的Chunk索引关系，使遥感数据以分片的形式保存在不同的数据分片中。

其中，分片服务为分布式集群中实际存储数据的位置；

在所述分片服务中，根据设置的不同片键，将遥感数据块分为若干个Chunk，并按照设置的片键类型将遥感数据以不同的逻辑保存在不同的数据分片中。本实施例中，按照自增型片键的特点，使遥感数据的分布状况已计算机内部码的排列方式进行分配。

在进行遥感数据保存时，利用一种主进程将数据传输请求转发到对应的分片服务中，每个遥感数据块通过一种主进程找出对应的分片服务进行填写，当外部命令发起查询时，主进程路由至指定节点返回数据。

上述步骤S4中，通过设置平衡进程使遥感数据块在各个数据分片中达到负载平衡；

如图3所示，所述平衡进程自动巡查所有数据分片上Chunk的分布情况，当数据分片上的Chunk数量达到设定的迁移阈值时，通过平衡进程在各数据分片之间自动迁移Chunk，使每个数据分片中的Chunk数量相同，进而使遥感数据在各个数据分片中达到负载平衡。

如图4所示，在平衡进程自动巡查所有数据分片上Chunk的分布情况过程中，当数据分片中的Chunk大小超过了配置限制时，将其平均分为两个大小相同的新的Chunk。