资源大数据的表示、存储与查询方法

技术领域

本申请涉及数据处理技术领域，特别是涉及一种资源大数据的表示、存储与查询方法。

背景技术

随着火箭发射、太空探测等航天技术不断发展，航天装备建设不断扩大规模，航天装备资源数量空前增长，航天装备资源信息呈现大数据爆发态势，如何合理、高效并智能地管理运用好航天装备资源大数据成为摆在装备资源管理者面前的一个重要问题。

基于这些大量的航天装备资源，更多的注意力集中到了如何高效而智能地完成遥感探测任务，尤其是针对目标的探测任务。由于航天装备性质、任务的差别，在完成某一目标的探测任务时需要将多种航天装备资源进行联合式的部署运用才能获得该目标全维、整体的信息，这就对传统的航天装备资源信息管理手段提出了挑战，需要过渡到围绕任务目标来组织航天装备资源信息管理的技术体制上来。

文献[1]指出航天测控装备需要利用大数据技术进行管理，阐述了针对航天测控装备信息的数据采集、数据存储和数据分析3阶段大数据管理方法，该项工作阐述的很笼统，没有具体的方法。文献[2]从航天装备保障出发，设计了装备综合保障信息管理平台体系结构，阐述了装备数据采集分析及技术状态管控、保障性设计和分析、虚实结合的交互式训练、远程专家支持、交互式电子手册、健康与维护管理、供应链管理等多个子系统，该项工作的出发点是如何为保持和提升系统战备完好性，降低全寿命周期费用，因此并不是合理、高效、智能地面向联合运用航天装备资源的有效办法。文献[3]从管理航天装备试验鉴定数据出发，设计了航天装备试验鉴定大数据管理与分析平台，详细阐述了平台中的数据采集、数据存储和数据分析过程，该项工作是阐述平台，并没有涉及到具体的管理方法。文献[4]从航天复杂产品生产管理出发，阐述了生产进度、三维模型等方法，该工作并没有涉及到航天装备资源信息本身。

[1] 赵国强. 大数据的航天测控装备信息管理应用探讨. 通信世界 2019

[2] 邵世纲, 邢冠楠, 崔寅, 崔文星, 刘岭. 航天装备综合保障信息管理平台体系架构及工程研制实践. 导弹与航天运载技术. 2018

[3] 李亚楠, 田雪颖, 王志梅. 基于大数据的航天装备试验鉴定数据管理及分析应用研究. 航天工业管理. 2018

[4] 刘晓亮; 施国强; 陶栾; 林廷宇. 一种航天复杂产品生产管理方法、系统、设备及介质. 专利申请号: CN201810641978.4. 2018。

发明内容

基于此，有必要针对上述技术问题，提供一种资源大数据的表示、存储与查询方法。

一种资源大数据的表示方法，所述方法包括：

构建地面目标模型；所述地面目标模型包括：目标标识、目标坐标信息、目标描述信息以及目标等级信息；

构建资源能力模型；所述资源能力模型包括：资源标识、资源能力信息以及资源描述信息；所述资源能力信息表示一段时间内的空间感知范围；

构建联合搜索模型；所述联合搜索模型包括：所述目标标识以及所述资源标识集合；在联合搜索模型中，每个所述目标标识的目标坐标信息内，资源能力模型对应的资源能力信息均能够探测到所述目标标识；

对地面目标所处的空间区域进行剖分，得到系列子空间；

根据采用所述地面目标模型表示空间区域中的地面目标，得到地面目标集合，对所述地面目标集合中的每一个地面目标的目标描述信息，提取得到关键词信息，得到词条集合；

根据所述地面目标集合中的每一个地面目标的目标坐标信息，确定地面目标与所述系列子空间的对应关系；

采用资源能力模型表示资源，针对所述地面目标集合中的每一个地面目标的目标坐标信息，确定所述资源能力模型中每个资源的资源能力信息与所述目标坐标信息的感知关系，得到地面目标与所述资源的对应关系；

根据地面目标与所述系列子空间的对应关系、地面目标与所述资源的对应关系构建目标资源组合体；所述目标资源组合体表示在系列子空间中，目标资源组合体包括：目标标识、词条集合、可感知地面目标的资源标识、资源能力信息以及资源描述信息。

在其中一个实施例中，还包括：采用自然语言处理中的关键词提取技术，提取得到关键词信息。

在其中一个实施例中，所述资源能力信息包括：探测空间、起始时间和终止时间；所述探测空间为资源从起始时间到终止时间的空间感知范围；还包括：判断所述目标坐标信息是否在所述探测空间中，若是，则将所述资源与地面目标建立对应关系。

在其中一个实施例中，还包括：建立组织模型；所述组织模型包括：系列子空间和目标资源组合体；所述系列子空间和目标资源组合体对应。

在其中一个实施例中，还包括：采用网格均匀剖分地面目标所处的空间区域，得到系列子空间。

一种资源大数据的存储方法，所述方法包括：

获取存储介质的最小存储字节，以及获取根据上述资源大数据的表示方法生成的目标资源组合体；

将所述目标资源组合体对应的系列子空间进行均匀剖分，得到剖分区域，直到所述剖分区域中对应目标资源组合体的字节小于或等于所述最小存储字节；

对所述目标资源组合体对应的系列子空间进行序列编码以及对所述剖分区域进行编码；每个系列子空间通过子空间编码标识进行标记；每个剖分区域通过剖分编码标识进行标记；

对所述子空间编码标识和所述剖分编码标识进行拼接，得到全局编码标识；

根据所述全局编码标识建立索引表以及将系列子空间和/或剖分区域中的目标资源组合体存储至存储介质中。

在其中一个实施例中，将所述系列子空间进行2×2的网格进行递归式均匀剖分，得到剖分区域。

一种资源大数据的查询方法，所述方法包括：

根据上述的资源大数据存储方法对目标资源组合体进行存储；

根据待查询窗口与系列子空间的叠加部分，得到剖分标识列表；待查询窗口包括：查询区域、查询起始时间和查询终止时间；查询起始时间和查询终止时间构成查询时间段；

根据所述剖分标识列表查询所述索引表得到存储地址列表；

针对所述存储地址列表中的每一个地址，读取目标资源组合体列表；

根据目标资源组合体列表中每一个目标资源组合体中的目标坐标信息以及资源能力信息分别与所述查询区域和所述查询时间段的对应关系，得到候选地面目标对应的候选结果列表；

将候选地面目标的词条集合和目标等级信息输入预先训练的深度学习模型，得到候选地面目标对应的资源任务关键词；

根据所述资源任务关键词匹配所述候选结果列表，得到查询资源。

在其中一个实施例中，还包括：提取资源对应资源描述信息的关键词，得到关键词列表；

对所述词条集合与所述关键词列表进行标注，形成训练样本；

通过词向量模型对所述训练样本进行向量化，得到样本向量，根据所述样本向量对自回归模型进行训练，得到训练好的深度学习模型。

上述资源大数据的表示、存储与查询方法，一方面提出了地面目标模型、航天资源能力信息模型以及面向目标的航天装备资源联合搜索模型，这3个模型从面向目标的航天装备资源组织的角度对目标、航天装备资源以及联合搜索任务进行建模，为后续的信息表示组织、存储以及搜索提供了可利用可描述的属性表示能力。这3个模型也较为创新的选取了可以支持面向目标组织航天装备资源的属性，与当前的管理手段相比，突出了目标-航天装备资源关联的目的。另一方面以子空间为单元将其中的目标与可扫描的航天装备资源绑定，这种表示方法具有，第一，以子空间为空间单元，方便按区域将目标进行管理，方便后续的存储；第二，以目标为中心组织航天装备资源，将可扫描到该目标的航天装备资源都关联到该目标中，这为后续的检索提供了高效的技术基础，也为分析联合探测任务需要的多个航天装备资源提供了一种有效的组织手段。相比过去单纯的存储航天装备资源，这种组织方式更适合面向目标的航天装备资源联合管理。

附图说明

图1为一个实施例中资源大数据的表示方法的流程示意图；

图2为一个实施例中资源大数据的表示的示意图；

图3为一个实施例中资源大数据的存储方法的流程示意图；

图4为一个实施例中资源大数据的存储的示意图；

图5为一个实施例中资源大数据的查询方法的流程示意图；

图6为一个实施例中资源大数据的查询的示意图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种资源大数据的表示方法，包括以下步骤：

步骤102，构建地面目标模型。

地面目标模型包括：目标标识、目标坐标信息、目标描述信息以及目标等级信息。

步骤104，构建资源能力模型。

资源能力模型包括：资源标识、资源能力信息以及资源描述信息；所述资源能力信息表示一段时间内的空间感知范围。

步骤106，构建联合搜索模型。

联合搜索模型包括：目标标识以及资源标识集合；在联合搜索模型中，每个目标标识的目标坐标信息内，资源能力模型对应的资源能力信息均能够探测到所述目标标识。

步骤108，对地面目标所处的空间区域进行剖分，得到系列子空间。

步骤110，根据采用地面目标模型表示空间区域中的地面目标，得到地面目标集合，对地面目标集合中的每一个地面目标的目标描述信息，提取得到关键词信息，得到词条集合。

步骤112，根据地面目标集合中的每一个地面目标的目标坐标信息，确定地面目标与系列子空间的对应关系。

步骤114，采用资源能力模型表示资源，针对地面目标集合中的每一个地面目标的目标坐标信息，确定资源能力模型中每个资源的资源能力信息与目标坐标信息的感知关系，得到地面目标与资源的对应关系。

步骤116，根据地面目标与所述系列子空间的对应关系、地面目标与资源的对应关系构建目标资源组合体。

目标资源组合体表示在系列子空间中，目标资源组合体包括：目标标识、词条集合、可感知地面目标的资源标识、资源能力信息以及资源描述信息。

上述资源大数据的表示方法中，一方面提出了地面目标模型、航天资源能力信息模型以及面向目标的航天装备资源联合搜索模型，这3个模型从面向目标的航天装备资源组织的角度对目标、航天装备资源以及联合搜索任务进行建模，为后续的信息表示组织、存储以及搜索提供了可利用可描述的属性表示能力。这3个模型也较为创新的选取了可以支持面向目标组织航天装备资源的属性，与当前的管理手段相比，突出了目标-航天装备资源关联的目的。另一方面以子空间为单元将其中的目标与可扫描的航天装备资源绑定，这种表示方法具有，第一，以子空间为空间单元，方便按区域将目标进行管理，方便后续的存储；第二，以目标为中心组织航天装备资源，将可扫描到该目标的航天装备资源都关联到该目标中，这为后续的检索提供了高效的技术基础，也为分析联合探测任务需要的多个航天装备资源提供了一种有效的组织手段。相比过去单纯的存储航天装备资源，这种组织方式更适合面向目标的航天装备资源联合管理。

在其中一个实施例中，如图2所示，给出资源大数据的表示示意图，其中包括：目标t，子空间s、资源h的扫描空间范围1以及资源h的扫描空间范围2，阴影部分表示资源h的扫描能力。

在其中一个实施例中，采用自然语言处理中的关键词提取技术，提取得到关键词信息。

在其中一个实施例中，资源能力信息包括：探测空间、起始时间和终止时间；探测空间为资源从起始时间到终止时间的空间感知范围。判断目标坐标信息是否在探测空间中，若是，则将资源与地面目标建立对应关系。

在其中一个实施例中，建立组织模型；组织模型包括：系列子空间和目标资源组合体；系列子空间和目标资源组合体对应。

在其中一个实施例中，采用网格均匀剖分地面目标所处的空间区域，得到系列子空间。

具体的，资源为航天装备资源，给定地面目标集合

S1：使用

S2：针对目标集合

S3：检查每一个目标

S21：若子空间

S22：

S4：针对目标集合

S41：若

S42：

S43：针对每个资源

S5：组织与表示的结果为每个

在其中一个实施例中，如图3所示，提供一种资源大数据的存储方法，具体步骤如下：

步骤302，获取存储介质的最小存储字节，以及获取目标资源组合体。

该目标资源组合体是以上述资源大数据的表示方法得到的。

步骤304，将目标资源组合体对应的系列子空间进行均匀剖分，得到剖分区域，直到剖分区域中对应目标资源组合体的字节小于或等于最小存储字节。

步骤306，对目标资源组合体对应的系列子空间进行序列编码以及对剖分区域进行编码。

每个系列子空间通过子空间编码标识进行标记；每个剖分区域通过剖分编码标识进行标记。

步骤308，对子空间编码标识和剖分编码标识进行拼接，得到全局编码标识。

步骤310，根据全局编码标识建立索引表以及将系列子空间和/或剖分区域中的目标资源组合体存储至存储介质中。

上述资源大数据的存储方法中，通过考虑分布于地面的目标具有偏斜分布的可能，因此使用了递归式划分空间的办法，将偏斜的部分进行均匀划分，并采用了前向匹配方法将剖分空间一维化后排序，相比于传统的航天装备资源管理方式，第一，本发明所提出以目标为中心、以剖分空间为基本存储单元的存储方式是一种全新的存储方式，既考虑了面向目标的航天装备资源联合搜索又考虑了目标分布偏斜对存储的压力；第二，利用前向匹配将剖分后的空间进行排序，并设计了索引表，为后续的高效检索提供了技术手段。

在其中一个实施例中，将所述系列子空间进行2×2的网格进行递归式均匀剖分，得到剖分区域。

具体如图4所示，提供一种资源大数据的存储示意图，其中，图4a为空间存储部分，图4b为索引表。

以图4给出的存储示意，以及考虑到地面目标的分布可能出现偏斜分布，因此存储时要考虑对偏斜部分进行进一步细化，否则可能会影响存储性能。进一步以给定地面目标集合T，全部航天装备资源集合H，以及磁盘存储的最小单元字节大小BZ，存储方法如下：

S1：利用上述表示方法形成对每个地面目标的表示结构，即一系列目标资源组合体

S2：针对每个子空间

S21：若

S22：否则，

S3：剖分完毕后，对子空间

S4：对每个子空间四等分的剖分部分按照从左到右、从上到下的顺序分别编以1~4的编码，对再向下递归四等分的剖分部分除了按照1~4的编码外，编码首部再拼接其父剖分的编码，每个剖分都编码完毕后，其首部再拼接所在子空间的

S5：对剖分完毕的符合存储最小单元要求的剖分（或子空间）依据

在其中一个实施例中，如图5所示，提供一种资源大数据的查询方法，具体步骤如下：

步骤502，根据资源大数据存储方法对目标资源组合体进行存储。

步骤504，根据待查询窗口与系列子空间的叠加部分，得到剖分标识列表。

待查询窗口包括：查询区域、查询起始时间和查询终止时间；查询起始时间和查询终止时间构成查询时间段。

步骤506，根据剖分标识列表查询索引表得到存储地址列表。

步骤508，针对存储地址列表中的每一个地址，读取目标资源组合体列表。

步骤510，根据目标资源组合体列表中每一个目标资源组合体中的目标坐标信息以及资源能力信息分别与查询区域和查询时间段的对应关系，得到候选地面目标对应的候选结果列表。

步骤512，将候选地面目标的词条集合和目标等级信息输入预先训练的深度学习模型，得到候选地面目标对应的资源任务关键词。

步骤514，根据资源任务关键词匹配候选结果列表，得到查询资源。

上述资源大数据的查询方法中，利用索引表和学习模型进行高效和智能化的搜索满足联合扫描的航天装备资源，与传统方式相比，第一，提高了检索效率，这是因为前述的信息表示就已经将目标和对应的航天装备资源组合完毕，检索效率大大提高，第二，利用机器学习技术直接将需要联合探测的航天装备资源进行智能查找，提高了效率也提高了精确性。

在其中一个实施例中，提取资源对应资源描述信息的关键词，得到关键词列表；对所述词条集合与所述关键词列表进行标注，形成训练样本；通过词向量模型对所述训练样本进行向量化，得到样本向量，根据所述样本向量对自回归模型进行训练，得到训练好的深度学习模型。

具体的，针对探测某一目标时应该联合哪些航天装备资源才能全面覆盖探测任务，需要形成如下搜索能力，给定目标

S1：将

S2：经领域专家人工标注，形成给定

S3：利用BERT（https://arxiv.org/abs/1810.04805）词向量模型将

S4：针对标注的样本向量，利用自回归模型进行训练；

S5：训练完毕后，将模型参数进行存储。

上述机器学习的模型训练方法，将探测目标需要的航天装备资源能力的规则形式化，并采用了机器学习模型进行训练，传统方式基本采用规则匹配方式，扩展性和准确性较差，本发明利用机器学习方法进行训练，为后续目标更新与扩展情况下确保匹配的正确性提供了技术手段。

具体的，如图6所示，提供一种资源大数据的查询示意图，其中图6（a）表示空间检索部分，图6（b）表示索引表，针对一个地面目标集合

S1：计算

S2：依据S1中的标识列表查找索引表

S3：针对

S31：读取

S32：针对

S321：若目标

S3211比较目标对应的航天装备资源

S32111：若交叠，将该航天装备资源的标识加入目标

S32112：否则，读取组合体

S322：否则，

S4：执行完上述步骤后，每个目标

S5：将每个目标

S6：针对每个

S7：针对每个目标

应该理解的是，虽然图1、3和5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1、3和5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储航天资源数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种资源大数据的表示、存储和查询方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。