基于多级网格和文件索引的路网数据存储方法及系统

技术领域

本发明涉及数据存储技术领域，尤其涉及一种基于多级网格和文件索引的路网数据存储方法及系统。

背景技术

近年来，随着科学技术的高速发展，及社会信息化的普及，传统通过人为采集信息的方式逐渐被电子设备所替代。同时，随着数据采集设备的多样化、5G网络的迅速发展及人们对空间地理信息领域越来越深入的研究，产生了规模庞大的地理空间数据，且数据量呈指数级增长，同时空间数据的高计算复杂性，都给数据的存储和查询等一系列处理过程带来了巨大的挑战。

在面向大规模道路网络数据的地理信息系统应用中，道路网络复杂多样，信息量大。在导航系统设计中，面向大规模地理网络的路径查找往往会有很高计算复杂度，且不能支持网络的动态性，增加了查询时间，影响用户体验，且随着大数据技术发展，海量道路网络数据下的网络分析引起了越来越多的关注，传统算法在解决海量网络数据条件下的网络分析问题时往往具有很高的计算复杂度和内存占用，并且使用传统算法进行路网数据存储调用时存在以下问题：在路径规划过程中，对路段和节点的读取效率要求较高，现有的矢量或者数据库文件并不能满足算法读取效率，同时路网数据存储量较大且要精确表达相互之间的拓扑关系，整体处理对计算机性能要求较高。

发明内容

针对上述所显示出来的问题，本发明提供了一种基于多级网格和文件索引的路网数据存储方法及系统用于解决背景技术中提到的在路径规划过程中，对路段和节点的读取效率要求较高，现有的矢量或者数据库文件并不能满足算法读取效率，同时路网数据存储量较大且要精确表达相互之间的拓扑关系，整体处理对计算机性能要求较高的问题。

一种基于多级网格和文件索引的路网数据存储方法，包括以下步骤：

在母库中调取路网和节点数据，对调取的路网数据和节点数据进行预处理，获取预处理结果；

基于所述预处理结果，将目标路网进行地理等级网格划分和地段等级划分，获取网格划分结果和地段划分结果；

利用预设代价模型对所述地段划分结果进行代价值计算，将每个地点的计算代价值与该地段的目标路网数据存储在网格划分结果对应的网格中；

构建不同层级的路网数据的索引文件。

优选的，所述在母库中调取路网和节点数据，对调取的路网数据和节点数据进行预处理，获取预处理结果，包括：

根据所述调取的路网数据确定其对应的多条路段信息；

根据调取的节点数据确定所述多个节点和多条路段之间的n个边界点，构建每个边界点连接的两个目标节点之间的目标路段；

将所述两个目标节点与所述目标路段相连接，连接完毕后获得预处理后的路网数据；

将所述预处理后的路网数据作为所述预处理结果。

优选的，所述基于所述预处理结果，将目标路网进行地理等级网格划分和地段等级划分，获取网格划分结果和地段划分结果，包括：

根据所述预处理结果获取路网数据中的每个路段信息的属性信息；

根据每个路段信息的属性信息确定每个路段信息的空间信息和数据量级；

根据每个路段信息的空间信息和数据量级将目标路网划分为三个等级的地段区间和地理网格区间；

将三个等级的地段区间和地理网格区间确认为所述网格划分结果和地段划分结果。

优选的，利用预设代价模型对所述地段划分结果进行代价值计算，将每个地点的计算代价值与该地段的目标路网数据存储在网格划分结果对应的网格中，包括：

利用所述预设代价模型对地段划分结果中的的每个地段信息进行时间代价值和距离代价值计算；

将每个地段信息和其对对应的时间代价值和距离代价值相关联；

关联完毕后，将每个地段信息和其对应的目标路网数据按照定义的结构存储到网格划分结果对应的网格区块中。

优选的，所述构建不同层级的路网数据的索引文件，包括：

确定每个层级中每个目标路网数据对应的多个节点；

获取每个目标路网数据对应的多个节点中每个节点的属性信息；

根据每个节点的属性信息生成每个节点的索引指令，将每个节点的索引指令导入该节点对应的目标路网数据中并将二者实现关联；

统计每个目标路网数据的索引指令集，将同一等级的目标路网数据的索引指令集统一存储。

优选的，所述方法还包括：

对存储调取的路网数据的存储介质进行第一操作，获取反馈的第一操作响应；

根据所述第一操作响应确定存储介质的反馈响应时长；

若所述反馈响应时长小于预设时长，获取所述存储介质的可用存储空间；

评估所述可用存储区间的性能指数，若所述性能指数小于等于预设阈值，释放所述存储介质的已用存储空间，将所述已用存储空间中的备份数据以及非常用数据删除。

优选的，所述方法还包括：

统计多等级网格中每个网格区块内的当前数据读写次数；

根据每个网格区块内的当前数据读写次数与每个网格区块的预设月均最大读写次数计算出每个网格区块的安全系数；

获取每个网格区块内每次数据读写的成功概率，根据所述成功概率确定每个网格区块的故障异常概率；

根据每个网格区块的安全系数和故障异常概率计算出该网格区块的安全性能指数：

其中，k

将安全性能指数小于预设指数的目标网格区块进行数量统计，获取每个目标网格区块的编号，生成每个目标网格区块的异常报告；

将目标数量个目标网格区块与其对应编号和异常报告发送至服务器以供工作人员进行维护和维修。

优选的，所述基于多级网格和文件索引的路网数据存储方法，评估所述可用存储区间的性能指数，包括：

按照预设划分规则将所述可用存储区间划分为N个子存储区间；

将所述子存储区间与预设的子存储区间比较，判断所述子存储区间是否完整，若是，则将完整的子存储区域对应的存储空间残缺比设置为1；

若不完整，则基于不完整的自存储区域的残缺程度，获得对应的存储空间残缺比；

获取每个子存储区间的当前读写次数和读写频率指数；

获取每个子存储区间中对应的的第一性能指数；

基于不完整的子存储区间的空间残缺比、每个子存储区间的当前读写次数和读写频率指数以及每个子存储区间对应的的第一性能指数，计算出每个子存储区间对应的性能指数权重值：

式中，τ

基于每个子存储区间对应的性能指数权重值和每个子存储区间中对应的的第一性能指数，计算出所述可用存储区间的性能指数：

式中，σ为所述可用存储区间的性能指数，min()为取最小值。

一种基于多级网格和文件索引的路网数据存储系统，该系统包括：

调取模块，用于在母库中调取路网和节点数据，对调取的路网数据和节点数据进行预处理，获取预处理结果；

划分模块，用于基于所述预处理结果，将目标路网进行地理等级网格划分和地段等级划分，获取网格划分结果和地段划分结果；

计算模块，用于利用预设代价模型对所述地段划分结果进行代价值计算，将每个地点的计算代价值与该地段的目标路网数据存储在网格划分结果对应的网格中；

构建模块，用于构建不同层级的路网数据的索引文件。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明所提供的一种基于多级网格和文件索引的路网数据存储方法的工作流程图；

图2为本发明所提供的一种基于多级网格和文件索引的路网数据存储方法的另一工作流程图；

图3为本发明所提供的一种基于多级网格和文件索引的路网数据存储方法的又一工作流程图；

图4为本发明所提供的一种基于多级网格和文件索引的路网数据存储系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

近年来，随着科学技术的高速发展，及社会信息化的普及，传统通过人为采集信息的方式逐渐被电子设备所替代。同时，随着数据采集设备的多样化、5G网络的迅速发展及人们对空间地理信息领域越来越深入的研究，产生了规模庞大的地理空间数据，且数据量呈指数级增长，同时空间数据的高计算复杂性，都给数据的存储和查询等一系列处理过程带来了巨大的挑战。

在面向大规模道路网络数据的地理信息系统应用中，道路网络复杂多样，信息量大。在导航系统设计中，面向大规模地理网络的路径查找往往会有很高计算复杂度，且不能支持网络的动态性，增加了查询时间，影响用户体验，且随着大数据技术发展，海量道路网络数据下的网络分析引起了越来越多的关注，传统算法在解决海量网络数据条件下的网络分析问题时往往具有很高的计算复杂度和内存占用，并且使用传统算法进行路网数据存储调用时存在以下问题：在路径规划过程中，对路段和节点的读取效率要求较高，现有的矢量或者数据库文件并不能满足算法读取效率，同时路网数据存储量较大且要精确表达相互之间的拓扑关系，整体处理对计算机性能要求较高。为了解决上述问题，本实施例公开了一种基于多级网格和文件索引的路网数据存储方法。

一种基于多级网格和文件索引的路网数据存储方法，如图1所示，包括以下步骤：

步骤S101、在母库中调取路网和节点数据，对调取的路网数据和节点数据进行预处理，获取预处理结果；

步骤S102、基于所述预处理结果，将目标路网进行地理等级网格划分和地段等级划分，获取网格划分结果和地段划分结果；

步骤S103、利用预设代价模型对所述地段划分结果进行代价值计算，将每个地点的计算代价值与该地段的目标路网数据存储在网格划分结果对应的网格中；

步骤S104、构建不同层级的路网数据的索引文件。

上述技术方案的工作原理为：在母库中调取路网和节点数据，对调取的路网数据和节点数据进行预处理，获取预处理结果，基于所述预处理结果，将目标路网进行地理等级网格划分和地段等级划分，获取网格划分结果和地段划分结果，利用预设代价模型对所述地段划分结果进行代价值计算，将每个地点的计算代价值与该地段的目标路网数据存储在网格划分结果对应的网格中，构建不同层级的路网数据的索引文件。

上述技术方案的有益效果为：针对海量数据处理的要求，引入网格存储方式，分块处理和分步处理，有效降低了对服务器计算性能的要求，节省服务器成本。同时，对指定数据建立索引可以最大限度增加文件读取速度，有效地提高算法效率，通过根据不同的代价模型，预置不同节点路段之间的代价值，节省算路过程代价计算时间，可以有效地避免服务器的计算时间过长，进一步地提高了提高算法效率。解决了现有技术中在路径规划过程中，对路段和节点的读取效率要求较高，现有的矢量或者数据库文件并不能满足算法读取效率，同时路网数据存储量较大且要精确表达相互之间的拓扑关系，整体处理对计算机性能要求较高的问题。

在一个实施例中，所述在母库中调取路网和节点数据，对调取的路网数据和节点数据进行预处理，获取预处理结果，包括：

根据所述调取的路网数据确定其对应的多条路段信息；

根据调取的节点数据确定所述多个节点和多条路段之间的n个边界点，构建每个边界点连接的两个目标节点之间的目标路段；

将所述两个目标节点与所述目标路段相连接，连接完毕后获得预处理后的路网数据；

将所述预处理后的路网数据作为所述预处理结果。

上述技术方案的有益效果为：通过构建边界点相连接的两个目标之间的目标路段可以为后续进行路网数据的存储提供更加完善的数据，同时也使得后续对应路网数据的调用更加快速和高效，无需服务器实时生成路径，提高了工作效率。

在一个实施例中，如图2所示，所述基于所述预处理结果，将目标路网进行地理等级网格划分和地段等级划分，获取网格划分结果和地段划分结果，包括：

步骤S201、根据所述预处理结果获取路网数据中的每个路段信息的属性信息；

步骤S202、根据每个路段信息的属性信息确定每个路段信息的空间信息和数据量级；

步骤S203、根据每个路段信息的空间信息和数据量级将目标路网划分为三个等级的地段区间和地理网格区间；

步骤S204、将三个等级的地段区间和地理网格区间确认为所述网格划分结果和地段划分结果。

上述技术方案的有益效果为：通过对目标路网进行网格和路段的等级划分可以进一步地实现分块处理和分步处理，有效降低了对服务器计算性能的要求，一定程度上节省了成本，同时也可以井然有序地针对用户的规划路径快速地调取到需要的路网数据，进一步地提高了工作效率。

在一个实施例中，利用预设代价模型对所述地段划分结果进行代价值计算，将每个地点的计算代价值与该地段的目标路网数据存储在网格划分结果对应的网格中，包括：

利用所述预设代价模型对地段划分结果中的的每个地段信息进行时间代价值和距离代价值计算；

将每个地段信息和其对对应的时间代价值和距离代价值相关联；

关联完毕后，将每个地段信息和其对应的目标路网数据按照定义的结构存储到网格划分结果对应的网格区块中。

上述技术方案的有益效果为：根据预设代价模型，预置不同节点路段之间的代价值，可以节省算路过程代价计算时间，进一步地提高算法效率，省去了服务器自行计算的时间，降低了服务器的运行负载，进一步地提高了工作效率。

在一个实施例中，所述在所述构建不同层级的路网数据的索引文件，包括：

确定每个层级中每个目标路网数据对应的多个节点；

获取每个目标路网数据对应的多个节点中每个节点的属性信息；

根据每个节点的属性信息生成每个节点的索引指令，将每个节点的索引指令导入该节点对应的目标路网数据中并将二者实现关联；

统计每个目标路网数据的索引指令集，将同一等级的目标路网数据的索引指令集统一存储。

上述技术方案的有益效果为：通过根据属性信息来生成每个目标路网数据的索引指令可以保证每个目标路网数据索引指令的唯一性，避免同一索引指令索引出多个目标路网数据情况的发生，提高了稳定性，进一步地，通过将同一等级的目标路网数据的索引指令集统一存储可以将每个等级的索引范围独立，从而可以使得用户快速地实现对于存储的路网数据的调用，提高了用户的体验感。

在一个实施例中，如图3所示，所述方法还包括：

步骤S301、对存储调取的路网数据的存储介质进行第一操作，获取反馈的第一操作响应；

步骤S302、根据所述第一操作响应确定存储介质的反馈响应时长；

步骤S303、若所述反馈响应时长小于预设时长，获取所述存储介质的可用存储空间；

步骤S304、评估所述可用存储区间的性能指数，若所述性能指数小于等于预设阈值，释放所述存储介质的已用存储空间，将所述已用存储空间中的备份数据以及非常用数据删除。

上述技术方案的有益效果为：通过对存储介质的存储空间进行优化可以保证对于存储的目标路网数据的读取完整性和效率，避免由于存储介质存储空间已满而导致数据传输效率缓慢从而延长用户数据对于路网数据的调取时间，进一步地提高了用户的体验感，同时，也实现了对于存储介质的存储空间周期性清理的工作。

在一个实施例中，所述方法还包括：

统计多等级网格中每个网格区块内的当前数据读写次数；

根据每个网格区块内的当前数据读写次数与每个网格区块的预设月均最大读写次数计算出每个网格区块的安全系数；

获取每个网格区块内每次数据读写的成功概率，根据所述成功概率确定每个网格区块的故障异常概率；

根据每个网格区块的安全系数和故障异常概率计算出该网格区块的安全性能指数：

其中，k

将安全性能指数小于预设指数的目标网格区块进行数量统计，获取每个目标网格区块的编号，生成每个目标网格区块的异常报告；

将目标数量个目标网格区块与其对应编号和异常报告发送至服务器以供工作人员进行维护和维修。

上述技术方案的有益效果为：通过计算每个目标网格区块的安全性能指数可以周期性地根据每个网格区块的数据调用情况来评估每个网格区块的性能，进而可以在性能不佳时通知工作人员进行维护和维修，提高了后续用户对于路网数据的调取效率，进一步地提高了用户的体验感。

在一个实施例中，所述基于多级网格和文件索引的路网数据存储方法，评估所述可用存储区间的性能指数，包括：

按照预设划分规则将所述可用存储区间划分为N个子存储区间；

将所述子存储区间与预设的子存储区间比较，判断所述子存储区间是否完整，若是，则将完整的子存储区域对应的存储空间残缺比设置为1；

若不完整，则基于不完整的自存储区域的残缺程度，获得对应的存储空间残缺比；

获取每个子存储区间的当前读写次数和读写频率指数；

获取每个子存储区间中对应的的第一性能指数；

基于不完整的子存储区间的空间残缺比、每个子存储区间的当前读写次数和读写频率指数以及每个子存储区间对应的的第一性能指数，计算出每个子存储区间对应的性能指数权重值：

式中，τ

基于每个子存储区间对应的性能指数权重值和每个子存储区间中对应的的第一性能指数，计算出所述可用存储区间的性能指数：

式中，σ为所述可用存储区间的性能指数，min()为取最小值。

上述技术方案的有益效果为：通过按照预设划分规则将所述可用存储区间划分获得子存储区间，基于所述可用存储区间中包含的子存储区间的相关存储数据分别计算，确定对应的性能指数权重值，有利于更加精确地计算出所述可存储区间的性能指数。

在一个实施例中，包括：

路网作为大型网络，具有交叉口转向限制，因此需要针对路网的特点以及导航中路线优化的要求，寻求合适的存储结构，从而达到存储量尽可能小，同时还便于路径规划算法对其进行操作，还能够正确表达交叉口转向限制等要求。针对以上对路网存储数据的要求，设计出基于多级空间网格、多级文件索引等技术的链表式存储结构。主要实现操作处理的步骤如下：

1、根据路网数据的空间信息以及数据量级，将路网数据分三级规则网格，从而解决空间定位、空间检索机制，空间网格内数据量等问题。

2、针对划分空间网格过程中，边界地区打断路段出现的边界点，数据处理过程中提前建立节点和路段之间的连接关系。

3、本专利构建不同算路模式下的代价模型，分别计算不同节点路段之间的代价值，存入对应位置。路径规划过程可以直接读取这些提前计算的代价值，大大提高了算法效率。

4、数据加工过程中分别读取当前三级网格的临近8个网格数据处理，减小了当前处理的数据量，从而降低了对服务器内存的要求。

5、分别对一、二、三级网格构建索引文件，算法读取数据时根据层级依次定位到对应块的数据。

上述技术方案的有益效果为：1、针对海量数据处理的要求，引入网格计算方式，分块处理和分步处理，有效降低了对服务器计算性能的要求，节省服务器成本。2、对指定数据建立索引，最大限度增加文件读取速度，有效提高算法效率。3、根据不同的经验代价模型，预置不同节点路段之间的代价值，节省算路过程代价计算时间，有效提高算法效率。

本实施例还公开了一种基于多级网格和文件索引的路网数据存储系统，如图4所示，该系统包括：

调取模块401，用于在母库中调取路网和节点数据，对调取的路网数据和节点数据进行预处理，获取预处理结果；

划分模块402，用于基于所述预处理结果，将目标路网进行地理等级网格划分和地段等级划分，获取网格划分结果和地段划分结果；

计算模块403，用于利用预设代价模型对所述地段划分结果进行代价值计算，将每个地点的计算代价值与该地段的目标路网数据存储在网格划分结果对应的网格中；

构建模块404，用于构建不同层级的路网数据的索引文件。

上述技术方案的工作原理及有益效果在方法权利要求中已经说明，此处不再赘述。

本领域技术人员应当理解的是，本发明中的第一、第二指的是不同应用阶段而已。

本领域技术用户员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。