一种用于数据血缘的字段检索和路径展示的方法及系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种用于数据血缘的字段检索和路径展示的方法及系统。

背景技术

数据血缘是指数据在产生、处理、流转到消亡的过程中，数据之间形成的一种类似于人类社会血缘的数据关系，通常来讲，对于业务过程中获取和产生的数据，需要对原始数据进行多个步骤的加工，并产生出新的数据，在该过程中会产生很多相互关联的数据表，数据在数据表之间的链路关系即称为数据血缘，通过将数据血缘的路径进行标识并展示，可以快速理清数据的流转逻辑和相互关系，便于进行常态化维护。

现有的数据血缘技术在检索时，需要对数据库中的数据进行遍历，即，当用户需要检索报表字段或需求字段时，在字段存在于数据库的情况下，需要查找出最短路径，并使用有向图来展示数据血缘，由于数据库中的数据量通常比较大，因此待检索的字段和数据血缘的字段节点数量众多，每次实时进行遍历效率很低，导致检索工作耗时比较长，难以快速展示结果，降低了用户体验，且相同的字段检索工作每次都要重复进行遍历，增加了额外的检索开销和读写负担，因此需要一种新的用于数据血缘的字段检索和路径展示的方法及系统。

发明内容

为了克服上述现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的技术缺陷，本发明提供一种检索展示速度快和降低数据库负担的用于数据血缘的字段检索和路径展示的方法及系统。

为了解决上述问题，本发明按以下技术方案予以实现的：

本发明所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于，该方法包括：

监测数据库状态，在存有修改时更新基础信息表；

遍历数据库，计算根节点到各节点的最短路径；

生成路径索引表，将最短路径信息保存到路径索引表；

批量输入待检索字段，筛选数据库中存在的字段；

通过路径索引表获得待检索字段的最短路径信息；

汇总最短路径信息并高亮展示。

所述的基础信息表用于存储数据，包括但不限于数据库中的报表字段和需求字段的信息。

所述的遍历数据库，计算根节点到各节点的最短路径，具体为：从数据库的根节点出发，遍历根节点，通过最短路径搜索算法，依次计算根节点到数据库中的各个节点的最短路径，直到获得数据库中的各个节点的最短路径信息。

所述的最短路径搜索算法为广度优先搜索算法。

所述的最短路径搜索算法以异步计算模式进行。

所述的生成路径索引表，将最短路径信息保存到路径索引表，具体为：生成并初始化路径索引表，对于数据库中的每一个节点，以键值对的方式，将节点和对应的最短路径信息保存到路径索引表中。

所述的批量输入待检索字段，筛选数据库中存在的字段，具体为：批量输入待检索字段，遍历待检索字段，依次检索字段是否存在于基础信息表中，若基础信息表中存有相应的字段，则保留该部分字段。

所述的通过路径索引表获得待检索字段的最短路径信息，具体为：输入待检索字段，遍历待检索字段，通过基础信息表解析出字段对应的节点，然后查找路径索引表，获得对应的最短路径信息。

所述的汇总最短路径信息并高亮展示，具体为：将各个待检索字段的最短路径信息进行汇总，合并最短路径中的共同节点，然后统计字段对应的节点和最短路径信息的数据，在显示终端上以高亮的方式进行绘制。

一种用于数据血缘的字段检索和路径展示的系统，其特征在于，该系统包括：

更新模块，用于监测数据库状态，在存有修改时更新基础信息表；

计算模块，用于遍历数据库，计算根节点到各节点的最短路径；

保存模块，用于生成路径索引表，将最短路径信息保存到路径索引表；

筛选模块，用于批量输入待检索字段，筛选数据库中存在的字段；

检索模块，用于通过路径索引表获得待检索字段的最短路径信息；

展示模块，用于汇总最短路径信息并高亮展示。

与现有技术相比，本发明的有益效果是：

本发明所述的一种用于数据血缘的字段检索和路径展示的方法及系统具有检索展示速度快和降低数据库负担的优点，通过在数据库修改更新时，生成路径索引表，即可在后续进行字段检索时直接使用路径索引表的内容，快速获得最短路径信息，显著加快了检索展示的速度，通过预先分配空间来储存路径索引表，即可实现以空间换时间的目的，且在路径索引表的数据可进行复用，对于相同的字段，无需反复进行检索，降低了数据库的读写负担，解决了现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的问题，满足了数据血缘的维护需要。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：

图1是本发明的方法流程示意图；

图2是本发明的系统结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

如图1～图2所示，本发明所述的一种用于数据血缘的字段检索和路径展示的方法，其特征在于，该方法包括：

101、监测数据库状态，在存有修改时更新基础信息表；

具体的，每当数据库中的数据出现增减或移动，即会使数据血缘关系出现变动，因此对基础信息表进行更新，以使基础信息表能跟随数据进行更新，所述的基础信息表用于存储数据，包括但不限于数据库中的报表字段和需求字段的信息。

102、遍历数据库，计算根节点到各节点的最短路径。

所述的遍历数据库，计算根节点到各节点的最短路径，具体为：从数据库的根节点出发，遍历根节点，通过最短路径搜索算法，依次计算根节点到数据库中的各个节点的最短路径，作为本发明一种较佳的实施方式，所述的最短路径搜索算法为广度优先搜索算法，具体的，其步骤为：初始化一个任务队列，将数据库中的根节点加入到任务队列中，若任务队列不为空，则将任务队列的第一个节点弹出，获取该节点的所有子节点，对子节点进行遍历，获取各节点的最短路径，并将子节点放进队列中；若任务队列为空，则表明最短路径搜索工作已完成，即获得数据库中的各个节点的最短路径信息。进一步的，所述的最短路径搜索算法以异步计算模式进行，以降低对数据库的实时影响，使数据库的增删改查工作正常进行。

103、生成路径索引表，将最短路径信息保存到路径索引表；

所述的生成路径索引表，将最短路径信息保存到路径索引表，具体为：生成并初始化路径索引表，对于数据库中的每一个节点，以键值对的方式，将节点和对应的最短路径信息保存到路径索引表中。

104、批量输入待检索字段，筛选数据库中存在的字段；

所述的批量输入待检索字段，筛选数据库中存在的字段，具体为：批量输入待检索字段，遍历待检索字段，依次检索字段是否存在于基础信息表中，若基础信息表中存有相应的字段，则保留该部分字段。

105、通过路径索引表获得待检索字段的最短路径信息；

所述的通过路径索引表获得待检索字段的最短路径信息，具体为：输入待检索字段，遍历待检索字段，通过基础信息表解析出字段对应的节点，然后查找路径索引表，获得对应的最短路径信息。

106、汇总最短路径信息并高亮展示。

所述的汇总最短路径信息并高亮展示，具体为：将各个待检索字段的最短路径信息进行汇总，合并最短路径中的共同节点，然后统计字段对应的节点和最短路径信息的数据，在显示终端上以高亮的方式进行绘制。

一种用于数据血缘的字段检索和路径展示的系统，其特征在于，该系统包括：

更新模块1，用于监测数据库状态，在存有修改时更新基础信息表；

计算模块2，用于遍历数据库，计算根节点到各节点的最短路径；

保存模块3，用于生成路径索引表，将最短路径信息保存到路径索引表；

筛选模块4，用于批量输入待检索字段，筛选数据库中存在的字段；

检索模块5，用于通过路径索引表获得待检索字段的最短路径信息；

展示模块6，用于汇总最短路径信息并高亮展示。

该用于数据血缘的字段检索和路径展示的方法及系统具有检索展示速度快和降低数据库负担的优点，通过在数据库修改更新时，生成路径索引表，即可在后续进行字段检索时直接使用路径索引表的内容，快速获得最短路径信息，显著加快了检索展示的速度，通过预先分配空间来储存路径索引表，即可实现以空间换时间的目的，且在路径索引表的数据可进行复用，对于相同的字段，无需反复进行检索，降低了数据库的读写负担，解决了现有的数据血缘技术存有的检索展示耗时长和重复工作增加开销的问题，满足了数据血缘的维护需要。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，故凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何修改、等同变化与修饰,均仍属于本发明技术方案的范围内。