掌桥专利:专业的专利平台
掌桥专利
首页

知识图谱构建方法、装置、计算机设备及存储介质

文献发布时间:2024-04-18 19:58:53


知识图谱构建方法、装置、计算机设备及存储介质

技术领域

本申请涉及知识图谱技术领域,尤其涉及知识图谱构建方法、装置、计算机设备及存储介质。

背景技术

随着信息网络的普及以及互联网的发展,企业内部产业越来越多的数据,许多企业采用传统数据库(具体如关系数据库)存储数据,这类关系数据库采用二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,属于结构化数据。

随着大数据时代的到来,需要进一步挖掘发现数据间关系以及数据间潜在价值,以实现精准的经营决策。面对海量的数据,传统的关系型数据库在数据挖掘、数据分析方面存在很大的不足。

例如,目前对关系型数据库进行数据挖掘形成知识图谱的常用方案是将关系型数据库中表格中一条实体对应到知识图谱中的节点,且关系对应边。上述过程实体关系仅为直接关系,进而使得实体之间的间接关系并不能在图中直观的表现出来,无法真正实现对结构化数据的全面提取、转换呈现,无法实现数据分析、挖掘的目的。

发明内容

本申请实施例提供了知识图谱构建方法、装置、计算机设备及存储介质,能够在充分提取、全面呈现关系型数据库中结构化数据信息的基础上构建知识图谱,有利于构建准确而完善的知识图谱。

第一方面,本申请实施例提供了一种知识图谱构建方法,其包括:

响应于知识图谱构建指令,基于领域概念集合库和预设的本体构建策略构建与所述知识图谱构建指令对应的初始本体模型;其中,所述初始本体模型为待构建知识图谱中对应至少一种知识领域的本体模型;

基于预设的实体抽取策略和所述初始本体模型从关系型数据库中提取实体知识得到知识图谱;其中,所述知识图谱中有实体之间存在直接关系和/或间接关系;

将所述知识图谱存储至图数据库,以得到可视化知识图谱;

若检测到实体查询指令,则在所述知识图谱中获取与所述实体查询指令对应的目标实体,与所述目标实体之间存在直接关系的第一候选实体集,及与所述目标实体之间存在间接关系的第二候选实体集。

第二方面,本申请实施例提供了一种知识图谱构建装置,其包括:

本体模型构建单元,用于响应于知识图谱构建指令,基于领域概念集合库和预设的本体构建策略构建与所述知识图谱构建指令对应的初始本体模型;其中,所述初始本体模型为待构建知识图谱中对应至少一种知识领域的本体模型;

实体知识抽取单元,用于基于预设的实体抽取策略和所述初始本体模型从关系型数据库中提取实体知识得到知识图谱;其中,所述知识图谱中有实体之间存在直接关系和/或间接关系;

知识存储单元,用于将所述知识图谱存储至图数据库,以得到可视化知识图谱;

知识查询单元,用于若检测到实体查询指令,则在所述知识图谱中获取与所述实体查询指令对应的目标实体,与所述目标实体之间存在直接关系的第一候选实体集,及与所述目标实体之间存在间接关系的第二候选实体集。

第三方面,本申请实施例又提供了一种计算机设备,其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述第一方面的知识图谱构建方法。

第四方面,本申请实施例还提供了一种计算机可读存储介质,其中计算机可读存储介质存储有计算机程序,计算机程序当被处理器执行时使处理器执行上述第一方面的知识图谱构建方法。

本申请实施例提供了知识图谱构建方法、装置、计算机设备及存储介质,方法包括:响应于知识图谱构建指令,基于领域概念集合库和预设的本体构建策略构建与所述知识图谱构建指令对应的初始本体模型;其中,所述初始本体模型为待构建知识图谱中对应至少一种知识领域的本体模型;基于预设的实体抽取策略和所述初始本体模型从关系型数据库中提取实体知识得到知识图谱;其中,所述知识图谱中有实体之间存在直接关系和/或间接关系;将所述知识图谱存储至图数据库,以得到可视化知识图谱。本申请在构建知识图谱时充分挖掘了节点之间的直接关系和间接关系,与现有技术中仅挖掘了节点之间的直接关系相比,能够在充分提取、全面呈现关系型数据库中结构化数据信息的基础上构建知识图谱,有利于构建准确而完善的知识图谱。

附图说明

为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的知识图谱构建方法的应用场景示意图;

图2为本申请实施例提供的知识图谱构建方法的流程示意图;

图3为本申请实施例提供的知识图谱构建方法的子流程示意图;

图4为本申请实施例提供的知识图谱构建方法的另一子流程示意图;

图5为本申请实施例提供的知识图谱构建方法的另一子流程示意图;

图6为本申请实施例提供的知识图谱构建方法的另一子流程示意图;

图7为本申请实施例提供的知识图谱构建方法的另一子流程示意图;

图8为本申请实施例提供的知识图谱构建方法的另一子流程示意图;

图9为本申请实施例提供的知识图谱构建装置的示意性框图;

图10为本申请实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

请同时参阅图1,图1为本申请实施例提供的知识图谱构建方法的应用场景示意图,图2为本申请实施例提供的知识图谱构建方法的流程示意图。如图1所示,该知识图谱构建方法应用于服务器10,且该服务器10中部署的知识图谱可对用户端20提供知识图谱的相关服务。如图2所示,该知识图谱构建方法具体包括下述步骤S110-S130。

S110、响应于知识图谱构建指令,基于领域概念集合库和预设的本体构建策略构建与知识图谱构建指令对应的初始本体模型;其中,初始本体模型为待构建知识图谱中对应至少一种知识领域的本体模型。

在本实施例中,在描述具体技术方案之前,先对知识图谱的相关知识进行介绍。知识图谱可以定义为由实体(节点)和关系(边)组成的多关系的图形知识库,其以图形的方式形象表示现实概念及其相关关系。在知识图谱中,知识以三元组(实体-关系-实体或实体-属性-值)的形式存储为有向图结构,这种结构允许知识图谱有效地存储数据和知识之间的关联关系,可自动化地从已有的知识中发现和推理多角度的隐含知识。

在构建知识图谱时,首先需要构建与知识图谱对应的初始本体模型。初始本体模型是指某知识领域中概念及概念间的关系的模型,由一系列对知识领域形式化描述的概念集合库组成。对领域知识图谱而言,为保障语义的完整性和正确性,本体构建的过程需要领域专家的参与。

在一实施例中,如图3所示,步骤S110包括:

S111、获取本体领域和应用范围;

S112、获取领域重要术语集;

S113、初始定义多个概念类,及初始定义分类层次体系;

S114、获取多个概念类中各概念类之间的关系描述;

S115、初始定义多个概念类中各概念类的属性;

S116、基于预设的本体校验策略对多个概念类中各概念类之间的关系描述、各概念类的属性及各概念类的属性进行本体校验,得到本体校验结果;

S117、若确定本体校验结果为检验通过,则基于本体领域、应用范围、多个概念类、分类层次体系、多个概念类中各概念类之间的关系描述及多个概念类中各概念类的属性得到初始本体模型。

在本实施例中,采用领域专家与工程技术人员合作共建本体模型,由领域专家根据业务需求明确领域范围、列举重要术语,指导工程技术人员确定概念分类体系,明确概念、关系,再通过校验评价进行迭代修正,具体过程如下:

1)确定本体领域及应用范围,即领域专家根据业务需求,确定本体领域具体应用范围,划定本体的数据边界;

2)列举领域中的重要术语,即领域专家搜集相关的数据,列举领域内重要的术语概念,为建立概念分类结构奠定基础;

3)定义概念类及分类层次体系,即在领域专家指导下,工程技术人员设计确定概念类,并建立概念类的分类层次,实现领域知识的概念化描述;

4)定义概念类之间的关系,即工程技术人员定义概念类之间的关系,实现领域知识关联的关系描述;

5)定义概念类的属性,即工程技术人员定义概念类的属性,实现信息的进一步描述;

6)本体校验。通过专家鉴定对本体校验、评价,并持续迭代优化完善。

在完成了初始本体模型的构建后,可用于在初始本体模型的指导下,定义一种规则以对关系型数据库中的结构化数据进行映射抽取。

S120、基于预设的实体抽取策略和初始本体模型从关系型数据库中提取实体知识得到知识图谱;其中,知识图谱中有实体之间存在直接关系和/或间接关系。

在本实施例中,在初始本体模型和基于初始本体模型确定的实体抽取策略的共同作用下,可从关系型数据库中提取实体知识得到知识图谱。而且在所提取得到的知识图谱中存在有若干对相互之间存在直接关系和/或间接关系的实体对,将关系型数据库中数据间潜在的关系(如实体之间的间接关系)挖掘出来,实现对结构化数据的全面提取。

下面结合实例对实体对之间的直接关系和间接关系进行说明。例如,关系型数据库中实体的关系包含2种情况,一种是直接关系,如老师教学生;另一种是间接关系,如A和B不认识,但是都在同一家公司上班,通过公司这个实体将A和B这两个实体关联在一起。

定义实体E

在一实施例中,如图4所示,步骤S120包括:

S121、构建关系型数据库与图数据库的连接;

S122、基于实体抽取策略从关系型数据库中获取数据表,得到数据表集;

S123、针对数据表集中的每一张数据表,基于实体抽取策略获取数据表的主键和字段名称以对应创建初始知识图谱;

S124、基于数据表集中数据表的外键,对初始知识图谱进行更新,得到知识图谱。

在本实施例中,在创建知识图谱的过程中,首先需构建关系型数据库与图数据库的连接;然后基于实体抽取策略从关系型数据库中获取数据表得到数据表集,例如在关系型数据库中包括1000张数据表,则从关系型数据库获取到1000张数据表并组成数据表集;之后,针对数据表集中的每一张数据表,基于实体抽取策略获取数据表的主键和字段名称以对应在图数据库创建初始知识图谱;最后重新读取数据表集中的每一张数据表,基于各数据表的外键对初始知识图谱进行知识更新,从而得到知识图谱。

其中,在服务器中构建了关系型数据库与图数据库的连接后,主要是需要以关系型数据库的结构化数据作为知识图谱构建的数据基础,且将所构建的知识图谱最终存储于图数据库中。例如,仍参考上述示例,若关系型数据库为PostgreSQL数据库,则以PostgreSQL数据库存储中的1000张数据表中其中一张数据表为例来说明。该数据表中存在的数据类型可能有none(即空值)、boolean、smallint、int、bigint、numeric/decimal、char、varchar、text及array,当服务器获取到数据表中的数据时,可以先全部映射转化为JSON数据类型的数据,然后这些JSON数据类型的数据再由服务器解析后完成应用于图数据库上的操作。其中,PostgreSQL数据库的数据类型、JSON数据类型及图数据库数据类型(具体是Neo4j)之间的数据类型映射关系如下表1:

表1

而且,图数据库提供了Cypher查询接口,关系型数据库可通过Cypher查询接口完成与图数据库之间数据的转换与同步操作。

在一实施例中,在步骤S122之后还包括:

获取预设的数据类型映射关系表,基于所述数据类型映射关系表对所述数据表集中各数据表中数据的数据类型进行相应转换,以更新所述数据表集。

在本实施例中,所述数据类型映射关系表即为上述示例中表1所示的数据类型映射关系表。当服务器从关系型数据库获取到各原始的数据表后,并不是将各数据表不做任何处理就存储,而是需要先将各原始的数据表中各种存在的数据类型如none、boolean、smallint、int、bigint、numeric/decimal、char、varchar、text及array先转换为对应的JSON数据类型。具体是将none数据类型转换为JSON数据类型中的null数据类型;将boolean数据类型转换为JSON数据类型中的true/false数据类型;将smallint、int、bigint数据类型转换为JSON数据类型中的number数据类型;将numeric/decimal数据类型转换为JSON数据类型中的number数据类型;将char、varchar、text数据类型转换为JSON数据类型中的string数据类型;将array数据类型转换为JSON数据类型中的array数据类型。

之后图数据库中获取到服务器中采用了JSON数据类型的数据表后,再次基于所述数据类型映射关系表对所述数据表集中各数据表中数据的数据类型进行相应转换,得到能在图数据库中存储的数据类型具体如Neo4j。可见,对关系型数据库中原始的数据表进行如上述的转换处理后,能有效避免出现因关系型数据库与图数据库之间数据类型不兼容而导致知识图谱构建失败的问题。

在一实施例中,如图5所示,步骤S123包括:

S1231、获取数据表集中的第i数据表;其中,i的初始值为1;

S1232、获取第i数据表中的主键以创建实体节点,获取第i数据表中的字段名称以创建属性节点;

S1233、基于第i数据表构建实体节点与属性节点之间的联系,以得与第i数据表对应的第i子初始知识图谱;

S1234、将i自增1以更新i的取值;

S1235、若确定i小于或等于N,则返回执行获取数据表集中的第i数据表的步骤;其中,N表示数据表集中数据表的总张数;

S1236、若确定i大于N,则获取第1子初始知识图谱至第N子初始知识图谱并组成初始知识图谱。

在本实施例中,在基于数据表集中的N张数据表创建初始知识图谱时,先以基于数据表集中的第1数据表创建第1子初始知识图谱为例来说明。先获取第1数据表中的主键以创建实体节点,获取第1数据表中的字段名称以创建属性节点。因第1数据表中的字段名称是除了主键这一字段以外的其他字段名称,而且基于第1数据表是能确定各字段名称与主键之间的关系,故基于第1数据表还能构建实体节点与属性节点之间的联系,以得与第1数据表对应的第1子初始知识图谱。依次类推,参照第1子初始知识图谱的获取方式,还能分别获取第2子初始知识图谱至第N子初始知识图谱,最终由第1子初始知识图谱至第N子初始知识图谱共同组成初始知识图谱。

将关系型数据库中数据表所包括的实体转换为一个实体节点,该实体节点可以用实体的主键来表示,同时将其属性转换为属性节点,且属性节点的标签属性都用所属表的名称定义,这样查找也有利于查找原始数据中属于同一表的数据。实体节点与其对应的属性节点需要建立边,方向为实体指向属性,边的类型用属性的名称定义,这样可以构成一条语义。属性节点的属性可以设置其所属列的字段名和其值。可见,基于上述方式能快速从关系型数据库中抽取知识并构建初始知识图谱。

而且,在上述转换过程中,在针对每一个数据表中的数据构建知识图谱时,均是先进行节点转换然后再进行边转换,即先将关系型数据库(例如多关系型数据库)中的元组建立为节点,并保证其在图数据库中的唯一性,然后将表之间的主/外键关系建立为边。

在一实施例中,步骤S1232作为由数据表中数据进行节点转换得到知识图谱中实体节点的处理过程,其具体包括:

基于预设的第一映射表获取与第i数据表对应的第i属性唯一ID;

获取第i数据表中的第i主键;

若确定第i主键不存在未处理外键,则基于第i主键创建实体节点,并发送至消息队列。

在本实施例中,在基于数据表的主键创建实体节点时,需要先获取到数据表的属性唯一ID。例如,以第i数据表的表名+主键/复合主键(第i数据表的表名+主键/复合主键可以理解为第i数据表的old_key)作为查询条件,可以在第一映射表获取与第i数据表对应的new_key并作为第i数据表对应的第i属性唯一ID。其中,在第一映射表中每一old_key均对应唯一的一个new_key,且new_key是一个分布式全局唯一ID。

当获取到了与第i数据表对应的第i属性唯一ID后,则针对第i数据表中的第i主键设置节点属性,然后再判断第i主键是否存在未处理外键。在确定第i主键不存在未处理外键,则基于第i主键创建实体节点,并发送至消息队列。其中,之所以将第i主键创建对应的实体节点加入到消息队列中,是在图数据库之前还增加一个消息队列作为中间件。将第i主键创建对应的实体节点相应的数据存储至图数据库中时,是图数据库从消息队列按加入队列的顺序中来消费获取第i主键创建对应的实体节点相应的数据。

其中,步骤S1233作为由数据表之间的联系转换得到知识图谱中边的处理过程,也是可以参照为由数据表中数据进行节点转换得到知识图谱中实体节点的处理过程。而且处理得到的边相关数据也是加入到消息队列中。图数据库从消息队列按加入队列的顺序中来消费获取边相关数据。

在一实施例中,如图6所示,步骤S124包括:

S1241、获取数据表集中的第j数据表;其中,j的初始值为1;

S1242、获取第j数据表中的外键,以对第j-1次更新知识图谱中节点之间的联系进行更新,得到第j次更新知识图谱;其中,第0次更新知识图谱为初始知识图谱;

S1243、将j自增1以更新j的取值;

S1244、若确定j小于或等于N,则返回执行所获取数据表集中的第j数据表的步骤;

S1245、若确定j大于N,则获取第N次更新知识图谱以作为知识图谱。

在本实施例中,关系型数据库中的其中一张数据表的外键用于与另一张数据表的主键关联,即会出现有两个不同数据表中的节点具有相同的名称,两个不同数据表中的节点之间的联系采用双向箭头连接,表示这两个节点是等价的。当构建了初始知识图谱后,因还未对关系型数据库的数据表中外键相关信息进行利用,此时可以再次重复重新读取数据表集中的各数据表,以利用数据表中外键相关信息对知识图谱中节点之间的联系进行补全。

在基于数据表集中的N张数据表的外键对初始知识图谱进行实体之间联系的补全时,先以基于数据表集中的第1数据表更新初始知识图谱为例来说明。先获取第1数据表中的外键,以对初始知识图谱中节点之间的联系进行更新,得到第1次更新知识图谱。依次类推,参照第1次更新知识图谱的获取方式,还能分别获取第2次更新知识图谱至第N次更新知识图谱,最终以第N次更新知识图谱以作为知识图谱。可见,基于上述方式能快速补全初始知识图谱中节点之间的联系。

S130、将知识图谱存储至图数据库,以得到可视化知识图谱。

在本实施例中,定义关系型数据库中的表集合为T={t

t

且t

图数据库中的图集合为G={g

定义函数f(t

在一实施例中,如图7所示,步骤S130包括:

S131、获取Neo4j数据库作为图数据库;

S132、获取并执行第一预设数据导入指令,以将知识图谱存储至Neo4j数据库,以得到可视化知识图谱。

在本实施例中,具体选取Neo4j数据库作为图数据库。基于服务器中预先存储的第一预设数据导入指令,可以实现将知识图谱存储至Neo4j数据库,以得到可视化知识图谱。此时,关系型数据库中数据完全存储在Neo4j数据库中,并进一步完成可视化表达。

在一实施例中,如图2所示,步骤S130之后还包括:

S140、若检测到实体查询指令,则在知识图谱中获取与实体查询指令对应的目标实体,与目标实体之间存在直接关系的第一候选实体集,及与目标实体之间存在间接关系的第二候选实体集。

在本实施例中,当完成了知识图谱的构建后,可以实际应用于相应知识领域的知识获取。例如,当服务器接收到用户端上传的实体查询指令时,则先获取与实体查询指令对应的目标实体。然后在知识图谱中检索获取与目标实体之间存在直接关系的第一候选实体集,及与目标实体之间存在间接关系的第二候选实体集,从而实现对知识图谱的节点之间直接关系和间接潜在关系的充分挖掘。

在一实施例中,如图8所示,步骤S140包括:

S141、若检测到实体查询指令,则获取与实体查询指令对应的待查询实体名称;

S142、在知识图谱中获取具有待查询实体名称的目标实体;

S143、获取与目标实体具有直接边连接关系的直接关系候选实体,以组成第一候选实体集;

S144、获取与目标实体具有相同属性的间接关系候选实体,以组成第二候选实体集。

在本实施例中,当服务器获取到实体查询指令时,则获取与实体查询指令对应的待查询实体名称。若在知识图谱中存在有具有待查询实体名称的目标实体,则表示可以从知识图谱中获取到与待查询实体名称相关的知识。此时以目标实体作为检索条件,在知识图谱中获取与目标实体具有直接边连接关系的直接关系候选实体以组成第一候选实体集,并在知识图谱中获取与目标实体具有相同属性的间接关系候选实体以组成第二候选实体集。可见,上述过程实现了对知识图谱的节点之间直接关系和间接潜在关系的充分挖掘。

该方法先构建初始本体模型,然后实体抽取策略和初始本体模型从关系型数据库中提取实体知识得到知识图谱,其中知识图谱中有实体之间存在直接关系和/或间接关系;将知识图谱存储至图数据库,以得到可视化知识图谱;在此基础上,若检测到实体查询指令,则在知识图谱中获取对应的目标实体,与目标实体之间存在直接关系的第一候选实体集,及与目标实体之间存在间接关系的第二候选实体集。该方法在构建知识图谱时充分挖掘了节点之间的直接关系和间接关系,与现有技术中仅挖掘了节点之间的直接关系相比,能够在充分提取、全面呈现关系型数据库中结构化数据信息的基础上构建知识图谱,有利于构建准确而完善的知识图谱。

本申请实施例还提供一种知识图谱构建装置,用于执行前述知识图谱构建方法的任一实施例。具体地,请参阅图9,图9是本申请实施例提供的知识图谱构建装置100的示意性框图。

其中,如图9所示,知识图谱构建装置100包括本体模型构建单元110、实体知识抽取单元120和知识存储单元130。

其中,本体模型构建单元110,用于响应于知识图谱构建指令,基于领域概念集合库和预设的本体构建策略构建与知识图谱构建指令对应的初始本体模型;其中,初始本体模型为待构建知识图谱中对应至少一种知识领域的本体模型。

在本实施例中,在描述具体技术方案之前,先对知识图谱的相关知识进行介绍。知识图谱可以定义为由实体(节点)和关系(边)组成的多关系的图形知识库,其以图形的方式形象表示现实概念及其相关关系。在知识图谱中,知识以三元组(实体-关系-实体或实体-属性-值)的形式存储为有向图结构,这种结构允许知识图谱有效地存储数据和知识之间的关联关系,可自动化地从已有的知识中发现和推理多角度的隐含知识。

在构建知识图谱时,首先需要构建与知识图谱对应的初始本体模型。初始本体模型是指某知识领域中概念及概念间的关系的模型,由一系列对知识领域形式化描述的概念集合库组成。对领域知识图谱而言,为保障语义的完整性和正确性,本体构建的过程需要领域专家的参与。

在一实施例中,本体模型构建单元110用于:

获取本体领域和应用范围;

获取领域重要术语集;

初始定义多个概念类,及初始定义分类层次体系;

获取多个概念类中各概念类之间的关系描述;

初始定义多个概念类中各概念类的属性;

基于预设的本体校验策略对多个概念类中各概念类之间的关系描述、各概念类的属性及各概念类的属性进行本体校验,得到本体校验结果;

若确定本体校验结果为检验通过,则基于本体领域、应用范围、多个概念类、分类层次体系、多个概念类中各概念类之间的关系描述及多个概念类中各概念类的属性得到初始本体模型。

在本实施例中,采用领域专家与工程技术人员合作共建本体模型,由领域专家根据业务需求明确领域范围、列举重要术语,指导工程技术人员确定概念分类体系,明确概念、关系,再通过校验评价进行迭代修正。在完成了初始本体模型的构建后,可用于在初始本体模型的指导下,定义一种规则以对关系型数据库中的结构化数据进行映射抽取。

实体知识抽取单元120,用于基于预设的实体抽取策略和初始本体模型从关系型数据库中提取实体知识得到知识图谱;其中,知识图谱中有实体之间存在直接关系和/或间接关系。

在本实施例中,在初始本体模型和基于初始本体模型确定的实体抽取策略的共同作用下,可从关系型数据库中提取实体知识得到知识图谱。而且在所提取得到的知识图谱中存在有若干对相互之间存在直接关系和/或间接关系的实体对,将关系型数据库中数据间潜在的关系(如实体之间的间接关系)挖掘出来,实现对结构化数据的全面提取。

下面结合实例对实体对之间的直接关系和间接关系进行说明。例如,关系型数据库中实体的关系包含2种情况,一种是直接关系,如老师教学生;另一种是间接关系,如A和B不认识,但是都在同一家公司上班,通过公司这个实体将A和B这两个实体关联在一起。

定义实体E

在一实施例中,实体知识抽取单元120用于:

构建关系型数据库与图数据库的连接;

基于实体抽取策略从关系型数据库中获取数据表,得到数据表集;

针对数据表集中的每一张数据表,基于实体抽取策略获取数据表的主键和字段名称以对应创建初始知识图谱;

基于数据表集中数据表的外键,对初始知识图谱进行更新,得到知识图谱。

在本实施例中,在创建知识图谱的过程中,首先需构建关系型数据库与图数据库的连接;然后基于实体抽取策略从关系型数据库中获取数据表得到数据表集,例如在关系型数据库中包括1000张数据表,则从关系型数据库获取到1000张数据表并组成数据表集;之后,针对数据表集中的每一张数据表,基于实体抽取策略获取数据表的主键和字段名称以对应在图数据库创建初始知识图谱;最后重新读取数据表集中的每一张数据表,基于各数据表的外键对初始知识图谱进行知识更新,从而得到知识图谱。

其中,在服务器中构建了关系型数据库与图数据库的连接后,主要是需要以关系型数据库的结构化数据作为知识图谱构建的数据基础,且将所构建的知识图谱最终存储于图数据库中。例如,仍参考上述示例,若关系型数据库为PostgreSQL数据库,则以PostgreSQL数据库存储中的1000张数据表中其中一张数据表为例来说明。该数据表中存在的数据类型可能有none(即空值)、boolean、smallint、int、bigint、numeric/decimal、char、varchar、text及array,当服务器获取到数据表中的数据时,可以先全部映射转化为JSON数据类型的数据,然后这些JSON数据类型的数据再由服务器解析后完成应用于图数据库上的操作。其中,PostgreSQL数据库的数据类型、JSON数据类型及图数据库数据类型(具体是Neo4j)之间的数据类型映射关系如上表1。

而且,图数据库提供了Cypher查询接口,关系型数据库可通过Cypher查询接口完成与图数据库之间数据的转换与同步操作。

在一实施例中,实体知识抽取单元120还用于:

获取预设的数据类型映射关系表,基于所述数据类型映射关系表对所述数据表集中各数据表中数据的数据类型进行相应转换,以更新所述数据表集。

在本实施例中,所述数据类型映射关系表即为上述示例中表1所示的数据类型映射关系表。当服务器从关系型数据库获取到各原始的数据表后,并不是将各数据表不做任何处理就存储,而是需要先将各原始的数据表中各种存在的数据类型如none、boolean、smallint、int、bigint、numeric/decimal、char、varchar、text及array先转换为对应的JSON数据类型。具体是将none数据类型转换为JSON数据类型中的null数据类型;将boolean数据类型转换为JSON数据类型中的true/false数据类型;将smallint、int、bigint数据类型转换为JSON数据类型中的number数据类型;将numeric/decimal数据类型转换为JSON数据类型中的number数据类型;将char、varchar、text数据类型转换为JSON数据类型中的string数据类型;将array数据类型转换为JSON数据类型中的array数据类型。

之后图数据库中获取到服务器中采用了JSON数据类型的数据表后,再次基于所述数据类型映射关系表对所述数据表集中各数据表中数据的数据类型进行相应转换,得到能在图数据库中存储的数据类型具体如Neo4j。可见,对关系型数据库中原始的数据表进行如上述的转换处理后,能有效避免出现因关系型数据库与图数据库之间数据类型不兼容而导致知识图谱构建失败的问题。

在一实施例中,所述针对所述数据表集中的每一张数据表,基于所述实体抽取策略获取数据表的主键和字段名称以对应创建初始知识图谱,包括:

获取数据表集中的第i数据表;其中,i的初始值为1;

获取第i数据表中的主键以创建实体节点,获取第i数据表中的字段名称以创建属性节点;

基于第i数据表构建实体节点与属性节点之间的联系,以得与第i数据表对应的第i子初始知识图谱;

将i自增1以更新i的取值;

若确定i小于或等于N,则返回执行获取数据表集中的第i数据表的步骤;其中,N表示数据表集中数据表的总张数;

若确定i大于N,则获取第1子初始知识图谱至第N子初始知识图谱并组成初始知识图谱。

在本实施例中,在基于数据表集中的N张数据表创建初始知识图谱时,先以基于数据表集中的第1数据表创建第1子初始知识图谱为例来说明。先获取第1数据表中的主键以创建实体节点,获取第1数据表中的字段名称以创建属性节点。因第1数据表中的字段名称是除了主键这一字段以外的其他字段名称,而且基于第1数据表是能确定各字段名称与主键之间的关系,故基于第1数据表还能构建实体节点与属性节点之间的联系,以得与第1数据表对应的第1子初始知识图谱。依次类推,参照第1子初始知识图谱的获取方式,还能分别获取第2子初始知识图谱至第N子初始知识图谱,最终由第1子初始知识图谱至第N子初始知识图谱共同组成初始知识图谱。

将关系型数据库中数据表所包括的实体转换为一个实体节点,该实体节点可以用实体的主键来表示,同时将其属性转换为属性节点,且属性节点的标签属性都用所属表的名称定义,这样查找也有利于查找原始数据中属于同一表的数据。实体节点与其对应的属性节点需要建立边,方向为实体指向属性,边的类型用属性的名称定义,这样可以构成一条语义。属性节点的属性可以设置其所属列的字段名和其值。可见,基于上述方式能快速从关系型数据库中抽取知识并构建初始知识图谱。

而且,在上述转换过程中,在针对每一个数据表中的数据构建知识图谱时,均是先进行节点转换然后再进行边转换,即先将关系型数据库(例如多关系型数据库)中的元组建立为节点,并保证其在图数据库中的唯一性,然后将表之间的主/外键关系建立为边。

其中,由数据表中数据进行节点转换得到知识图谱中实体节点的处理过程,其具体包括:

基于预设的第一映射表获取与第i数据表对应的第i属性唯一ID;

获取第i数据表中的第i主键;

若确定第i主键不存在未处理外键,则基于第i主键创建实体节点,并发送至消息队列。

在本实施例中,在基于数据表的主键创建实体节点时,需要先获取到数据表的属性唯一ID。例如,以第i数据表的表名+主键/复合主键(第i数据表的表名+主键/复合主键可以理解为第i数据表的old_key)作为查询条件,可以在第一映射表获取与第i数据表对应的new_key并作为第i数据表对应的第i属性唯一ID。其中,在第一映射表中每一old_key均对应唯一的一个new_key,且new_key是一个分布式全局唯一ID。

当获取到了与第i数据表对应的第i属性唯一ID后,则针对第i数据表中的第i主键设置节点属性,然后再判断第i主键是否存在未处理外键。在确定第i主键不存在未处理外键,则基于第i主键创建实体节点,并发送至消息队列。其中,之所以将第i主键创建对应的实体节点加入到消息队列中,是在图数据库之前还增加一个消息队列作为中间件。将第i主键创建对应的实体节点相应的数据存储至图数据库中时,是图数据库从消息队列按加入队列的顺序中来消费获取第i主键创建对应的实体节点相应的数据。

其中,作为由数据表之间的联系转换得到知识图谱中边的处理过程,也是可以参照为由数据表中数据进行节点转换得到知识图谱中实体节点的处理过程。而且处理得到的边相关数据也是加入到消息队列中。图数据库从消息队列按加入队列的顺序中来消费获取边相关数据。

在一实施例中,所述基于所述数据表集中数据表的外键,对所述初始知识图谱进行更新,得到所述知识图谱,包括:

获取数据表集中的第j数据表;其中,j的初始值为1;

获取第j数据表中的外键,以对第j-1次更新知识图谱中节点之间的联系进行更新,得到第j次更新知识图谱;其中,第0次更新知识图谱为初始知识图谱;

将j自增1以更新j的取值;

若确定j小于或等于N,则返回执行所获取数据表集中的第j数据表的步骤;

若确定j大于N,则获取第N次更新知识图谱以作为知识图谱。

在本实施例中,关系型数据库中的其中一张数据表的外键用于与另一张数据表的主键关联,即会出现有两个不同数据表中的节点具有相同的名称,两个不同数据表中的节点之间的联系采用双向箭头连接,表示这两个节点是等价的。当构建了初始知识图谱后,因还未对关系型数据库的数据表中外键相关信息进行利用,此时可以再次重复重新读取数据表集中的各数据表,以利用数据表中外键相关信息对知识图谱中节点之间的联系进行补全。

在基于数据表集中的N张数据表的外键对初始知识图谱进行实体之间联系的补全时,先以基于数据表集中的第1数据表更新初始知识图谱为例来说明。先获取第1数据表中的外键,以对初始知识图谱中节点之间的联系进行更新,得到第1次更新知识图谱。依次类推,参照第1次更新知识图谱的获取方式,还能分别获取第2次更新知识图谱至第N次更新知识图谱,最终以第N次更新知识图谱以作为知识图谱。可见,基于上述方式能快速补全初始知识图谱中节点之间的联系。

知识存储单元130,用于将知识图谱存储至图数据库,以得到可视化知识图谱。

在本实施例中,定义关系型数据库中的表集合为T={t

t

且t

图数据库中的图集合为G={g

定义函数f(t

在一实施例中,知识存储单元130用于:

获取Neo4j数据库作为图数据库;

获取并执行第一预设数据导入指令,以将知识图谱存储至Neo4j数据库,以得到可视化知识图谱。

在本实施例中,具体选取Neo4j数据库作为图数据库。基于服务器中预先存储的第一预设数据导入指令,可以实现将知识图谱存储至Neo4j数据库,以得到可视化知识图谱。此时,关系型数据库中数据完全存储在Neo4j数据库中,并进一步完成可视化表达。

在一实施例中,如图9所示,知识图谱构建装置100还包括:

知识查询单元140,用于若检测到实体查询指令,则在知识图谱中获取与实体查询指令对应的目标实体,与目标实体之间存在直接关系的第一候选实体集,及与目标实体之间存在间接关系的第二候选实体集。

在本实施例中,当完成了知识图谱的构建后,可以实际应用于相应知识领域的知识获取。例如,当服务器接收到用户端上传的实体查询指令时,则先获取与实体查询指令对应的目标实体。然后在知识图谱中检索获取与目标实体之间存在直接关系的第一候选实体集,及与目标实体之间存在间接关系的第二候选实体集,从而实现对知识图谱的节点之间直接关系和间接潜在关系的充分挖掘。

在一实施例中,知识查询单元140用于:

若检测到实体查询指令,则获取与实体查询指令对应的待查询实体名称;

在知识图谱中获取具有待查询实体名称的目标实体;

获取与目标实体具有直接边连接关系的直接关系候选实体,以组成第一候选实体集;

获取与目标实体具有相同属性的间接关系候选实体,以组成第二候选实体集。

在本实施例中,当服务器获取到实体查询指令时,则获取与实体查询指令对应的待查询实体名称。若在知识图谱中存在有具有待查询实体名称的目标实体,则表示可以从知识图谱中获取到与待查询实体名称相关的知识。此时以目标实体作为检索条件,在知识图谱中获取与目标实体具有直接边连接关系的直接关系候选实体以组成第一候选实体集,并在知识图谱中获取与目标实体具有相同属性的间接关系候选实体以组成第二候选实体集。可见,上述过程实现了对知识图谱的节点之间直接关系和间接潜在关系的充分挖掘。

该装置先构建初始本体模型,然后实体抽取策略和初始本体模型从关系型数据库中提取实体知识得到知识图谱,其中知识图谱中有实体之间存在直接关系和/或间接关系;将知识图谱存储至图数据库,以得到可视化知识图谱;在此基础上,若检测到实体查询指令,则在知识图谱中获取对应的目标实体,与目标实体之间存在直接关系的第一候选实体集,及与目标实体之间存在间接关系的第二候选实体集。该方法在构建知识图谱时充分挖掘了节点之间的直接关系和间接关系,与现有技术中仅挖掘了节点之间的直接关系相比,能够在充分提取、全面呈现关系型数据库中结构化数据信息的基础上构建知识图谱,有利于构建准确而完善的知识图谱。

上述知识图谱构建装置可以实现为计算机程序的形式,该计算机程序可以在如图10所示的计算机设备上运行。

请参阅图10,图10是本申请实施例提供的计算机设备的示意性框图。该计算机设备800可以是智能手机、平板电脑、个人电脑(PC)、学习机、智能穿戴设备等终端设备。参阅图10,该计算机设备800包括通过装置总线801连接的处理器802、存储器和网络接口805,其中,存储器可以包括存储介质803和内存储器804。

该存储介质803可存储操作系统8031和计算机程序8032。该计算机程序8032被执行时,可使得处理器802执行知识图谱构建方法。

该处理器802用于提供计算和控制能力,支撑整个计算机设备800的运行。

该内存储器804为存储介质803中的计算机程序8032的运行提供环境,该计算机程序8032被处理器802执行时,可使得处理器802执行知识图谱构建方法。

该网络接口805用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备800的限定,具体的计算机设备800可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

其中,处理器802用于运行存储在存储器中的计算机程序8032,以实现本申请实施例公开的知识图谱构建方法。

本领域技术人员可以理解,图10中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图10所示实施例一致,在此不再赘述。

应当理解,在本申请实施例中,处理器802可以是中央处理单元(CentralProcessing Unit,CPU),该处理器802还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质,也可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现本申请实施例公开的知识图谱构建方法。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,后台服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

相关技术
  • 用于生成知识图谱的方法、装置、设备以及计算机可读存储介质
  • 知识图谱信息管理方法、装置、计算机设备及存储介质
  • 企业信息图谱构建方法、装置、计算机设备及存储介质
  • 房产图谱构建方法、装置、计算机设备及存储介质
  • 构建企业关系图谱的方法、装置、计算机设备和存储介质
  • 知识图谱的构建方法、构建装置、计算机设备及存储介质
  • 知识图谱构建方法、装置、计算机设备及计算机存储介质
技术分类

06120116513382