一种基于糖尿病知识图谱的问答系统构建方法

技术领域

本发明涉及知识图谱技术领域，尤其是一种基于糖尿病知识图谱的问答系统构建方法。

背景技术

目前对于糖尿病领域知识图谱的构建研究较少，构建图谱的数据大部分来源于网络爬虫或相关领域书籍，对处理上述非结构化数据的方法较多，而非结构化数据处理的研究还存在跨句子分布的关系抽取、长度较长的实体提取的困难。往往构建的知识图谱不能准确反应出各类实体及其关系。

此外，对于问题的查找咨询，人们通常依靠各种搜索引擎，然而现有的搜索引擎反馈的内容通常是一些包括相关内容的网页甚至广告，尤其对于专业领域的相关内容，并不能准确反馈搜索对应的要点，而问答系统作为一种新型信息检索技术，能够直接返回给用户精确的答案，从而省去了用户从大量相关网页中寻找所需信息的时间。

因此，如何构建实体及关系准确表示的知识图谱进而搭建检索精确的问题系统是一个亟待解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种高效的，一种基于糖尿病知识图谱的问答系统构建方法。

一方面，本发明实施例提供了一种基于糖尿病知识图谱的问答系统构建方法，包括：

基于目标数据，预设数据格式，以及实体类别、关系类型和属性类型；

根据所述数据格式，基于所述实体类别对所述目标数据进行实体识别；

根据所述实体识别的结果，基于所述关系类型和所述属性类型进行知识抽取，得到目标三元组；

将所述目标三元组存储到目标图数据库，完成目标知识图谱的构建；

对输入问题进行预处理，确定目标实体和目标关系类型；

根据所述目标实体和所述目标关系类型，对所述目标图数据库进行查询处理，得到目标推荐结果的答案。

可选地，还包括：

基于所述实体识别，根据实体名称进行去重处理。

可选地，所述基于目标数据，预设数据格式，以及实体类别、关系类型和属性类型，包括：

基于糖尿病知识图谱中文数据集DiaKG，预设数组结构的数据格式，以及18类实体类别、16种关系类型和属性类型。

可选地，所述根据所述数据格式，基于所述实体类别对所述目标数据进行实体识别，包括：

根据所述数据格式，通过三位标注法对所述目标数据进行跨句标注；

基于所述跨句标注，通过BI-LSTM-CRF模型进行实体识别。

可选地，所述根据所述实体识别的结果，基于所述关系类型和所述属性类型进行知识抽取，得到目标三元组，包括：

根据所述实体识别的结果，基于所述关系类型，通过BERT模型进行面向结构化文本的关系抽取，得到关系三元组；

和，基于所述属性类型，通过BERT模型进行面向结构化文本的属性抽取，得到属性三元组；

其中，所述知识抽取包括关系抽取和属性抽取；所述目标三元组包括关系三元组和属性三元组。

可选地，所述将所述目标三元组存储到目标图数据库，完成目标知识图谱的构建，包括：

将所述目标三元组进行基于Cypher语句要求的格式转化；

将所述格式转换后的节点和关系分批依次导入到Neo4j图数据库，完成目标知识图谱的构建。

可选地，所述对输入问题进行预处理，确定目标实体和目标关系类型，包括：

根据所述输入问题，通过三位标注法确定询问对象；

根据所述询问对象，通过循环神经网络结合条件随机场识别命名实体，对所述命名实体进行补全处理，得到目标实体；

抽取所述输入问题的关键信息，确定关键词；

根据所述关键词，进行关键词匹配和映射处理，得到目标关系类型。

可选地，所述对所述命名实体进行补全处理，得到目标实体，包括：

通过TransE算法将所述目标知识图谱中的实体和关系映射为低维向量；其中，所述低维向量包括实体向量和关系向量；

根据所述目标三元组，构建所述实体向量和关系向量的目标等式；

基于所述目标等式，对所述命名实体进行补全处理，得到目标实体。

另一方面，本发明实施例提供了一种电子设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现如前面所述的方法。

另一方面，本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

本发明的实施例首先基于目标数据，预设数据格式，以及实体类别、关系类型和属性类型；根据所述数据格式，基于所述实体类别对所述目标数据进行实体识别；根据所述实体识别的结果，基于所述关系类型和所述属性类型进行知识抽取，得到目标三元组；将所述目标三元组存储到目标图数据库，完成目标知识图谱的构建；对输入问题进行预处理，确定目标实体和目标关系类型；根据所述目标实体和所述目标关系类型，对所述目标图数据库进行查询处理，得到目标推荐结果的答案。本发明基于预设的数据格式、实体类别、关系类型和属性类型，进而进行实体识别和知识抽取，能够有效提高目标数据中分布的实体识别的准确性；此外，通过对输入问题的预处理，提取输入问题目标实体和目标关系类型，进而实现对目标图数据库的查询，能够提高问答系统中答案的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于糖尿病知识图谱的问答系统构建方法的整体步骤流程示意图；

图2为本发明实施例提供的数据格式的编码结构的示意图；

图3为本发明实施例提供的知识图谱第一部分知识的示意图；

图4为本发明实施例提供的知识图谱第二部分知识的示意图；

图5为本发明实施例提供的知识图谱第三部分知识的示意图；

图6为本发明实施例提供的知识图谱第四部分知识的示意图；

图7为本发明实施例提供的知识图谱第五部分知识的示意图；

图8为本发明实施例提供的知识图谱第六部分知识的示意图；

图9为本发明实施例提供的知识图谱第七部分知识的示意图；

图10为本发明实施例提供的问答系统系统结构的处理流程示意图；

图11为本发明实施例提供的问答系统运行效果的示意图；

图12为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

首先需要说明的是，国外在已在各应用领域运用知识图谱，不仅限于搜索引擎，还广泛使用于辅助医疗，分为构建知识库和利用知识库帮助决策。其中LinkedLifeData项目包含各类基础医学、文献、医院临床等多种来源的数据，RDF三元组规模达到102亿个，包含从基因、蛋白质、疾病、化学、神经科学、药物等多个领域的知识；ErnstPatrick等使用一种通用且可扩展的自动知识库构建方法创建了涵盖基因、器官、疾病、症状、治疗以及环境和生活方式风险因素的13个关系的知识库KnowLife、；LamuriasAndre等开发了一个系统，ICRel，基于机器学习从摘要中提取细胞和细胞因子之间的关系从而构建知识图谱，比手动阅读所有文献以查找间接或隐含的关系更有效；Maya等探索了一种自动化过程，可以直接从电子病历中学习将疾病和症状联系起来的高质量知识库，从大量患者记录中提取医学概念，并使用三个概率模型的最大似然估计来自动构建知识图谱；elen□rem等开发了一个生物信息学框架，将文献挖掘与来自生物医学本体和精选数据库的信息相结合，以创建生物信息学知识图谱；RotmenschHeXing等构建了一个Web应用程序ALOHA原型，该应用程序具有基于图形的交互式可视化，以方便消费者浏览从科学资源中策划的综合膳食补充剂知识库(iDISK)；LiXuedong等开发一种罕见病分类算法，该算法可以有效地利用大规模知识图谱中的医学知识改进罕见病分类模型；RomanKudrin等发现可以利用知识图中概念的语义特性来优先考虑药物再利用候选者，以便在临床试验中进行测试；除此之外，还有众多用于辅助决策的与临床医学相关的知识图谱研究。

国内分为构建图谱、分析热点问题、构建知识图谱的相关系统应用。构建图谱又可以分为解决构建过程中的问题和整体构建，昝红英等从医学领域实体关系抽取的任务出发,对深度学习模型从不同角度进行分类；付洋等构建了心脏病中文知识图谱；分析热点问题方面，吕锦涛等基于知识图谱研究和分析中西药合用的国内研究进展；邱凤霞等对图谱进行解读，总结了我国学校健康教育领域研究现状；李静等说明了医学统计学课程的研究趋势。系统构建包含问答系统、辅助决策系统等，曹明宇等制作了基于知识图谱的原发性肝癌知识问答系统，张薇等开发了基于人工智能构建急腹症快速分诊系统。此外，还有对中医药工作者有很大价值的大规模中医药知识图谱等。

目前对于糖尿病领域知识图谱的构建研究较少，构建图谱的数据大部分来源于网络爬虫或相关领域书籍，对处理上述非结构化数据的方法较多，而非结构化数据处理的研究还存在跨句子分布的关系抽取、长度较长的实体提取的困难。因此，需要在传统的NER(Named Entity Recognition，实体识别)模型上进行改进，本文将一些模型与NER模型融合使用进行知识抽取，一定程度上提高了识别跨句子分布实体的准确性。

针对现有技术存在的问题，一方面，本发明提供了一种基于糖尿病知识图谱的问答系统构建方法，如图1所示，方法包括以下步骤：

S100、基于目标数据，预设数据格式，以及实体类别、关系类型和属性类型；

需要说明的是，一些实施例中，基于糖尿病知识图谱中文数据集DiaKG，预设数组结构的数据格式，以及18类实体类别、16种关系类型和属性类型。

具体地，知识图谱即把很多零散的知识用语义关系组成有关联的图，分为开放领域知识图谱和垂直领域知识图谱，开放领域知识图谱所包含的节点和关系非常多，很难在体量上做到全面，最终的准确性难以判别，垂直领域的知识图谱节点和关系类型有限，对准确性和图谱的质量强调较高，构建图谱所需的语料一般比较匮乏，综上所述，糖尿病知识图谱将构建垂直领域知识图谱。

一般构建知识图谱可以分为自顶向下和自底向上两种方式，自顶向下为先定义数据模式，从顶层概念构建，然后逐步向下细化，自底向上则是先归纳实体形成底层概念，在逐步向上抽象，由于本发明技术方案构建的是垂直领域知识图谱，所以采用自顶向下的方式构建。

根据自顶向下的概念，首先需要定义数据格式，进而针对糖尿病领域设计概念、实体、属性、关系，数据来源于openKG的开源数据DiaKG，该数据集采用了最新的命名实体识别和关系抽取的典型方法，并将其作为一个基准评估一个数据集，并且存在较长的序列span组成其实体数据，组成关系的两个实体跨句子分布。DiaKG中的json文件可读性、跨域可行性强，数据传输效率和解析难度优于其他格式，json数据结构分为对象和数组两种，json格式如图2所示，本发明主要采用数组结构：[obj,obj,obj...]。以“[”开始，“]”结束，中间由0或多个”，”分隔的值列表组成。

其中，基于DiaKG数据，预先定义了18类实体、16种关系类型和属性(图数据库不区分关系三元组和属性三元组)。18类实体为：*(4079)、ADE不适、Amount服用量、Anatomy器官组织、Class属性级别、Drug药物、Duration期间、Frequency服用频率、Method服用方式、operation手术、Pathogenesis病原、Reason因素、Symptom症状、Test检查、Test_items体检项目、Treatment疗法。16种关系类型和属性分别为：*(4079)、ADE_Disease、ADE_Drug、Amount_Drug、Anatomy_Disease、Class_Disease、Drug_Disease、Duration_drug、Frequency_Drug、Method_Drug、operation_Disease、Pathogenesis_Disease、Reason_Disease、Symptom_Disease、Test_Disease、Test_items_Disease、Treatment_Disease。

S200、根据数据格式，基于实体类别对目标数据进行实体识别；

需要说明的是，一些实施例中，根据数据格式，通过三位标注法对目标数据进行跨句标注；基于跨句标注，通过BI-LSTM-CRF模型进行实体识别。

具体地，从数据集DiaKG的json数据中抽取三元组存入图数据库(neo4j)前，先进行了实体识别(NamedEntityRecognition，NER)，它包含判断实体边界位置和区分实体类别两步。由于数据由很长的序列span组成，此处突破了传统的NER模型，采用妙健康研发的高质量的糖尿病知识图谱中文数据集DiaKG，数据包括基础研究、临床研究、药物使用、临床病例、诊治方法等多个方面，共标注了22050个医学实体和6890对实体关系，实现了最新的命名实体识别和关系抽取的典型方法，使用它作为训练数据。由于DiaKG组成关系的两个实体跨句子分布，且平均跨句长度为2.3，首先采用BIO(三位标注；B-begin，I-inside，O-outside；B-X代表实体X的开头，I-X代表实体的结尾，O代表不属于任何类型的)形式对数据进行跨句标注，然后使用BI-LSTM-CRF(带有条件随机场(CRF)层的双向LSTM(长短期记忆))模型完成实体识别任务，克服了头尾实体跨句子分布的难点。

S300、根据实体识别的结果，基于关系类型和属性类型进行知识抽取，得到目标三元组；

需要说明的是，一些实施例中，根据实体识别的结果，基于关系类型，通过BERT模型进行面向结构化文本的关系抽取，得到关系三元组；和，基于属性类型，通过BERT模型进行面向结构化文本的属性抽取，得到属性三元组；其中，知识抽取包括关系抽取和属性抽取；目标三元组包括关系三元组和属性三元组。

具体地，实体识别后，接着进行关系抽取，根据处理数据源的不同，可以分为面向结构化文本的关系抽取、面向非结构化文本的关系抽取和面向半结构化文本的关系抽取，本发明是第一种，采用BERT(Bidirectional Enoceder Representations fromTransformers，即双向的Transformers的Encoder。是谷歌于2018年10月提出的一个语言表示模型(language representation model))模型进行抽取。最后是属性抽取，属性抽取同样是三元组，可以转变为关系抽取，依旧采用上述的BERT模型，由于数据是结构化的，所以不需要训练知识抽取模型，只需要写脚本将其解析成符合要求的三元组。

此外，一些实施例中，还包括：基于实体识别，根据实体名称进行去重处理。

具体地，DiaKG中包含41个json文件，json作为纯文本的数据交换格式省去了冗余的信息、具有语言独立性和平台无关性，使用时只需读取json字符串，生产和解析都较为便利，数据传输效率较高。在构建知识图谱的过程中，遇到同一实体在不同json文件中的标号不同而产生重复的问题，将根据实体名称去重，重新编号。

S400、将目标三元组存储到目标图数据库，完成目标知识图谱的构建；

需要说明的是，一些实施例中，将目标三元组进行基于Cypher语句要求的格式转化；将格式转换后的节点和关系分批依次导入到Neo4j图数据库，完成目标知识图谱的构建。

具体地，抽取好三元组后需要将其存储起来，知识图谱一般使用图数据库进行存储，Neo4j是目前使用率最高的图数据库，拥有活跃的社区且使用专有的查询语言Cypher查询数据，查询效率高，可以进行多跳查询，当添加实体和关系数据时，只需要添加相应的节点和连接到数据库。具体流程为：

将准备好的数据按Cypher语句要求的格式转化完成后，将节点和关系分批依次导入到Neo4j图数据库中，全部导入完成后知识图谱便构建完成。其中，部分知识如图3至9所示，知识图谱中包含定义的18类实体以及16种关系类型和属性。

S500、对输入问题进行预处理，确定目标实体和目标关系类型；

需要说明的是，一些实施例中，根据输入问题，通过三位标注法确定询问对象；根据询问对象，通过循环神经网络结合条件随机场识别命名实体，对命名实体进行补全处理，得到目标实体；抽取输入问题的关键信息，确定关键词；根据关键词，进行关键词匹配和映射处理，得到目标关系类型。

其中，一些实施例中，对命名实体进行补全处理，得到目标实体，包括：通过TransE算法将目标知识图谱中的实体和关系映射为低维向量；其中，低维向量包括实体向量和关系向量；根据目标三元组，构建实体向量和关系向量的目标等式；基于目标等式，对命名实体进行补全处理，得到目标实体。

具体地，如图10所示，首先获取目标对象输入文本，进而进行问题预处理，通过自动化的方式采用BIO形式标注，获取询问对象，GRU+CRF(gated recurrent unit,门控循环单元，是-种常用的门控循环神经网络；结合条件随机场，CRG)训练来识别命名实体。通过利用TransE算法将知识图谱中的每一个实体和每一种关系都映射为一个低维向量，然后把实体向量间的空间平移变换类比为实体间的关系，反应到语义空间里，在低维的空间里对每一个三元组建立头实体向量h加上关系relation的向量r等于尾实体向量t的目标(h+r＝t)，即对于任何一个三元组的向量关系满足h+r＝t的等式。通过不断的优化知识图谱中的每一个实体的优化目标，然后尽可能不断的减小loss function的值，得到一个最优的关于实体和向量之间的表示。预测任意两个实体间的关系时，可以利用优化的目标等式(h+r＝t)，就可以用t减去h，去寻找t-h在这个空间里面最相邻的那些relation，就可以认为t-h之间的relation就是它的relation，也可以给定一个头实体和关系去预测尾实体，进而补全实体，得到目标实体；了解用户意图，然后抽取问题的关键信息，每一个类别的问题，都包含特定的关键词，通过关键词进行区分，关键词匹配之后，映射到对应的关系类型，确定目标关系类型。

S600、根据目标实体和目标关系类型，对目标图数据库进行查询处理，得到目标推荐结果的答案。

具体地，如图10所示，使用补全之后的实体(即目标实体)和映射成功之后的关系(即目标关系类型)通过Cypher语句对图数据库操作查询，匹配最佳关系后得到n个推荐结果，进而返回自然语言答案。

还需要说明的是，一些实施例中，本发明的问题系统使用python作为服务端开发语言，开放http请求接口，利用前文建立好的语义分析模型和知识图谱模型，最终实现基本的问答效果。客户端使用java作为开发语言，用户输入问题时，客户端打包问题成一个http报文之后向服务器请求数据，异步回显后在客户端将问题答案输出。其中，实际运行效果如图11所示。

参照图11，本发明实施例的另一方面还提供了一种电子设备700，包括处理器710以及存储器720；存储器710用于存储程序；处理器720执行程序实现如前面的方法。

本发明方法实施例的内容均适用于本装置实施例，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。

本发明实施例的另一方面还提供了一种计算机可读存储介质，存储介质存储有程序，程序被处理器执行实现如前面的方法。

本发明方法实施例的内容均适用于本计算机可读存储介质实施例，本计算机可读存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法达到的有益效果也相同。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

综上所述，本发明构建的基于知识图谱的糖尿病问答系统特点如下：(1)构建了存储糖尿病知识的知识图谱，使用neo4j图数据库，可视化程度高于传统的数据库；(2)改进了常规的NER模型，克服了头尾实体跨句子分布的关系抽取任务难点；(3)问答系统GRU+CRF训练来识别命名实体，准确率高于其它传统模型。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。