一种基于多任务学习的知识图谱对话问答方法和系统

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于多任务学习的知识图谱对话问答方法和系统。

背景技术

随着知识图谱的发展，其被广泛应用在各种问答机中，但是现在的应用中对于基于知识图谱的对话式问答的解决方案尚不成熟。

知识图谱将知识(常识与领域知识)以图结构的形式存储下来，通常储存形式为三元组，即(实体-关系-实体)或(实体-关系-值)对，知识图谱问答是指一个自然语言描述的问句经过语义理解后，在知识图谱中寻找对应的实体或值作为问句答案的一项技术。知识图谱问答领域近年来蓬勃发展，相关技术日趋成熟，从简单问题的知识图谱问答发展到复杂问题的知识图谱问答，再到本发明所述的对话式知识图谱问答。简单问题的知识图谱问答通常通过一个语义解析器将问句进行解析，再到知识图谱中搜索相关的答案。复杂问题的知识图谱问答通常采用解析问句成一个知识图谱的查询语句，再到知识库进行查询以获取答案；或是先确定问题的主题，在知识图谱中搜寻对应的子图，获取候选答案，然后对候选答案进去排序获取最终答案。单轮次的简单问题和复杂问题的知识图谱问答不能解决对话中省略部分信息、句子结构不完整的问题。多轮对话技术是指根据上下文内容，进行连续的，以达到解决某一类特定任务为目的的对话，通常针对某一特定任务。然而，多轮对话不能利用知识图谱海量信息的问题，不是从广域的知识库当中检索标准的答案。

对话式知识图谱问答是面向对话式问题的问答技术，通过对自然语言问句的解析和前后文的信息，在知识图谱中找到相关路径来回答问题。难点在于对话式问题相较于单轮的简单问题和复杂问题存在句式不明、指代不清晰、句子结构不完整、意图不明晰等情况，使得在回答多轮问题的过程中会面临主题实体不易确定、用户意图转变等问题。而在对话式知识图谱问答中，由于知识图谱中存在同名实体，还存在同命实体歧义的问题。

多任务学习是迁移学习的一个分支，在给定几个相关联任务的输入数据和输出数据的情况下，多任务学习能够挖掘任务之间的关系，同时学习多个模型，从而提升多个任务的整体的学习效果和效率。

现有技术中，一般方法是针对特定任务的多轮对话、闲聊机器人、单轮的知识图谱问答，CN111708874A提出了一种基于复杂意图智能识别的人机交互问答方法与系统，该方法中通过对问句构建依存树，确定用户的意图，然后对问句进行改写，最终从知识库找到答案。CN114626384A提出了一种对话处理方法、问句改写模型的训练方法及其装置，该方法将用户问句与历史问句输入模型，得到改写的问句。上述方法都没有将问题改写与知识图谱紧密关联，不能有效地解决歧义、共指、省略等问题。

发明内容

为了解决上述技术问题，本发明提供了一种基于多任务学习的知识图谱对话问答方法和系统，用于实现对对话式自然语言问句的理解，将问句改写、实体识别和关系推理等多个子任务同时学习，最终从庞大的知识图谱中得到用户所需答案。该方法将实体识别、关系推理、问句改写等多个相关任务进行多任务学习，使问句改写的输出更加准确，时间效率更加高效，也更贴近于知识图谱，能够有效的解决在广域知识图谱上做问答存在的歧义、共指、省略等问题。

为了达到上述技术效果，本发明提供如下技术方案：

一种基于多任务学习的知识图谱对话问答方法，包括如下步骤：

S001:通过人机交互获取用户的输入问题；

S002:结合过往对话语料，将实体链接、关系匹配、问句改写任务结合起来，进行多任务训练，得到可以将多轮问句改写为适应知识图谱的单轮问句的模型；

S003:通过多任务学习学得的模型，进行会话管理，结合会话历史，将当前问题改写为适应知识图谱的单轮问题；

S004:通过知识图谱问答方法，将转换为单轮问题的当前问题与知识图谱交互，获取答案；

S005:通过人机交互返回答案给用户。

进一步的技术方案为，步骤S001中获取用户的输入问题的方式包括(1)通过在用户各种图形界面的输入框输入问题的方式获取问题；(2)通过用户对输入设备说话录入语音，然后语音转文字的方式获取问题。

进一步的技术方案为，步骤S002中适应知识图谱的单轮问句的模型包括单一任务的实体链接模型，单一任务的关系匹配模型，单一任务的问句改写模型以及多任务学习结合的问句改写模型。

进一步的技术方案为，所述单一任务的实体链接模型是从过往对话语料中训练实体识别模型具体为：从过往对话中，将过往语料中每一轮的问句与问句中的实体组成对，进行有监督训练，训练实体探测模型；从过往对话中，将探测到的实体通过某种实体链接器链接到知识图谱的实体。

进一步的技术方案为，所述单一任务的关系匹配模型为从过往对话语料中训练关系推理模型具体为：从过往对话中，将过往语料中每一轮的问句与问句蕴含的关系组成对，进行有监督训练，训练关系推理模型；从过往对话中，将推理出的关系通过关系匹配器与知识图谱的关系进行匹配。

进一步的技术方案为，所述单一任务的问句改写模型为将过往对话语料中的最后一轮问句进行改写，改写为正式的单轮问句具体为：从过往对话数据中，训练一个模型，该模型由前几轮对话及对话的答案作为训练的输入，改写后可以作为单轮问句的最后一轮问句作为输出；所述多任务学习结合的问句改写模型为通过多任务学习框架，训练将实体链接、关系匹配、问句改写模型相结合的模型。

进一步地，多任务学习结合的问句改写模型包括：将上述单一任务的实体链接、单一任务的关系匹配和单一任务的问句改写模型进行多任务学习，训练将实体链接、关系匹配、问句改写模型相结合的模型：对于实体链接和关系匹配任务，关系匹配依赖于实体链接的结果，找到实体链接任务输出的实体间在知识图谱中的关系；同时，语料中具有关系的两个表述又更可能是实体，两个模型相互支撑印证。对于问句改写模型，实体链接和关系匹配模型的结果可以直接用于问句改写模型，实体链接和关系匹配模型的训练参数能够加快问句改写模型的收敛速度，加快模型的训练。直接采用实体链接与关系匹配模型的结果可以使改写后的当前问题直接包含知识图谱实体与关系的指代码，问句改写模型的输出将消除在大规模知识图谱中的实体与关系歧义问题，提升问句改写模型的准确度。

进一步的技术方案为，步骤S003具体为：通过S002中多任务学习训练的模型，在推理阶段，对当前的对话进行会话管理：首先判断是否需要会话管理，若只存在单轮对话，则不需要会话管理，若存在多轮对话，则将当前问题的会话历史，包括前几轮的问题，前几轮问题的答案作为输入，对当前问题进行改写，输出更有利于知识图谱问答的当前问题。

进一步的技术方案为，步骤S004具体为:对于单轮问答，采用常规实体链接、关系匹配、答案选取流程获取答案；对于多轮问答，直接采用S003中问句改写后的知识图谱实体、关系匹配结果，进入答案选取流程获取答案。

进一步的技术方案为，步骤S005中返回答案给用户的方式包括通过图形界面，语音信息载体，将答案返回给用户。

本发明还提供一种基于多任务学习的知识图谱对话问答系统，包括问题输入模块：用于得到用户输入的问题；多任务训练模块：用于对实体链接、关系推理、问句改写进行多任务学习训练得到问句改写模型；会话管理模块：用于管理会话，对当前对话进行管理，改写为适应知识图谱问答的单轮问题；问题理解模块：用于从知识图谱得到用户输入问题的答案；结果输出模块：用于返回答案给用户。

与现有技术相比，本发明具有如下有益效果：本发明提供一种基于多任务学习的知识图谱对话问答方法和系统，用于实现对对话式自然语言问句的理解，将问句改写、实体识别和关系推理等多个子任务同时学习，最终从庞大的知识图谱中得到用户所需答案。该系统支持对话式自然语言问题的理解；运用多任务学习增强问句改写的效果，使问句改写的结果更加适用于知识图谱问答，更好的解决对话式问题中歧义、共指、省略等问题；从知识图谱中得到答案反馈给用户；通过提取并理解对话式自然语言问题，通过将问句改写、实体识别、关系推理结合起来进行多任务学习，有效提升准确率，更好的解决对话中常见的歧义、共指、省略等问题，并更加准确地从知识图谱中获取答案。由于多个任务同时进行，在训练阶段能够缩短时间。推理阶段由于模型在运用过程中同时完成多个任务，可以缩短推理时间，给用户更好的交互体验。

附图说明

图1为一种基于多任务学习、问句改写的知识图谱对话问答方法的技术流程图；

图2为一种基于多任务学习、问句改写的知识图谱对话问答方法的技术细节框图。

具体实施方式

下面结合附图和具体实施例对本发明进行进一步的解释和说明。

实施例1

如图1和图2所示，本发明实施例1提供一种基于多任务学习的知识图谱对话问答方法，用于实现对对话式自然语言问句的理解，将问句改写、实体识别和关系推理等多个子任务同时学习，最终从庞大的知识图谱中得到用户所需答案。通过多任务学习，能够更加有效地解决对话式问题中歧义、共指、省略等问题；并且由于多个任务同时进行，在训练阶段能够缩短时间，推理阶段由于模型在运用过程中同时完成多个任务，可以缩短推理时间，给用户更好的交互体验。

具体实施步骤如下：

步骤S1：通过人机交互，以多种形式，获取用户的输入问题；

步骤S11：用户对输入设备说话录入语音，记录下用户的语音；

步骤S12：通过语音转文字模型，将用户输入的语音转成文字形式的问题。

可选地，用户可以通过智能终端的麦克风输入语音，采用某种语音转文字输出器提取文字。

步骤S2：训练一个模型，该模型利用大量的过往对话语料，将实体链接、关系匹配、问句改写等单一任务结合起来，进行多任务学习，得到可以将多轮问句改写为适应知识图谱的单轮问句的模型；

步骤S21：单一任务的实体链接模型；

步骤S211：利用过往对话语料中，标注语料中每一轮的问句中实体的提法与该提法关联的具体实体组成(提法，实体)对；

步骤S212：对步骤S211中标注的(提法，实体)对进行有监督训练，训练实体探测模型；可选地，可采用序列标注模型进行实体探测。

步骤S213：采用某种实体链接器将探测到的实体的提法链接到知识图谱的实体。可选地，可以采用S-MART进行实体链接。

步骤S22：单一任务的关系匹配模型；

步骤S221：利用过往对话语料中和步骤S21的工作，将问句中的实体提法通过某种方式遮盖掉，形成遮盖掉实体的问句；可选地，可以将实体的提法置为。

步骤S222：标注语料中遮盖掉实体的问句与该问句对应的关系组成(问句，关系)对；

步骤S223：对步骤S222中标注的(问句，关系)对进行有监督训练，训练关系匹配模型；可选地，可采用支持向量机分类模型的方式进行关系匹配。

步骤S23：单一任务的问句改写模型；

步骤S231：将前几轮对话及对话的答案作为训练的输入，通过一个编码器映射到向量空间；

步骤S232：将改写后可以作为单轮问句的最后一轮问句作为输出，通过一个解码器解码步骤S231中的向量。

可选地，可以采用LSTM长短时记忆网络进行单一任务的问句改写。

上述步骤S21，步骤S22，步骤S23在训练时同时进行，不具有先后顺序。

步骤S24：多任务学习结合的问句改写模型；

将步骤S21所述的单一任务的实体链接、步骤S22所述的单一任务的关系匹配和步骤S23所述的单一任务的问句改写模型进行多任务学习，训练将实体链接、关系匹配、问句改写模型相结合的模型，该模型可以在更快的时间内同时完成三项任务，并输出改写后的问句。该模型的作用原理是对于实体链接和关系匹配任务，关系匹配依赖于实体链接的结果，找到实体链接任务输出的实体间在知识图谱中的关系；同时，语料中具有关系的两个表述又更可能是实体，两个模型相互支撑印证。对于问句改写模型，实体链接和关系匹配模型的结果可以直接用于问句改写模型，实体链接和关系匹配模型的训练参数能够加快问句改写模型的收敛速度，加快模型的训练。直接采用实体链接与关系匹配模型的结果可以使改写后的当前问题直接包含知识图谱实体与关系的指代码，问句改写模型的输出将消除在大规模知识图谱中的实体与关系歧义问题，提升问句改写模型的准确度。具体实现上，抽取单一任务实体链接模型、关系匹配模型、问句改写模型中的部分参数，采用参数混淆的手段，实现多任务学习。

可选地，采用wikidata作为支撑知识库，

例如下列多轮问答：

问：“高血压是什么方面的问题？”；(Q988405)

答：“心脑血管”，；(Q389735)

问：“该吃什么药？”；

答：“利尿剂”(Q200656)

问：“具体有哪些药呢？”

用本发明所述方式会将“具体有哪些药呢”改写为“高血压利尿剂包含什么？“(Q988405)(Q200656)(P4330)什么？”

步骤S3：利用多任务学习学得的模型，进行会话管理，结合当前的会话历史，将当前问题改写为适应知识图谱的单轮问题；

步骤S31：首先判断是否需要会话管理，若只存在单轮，则不需要会话管理，进行步骤S4。若存在多轮，则需要会话管理，进行步骤S32。

步骤S32：将当前问题的会话历史，包括前几轮的问题、前几轮问题的答案等同时作为输入，输入步骤S2训练的模型中，对当前问题进行改写。输出更适应知识图谱问答的当前问题。

步骤S4：通过知识图谱问答方法，将转换为适用于单轮知识图谱问答的当前问题与知识图谱交互，获取答案，包括，对于单轮，采用常规实体链接、关系匹配、答案选取流程获取答案；还包括，对于多轮，直接采用问句改写后的知识图谱实体、关系匹配结果，进入答案选取流程获取答案。

步骤S5：通过人机交互返回答案给用户。

实施例2

本发明实施例2提供了一种基于知识图谱的对话式问答系统，包括：

问题输入模块：用于得到用户输入的问题；

多任务训练模块：用于对实体链接、关系推理、问句改写进行多任务学习训练得到问句改写模型；

会话管理模块：用于管理会话，对当前对话进行管理，改写为适应知识图谱问答的单轮问题；

问题理解模块：用于从知识图谱得到用户输入问题的答案；

结果输出模块：用于返回答案给用户。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，该程序在执行时，可包括如上各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。

尽管这里参照本发明的解释性实施例对本发明进行了描述，上述实施例仅为本发明较佳的实施方式，本发明的实施方式并不受上述实施例的限制，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。