一种融合位置编码的多角度注意力知识图谱问答方法

技术领域

本发明设计了一种融合位置编码的多角度注意力知识图谱问答方法，涉及深度学习技术、信息检索技术、自然语言处理技术领域。

背景技术

知识图谱最早由谷歌公司提出，它将知识图谱应用在语义搜索方面，通过构建起来的知识图谱可以精准的搜索出需要的信息。通常的知识图谱中包含了大量的数据，他们庞大的数量和复杂的数据结构使得其中的知识很难被访问。为了解决这一问题，基于知识图谱的问答被提出。

开放域知识图谱问答的技术可以分为两大类，即基于信息检索和基于语义解析。基于信息检索的知识图谱问答首先会确定问题中的实体，然后链接到知识图谱中的主题实体，并将与主题实体相关的子图提取出来作为候选答案集合，然后分别从问题和候选答案中抽取特征，最后利用排序模型对问题和候选答案进行建模并预测。

基于语义解析的方法将自然语言解析成一种逻辑表达式，然后查询知识图谱得出答案。首先建立词汇表，将问句中的不同成分链接到知识库中的实体或者关系，然后自上而下建立一颗语法分析树。一个问句可以生成不同的候选语义解析结果，通过训练模型计算它们的概率分布。传统的语义解析方法主要依赖于预先定义的规则模板，需要大量的手工标注数据，在面临大规模知识图谱的时候往往效果欠佳。

综上可知，目前的知识图谱问答中还存在以下难题：(1)复杂问题下的实体和属性识别困难；(2)大多数现有的知识图谱问答没有关注问题和实体间的相互关系。针对上述问题，通过使用位置编码的方法来保留序列的位置信息，关注原始句子的自然语序，来提升实体和属性识别的准确率。然后借鉴了机器阅读理解中的双向注意力思想，利用多角度注意力网络来关注问题和知识图谱间的交互，提升模型的推理能力。

发明内容

本发明提出了一种融合位置编码的多角度注意力知识图谱问答方法。模型大致可分为问题输入、关系记忆、多角度注意力机制、答案选择四个模块。在已有的知识图谱问答模型上，本发明提出了一种融合位置编码的多角度注意力知识图谱问答方法。在问题输入模块中融合位置编码，同时编码问题的语义和语法信息，在关系记忆网络中，将用户问题、三元组信息转换为分布式表达加入到记忆网络中，然后利用多角度注意力机制建模知识图谱和问题之间的相关性，利用知识图谱增强问题表示，最后使用答案选择模块对候选答案进行排序。该方法关注了问题的语义和语法信息，再利用多角度注意力机制增强问题表示，保证了问答质量，我们在研究者广泛使用的公共数据集WebQuestions上评估我们的模型。实验结果表明，该模型的性能优于其它模型。

本发明通过以下技术方案来实现上述目的：

(1)将输入问题通过输入模块，融合位置编码和注意力机制，同时编码问题的语义和语法信息,在输入模块中位置编码需要将词序信息和词向量结合起来形成一种新的表示输入给模型，这样就使得模型具备了学习词序信息的能力；

(2)键值记忆网络可以很好的的存储具有复杂结构的数据，并可以通过在多个记忆槽内的预测来进行浅层的多跳推理任务，最终形成相关的子图路径，以问题的主语实体为关键词在知识图谱搜索h跳内实体作为候选答案，编码候选答案的答案类型和答案关系路径存入记忆Memory network中；

(3)通过多角度注意力机制建模知识图谱和问题之间的相关性，根据知识图谱关注问题中的重要组成部分，然后选取记忆网络中对问句表示有价值的值链接到原有问句表示；

(4)在答案选择模块中，通过计算问句和知识图谱的相关信息，对候选答案进行排序；

(5)选取上一个步骤得分最高的答案，作为该问题的答案，对测试集的每个问题的标准答案集合和预测答案集合计算Macro-F1分数等指标，即可用于验证测试。

附图说明

图1是本发明方法的主要流程。

图2是多角度注意力机制核心模块。

具体实施方式

下面结合附图对本发明作进一步说明：

图1是为知识图谱问答模型，模型大致可分为问题输入、关系记忆、多角度注意力机制、答案选择四个模块。首先，通过在词嵌入中添加相对位置编码来捕获有关问句的顺序信息，从词嵌层提取词嵌入后，位置编码被添加进嵌入向量中。计算公式如(1)所示：

其中d是词向量维度。最后使用位置编码更新句向量q，如公式(2)所示：

其次根据问句中的实体，用键值记忆网络来存储候选答案。再次，通过多角度注意力机制，依据知识图谱来关注问句中重要组成部分，利用注意力机制来计算问句中信息与知识图谱的相关程度，关注问句中的重要组成部分。最后在答案选择模块中对候选答案进行评分，将评分最高的实体作为答案。

图2是多角度注意力模块的核心结构。主要是通过多角度注意力机制来捕捉问句与知识图谱之间的相关性。该网络的主要目的就是根据知识图谱关注问题重要部分。使用多角度注意力机制将特征投射到多个子空间中，在不同的子空间中可以捕获不同的特征权重。输入部分包括词级别向量(Word View)和知识图谱级别向量(Knowdege View)，词向量就是带位置信息的词编码向量，而知识图谱级别的向量则是将问句与知识库对应的实体组成的向量，两则拼接后即可得到对应的向量，具体如公式(3)所示：

s

x＝[S

对于Word View和Knowdege View的注意力权重计算方法，首先计算两个注意力矩阵，如公式(5)所示：

其中E

然后分别对行和列做最大值池化，分别得到Word View和Knowdege View的问题和答案的注意力权重，如公式(6)所示：

最后的问题和答案表示如公式(7)所示：

其中α

其中

为验证本发明所提出的答案匹配方法的合理性，在WebQuestions数据集上进行了实验验证，其结果如表一所示：

表一

从表一可以看出，本发明在WebQuestions数据集上的实验结果，与当前主流的模型比，在Macro-F1上表现良好。