掌桥专利:专业的专利平台
掌桥专利
首页

一种基于海量知识图谱的深度学习问答方法、装置和系统

文献发布时间:2024-04-18 19:58:21


一种基于海量知识图谱的深度学习问答方法、装置和系统

技术领域

本发明涉及计算机自然语言处理领域,尤其涉及一种基于海量知识图谱的深度学习问答方法、装置和系统。

背景技术

近年来,随着人工智能技术的发展,深度学习问答系统(Question-AnsweringSystem)已逐渐成为信息检索,语音合成,机器翻译等领域中重要的组成部分,知识图谱(Knowledge Graph)也已经成为深度学习问答系统中表示复杂信息结构的重要框架,基于知识图谱的深度学习问答系统在业界获得了广泛应用,并展现出比以往方法更好的效果。

然而,现有技术公开的基于知识图谱的深度学习问答方法仍存在以下缺陷:其一,由于自然语言上的不确定性和歧义性,因此现有的深度学习问答系统其返回给用户答案的正确性和准确度较低;其二,海量知识图谱包含数千万或数亿个节点和关系,因此现有的深度学习问答系统其查询效率和计算速率都不够完善。

发明内容

本发明提供了一种基于海量知识图谱的深度学习问答方法、装置和系统,以解决自然语言不确定性和歧义性问题,实现提高输出的答案准确性和系统查询效率的技术效果。

为了解决上述技术问题,本发明提供了一种基于海量知识图谱的深度学习问答方法,包括以下步骤:

接收并对第一待处理文本进行文本预处理,获得第一问题文本;

调用预设的命名实体识别模型对所述第一问题文本进行识别处理,获得若干第一实体和所述第一实体一一对应的第一实体关系;

通过预设的检索模型根据所述第一实体和所述第一实体关系在海量知识图谱中检索获得第一候选答案集;

对所述第一实体、第一实体关系和所述第一候选答案集进行迭代训练直到输出一个答案文本,将输出的答案文本作为第一答案文本输出并展示。

本发明提供的深度学习问答方法通过对第一代处理文本进行文本预处理获得第一问题文本,为后文对第一问题文本进行识别处理提供了数据基础,同时通过文本预处理还降低了后续识别处理所需要占用的计算资源,提高了深度学习识别处理的运算效率。通过调用预设的命名实体识别模型对第一问题文本进行深度学习识别处理获得第一实体和第一实体关系,进一步明确并简化了用户提出的问题,提高了后续针对该第一实体和对应的实体关系进行答案文本检索匹配的准确性和效率。

通过预设的检索模型对第一实体和第一实体关系进行检索获得第一候选答案集,为后续迭代训练提供了数据基础,还进一步提高了获得答案文本的效率。而后续对第一实体、第一实体关系和第一候选答案集进行迭代训练直到获得唯一一个输出的答案文本作为第一答案文本进行展示,进一步提高了获得的答案文本的准确性,以及该答案文本与用户输入的问题的匹配度和符合度。

作为优选例子,所述接收并对第一待处理文本进行文本预处理,获得第一问题文本,具体为:

依次对接收的所述第一待处理文本进行分词处理和停用词去除处理,并对处理后的所述第一待处理文本进行向量转化,将所述第一待处理文本转化为向量形式,获得所述第一问题文本。

本发明通过将第一待处理文本转化为向量形式的方式获得对应的第一问题文本,为后续针对第一问题文本进行识别处理提供数据基础,便于后续对第一问题文本进行识别处理。同时在对第一代处理文本进行向量转化之前还对第一代处理文本依次进行了分词处理和停用词去除处理,简化并突出了第一问题文本的关键部分,同时也便于后续对第一问题文本进行深度学习识别处理获得对应的第一实体和第一实体关系。

作为优选例子,所述调用预设的命名实体识别模型对所述第一问题文本进行深度学习识别处理,获得若干第一实体和所述第一实体一一对应的第一实体关系,具体为:

通过调用所述命名实体识别模型对所述第一问题文本进行编码,获得所述第一问题文本中每个词对应的词向量;

通过深度学习神经网络对所述词向量进行特征提取,获得与所述词向量一一对应的上下文关系,并根据所述词向量与所述上下文关系确定所述第一实体和所述第一实体关系。

通过命名实体识别模型编码第一问题文本获得文本中每个词对应的词向量,并通过深度学习神经网络对每个词向量进行特征提取,进而获得与每个词向量对应的上下文关系,即每个词向量的上下文特征表示,为后续获得第一实体和第一实体关系提供参数基础。

作为优选例子,所述根据所述词向量与所述上下文关系确定所述第一实体和所述第一实体关系,具体为:

根据所述上下文关系确定并提取所述词向量中的实体词向量,将所述实体词向量作为所述第一实体;

通过所述命名实体识别模型对所述上下文关系进行标注,判断所述词向量中除所述第一实体外的词向量与所述第一实体之间的关系,并根据判断的关系提取所述词向量中的所述第一实体关系。

通过每个词向量对应的上下文关系分析获得所述词向量的类型,确定其是否为实体词向量,并将判断获得的所有实体词向量集合获得第一实体,为后续检索过程提供参数基础。同时通过命名识别模型对每个词向量对应的上下文关系进行标注,便可获得所有除了第一实体之外剩余的词向量与第一实体之间的对应关系,进而确定词向量中的与所述第一实体对应的第一实体关系,为后续检索过程提供参数基础。

作为优选例子,所述通过预设的检索模型根据所述第一实体和所述第一实体关系在海量知识图谱中检索获得第一候选答案集,具体为:

调用所述检索模型中的检索模块根据所述第一实体和所述第一实体关系在海量知识图谱中进行检索获得初始答案集,并将所述初始答案集发送至所述检索模型的生成模块;

所述生成模块将所述第一实体、所述第一实体关系和所述初始答案集进行分类标注并拼接,对拼接后的文本进行编解码计算,获得对应训练标签,通过所述训练标签对所述检索模块进行训练,通过训练后的检索模块对所述第一实体和所述第一实体关系进行检索,获得所述第一候选答案集。

通过上述检索模型中的检索模块对第一实体和第一实体关系进行检索的方法,获得初始答案集,为后续获得第一候选答案集提供数据基础。同时,由生成模块根据初始答案集、第一实体和第一实体关系进行编解码计算获得的训练标签对检索模块进行训练,进而提高了检索模块的检索效率,同时也提高了检索模块根据第一实体和第一实体关系检索到对应的第一候选答案集的准确性,进一步提高了后续根据第一候选答案集确定第一答案文本的准确性。

通过初始答案集确定第一候选答案集的方式,降低了后续针对第一候选答案集进行迭代训练的计算量,也因此提高了后续迭代训练的效率和准确性。

作为优选例子,所述调用所述检索模型中的检索模块根据所述第一实体和所述第一实体关系在海量知识图谱中进行检索获得初始答案集,具体为:

调用预设的映射模型将所述第一实体和所述第一实体关系映射为向量形式,获得第一实体向量,分别计算所述第一实体向量与海量知识图谱中若干节点的相似度;

并根据相似度对若干节点按照从大到小的顺序进行排序获得第一相似度表,并按照预设的第一数值从所述第一相似度表中提取相应数量的节点生成所述初始答案集。

通过上述方法获得了初始答案集,为后续确定第一候选答案集提供了数据基础,同时将第一实体和第一实体关系映射为向量形式,便于后续根据第一实体向量与海量知识图谱中的若干节点进行相似度计算。根据获得的相似度排序确定所述初始答案集的确定方式,提高了确定初始答案集的科学性和准确性。

作为优选例子,所述生成模块将所述第一实体、所述第一实体关系和所述初始答案集进行分类标注并拼接,对拼接后的文本进行编解码计算,获得对应训练标签,具体为:

所述生成模块对所述第一实体对应的文本进行实体标注,对所述第一实体关系对应的文本进行关系标注,对所述初始答案集包含的文本进行答案标注,并将标注后的若干文本对应拼接;

将拼接后的若干文本分别独立进行编码计算,获得若干文本对应的编码结果,将若干编码结果串联后进行解码计算,并在解码计算完成后计算若干文本对应的注意力得分,将所述注意力得分作为所述训练标签。

通过上述方法获得的训练标签对检索模块进行训练,提高了检索模块的检索效率同时还使得检索模块检索获得的第一答案文本的准确性有所提高。将第一实体、第一实体关系和初始答案集的拼接结果作为输入数据进行编解码计算,提高了后续根据该编解码过程确定的注意力得分的准确性,将获得的注意力得分作为训练标签,是由于注意力得分越高则代表对应答案集和实体以及实体关系的匹配度越高,即代表答案文本和问题文本的匹配度越高,因此通过训练标签对检索模型进行训练,能提高检索模型针对相应问题文本对应的答案文本的检索准确率越高。

作为优选例子,所述对所述第一实体、第一实体关系和所述第一候选答案集进行迭代训练直到输出一个答案文本,具体为:

通过生成模块对所述第一实体、所述第一实体关系和所述第一候选答案集进行训练,并计算对应训练标签,通过计算获得的训练标签对所述检索模块进行训练;

通过训练后的检索模块对所述第一实体和所述第一实体关系进行检索获得第二候选答案集,并通过所述第二候选答案集对所述第一候选答案集和所述生成模块的参数进行更新,并通过更新后的生成模块对更新后的第一候选答案集、所述第一实体和所述第一实体关系进行训练直到检索输出一个答案文本。

通过上述迭代训练的方法获得的答案文本的准确性被提高,进而提高了用户的体验感。上述迭代训练中循环进行的检索、标签计算过程和训练,进一步提高了获得的第一答案文本的准确性,同时该方法所需要占用的计算资源相比现有技术的检索过程所占用的计算资源有所降低。

相应的,本发明还提供了一种基于海量知识图谱的深度学习问答装置,所述深度学习问答装置包括预处理模块、实体识别模块、检索模块和迭代训练模块;

其中,所述预处理模块用于接收并对第一待处理文本进行文本预处理,获得第一问题文本;

所述实体识别模块用于调用预设的命名实体识别模型对所述第一问题文本进行深度学习识别处理,获得若干第一实体和所述第一实体一一对应的第一实体关系;

所述检索模块用于通过预设的检索模型根据所述第一实体和所述第一实体关系在海量知识图谱中检索获得第一候选答案集;

所述迭代训练模块用于对所述第一实体、第一实体关系和所述第一候选答案集进行迭代训练直到输出一个答案文本,将输出的答案文本作为第一答案文本输出并展示。

相应的,本发明还提供了一种基于海量知识图谱的深度学习问答系统,所述深度学习问答系统包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器处理所述计算机程序时实现以上任一项所述的一种基于海量知识图谱的深度学习问答方法。

附图说明

图1:为本发明提供的一种基于海量知识图谱的深度学习问答方法的实施例的流程示意图;

图2:为本发明提供的步骤102的一种实施例的流程示意图;

图3:为本发明提供的步骤103的一种实施例的流程示意图;

图4:为本发明提供的步骤301的一种实施例的流程示意图;

图5:为本发明提供的步骤104的一种实施例的流程示意图;

图6:为本发明提供的一种基于海量知识图谱的深度学习问答装置的实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

实施例一

请参照图1,为本发明实施例提供的一种基于海量知识图谱的深度学习问答方法的实施例的流程示意图,包括步骤101至步骤104,各步骤具体如下:

步骤101:接收并对第一待处理文本进行文本预处理,获得第一问题文本。

在本实施例中,接收用户输入的第一代处理文本并对第一代处理文本进行文本预处理,获得第一问题文本,为后文对第一问题文本进行深度学习识别处理提供了数据基础,同时通过文本预处理还降低了后续深度学习识别处理所需要占用的计算资源,提高了深度学习识别处理的运算效率。

同时,本实施例提供的针对文本预处理的方法具体为:

依次对接收的所述第一待处理文本进行分词处理和停用词去除处理,并对处理后的所述第一待处理文本进行向量转化,将所述第一待处理文本转化为向量形式,获得所述第一问题文本。

本实施例对第一代处理文本进行分词处理具体为将连续文本划分为有意义的词语,若所述第一代处理文本为专利文件,则所述有意义的词语可以包括:专利名称、专利号、专利申请日期、专利公开日期、专利申请人、专利摘要等对应类型的词语。本实施例不对进行分词处理的方法进行进一步限定,但本实施例优选jieba分词库来实现。

本实施例对分词处理后的第一代处理文本进行停用词去除处理具体为去除文本中的无意义词语,比如:“的”、“是”、“在”等词语,文本去除上述词语后并不会发生任何语义上的变化,因此需要通过去除停用词的方式提取用户输入的第一待处理文本中的关键部分,便于后续针对提取后的文本进行向量转化获得第一问题文本。

本实施例不对向量转化的具体实现方式做进一步限定,但本实施例优选通过Word2Vec模型将文本转换为向量形式,获得第一问题文本。

本实施例通过将第一待处理文本转化为向量形式的方式获得对应的第一问题文本,为后续针对第一问题文本进行深度学习识别处理提供数据基础,便于后续对第一问题文本进行深度学习识别处理。同时在对第一代处理文本进行向量转化之前还对第一代处理文本依次进行了分词处理和停用词去除处理,简化并突出了第一问题文本的关键部分,同时也便于后续对第一问题文本进行深度学习识别处理获得对应的第一实体和第一实体关系。

步骤102:调用预设的命名实体识别模型对所述第一问题文本进行深度学习识别处理,获得若干第一实体和所述第一实体一一对应的第一实体关系。

本实施例通过调用预设的命名实体识别模型对第一问题文本进行深度学习识别处理获得第一实体和第一实体关系,进一步明确并简化了用户提出的问题,提高了后续针对该第一实体和对应的实体关系进行答案文本检索匹配的准确性和效率。

步骤103:通过预设的检索模型根据所述第一实体和所述第一实体关系在海量知识图谱中检索获得第一候选答案集。

步骤104:对所述第一实体、第一实体关系和所述第一候选答案集进行迭代训练直到输出一个答案文本,将输出的答案文本作为第一答案文本输出并展示。

本实施例通过预设的检索模型对第一实体和第一实体关系进行检索获得第一候选答案集,为后续迭代训练提供了数据基础,还进一步提高了获得答案文本的效率。而后续对第一实体、第一实体关系和第一候选答案集进行迭代训练直到获得唯一一个输出的答案文本作为第一答案文本进行展示,进一步提高了获得的答案文本的准确性。

作为本实施例的另一举例,参见图2,图2为本发明提供的步骤102的一种实施例的流程示意图,包括步骤201至步骤203,各步骤具体如下:

步骤201:通过调用所述命名实体识别模型对所述第一问题文本进行编码,获得所述第一问题文本中每个词对应的词向量,通过深度学习神经网络对所述词向量进行特征提取,获得与所述词向量一一对应的上下文关系。

在本举例中,通过预设的命名实体识别模型对第一问题文本进行编码,获得文本中每个词语对应的词向量,并通过深度学习神经网络对所述词向量进行特征提取,获得与每个词向量对应的上下文关系,即每个词向量的上下文特征表示,为后续获得第一实体和第一实体关系提供参数基础。

本实施例不对所述命名实体识别模型的具体类型进行进一步限定,但本实施例的所述命名实体识别模型优选BERT-BiLSTM-CRF模型。其中,本举例采用BERT模型作为编码器,对第一问题文本进行编码,获得文本中每个词的词向量表示,获得的词向量将作为后续特征提取的数据基础。

进一步的,本举例采用BiLSTM模型即深度学习神经网络,对上述获得的词向量进行特征提取,进而获得每个词向量对应的上下文关系。其中,所述BiLSTM模型具体为双向长短期记忆网络(Bi-directional Long Short-Term Memory,简称BiLSTM)模型,作为一种双向循环神经网络模型,可以对两个词向量之间的上下文关系进行特征信息提取。所述BiLSTM模型采用门控循环单元(Gated Recurrent Units,简称GRU)替代了LSTM,有效避免了梯度消失的问题产生。所述门控循环单元即GRU包含两个LSTM层,一个正向LSTM和一个反向LSTM,其中正向LSTM用于学习文本序列的正向特征,反向LSTM用于学习文本序列的反向特征,同时通过前向传播和反向传播,对每个词向量进行特征提取,得到每个词向量对应的上下文关系,即上下文特征性表示。

步骤202:根据所述上下文关系确定并提取所述词向量中的实体词向量,将所述实体词向量作为所述第一实体。

通过解析每个词向量对应的上下文关系,确定所述词向量为实体词向量,或是关系词向量,并将确定为实体词向量的词向量提取集合为第一实体,为后续检索过程提供参数基础。

步骤203:通过所述命名实体识别模型对所述上下文关系进行标注,判断所述词向量中除所述第一实体外的词向量与所述第一实体之间的关系,并根据判断的关系提取所述词向量中的所述第一实体关系。

通过命名识别模型对每个词向量对应的上下文关系进行标注,便可获得所有除了第一实体之外剩余的词向量与第一实体之间的对应关系,进而确定词向量中的与所述第一实体对应的第一实体关系,为后续检索过程提供参数基础。

本发明实施例中对每个词向量进行上下文标注的方法优选为通过条件随机场(Conditional Random Field,简称CRF)实现标注过程。所述CRF即条件随机场是一种序列建模方法,通过对上下文关系即上下文特征表示进行标注,可以得到每个标记的概率,即所述第一实体与其对应关系的概率,进而实现对第一实体和第一实体关系的提取和分类。

其中,在所述BERT-BiLSTM-CRF模型中,还存在一种损失函数,所述损失函数用于将模型预测结果与真实标注之间差异最小化。由于需要训练模型来提高模型的准确率和泛化性能,因此本实施例通过对每个句子中每个标记的交叉熵误差进行求和,得到整个模型的训练集上的平均误差,并将所述平均误差作为优化目标,通过Adam优化算法和所述优化目标对模型进行训练和优化。

所述损失函数采用的为交叉熵损失函数如下:

其中,N代表训练集的样本数,T代表文本中每个句子中标注的实体词向量和关系词向量的数量,y

作为本实施例的又一举例,参见图3,图3为本发明提供的步骤103的一种实施例的流程示意图,包括步骤301至步骤303,各步骤具体如下:

步骤301:调用所述检索模型中的检索模块根据所述第一实体和所述第一实体关系在海量知识图谱中进行检索获得初始答案集,并将所述初始答案集发送至所述检索模型的生成模块。

通过上述检索模型中的检索模块对第一实体和第一实体关系进行检索的方法,获得初始答案集,为后续获得第一候选答案集提供数据基础。

步骤302:所述生成模块将所述第一实体、所述第一实体关系和所述初始答案集进行分类标注并拼接,对拼接后的文本进行编解码计算,获得对应训练标签。

上述方法的具体实现方法为:所述生成模块对所述第一实体对应的文本进行实体标注,对所述第一实体关系对应的文本进行关系标注,对所述初始答案集包含的文本进行答案标注,并将标注后的若干文本对应拼接。

其中,在本举例中,对第一实体对应的文本进行实体标注的具体实现方法为在对应文本之前加上特殊标记[question],而对所述第一实体关系对应的文本进行关系标注具体实现方法为在对应文本之前加上特殊标记[context],并在标注结束后将标注后的文本对应拼接,即将第一实体与对应的第一实体关系进行拼接。

将拼接后的若干文本分别独立进行编码计算,获得若干文本对应的编码结果,将若干编码结果串联后进行解码计算,并在解码计算完成后计算若干文本对应的注意力得分,将所述注意力得分作为所述训练标签。

将拼接后的文本独立输入编码器中,即拼接后的每个实体与其对应的实体关系的组合独立输入编码器中,由编码器对其进行编码,并将若干编码结果进行串联解码计算,即将若干编码结果进行拼接,并将拼接后的编码结果输入解码器中解码获得解码结果。获得所述解码结果后,所述生成模块对上述针对若干文本的编解码过程进行文本的注意力得分计算,并将计算获得的注意力得分作为训练标签对所述检索模块进行训练。

其中,本实施例中注意力得分的计算方法具体为调用预设的第一实体q和该实体对应类型的知识图谱(p

其中,softmax是深度学习中常用的一种激活函数,常用于多分类问题的输出层,其计算公式如下:

z

通过上述方法获得的训练标签对检索模块进行训练,提高了检索模块的检索效率同时还使得检索模块检索获得的第一答案文本的准确性有所提高。将第一实体、第一实体关系和初始答案集的拼接结果作为输入数据进行编解码计算,提高了后续根据该编解码过程确定的注意力得分的准确性,将获得的注意力得分作为训练标签,是由于注意力得分越高则代表对应答案集和实体以及实体关系的匹配度越高,即代表答案文本和问题文本的匹配度越高,因此通过训练标签对检索模型进行训练,能提高检索模型针对相应问题文本对应的答案文本的检索准确率越高。

步骤303:通过所述训练标签对所述检索模块进行训练,通过训练后的检索模块对所述第一实体和所述第一实体关系进行检索,获得所述第一候选答案集。

由生成模块根据初始答案集、第一实体和第一实体关系进行编解码计算获得的训练标签对检索模块进行训练,进而提高了检索模块的检索效率,同时也提高了检索模块根据第一实体和第一实体关系检索到对应的第一候选答案集的准确性,进一步提高了后续根据第一候选答案集确定第一答案文本的准确性。

通过初始答案集确定第一候选答案集的方式,降低了后续针对第一候选答案集进行迭代训练的计算量,也因此提高了后续迭代训练的效率和准确性。

作为本实施例的又一举例,参加图4,图4为本发明提供的步骤301的一种实施例的流程示意图,包括步骤401至步骤403,各步骤具体如下:

步骤401:调用预设的映射模型将所述第一实体和所述第一实体关系映射为向量形式,获得第一实体向量。

在本举例中,将第一实体和第一实体关系映射为向量模式利用的是BERT模型中的词嵌入模型,将第一实体和第一实体关系映射为d维的稠密向量E(p)。

步骤402:分别计算所述第一实体向量与海量知识图谱中若干节点的相似度,并根据相似度对若干节点按照从大到小的顺序进行排序获得第一相似度表。

在本举例中,通过计算第一实体像向量和知识图谱节点的相似度S

步骤403:按照预设的第一数值从所述第一相似度表中提取相应数量的节点生成所述初始答案集。

在本举例中,根据步骤402中排序获得的表,按照相似度从大到小的顺序选择相似度最大的、与第一数值相对应数量的节点作为候选答案集。

通过上述方法获得了初始答案集,为后续确定第一候选答案集提供了数据基础,同时将第一实体和第一实体关系映射为向量形式,便于后续根据第一实体向量与海量知识图谱中的若干节点进行相似度计算。根据获得的相似度排序确定所述初始答案集的确定方式,提高了确定初始答案集的科学性和准确性。

作为本实施例的另一举例,参见图5,图5为本发明提供的步骤104的一种实施例的流程示意图,包括步骤501至步骤503,各步骤具体如下:

步骤501:通过生成模块对所述第一实体、所述第一实体关系和所述第一候选答案集进行训练,并计算对应训练标签,通过计算获得的训练标签对所述检索模块进行训练。

在上述步骤中所述的训练标签的训练方法与步骤302相同,通过对第一实体、第一实体关系和第一候选答案集进行拼接和编解码,并计算对应注意力得分,获得对应的训练标签,再通过对应的训练标签对检索模块进行训练,提高检索模块的检索效率以及检索准确率。

在本实施例中,通过训练标签对检索模块进行训练的方式为通过训练标签集注意力得分计算所述检索模块的训练目标函数,计算公式如下:

上述计算公式具体为将归一化后的相似度S

步骤502:通过训练后的检索模块对所述第一实体和所述第一实体关系进行检索获得第二候选答案集,并通过所述第二候选答案集对所述第一候选答案集和所述生成模块的参数进行更新。

通过上述方法,训练后的检索模块再次检索获得的第二候选答案集相比第一候选答案集将更为准确,更加接近用户提出的问题的正确答案,因此检索出所述第二候选答案集后,根据该第二候选答案集对第一候选答案集进行更新,使得更新后的第一候选答案集作为下一次生成模块训练所使用的数据,同时对生成模块的相应参数进行初始化,以使所述生成模块得以更好地对更新后的第一候选答案集进行训练,提高了生成模块的训练效率和根据生成模块训练获得的训练标签的精确度,进而提高了训练标签对检索模块的检索效率的提升度。

步骤503:通过更新后的生成模块对更新后的第一候选答案集、所述第一实体和所述第一实体关系进行训练直到检索输出一个答案文本。

通过以上方法,在生成模块和检索模块中不断迭代循环进行第一实体和第一实体关系的检索并根据检索获得的候选答案集对生成模块进行训练,直到检索模块检索输出一个答案文本,则该输出的答案文本为第一答案文本,经过多次迭代循环和训练获得的答案文本其准确性将被有效提高,进而提高了用户的体验感。同时,上述迭代训练中循环进行的检索、标签计算过程和训练,进一步提高了获得的第一答案文本的准确性,同时该方法所需要占用的计算资源相比现有技术的检索过程所占用的计算资源有所降低。

为了更好地说明本发明一种基于海量知识图谱问答方法、装置和系统的工作原理与步骤流程,可以但不限于参见上文的相关记载。

相应的,参见图6,图6为本发明提供的一种基于海量知识图谱的深度学习问答装置的实施例的结构示意图。如图6所示,所述问答装置包括预处理模块601、实体识别模块602、检索模块603和迭代训练模块604。

其中,所述预处理模块601用于接收并对第一待处理文本进行文本预处理,获得第一问题文本,具体包括:依次对接收的所述第一待处理文本进行分词处理和停用词去除处理,并对处理后的所述第一待处理文本进行向量转化,将所述第一待处理文本转化为向量形式,获得所述第一问题文本。

所述实体识别模块602用于调用预设的命名实体识别模型对所述第一问题文本进行深度学习识别处理,获得若干第一实体和所述第一实体一一对应的第一实体关系,具体包括:通过调用所述命名实体识别模型对所述第一问题文本进行编码,获得所述第一问题文本中每个词对应的词向量,通过深度学习神经网络对所述词向量进行特征提取,获得与所述词向量一一对应的上下文关系,并根据所述词向量与所述上下文关系确定所述第一实体和所述第一实体关系。

其中,根据所述词向量与所述上下文关系确定所述第一实体和所述第一实体关系,具体为:根据所述上下文关系确定并提取所述词向量中的实体词向量,将所述实体词向量作为所述第一实体,通过所述命名实体识别模型对所述上下文关系进行标注,判断所述词向量中除所述第一实体外的词向量与所述第一实体之间的关系,并根据判断的关系提取所述词向量中的所述第一实体关系。

所述检索模块603用于通过预设的检索模型根据所述第一实体和所述第一实体关系在海量知识图谱中检索获得第一候选答案集,具体包括:调用所述检索模型中的检索模块根据所述第一实体和所述第一实体关系在海量知识图谱中进行检索获得初始答案集,并将所述初始答案集发送至所述检索模型的生成模块;所述生成模块将所述第一实体、所述第一实体关系和所述初始答案集进行分类标注并拼接,对拼接后的文本进行编解码计算,获得对应训练标签,通过所述训练标签对所述检索模块进行训练,通过训练后的检索模块对所述第一实体和所述第一实体关系进行检索,获得所述第一候选答案集。

其中,调用所述检索模型中的检索模块根据所述第一实体和所述第一实体关系在海量知识图谱中进行检索获得初始答案集,具体为:调用预设的映射模型将所述第一实体和所述第一实体关系映射为向量形式,获得第一实体向量,分别计算所述第一实体向量与海量知识图谱中若干节点的相似度;并根据相似度对若干节点按照从大到小的顺序进行排序获得第一相似度表,并按照预设的第一数值从所述第一相似度表中提取相应数量的节点生成所述初始答案集。

同时,生成模块将所述第一实体、所述第一实体关系和所述初始答案集进行分类标注并拼接,对拼接后的文本进行编解码计算,获得对应训练标签,具体为:所述生成模块对所述第一实体对应的文本进行实体标注,对所述第一实体关系对应的文本进行关系标注,对所述初始答案集包含的文本进行答案标注,并将标注后的若干文本对应拼接;将拼接后的若干文本分别独立进行编码计算,获得若干文本对应的编码结果,将若干编码结果串联后进行解码计算,并在解码计算完成后计算若干文本对应的注意力得分,将所述注意力得分作为所述训练标签。

所述迭代训练模块604用于对所述第一实体、第一实体关系和所述第一候选答案集进行迭代训练直到输出一个答案文本,将输出的答案文本作为第一答案文本输出并展示,具体包括:通过生成模块对所述第一实体、所述第一实体关系和所述第一候选答案集进行训练,并计算对应训练标签,通过计算获得的训练标签对所述检索模块进行训练;通过训练后的检索模块对所述第一实体和所述第一实体关系进行检索获得第二候选答案集,并通过所述第二候选答案集对所述第一候选答案集和所述生成模块的参数进行更新,并通过更新后的生成模块对更新后的第一候选答案集、所述第一实体和所述第一实体关系进行训练直到检索输出一个答案文本。

相应的,本发明实施例还提供了一种基于海量知识图谱的深度学习问答系统,所述问答系统包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器处理所述计算机程序时实现以上任一项所述的一种基于海量知识图谱的深度恶习问答方法。

综上所述,本发明提供了一种一种基于海量知识图谱的问答方法、装置和系统,通过对第一代处理文本进行文本预处理获得第一问题文本,并调用预设的命名实体识别模型对第一问题文本进行识别处理获得第一实体和第一实体关系;通过预设的检索模型对第一实体和第一实体关系进行检索获得第一候选答案集,获得后对第一实体、第一实体关系和第一候选答案集进行迭代训练直到获得一个输出的答案文本作为第一答案文本进行输出和展示。本发明通过文本预处理、命名实体识别模型对用户输入的问题进行二次简化和明确,提高了获得第一实体和第一实体关系的准确性和效率,同时通过检索模型和循环迭代训练进一步提高了获得的答案文本与用户输入的问题文本的匹配度。

以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,应当理解,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

相关技术
  • 一种基于深度学习的电力通信领域知识图谱问答系统的构建方法
  • 一种基于深度学习和人机交互的知识图谱问答方法和系统
  • 一种基于深度学习和知识图谱的问答方法及系统
技术分类

06120116480218