掌桥专利:专业的专利平台
掌桥专利
首页

基于人工智能的智能问答处理方法、装置、设备及介质

文献发布时间:2023-06-19 12:13:22


基于人工智能的智能问答处理方法、装置、设备及介质

技术领域

本发明涉及人工智能技术、自然语言处理技术领域,尤其涉及一种基于人工智能的智能问答处理方法、装置、计算机设备及计算机存储介质。

背景技术

智能客服或智能助手,是自然语言处理( (Natural Language Processing,NLP)技术落地实际场景的最广泛最重要的方式之一,其中问答引擎是智能客服系统的核心模块,对于问答引擎,目前最常用的技术是基于检索式的问答技术,即先通过业务专家事先定义一些问答知识库,一系列的问答对,每个标准问题对应一个答案,然后对用户问题通过语义匹配模型技术找到同义的问题,然后回复对应的答案。

发明人意识到,上述方案的问答效果严重依赖于语义匹配模型技术,然而语义匹配模型常常由于训练数据和模型泛化能力的不足,对于一些业务下的复杂实体,常常导致语义匹配模型匹配不准确,匹配能力严重不足,继而使得问答效果不佳。

发明内容

本发明实施例提供一种人工智能的智能问答处理方法、装置、计算机设备及存储介质,以解决语义匹配模型匹配不准确,匹配能力严重不足,继而使得问答效果不佳的技术问题。

第一方面,提供了一种基于人工智能的智能问答处理方法,包括:

接收用户问题,根据所述用户问题从预设标准问题库中进行问题召回处理,以获取多个候选问题;

按照所述用户问题与所述候选问题的语义匹配度,对所述多个候选问题进行排序,得到所述候选问题的第一排序结果;

分别判断所述用户问题与每个所述候选问题的实体对齐情况;

按照所述实体对齐情况,对所述第一排序结果进行调整,得到所述候选问题的第二排序结果,所述第二排序结果中,实体不对齐的候选问题排在实体对齐的候选问题后面,实体对齐的候选问题按照所述第一排序结果的排序保持不变;

在所述第二排序结果的序列中,从首位依次截取预设数量的候选问题作为匹配问题;

选取所述匹配问题对应的匹配答案对所述用户问题进行回应。

第二方面,提供了一种基于人工智能的智能问答处理装置,包括:

接收模块,用于接收用户问题;

召回筛选模块,用于根据所述用户问题从预设标准问题库中进行问题召回处理,以获取多个候选问题;

排序模块,用于按照所述用户问题与所述候选问题的语义匹配度,对所述多个候选问题进行排序,得到所述候选问题的第一排序结果;

判断模块,用于分别判断所述用户问题与每个所述候选问题的实体对齐情况;

调整模块,用于按照所述实体对齐情况,对所述第一排序结果进行调整,得到所述候选问题的第二排序结果,所述第二排序结果中,实体不对齐的候选问题排在实体对齐的候选问题后面,实体对齐的候选问题按照所述第一排序结果的排序保持不变;

选取模块,用于在所述第二排序结果的序列中,从首位依次截取预设数量的候选问题作为匹配问题;

回应模块,用于选取所述匹配问题对应的匹配答案对所述用户问题进行回应。

第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述智能问答处理方法的步骤。

第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述智能问答处理方法的步骤。

上述基于人工智能的智能问答处理方法、装置、计算机设备及存储介质所实现的方案中,可以通过客户端接收用户问题,并根据用户问题进行问题召回并筛选,得到多个候选问题;按照用户问题与候选问题的语义匹配度,对多个候选问题进行排序,得到候选问题的第一排序结果;判断用户问题,与每个候选问题的实体对齐情况;按照实体对齐情况,对第一排序结果进行调整,得到候选问题的第二排序结果,第二排序结果中,实体不对齐的候选问题排在实体对齐的候选问题后面,实体对齐的候选问题按照第一排序结果的排序保持不变;在第二排序结果的序列中,从首位依次截取预设数量的候选问题作为匹配问题;选取匹配问题对应的匹配答案对用户问题进行回应,将匹配答案反馈回客户端,在本发明中,针对保险业务下等复杂保险实体,可利用实体对齐优化问答引擎的方案,先是通过语义匹配度进行粗排序,再通过实体对齐方式进行排序调整,选取靠前的匹配问题对应得到答案进行回应,能有效地避免模型的泛化能力缺陷,极大高效提升实体匹配的效果,提升问答引擎的效果。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例中智能问答处理方法的一应用环境示意图;

图2是本发明一实施例中智能问答处理方法的一流程示意图;

图3是图1中步骤S10的一具体实施方式流程示意图;

图4是图1中步骤S30的一具体实施方式流程示意图;

图5是图4中步骤S32的一具体实施方式流程示意图;

图6是本发明一实施例中智能问答处理装置的一结构示意图;

图7是本发明一实施例中计算机设备的一结构示意图;

图8是本发明一实施例中计算机设备的另一结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供的基于人工智能的智能问答处理方法,可应用在如图1的应用环境中,其中,客户端通过网络与服务端进行通信。服务端可以通过客户端接收用户问题,并根据用户问题从预设标准问题库中进行问题召回处理,以获取多个候选问题;按照用户问题与候选问题的语义匹配度,对多个候选问题进行排序,得到候选问题的第一排序结果;分别判断用户问题与每个候选问题的实体对齐情况;按照实体对齐情况,对第一排序结果进行调整,得到候选问题的第二排序结果,第二排序结果中,实体不对齐的候选问题排在实体对齐的候选问题后面,实体对齐的候选问题按照第一排序结果的排序保持不变;在第二排序结果的序列中,从首位依次截取预设数量的候选问题作为匹配问题;最后选取匹配问题对应的匹配答案对用户问题进行回应,将匹配答案反馈回客户端,在本发明中,针对保险业务下等复杂保险实体,可利用实体对齐优化问答引擎的方案,先是通过语义匹配度进行粗排序,再通过实体对齐方式进行排序调整,选取靠前的匹配问题对应得到答案进行回应,能有效地避免模型的泛化能力缺陷,极大高效提升实体匹配的效果,提升问答引擎的效果。其中,客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本发明进行详细的描述。

请参阅图2所示,图2为本发明实施例提供的基于人工智能的智能问答处理方法的一个流程示意图,包括如下步骤:

S10:接收用户问题,并根据所述用户问题从预设标准问题库中进行问题召回处理,以获取多个候选问题。

本发明提供的智能问答处理方法,可应用于各种应用场景下的智能客服或智能助手等智能问答引擎中,智能问答引擎通常通过服务端来实现,该服务端可以实时接收用户问题。例如,在保险应用领域,用户常常通过电话或线上聊天方式提问题,常需要借助智能问答引擎去回复客户的一些保险问题,以便提高保险推广效率和用户体验。

比如,用户问题可以是:“平安平安福20的佣金是多少”,智能问答引擎在接收到该用户问题之后,需对该用户问题进行问题解析和进行召回处理,从而确定出多个候选问题,其中,召回处理指的是利用预设召回算法,根据用户问题从预设标准问题库中进行问题召回,得到多个候选问题,也就是说,这里的候选问题是从预设标准问题库召回得到的。其中,上述平安平安福指的是一种保险产品名称。值得注意的是,预设标准问题库中的标准问题是具有标准答案的问题。

需要理解的是,这里的问题召回,指的是找寻出与该用户问题同义的问题的过程,并将筛选出的与用户问题同义的问题作为候选问题。其中,如图3所示,步骤S10中,也即根据所述用户问题从预设标准问题库中进行问题召回处理,以获取多个候选问题,包括如下步骤:

S11:利用用户问题获取搜索索引词,并采用ElasticSearch方式从预设标准问题库中召回第一候选问题集。

S12:利用预先训练的语义向量召回模型,对用户问题进行向量转化处理,得到用户问题向量,并将用户问题向量与预设标准问题库中的标准问题对应的向量进行比较,以召回相似度符合预设条件的标准问题作为第二候选问题集。

S13:取第一候选问题集和第二候选问题集的并集,以得到多个候选问题。

对于步骤S11-S13,在接收到用户问题之后,首先需对用户问题进行文本解析预处理操作,其中,该文本解析预处理操作一般指的是对文本规范化(例如统一大小写,统一全半角,去标点符号等)、分词、命名实体识别等,得到问题解析结果。在拿到题解析结果之后,本发明通过多种并行的召回手段,根据用户问题,从预设标准问题库中进行问题召回,具体地,可以先利用用户问题的分词和/或命名实体识别确定搜索索引词,随后采用ElasticSearch方式从预设标准问题库中召回多个标准问题作为第一候选问题集,其中,该预设标准问题库为根据业务场景不断积累的标准问题库,包括该业务场景下各种类型问题的标准问题。如保险业务场景应用领域,该预设标准问题库可以包括保险业务场景下,各种保险问题。

值得注意的是,预设标准问题库中的标准问题,具有标准答案,标准答案可以指的是专家针对问题所写的答案,或者由以往智能问答中生成的智能答案,在此不做限定。

在对问题解析之后,本发明还会利用预先训练的语义向量召回模型,对用户问题进行处理,得到用户问题向量。其中,该语义向量召回模型指的是通过具有语义信息的语句向量进行问题召回的向量,例如,该语义向量召回模型可以是sentence-bert模型。具体地,先是利用sentence-bert模型对用户问题句子进行处理,得到包含语义信息的用户问题向量,并将用户问题向量与预设标准问题库中的标准问题对应的向量进行比较,以召回相似度符合预设条件的标准问题作为第二候选问题集,其中,该预设条件指的是相似度大于某种阈值。

通过上述不同召回手段得到第一候选问题集和第二候选问题集,取第一候选问题集和第二候选问题集的并集,以得到多个候选问题。例如,假设从预设标准问题库(假设有5万条),则进行topN召回(假设多种召回手段合并后召回300条),共300条候选问题。

S20:按照所述用户问题与所述候选问题的语义匹配度,对所述多个候选问题进行排序,得到所述候选问题的第一排序结果。

在得到多个候选问题之后,为了准确选择符合当前用户问题的候选问题,需先对多个候选问题进行粗排序,以得到第一排序结果。具体地,在一些实施方式中,可采用语义匹配模型,分别计算多个候选问题中,各个候选问题与用户问题的语义匹配度;例如,按照候选问题与所述用户问题的语义匹配度从高到低顺序,依次对所述各个候选问题进行排序,得到候选问题的第一排序结果。在一实施方式中,还可以截取前N位(如前5个)的候选问题排序结果,得到最终的第一排序结果。需要说明的是,在一些应用场景中,还可以采用基于特征的LR语义匹配模型进行上述粗排序过程,以得到第一排序结果。例如,设共有5个候选问题,第一排序结果为M1,M2,M3,M4,M5。

S30:分别判断所述用户问题与每个所述候选问题的实体对齐情况。

在对多个候选问题进行排序得到第一排序结果之后,已经得到初步的候选问题排序,然而,在许多实际应用场景中,在一些特定领域的业务场景下,例如保险业务领域场景下,仅利用语义匹配模型技术得到候选答案并选取排序最靠前的候选答案作为匹配答案去找寻匹配答案,其效果较差,因为语义匹配模型对于同一保险不同版本的匹配能力严重不足,而保险版本多样,及其复杂,因此,在本发明实施例中,在对多个候选问题进行排序得到第一排序结果之后,针对具体应用场景,还需额外排序,首选还需分别判断用户问题,与多个候选问题每个候选问题的实体对齐情况。

需要说明的是,这里的用户问题与候选问题的实体对齐,指的是判断用户排序问题与候选问题所包含的命名实体,以及命名实体后面所表达的含义相似性程度的过程。也就是说,实体对齐情况进一步的反映了用户问题与候选问题的匹配情况。在该发明的一些实施例中,如图4所示,提供了一种具体地实体对齐方案,S30中,也即分别判断所述用户问题与每个所述候选问题的实体对齐情况,具体包括如下步骤S31-S34:

S31:通过命名实体识别技术,分别对所述用户问题进行实体提取,得到第一实体词,并对所述候选问题进行实体提取,得到第二实体词。

该实施方式中,先是通过命名实体识别技术(NER技术),识别出用户问题的实体词,以及每个候选问题的实体词,将用户问题进行实体提取得到的实体词称为第一实体词QE,并将候选问题进行实体提取得到的实体词称为第二实体词ME。为便于描述,下面以保险业务场景为例进行说明:

例如:用户问题为Q:平安平安福20的佣金;那么,通过命名实体识别技术,可识别出保险产品对应的命名实体,也即第一实体词QE为:平安平安福20。

例如,候选问题为M:平安福2019的佣金,那么同理,可命名实体识别技术识别出保险产品对应的命名实体,也即第二实体词ME为:平安福2019;对于其他候选问题,同样可以识别出相应的第二实体ME,这里不再一一举例。

另外需要说明的是,在该实施方式中,还可以采用LSTM+CRF模型的方式进行实体提取,在此不详细赘述。

需要说明的是,提取出的实体词存在多个的情况,本发明实施例可以可转化为多次1对1的实体词对齐(相同类型实体词),当满足所有1对1的实体词均对齐或者预设数量的1对1实体词对齐时,则满足说明对齐,反之不对齐,为便于描述,以下仅考虑实体词只有1个的情况,但不做限定。

S32:分别对所述第一实体词和第二实体词进行同义扩展,得到第一目标实体同义词集和第二目标实体同义词集。

在本发明实施例中,为了涵盖更多的可能,以提高后续的回答的精确性,还需分别对所述第一实体词和第二实体词进行同义扩展,得到第一目标实体同义词集和每个候选问题对应的第二目标实体同义词集。需要说明的是,本方案可以采用多种方式进行同义词扩展,以得到第一目标实体同义词集和每个候选问题对应的第二目标实体同义词集,本发明实施例不做限制。

例如,直接根据预先构建的实体对齐词典进行同义扩展,该实体对齐词典是依据实际业务应用场景所预先构建的实体对齐词典,该实体对齐词典包括不同实体词的同义词,具体可通过构造方式可以是通过数据进行自动化挖掘,也可以是业务专家人工撰写,这里也不做限定。其中,该实体对齐词典的格式是同一行多个词是同义等价,不同行之间的词互斥,不同义,为便于描述,以保险业务应用场景为例,构建的实体对齐词典的部分内容可以如下所示:

1.小平安福、少儿平安福、平安福少儿版;

2.平安福、平安福终身寿险、平安平安福终身寿险;

3.平安福19、平安福2019;

4.平安福20、平安福2020、平安福20重大疾病保险;

5.福上福、福上福终身寿险;

因此,在得到第一实体词和第二实体词之后,便可根据上述实体对齐词典直接进行扩展,也就是,可从实体对齐词典找出与第一实体词同义的一行实体词,将该一行实体词连同第一实体词本身作为第一目标实体同义词集,并从实体对齐词典找出与第二实体词同义的一行实体词,将该一行实体词连同第二实体词本身作为第二目标实体同义词集。

需要说明的是,由于实体识别过程中,可能会带入一些默认的词,例如平安平安福、平安福保险、平安福险等,这些“平安”、“保险”、“险”等属于无意义停顿词,仅通过实体对齐词典难以进行全面覆盖,因此,需要在实体比较前,先将这些停顿词去掉,但也要保留实体识别原始情况,所以,对于第一实体词和第二实体词,需先去除停顿词过滤进行扩展成同义词集合。具体地,步骤S32中,如图5所示,也即所述分别对所述第一实体词和第二实体词进行同义扩展,得到第一目标实体同义词集和第二目标实体同义词集,具体包括如下步骤S321-S324:

S321:剔除所述第一实体词中的停顿词,得到第一目标实体词,并剔除所述第二实体词中的停顿词,得到第一目标实体词。

S322:对所述第一目标实体词进行同义扩展,得到第一实体同义词集,并对所述第二目标实体词进行同义扩展,得到第二实体同义词集。

对于步骤S321-S322,首先,可先利用停顿词词典,在第一实体词的分词结果的基础上,过滤出停顿词。由于保险产品实体识别过程中,可能会带入一些默认的词,例如平安平安福、平安福保险、平安福险等,这些“平安”、“保险”、“险”等属于无意义停顿词,且难以在同义词典中全部添加进行覆盖,因此需要在实体比较前,先将这些停顿词去掉,但也要保留原始情况,所以,对于QE,停顿词过滤后利用得到的第一目标实体词进行扩展成同义列表,得到相应的第一实体同义词集QEs;同理,也可利用停顿词词典,在对第二实体词的分词结果的基础上,停顿词过滤后得到第二目标实体词进行扩展成同义列表,得到相应的第二实体同义词集MEs。例如:

假设QE为:平安平安福20保险;

则可根据上述方式扩展为第一实体同义词集QEs:[平安平安福20保险,平安平安福20,平安福20保险,平安福20]。

对于ME,可进行同样扩展方式扩展得到第二实体同义词集MEs,这里不重复举例说明。

S323:从预先构建的实体对齐词典中确定出与第一实体同义词集同义的第一参考同义词集,并从实体对齐词典中确定出与第二实体同义词集同义的目标同义词集。

S324:取第一实体同义词集与第一参考同义词集的交集,得到第一目标实体同义词集,并取第二实体同义词集与第二参考同义词集的交集,得到第二目标实体同义词集。

对于步骤S323-S324,如前述,实体对齐词典中包括同义词集和非同义词,同义词集包括多个同义词,在扩展出第一实体同义词集QEs之后,再从预先构建的实体对齐词典中确定出与第一实体同义词集中的词同义的第一参考同义词集,随后取第一实体同义词集与第一参考同义词集的交集,得到第一目标实体同义词集。

例如,第一实体同义词集QEs:[平安平安福20保险,平安平安福20,平安福20保险,平安福20];

则根据实体对齐词典继续同义扩展,得到第一目标实体同义词集QEss:[平安平安福20保险,平安平安福20,平安福20保险,平安福20,平安福20重大疾病保险,平安平安福2020,平安福2020 … ]。

其中,对于第二实体同义词集MEs,同样可以基于实体对齐词典继续同义扩展,得到第二目标实体同义词集MEss,具体这里不再举例说明。

从上述方案可以看出,在扩展同义集中,通过预先构建的实体对齐词典进行同义扩展的同时,充分考虑停顿词的情况,使得扩展出的第一目标实体同义词集和第二目标实体同义词集能涵盖更多的可能性,为后续的精确匹配候选问题的实体对齐提供了更准确的依据。

S33:比较所述第一目标实体同义词集和所述第二目标实体同义词集是否有交集。

S34:若所述第一目标实体同义词集和所述第二目标实体同义词集存在交集,则确定所述用户问题和所述对应候选问题对齐。

对于步骤S33-S34,在得到第一目标实体同义词集QEss,和每个候选问题对应的第二目标实体同义词集MEss之后,直接比较QEss和MEss是否有交集,若QEss和MEss有交集,则确定用户问题和候选问题的实体是对齐的,可直接结束实体对齐过程。

值得注意的是,若QEss和MEss没有交集,则会有其他情况,下面分别说明。在发明实施例中,步骤S33之后,也即比较第一目标实体同义词集和每个候选问题对应的第二目标实体同义词集是否有交集之后,该方法还包括如下步骤:

S35:若第一目标实体同义词集和第二目标实体同义词集不存在交集,则判断第一目标实体同义词集中是否有实体词在预先构建的实体对齐词典中,并判断第二目标实体同义词集中是否有实体词在实体对齐词典中。

S36:若第一目标实体同义词集中至少有一个词在实体对齐词典中,且第二目标实体同义词集中至少有一个词在实体对齐词典中,则确定用户问题和候选问题为不对齐。

对于步骤S35-S36,也就是说,若QEss有至少1个实体词是存在实体对齐词典中,且MEss也至少有1个实体词是存在实体对齐词典中,即表明实体对齐词典能覆盖到实体,没有交集显然意味着这两个问题的实体肯定是不同义的,也即可以确定用户问题和对应候选问题为不对齐,也可直接结束实体对齐过程。

S37:若第一目标实体同义词集中所有词都不在实体对齐词典中,或者第二目标实体同义词集中所有词都不在实体对齐词典中,则按照业务场景分别对第一实体词和第二实体词进行拆分,得到第一实体词的核心词,以及第二实体词的核心词。

S38:若第一实体词的核心词与第二实体词的核心词均相同,则确定用户问题和对应候选问题为对齐,若第一实体词的核心词与第二实体的核心词非均相同,则确定用户问题和对应候选问题为不对齐。

若QEss的所有词都不在实体对齐词典里面,或者MEss的所有词都不在实体对齐词典里面,即实体对齐词典无法完全覆盖用户问题和候选问题的实体词,QEss和MEss自然就没有交集,但此时两个实体是否相等,其实是未知的。

例如:QEss:[平安平安福20保险,平安平安福20,平安福20保险,平安福20,平安福20重大疾病保险,平安平安福2020,平安福2020 … ];

MEss: [平安福2020重疾];

假设平安福2020重疾不在实体对齐词典里面(遗漏的原因可能是保险的全称简称,年份等信息不够全面),因此不能完全肯定QEss和MEss是对齐还是不对齐,都有可能,因此需根据实际业务场景,按照实际业务场景分别对第一实体词和第二实体词进行再拆分,得到第一实体词的核心词,以及第二实体词的核心词。

以保险业务应用场景为例,可以增加一个简化策略对复杂保险实体进行对齐,该策略的初衷是两个保险实体,无论名称多么复杂,大多数情况都是属于产品种类(平安福/爱满分/e生保)+年份,因此,策略是对用户问题的第一实体QE和候选问题的第二实体ME的实体词,进行保险产品的细节拆分,拆分包括2个部分,第一实体QE和第二实体M的核心词是保险产品名称和年份,拆分技术可以是关键词/pattern/深度学习模型等。对于其他业务场景可以根据实际场景确定核心词类型,这里不再一一举例说明。

例如:平安福20重大疾病保险,拆分后的核心词为产品名:平安福;年份:20。

两个问题的实体,如果保险核心词和年份均完全相同,则两个产品认为是对齐的,否则是不对齐的。需要说明的是,由于年份涉及到时间,为便于对于,年份需要进行归一化操作,比如20需转化为2020。

S40:根据实体对齐情况,对第一排序结果进行调整,得到第二排序结果,所述第二排序结果中,实体不对齐的候选问题排在实体对齐的候选问题后面,实体对齐的候选问题按照所述第一排序结果的排序保持不变;

判断实体对齐后需融合到问答引擎系统中。融合策略是:对于问题排序之后的候选问题(第一排序结果),判断每个候选问与用户问题的实体对齐情况,若对齐,则该候选问题的排序不变,若不对齐,则该候选问的排序需要进行打压,被打压的候选问仍需满足原先排序。也就是说,第二排序结果中,实体不对齐的候选问题排在实体对齐的候选问题后面,实体对齐的候选问题按照所述第一排序结果的排序保持不变。在一实施例中,所述实体不对齐的候选问题按照所述第一排序结果的排序也保持不变,只是排在实体对齐的候选问题的后面。

例如,设第一排序结果:M1,M2,M3,M4,M5;若M2,M4实体与用户问题的实体不对齐,则实体对齐后处理后的排序,也即第二排序结果是:M1,M3,M5,M2,M4。

S50:在所述第二排序结果的序列中,从首位依次截取预设数量的候选问题作为匹配问题。

S60:选取匹配问题对应的匹配答案对用户问题进行回应。

对于步骤S50-S60,例如,在得到第二排序结果M1,M3,M5,M2,M4之后,从第二排序结果中,首位依次截取预设数量的(如排在首位的M1)的候选问题作为匹配问题,并选取M1对应的匹配答案对用户问题进行回应,如将M1对应的标准答案进行回应。

在一些实施例中,还需确定首位候选问题的得分阈值,若首位候选问题的得分阈值大于k(例如0.7),则取首位候选问题对应的标准答案直接回复用户问题,若首位候选问题的得分阈值不大于0.7,则默认为标准问题库中没有存在和用户问题同义的问题,因此此时得不出回应答案,可选择top3的3个问题(M1,M3,M5)的标准答案作为推荐答案给用户进行回应。其中,上述得分阈值指的是与用户问题之间的相似性得分,可通过深度学习模型识别得到,这里不展开描述。

可见,在上述方案中,针对保险业务下等复杂保险实体,先通过语义匹配方式得到候选问题的初步排序结果,随后提出基于实体对齐优化问答引擎的方案,通过实体对齐方式,再次对候选问题的排序结果进行排序,使得更加匹配的候选问题被选出来,能有效地避免模型的泛化能力缺陷,极大高效提升实体匹配的效果,提升问答引擎的效果。

应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

在一实施例中,提供一种基于人工智能的智能问答处理装置,该基于人工智能的智能问答处理装置与上述实施例中基于人工智能的智能问答处理方法一一对应。如图6所示,该智能问答处理装置包括接收模块101、召回筛选模块102、粗排序模块103、判断模块104、调整模块105、选取模块106和回应模块107。各功能模块详细说明如下:

接收模块101,用于接收用户问题;

召回模块102,用于根据所述用户问题从预设标准问题库中进行问题召回处理,以获取多个候选问题;

排序模块103,用于按照所述用户问题与所述候选问题的语义匹配度,对所述多个候选问题进行排序,得到所述候选问题的第一排序结果;

判断模块104,用于分别判断所述用户问题与每个所述候选问题的实体对齐情况;

调整模块105,用于按照所述实体对齐情况,对所述第一排序结果进行调整,得到所述候选问题的第二排序结果,所述第二排序结果中,实体不对齐的候选问题排在实体对齐的候选问题后面,实体对齐的候选问题按照所述第一排序结果的排序保持不变;

选取模块106,用于在所述第二排序结果的序列中,从首位依次截取预设数量的候选问题作为匹配问题;

回应模块107,用于选取所述匹配问题对应的匹配答案对所述用户问题进行回应。

在一实施例中,判断模块104,具体用于:

通过命名实体识别技术,对所述用户问题进行实体提取,得到第一实体词,并对所述候选问题进行实体提取,得到第二实体词;

分别对所述第一实体词和第二实体词进行同义扩展,得到第一目标实体同义词集和第二目标实体同义词集;

比较所述第一目标实体同义词集和所述第二目标实体同义词集是否有交集;

若所述第一目标实体同义词集和所述第二目标实体同义词集存在交集,则确定所述用户问题和所述候选问题对齐。

在一实施例中,判断模块104,具体用于:

剔除所述第一实体词中的停顿词,得到第一目标实体词,并剔除所述第二实体词中的停顿词,得到第一目标实体词;

对所述第一目标实体词进行同义扩展,得到第一实体同义词集,并对所述第二目标实体词进行同义扩展,得到第二实体同义词集;

从预先构建的实体对齐词典中,确定出与所述第一实体同义词集的词同义的第一参考同义词集,并从所述实体对齐词典中,确定出与所述第二实体同义词集的词同义的第二参考同义词集;

取所述第一实体同义词集与所述第一参考同义词集的交集,得到所述第一目标实体同义词集,并取所述第二实体同义词集与所述第二参考同义词集的交集,得到所述第二目标实体同义词集。

在一实施例中,判断模块104,还用于:

若所述第一目标实体同义词集和所述第二目标实体同义词集不存在交集,则判断所述第一目标实体同义词集中是否有实体词在预先构建的实体对齐词典中,并判断所述第二目标实体同义词集中是否有实体词在所述实体对齐词典中;

若所述第一目标实体同义词集中至少有一个词在所述实体对齐词典中,且所述第二目标实体同义词集中至少有一个词在所述实体对齐词典中,则确定所述用户问题和所述候选问题为不对齐;

若所述第一目标实体同义词集中所有词都不在所述实体对齐词典中,或者所述第二目标实体同义词集中所有词都不在所述实体对齐词典中,则按照业务场景分别对所述第一实体词和第二实体词进行拆分,得到所述第一实体词的核心词,以及所述第二实体词的核心词;

若所述第一实体词的核心词与所述第二实体词的核心词均相同,则确定所述用户问题和所述候选问题为对齐;

若所述第一实体词的核心词与所述第二实体词的核心词非均相同,则确定所述用户问题和所述候选问题为不对齐。

在一实施例中,召回模块102,具体用于:

利用所述用户问题获取搜索索引词,并采用ElasticSearch方式从预设标准问题库中召回第一候选问题集;

利用预先训练的语义向量召回模型,对所述所述用户问题进行向量转化处理,得到用户问题向量,并将所述用户问题向量与预设标准问题库中的标准问题对应的向量进行比较,以召回相似度符合预设条件的标准问题作为第二候选问题集;

取所述第一候选问题集和第二候选问题集的并集,以得到所述多个候选问题。

在一实施例中,排序模块103,具体用于:

采用语义匹配模型,计算所述候选问题与所述用户问题的语义匹配度;

按照所述候选问题与所述用户问题的语义匹配度的从高到低的顺序,对各个所述候选问题进行排序,得到所述第一排序结果。

本发明提供了一种智能问答处理装置,先通过语义匹配方式得到候选问题的初步排序结果,随后提出基于实体对齐优化问答引擎的方案,通过实体对齐方式,再次对候选问题的排序结果进行排序,使得更加匹配的候选问题被选出来,能有效地避免模型的泛化能力缺陷,极大高效提升实体匹配的效果,提升问答引擎的效果。

关于智能问答处理装置的具体限定可以参见上文中对于智能问答处方法的限定,在此不再赘述。上述智能问答处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的智能问答处理方法服务端侧的功能或步骤。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是客户端,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种基于人工智能的智能问答处理方法客户端侧的功能或步骤

在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:

接收用户问题,根据所述用户问题从预设标准问题库中进行问题召回处理,以获取多个候选问题;

按照所述用户问题与所述候选问题的语义匹配度,对所述多个候选问题进行排序,得到所述候选问题的第一排序结果;

分别判断所述用户问题与每个所述候选问题的实体对齐情况;

按照所述实体对齐情况,对所述第一排序结果进行调整,得到所述候选问题的第二排序结果,所述第二排序结果中,实体不对齐的候选问题排在实体对齐的候选问题后面,实体对齐的候选问题按照所述第一排序结果的排序保持不变;

在所述第二排序结果的序列中,从首位依次截取预设数量的候选问题作为匹配问题;

选取所述匹配问题对应的匹配答案对所述用户问题进行回应。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

接收用户问题,根据所述用户问题从预设标准问题库中进行问题召回处理,以获取多个候选问题;

按照所述用户问题与所述候选问题的语义匹配度,对所述多个候选问题进行排序,得到所述候选问题的第一排序结果;

分别判断所述用户问题与每个所述候选问题的实体对齐情况;

按照所述实体对齐情况,对所述第一排序结果进行调整,得到所述候选问题的第二排序结果,所述第二排序结果中,实体不对齐的候选问题排在实体对齐的候选问题后面,实体对齐的候选问题按照所述第一排序结果的排序保持不变;

在所述第二排序结果的序列中,从首位依次截取预设数量的候选问题作为匹配问题;

选取所述匹配问题对应的匹配答案对所述用户问题进行回应。

需要说明的是,上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤,可对应参阅前述方法实施例中,服务端侧以及客户端侧的相关描述,为避免重复,这里不再一一描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

相关技术
  • 基于人工智能的智能问答处理方法、装置、设备及介质
  • 基于人工智能的问答处理方法、装置、电子设备及存储介质
技术分类

06120113212505