掌桥专利:专业的专利平台
掌桥专利
首页

意图识别方法和装置

文献发布时间:2024-04-18 19:58:26


意图识别方法和装置

技术领域

本申请涉及人工智能技术领域,尤其涉及一种意图识别方法和装置。

背景技术

在智能客服等人机对话场景或者其他涉及到命令识别的场景中,经常需要对用户的输入信息进行意图识别,以便基于识别出的用户意图执行相关处理。

目前,一般利用训练出的意图识别模型识别用户输入信息中的用户意图。但是,目前训练出的意图识别模型普遍存在识别准确度不高的问题,从而影响到基于意图识别的人机对话等处理。

发明内容

一方面,本申请还提供了一种意图识别方法,包括:

获得待识别的用户输入信息;

利用意图识别模型,确定所述用户输入信息的用户意图;

其中,所述意图识别模型为基于预训练的意图分类模型,利用标注有样本意图的至少一个正样本和至少一个负样本,以最大化所述负样本的预测意图与所述负样本标注的样本意图之间的差距,且最小化所述正样本的预测意图与所述正样本标注的样本意图之间的差距为训练目标训练得到的;

所述正样本标注的样本意图为所述正样本真实的意图,所述负样本标注的样本意图非所述负样本真实的意图;

所述正样本的预测意图为基于所述意图分类模型确定出的所述正样本的意图,所述负样本的预测意图为基于所述意图分类模型确定出的所述负样本的意图。

在一种可能的实现方式中,所述最大化所述负样本的预测意图与所述负样本标注的样本意图之间的差距,包括:

最大化所述负样本的第一预测意图概率分布与所述负样本标注的样本意图之间的差距;

其中,所述负样本的第一预测意图概率分布为所述意图分类模型确定出的负样本在不同意图上的概率分布。

在又一种可能的实现方式中,所述最大化所述负样本的第一预测意图概率分布与所述负样本标注的样本意图之间的差距,包括:

最小化所述意图分类模型的第一损失函数值;

其中,所述第一损失函数通过如下方式得到:

以所述负样本标注的样本意图非所述负样本的真实意图为逻辑约束条件,确定所述负样本的第一预测意图概率分布满足所述逻辑约束条件的满足程度;

基于各负样本对应的满足程度,确定所述意图分类模型的第一损失函数值。

在又一种可能的实现方式中,所述正样本的预测意图与所述正样本标注的样本意图之间的差距,包括:

基于所述正样本的第二预测意图概率分布与所述正样本标注的样本意图,采用交叉熵损失函数确定出的所述意图分类模型的第二损失函数值;

其中,所述正样本的第二预测意图概率分布为所述意图分类模型确定出的所述正样本在不同意图上的概率分布。

在又一种可能的实现方式中,所述意图识别模型通过如下方式训练得到:

获得预训练的意图分类模型,所述意图分类模型为基于多个标注有实际意图的训练样本训练得到的分类模型;

对于每个负样本,将所述负样本输入到所述意图分类模型,得到所述意图分类模型预测出的所述负样本在不同意图上的第一预测意图概率分布;

对于每个正样本,将所述正样本输入到所述意图分类模型,得到所述意图分类模型预测出的所述正样本在不同意图上的第二预测意图概率分布;

基于各负样本的第一预测意图概率分布和标注的样本意图,确定所述意图分类模型的第一损失函数值,其中,负样本的第一预测意图概率分布与所述负样本标注的样本意图的差距越大,所述第一损失函数值越小;

基于各正样本的第二预测意图概率分布和标注的样本意图,确定所述意图分类模型的第二损失函数值,其中,所述正样本的第二预测意图概率分布与所述正样本标注的样本意图的差距越小,所述第二损失函数值越小;

基于所述第一损失函数值和第二损失函数值,确定所述意图分类模型的综合损失函数值;

如果所述综合损失函数值尚未收敛或者训练迭代次数未达到设定次数,调整所述意图分类模型的参数,返回执行将所述负样本以及正样本分别输入到所述意图分类模型的操作,直至所述综合损失函数收敛或者训练迭代次数达到设定次数。

在又一种可能的实现方式中,所述正样本为由会话客户端的用户输入的且所述用户确认所述会话客户端能够准确反馈意图的用户输入语句,所述正样本标注的样本意图为所述会话客户端针对所述正样本对应的用户输入语句反馈的意图;

所述负样本为由会话客户端的用户输入的且所述用户确认所述会话客户端未准确反馈意图的用户输入语句,所述负样本标注的样本意图为所述会话客户端针对所述负样本对应的用户输入语句反馈的意图。

在又一种可能的实现方式中,还包括:

获得至少一个会话客户端的用户输入的用户输入语句以及用户针对所述用户输入语句的意图识别结果反馈的结果反馈信息,所述用户输入语句的意图识别结果为所述会话客户端基于所述用户输入语句输出的意图识别结果,所述结果反馈信息用于表征所述会话客户端针对所述用户输入语句输出的意图识别结果是否准确;

如果所述用户输入语句对应的结果反馈信息表征所述用户输入语句的意图识别结果能够反映所述用户的真实意图,将所述用户输入语句确定为正样本,将所述用户输入语句的意图识别结果表征的用户意图确定为所述正样本标注的样本意图;

如果所述用户输入语句对应的结果反馈信息表征所述用户输入语句的意图识别结果未准确反映所述用户的真实意图,将所述用户输入语句确定为负样本,将所述用户输入语句的意图识别结果表征的用户意图确定为所述负样本标注的样本意图。

又一方面,本申请还提供了一种意图识别装置,包括:

信息获得单元,用于获得待识别的用户输入信息;

意图识别单元,用于利用意图识别模型,确定所述用户输入信息的用户意图;

其中,所述意图识别模型为基于预训练的意图分类模型,利用标注有样本意图的至少一个正样本和至少一个负样本,以最大化所述负样本的预测意图与所述负样本标注的样本意图之间的差距,且最小化所述正样本的预测意图与所述正样本标注的样本意图之间的差距为训练目标训练得到的;

所述正样本标注的样本意图为所述正样本真实的意图,所述负样本标注的样本意图非所述负样本真实的意图;

所述正样本的预测意图为基于所述意图分类模型确定出的所述正样本的意图,所述负样本的预测意图为基于所述意图分类模型确定出的所述负样本的意图。

在又一种可能的实现方式中,训练所述意图识别单元中的意图识别模型时,最大化所述负样本的预测意图与所述负样本标注的样本意图之间的差距,包括:

最大化所述负样本的第一预测意图概率分布与所述负样本标注的样本意图之间的差距;

其中,所述负样本的第一预测意图概率分布为所述意图分类模型确定出的负样本在不同意图上的概率分布。

在又一种可能的实现方式中,训练所述意图识别单元中的意图识别模型时,最大化所述负样本的第一预测意图概率分布与所述负样本标注的样本意图之间的差距,包括:最小化所述意图分类模型的第一损失函数值;

其中,所述第一损失函数通过如下方式得到:

以所述负样本标注的样本意图非所述负样本的真实意图为逻辑约束条件,确定所述负样本的第一预测意图概率分布满足所述逻辑约束条件的满足程度;

基于各负样本对应的满足程度,确定所述意图分类模型的第一损失函数值。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1示出了本申请实施例提供的意图识别方法的一种流程示意图;

图2示出了本申请实施例中意图识别模型的一种训练流程示意图;

图3示出了本申请实施例确定正样本和负样本的一种实现流程示意图;

图4示出了会话客户端中用于获得用户针对意图识别结果的结果反馈信息的一种界面示意图;

图5示出了本申请实施例提供的意图识别装置的一种组成结构示意图;

图6示出了本申请实施例提供的电子设备的一种组成架构示意图。

具体实施方式

本申请实施例的方案可以应用于智能对话等人机对话场景,或者是其他涉及到用户意图识别,以基于识别出的用户意图进行相关处理的场景,本申请对此不加限制。

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

如图1,其示出了本申请实施例提供的意图识别方法的一种流程示意图,本实施例的方法应用于电子设备,该电子设备可以是涉及到意图识别的智能对话终端、智能对话服务器或者是其他涉及到意图识别的终端或者服务器等,对此不加限制。

本实施例的方法可以包括:

S101,获得待识别的用户输入信息。

其中,该用户输入信息为用户输入的需要识别意图的输入信息。

为了后续能够利用意图识别模型进行意图识别,该用户输入信息可以为文本形式的输入信息,在此基础上,该用户输入信息可以为用户输入的文本信息,也可以是基于用户输入的语音等其他形式的输入信息转换出的文本信息,对此不加限制。

S102,利用意图识别模型,确定用户输入信息的用户意图。

其中,意图识别模型为基于预训练的意图分类模型,利用标注有样本意图的至少一个正样本和至少一个负样本,以最大化负样本的预测意图与负样本标注的样本意图之间的差距,且最小化正样本的预测意图与正样本标注的样本意图之间的差距为训练目标训练得到的。

其中,正样本的预测意图为基于该意图分类模型确定出的正样本的意图,负样本的预测意图为基于该意图分类模型确定出的负样本的意图。

正样本标注的样本意图为正样本真实的意图,负样本标注的样本意图非负样本真实的意图。

在本申请中,该意图分类模型为经过训练的用于识别信息的用户意图的模型。如,该意图分类模型可以为目前开源或者已有的意图分类模型等。在一种可选方式中,意图分类模型为基于多个标注有实际意图的训练样本训练得到的分类模型,基于此,在训练该意图分类模型时,是以意图分类模型识别出的训练样本的意图与训练样本标注的实际意图一致为训练目标。

与训练得到意图分类模型的过程中仅仅采用标注有真实意图的训练样本进行训练不同,本申请中为了训练出意图识别模型采用了两种类型的样本,即标注的意图为真实意图的正样本,以及表征的意图不是真实意图的负样本,以在意图分类模型的基础上,进一步提升意图识别模型对于样本意图识别的准确性,进而得到能够准确识别用户意图的意图识别模型。

可以理解的是,在确定出用户输入信息对应的用户意图之后,基于电子设备所应用的意图识别场景的不同,结合该用户意图所需的处理也可以有所不同,对此不加限制。

如,在确定出用户意图后,可以输出用户意图。

又如,在人机对话等场景中,可以基于确定出的用户意图,输出用于反馈用户的回复语句。

又如,在操作控制等领域中,可以基于确定出的用户意图相应的操作控制或者控制机器人等电子设备执行相应动作。

当然,以上仅仅以几种情况为例说明,本申请对于确定出用户意图后所需执行的具体操作不加限制。

由以上可知,本申请,在预训练的意图分类模型的基础上,利用标注有真实意图的正样本和标注有非真实意图的负样本进一步对该意图分类模型进行训练,而且在训练过程中以最大化该意图分类模型识别出的负样本的预测意图与负样本标注的样本意图之间的差距,且最小化该意图分类模型识别出的正样本的预测意图与正样本标注的样本意图之间的差距为目标,从而可以进一步提升意图分类模型预测不同类型样本的真实意图的准确性,进而提升了最终基于该意图分类模型训练得到的意图识别模型的意图识别准确性。

另外,本申请的发明人研究发现:训练模型的样本的数量以及样本标注质量(标注意图的准确性)决定了训练出的意图识别模型的意图识别准确性。然而,在实际应用中,意图体系中存在成百甚至上千的意图,意图体系十分庞大,因此,很难获得高质量的训练数据集。而为了提升意图识别准确性,常规方式是通过大量的增加标注意图的标注样本,但是大量数据标注需要耗费较多的人力资源,复杂度较高;而且,由于人工标注的局限性,也很难保证数据标注的准确性,也会导致无法训练较为准确的意图识别模型。

基于此,在本申请中在已经训练的意图分类模型上,再分别利用正样本和负样本来训练该意图分类模型,以实现对该意图分类模型的微调,而相对于重新训练一个用于识别意图的模型而言,在已有的意图分类模型的基础上进行模型微调所需要的标注数据(样本数据)的数据量相对较少,可以减少数据标注的复杂度。

在一种可能的实现方式中,本申请中,意图分类模型可以确定出负样本在不同意图上的概率分布。为了便于区分,将意图分类模型预测出的该负样本在不同意图上的概率分布称为第一预测意图概率分布。在此基础上,对于负样本的训练目标可以是最大化该负样本的第一预测意图概率分布与该负样本标注的样本意图之间的差距。

其中,由于该负样本的第一预测概率分布反映的是该负样本在多个不同意图上的概率分布,因此,该负样本的第一预测概率分布表征该负样本的意图为其标注的样本意图的概率越小,该第一预测意图概率分布与该负样本标注的样本意图之间的差距也就越大。

可以理解的是,由于负样本标注的样本意图不是该负样本所能表征的真实意图,因此,如果意图分类模型识别出的第一预测概率分布越能够表征该负样本的意图为其标注的样本意图,则说明该意图分类模型预测意图的准确性越差;反之,如果该意图分类模型预测出的该负样本的第一预测概率分布与其标注的样本意图的差距越大,则说明该意图分类模型预测意图类别的准确性越高。

其中,各负样本的第一预测意图概率分布与其标注的样本意图之间的差距可以通过多种方式确定。

如,对于一个负样本而言,如果该第一预测意图概率分布中超过设定概率值且最大的概率对应的意图不属于其标注的样本意图,那么认为样本的第一预测意图概率分布与其标注的样本意图之间的差距为1;否则,认为差距为0。在此基础上,将各个负样本对应的差距进行求和,可以得到总差距值,而训练该意图分类模型的目标就是不断降低该总差距值。

又如,在一种可能的实现方式中,本申请还可以通过第一损失函数值来表征该负样本的第一预测概率分布与其标注的样本意图的差距。而最大化负样本的第一预测概率分布与其标注的样本意图的差距本质上就是:最小化该意图分类模型的第一损失函数值。

其中,该第一损失函数通过如下方式得到:

以负样本标注的样本意图非该负样本的真实意图为逻辑约束条件,确定该负样本的第一预测意图概率分布满足该逻辑约束条件的满足程度;

基于各负样本对应的满足程度,确定该意图分类模型的第一损失函数值。

如,假设存在n个意图类别,且假设存在负样本A,该负样本A标注的样本意图为第i个意图类别,i属于从1到n的自然数。那么对于该负样本A的逻辑约束条件可以表示为生如下逻辑表达式α:

其中,x

其中,

其中,确定该负样本的第一预测意图概率分布满足该逻辑约束条件的满足程度,并最终确定出第一损失函数值也可以有多种可能。

如,在一种实现方式中,可以基于语义损失(Semantic loss)算法对应的损失函数确定该第一损失函数值。如,基于具有符号知识的深度学习的语义损失功能(A SemanticLoss Function for Deep Learning with Symbolic Knowelge)中提及的语义损失,假设对于负样本A,意图分类模型预测出该负样本A的第二预测意图概率分布表示为概率分布p,该第二预测概率分布p包括该负样本A属于第i个意图类别的概率p

其中,x

其中,x为布尔向量,其长度为n,n为意图类别的个数。x|=α表示布尔向量x满足逻辑表达式α,也称为在布尔变量x在逻辑表达式α上运行为真。x可以为逻辑表达式α对应的真值表中的任意一个可能值,即依次遍历逻辑表达式α对应的真值表中每一种值,

其中,x|=x

其中,

可以理解的是,由于常规训练意图分类模型所采用的训练样本实际上属于标注的意图为真实意图的正样本,基于此,确定正样本的预测意图与正样本标注的样本意图之间的差距方式可以采用目前采用的任意方式,对此不加限制。

如,在一种可能的实现方式中,在意图分类模型确定出正样本的第二预测意图概率分布的情况下。基于各正样本的第二预测意图概率分布与其标注的样本意图,采用交叉熵损失函数确定出的该意图分类模型的第二损失函数值。

其中,正样本的第二预测意图概率分布为意图分类模型确定出的正样本在不同意图上的概率分布。

相应的,最小化正样本的预测意图与所述正样本标注的样本意图之间的差距本质上就是最小化该第二损失函数值。

在本申请中,基于正样本和负样本对预训练的意图分类模型进行进一步训练,以实现对意图分类模型进行微调的具体实现方式可以有多种可能。

下面以一种训练方式为例,对本申请中基于正样本和负样本对预训练的意图分类模型进行训练的过程进行说明。

如图2所示,其示出了本申请实施例中意图识别模型的一种训练流程示意图,本实施例的方法可以包括:

S201,获得预训练的意图分类模型。

其中,该意图分类模型为基于多个标注有实际意图的训练样本训练得到的分类模型。

在本申请中,对于利用训练样本训练得到该意图分类模型的过程不加限制,如可以采用常规的有监督训练方式训练得到该意图分类模型。

S202,对于每个负样本,将该负样本输入到意图分类模型,得到意图分类模型预测出的该负样本在不同意图上的第一预测意图概率分布。

如前面所述,该第一预测意图概率分布可以包括意图分类模型预测出的该负样本在多个不同意图类别上的概率。

S203,对于每个正样本,将正样本输入到意图分类模型,得到意图分类模型预测出的正样本在不同意图上的第二预测意图概率分布。

如前面所述,该第二预测意图概率分布可以包括意图分类模型预测出的该正样本在多个不同意图类别上的概率。

S204,基于各负样本的第一预测意图概率分布和标注的样本意图,确定意图分类模型的第一损失函数值。

其中,负样本的第一预测意图概率分布与负样本标注的样本意图的差距越大,第一损失函数值越小。

其中,该第一损失函数值可以采用前面实施例中提到的任意一种方式计算得到。

如,对于一个负样本而言,如果该第一预测意图概率分布表征该负样本预测出的意图不属于其标注的样本意图,确定负样本的第一预测意图概率分布与其标注的样本意图之间的差距为1;否则,认为差距为0。在此基础上,将各个负样本对应的差距进行求和,将求和得到的总差距值确定为第一损失函数值。

又如,还可以以负样本标注的样本意图非该负样本的真实意图为逻辑约束条件,确定负样本的第一预测意图概率分布满足该逻辑约束条件的满足程度;基于各负样本对应的满足程度,确定该意图分类模型的第一损失函数值。具体可参见前面相关介绍,在此不再赘述。

S205,基于各正样本的第二预测意图概率分布和标注的样本意图,确定意图分类模型的第二损失函数值。

其中,正样本的第二预测意图概率分布与正样本标注的样本意图的差距越小,第二损失函数值越小。

如,第二损失函数值可以为各正样本的第二预测意图概率分布和其标注的样本意图,采用交叉熵损失函数计算出的损失函数值。

S206,基于第一损失函数值和第二损失函数值,确定意图分类模型的综合损失函数值。

如,可以将第一损失函数值和第二损失函数值之和确定为综合损失函数值。

又如,还可以预先确定第一损失函数值对应的第一权重以及第二损失函数值对应的第二权重,基于第一权重和第二权重,确定第一损失函数值和第二损失函数值的加权和,将加权和确定为综合损失函数值。

例如,假设各负样本对应的第一损失函数值表示为L

Loss=w

当然,以上仅仅是以两种情况举例说明,确定综合损失函数的方式还可以有其他可能,对此不加限制。

可以理解的是,如果意图分类模型越能够准确预测出正样本和负样本各自真实的意图,即意图分类模型预测出的正样本的意图属于其标注的样本意图,而意图分类模型预测出的负样本的意图不属于其标注的样本意图,那么意图分类模型的综合损失函数值越小。

S207,检测是否该综合损失函数值已收敛或者训练迭代次数达到设定次数,如果是,调整意图分类模型的参数,返回执行步骤S202和S203的操作;如果否,则确定训练结束,将训练出的意图分类模型确定为意图识别模型。

其中,综合损失函数值收敛是指最近设定次确定出的综合损失函数值不再变化或者变化幅值小于设定阈值。

可以理解的是,训练迭代次数的初始值可以为0,而执行完该步骤S206可以将训练迭代次数加1,基于此,可以判断训练迭代次数是否达到设定次数。该设定次数可以根据需要设定,对此不加限制。

如果综合损失函数值未收敛或者训练迭代次数未达到设定次数,说明意图分类模型预测意图的准确度尚未符合要求,因此,需要调整意图分类模型内部的权重等相关参数。如果综合损失函数收敛或者训练迭代次数达到设定次数,说明对于该意图分类模型的微调可以结束,从而可以将当前得到的意图分类模型确定为最终的意图识别模型。

可以理解的是,训练模型所采用的标注数据的标注质量对于模型预测效果也有着较大的影响,然而目前标注样本的意图大部分是由人工根据经验或者基于历史数据进行标注,导致为各样本标注的意图与在真实场景下的意图分布存在偏差,从而影响到训练出的意图识别模型的意图识别效果。

基于此,为了使得样本标注的样本意图能够更为真实地反映出真实用户对于该样本意图的标注结果,使得标注的样本意图更为贴近真实场景中对于正样本和负样本识别出的意图,本申请中的正样本和负样本可以从多个不同的会话客户端获得。

具体的,该正样本可以为由会话客户端的用户输入的且该用户确认该会话客户端能够准确反馈意图的用户输入语句。相应的,该正样本标注的样本意图为该会话客户端针对该正样本对应的用户输入语句反馈的意图。

类似的,负样本为由会话客户端的用户输入的且该用户确认会话客户端未准确反馈意图的用户输入语句。相应的,负样本标注的样本意图为会话客户端针对该负样本对应的用户输入语句反馈的意图。

其中,会话客户端可以为人机对话场景中的智能对话终端或者智能对话应用所在终端,还可以是其他能够涉及到结合用户输入的输入语句确定意图的电子设备,对此不加限制。

可以理解的是,在用户使用会话客户端输入用户输入语句,会话客户端会基于用户输入语句,向用户反馈意图或者输出能够表征会话客户端反馈(或者说识别)的意图的处理结果。

需要说明的是,会话客户端向用户反馈的意图或者与意图相关的处理结果可以是该会话客户端确定的,也可以是由该会话客户端的服务器确定的并发送给该会话客户端的,本申请对此不加限制。

在此基础上,用户结合会话客户端反馈的意图或者处理结果便可以确认该会话客户端识别该用户输入语句的意图是否准确,因此,如果用户确认该会话客户端针对用户输入语句反馈的意图是该用户真实想表达的意图,则会话客户端针对该用户输入语句反馈的意图属于该用户输入语句的真实意图,从而可以将该用户输入语句确定为正样本,而将会话客户端识别出的用户输入语句的意图确定为该正样本所需标注的样本意图,进而使得确定出的正样本及其标注的样本意图更为贴合真实情况,减少了正样本的标注偏差。

类似的,如果用户确认该会话客户端针对用户输入语句反馈的意图并不是该用户真实想表达的意图,则会话客户端针对该用户输入语句反馈的意图为错误意图,在该种情况下,将该用户输入语句确定为负样本,而该会话客户端针对该用户输入语句反馈的意图就可以作为负样本标注的样本意图,此时,负样本标注的样本意图就并非该负样本的真实意图,使得样本数据标注更为准确且更为贴合真实情况。

在实际应用中,具体获得该正样本和负样本的具体过程可以有多种实现可能,下面以一种可能的实现方式为例进行说明。

如图3所示,其示出了本申请实施例中确定正样本和负样本的一种实现流程示意图,本实施例可以包括:

S301,获得至少一个会话客户端的用户输入的用户输入语句以及用户针对用户输入语句的意图识别结果反馈的结果反馈信息。

其中,用户输入语句的意图识别结果为会话客户端基于用户输入语句输出的意图识别结果。该意图识别结果可以为用户输入语句的意图或者是基于识别出的意图的反馈语句等,对此不加限制。

该结果反馈信息用于表征会话客户端针对用户输入语句输出的意图识别结果是否准确。如,结果反馈信息可以分为正确或者错误两种情况,如果结果反馈信息为正确,则说明会话客户端针对用户输入语句输出的意图识别结果能够反映该用户输入语句的真实意图;反之,如果结果反馈信息为错误,则表明会话客户端针对该用户输入语句反馈的意图识别结果与用户真实意图存在偏差。

其中,获得结果反馈信息的具体实现方式可以有多种可能,对此不加限制。为了便于理解,以一种应用场景为例进行简单说明:

以人机对话场景为例,如图4所示,其示出了会话客户端中用于获得用户针对意图识别结果的结果反馈信息的一种界面示意图

在图4中,会话客户端的人机交互界面400中包含信息输入栏401和信息显示区402。用户通过信息输入栏输入的用户输入语句以及会话客户端输出的意图或者意图相关的处理结果等意图识别结果403。

在本申请中,为了能够获得用户针对意图识别结果的结果反馈信息,在每次会话客户端输出意图识别结果后,还会在信息显示区中该意图识别结果的下方显示针对该意图识别结果的反馈栏404。如图4可见,反馈栏404中显示有“意图识别正确”以及“意图识别错误”两个选项。

相应的,如果用户确认会话客户端输出的意图识别结果能够准确反映该用户的真实意图,用户便可以点击“意图识别正确”这一选项,此时,该会话客户端基于用户的点击操作,获得结果反馈信息且结果反馈信息表明该会话客户端针对该用户输入语句反馈的意图识别结果能够反映用户的真实意图。

反之,如果会话客户端检测到用户点击“意图识别错误”的选项,则获得结果反馈信息且确认该结果反馈信息表明会话客户端针对该用户输入语句反馈的意图识别结果未能用户的真实意图。

当然,图4仅仅是一个示例,对于通过其他方式获得结果反馈信息也同样适用于本实施例,对此不加限制。

S302,如果用户输入语句对应的结果反馈信息表征用户输入语句的意图识别结果能够反映用户的真实意图,将用户输入语句确定为正样本,将用户输入语句的意图识别结果表征的用户意图确定为正样本标注的样本意图。

S303,如果用户输入语句对应的结果反馈信息表征用户输入语句的意图识别结果未准确反映用户的真实意图,将用户输入语句确定为负样本,将用户输入语句的意图识别结果表征的用户意图确定为负样本标注的样本意图。

步骤S302和S303可以参见上面相关介绍,在此不再赘述。

对应本申请实施例提供的意图识别方法,本申请还提供了一种意图识别装置。

如图5,其示出了本申请实施例提供的一种意图识别装置的一种组成结构示意图,本实施例的装置可以应用于电子设备,该装置可以包括:

信息获得单元501,用于获得待识别的用户输入信息;

意图识别单元502,用于利用意图识别模型,确定所述用户输入信息的用户意图;

其中,所述意图识别模型为基于预训练的意图分类模型,利用标注有样本意图的至少一个正样本和至少一个负样本,以最大化所述负样本的预测意图与所述负样本标注的样本意图之间的差距,且最小化所述正样本的预测意图与所述正样本标注的样本意图之间的差距为训练目标训练得到的;

所述正样本标注的样本意图为所述正样本真实的意图,所述负样本标注的样本意图非所述负样本真实的意图;

所述正样本的预测意图为基于所述意图分类模型确定出的所述正样本的意图,所述负样本的预测意图为基于所述意图分类模型确定出的所述负样本的意图。

在一种可能的实现方式中,训练所述意图识别单元中的意图识别模型时,最大化所述负样本的预测意图与所述负样本标注的样本意图之间的差距,包括:

最大化所述负样本的第一预测意图概率分布与所述负样本标注的样本意图之间的差距;

其中,所述负样本的第一预测意图概率分布为所述意图分类模型确定出的负样本在不同意图上的概率分布。

进一步的,训练所述意图识别单元中的意图识别模型时,最大化所述负样本的第一预测意图概率分布与所述负样本标注的样本意图之间的差距,包括:最小化所述意图分类模型的第一损失函数值;

其中,所述第一损失函数通过如下方式得到:

以所述负样本标注的样本意图非所述负样本的真实意图为逻辑约束条件,确定所述负样本的第一预测意图概率分布满足所述逻辑约束条件的满足程度;

基于各负样本对应的满足程度,确定所述意图分类模型的第一损失函数值。

在又一种可能的实现方式中,训练所述意图识别单元中的该意图识别模型时,所述正样本的预测意图与所述正样本标注的样本意图之间的差距,包括:基于所述正样本的第二预测意图概率分布与所述正样本标注的样本意图,采用交叉熵损失函数确定出的所述意图分类模型的第二损失函数值;

其中,所述正样本的第二预测意图概率分布为所述意图分类模型确定出的所述正样本在不同意图上的概率分布。

在又一种可能的实现方式中,该装置还包括模型训练单元,用于通过如下方式训练意图识别模型:

获得预训练的意图分类模型,所述意图分类模型为基于多个标注有实际意图的训练样本训练得到的分类模型;

对于每个负样本,将所述负样本输入到所述意图分类模型,得到所述意图分类模型预测出的所述负样本在不同意图上的第一预测意图概率分布;

对于每个正样本,将所述正样本输入到所述意图分类模型,得到所述意图分类模型预测出的所述正样本在不同意图上的第二预测意图概率分布;

基于各负样本的第一预测意图概率分布和标注的样本意图,确定所述意图分类模型的第一损失函数值,其中,负样本的第一预测意图概率分布与所述负样本标注的样本意图的差距越大,所述第一损失函数值越小;

基于各正样本的第二预测意图概率分布和标注的样本意图,确定所述意图分类模型的第二损失函数值,其中,所述正样本的第二预测意图概率分布与所述正样本标注的样本意图的差距越小,所述第二损失函数值越小;

基于所述第一损失函数值和第二损失函数值,确定所述意图分类模型的综合损失函数值;

如果所述综合损失函数值尚未收敛或者训练迭代次数未达到设定次数,调整所述意图分类模型的参数,返回执行将所述负样本以及正样本分别输入到所述意图分类模型的操作,直至所述综合损失函数收敛或者训练迭代次数达到设定次数。

在又一种可能的实现方式中,训练所述意图识别单元中的该意图识别模型所采用的所述正样本为由会话客户端的用户输入的且所述用户确认所述会话客户端能够准确反馈意图的用户输入语句,所述正样本标注的样本意图为所述会话客户端针对所述正样本对应的用户输入语句反馈的意图;

训练所述意图识别单元中的该意图识别模型所采用的所述负样本为由会话客户端的用户输入的且所述用户确认所述会话客户端未准确反馈意图的用户输入语句,所述负样本标注的样本意图为所述会话客户端针对所述负样本对应的用户输入语句反馈的意图。

在又一种可能的实现方式中,该装置还包括:

反馈获得单元,用于获得至少一个会话客户端的用户输入的用户输入语句以及用户针对所述用户输入语句的意图识别结果反馈的结果反馈信息,所述用户输入语句的意图识别结果为所述会话客户端基于所述用户输入语句输出的意图识别结果,所述结果反馈信息用于表征所述会话客户端针对所述用户输入语句输出的意图识别结果是否准确;

正样本构建单元,用于如果所述用户输入语句对应的结果反馈信息表征所述用户输入语句的意图识别结果能够反映所述用户的真实意图,将所述用户输入语句确定为正样本,将所述用户输入语句的意图识别结果表征的用户意图确定为所述正样本标注的样本意图;

负样本构建单元,用于如果所述用户输入语句对应的结果反馈信息表征所述用户输入语句的意图识别结果未准确反映所述用户的真实意图,将所述用户输入语句确定为负样本,将所述用户输入语句的意图识别结果表征的用户意图确定为所述负样本标注的样本意图。

又一方面,本申请还提供了一种电子设备,如图6所示,其示出了该电子设备的一种组成结构示意图,该电子设备可以为任意类型的电子设备,该电子设备至少包括处理器601和存储器602;

其中,处理器601用于执行如上任意一个实施例中的意图识别方法。

该存储器602用于存储处理器执行操作所需的程序。

可以理解的是,该电子设备还可以包括显示单元603以及输入单元604。

当然,该电子设备还可以具有比图6更多或者更少的部件,对此不加限制。

另一方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上任意一个实施例所述的意图识别方法。

本申请还提出了一种计算机程序,该计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机程序在电子设备上运行时,用于执行如上任意一个实施例中的意图识别方法。

可以理解的是,在本申请中,说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。同时,本说明书中各实施例中记载的特征可以相互替换或者组合,使本领域专业技术人员能够实现或使用本申请。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

相关技术
  • 一种意图识别方法及装置
  • 用户意图识别方法、装置、终端及计算机可读存储介质
  • 可定制的意图识别方法及装置
  • 一种医美聊天机器人意图识别方法及装置
  • 实体标注方法、意图识别方法及对应装置、计算机存储介质
  • 意图识别模型的训练方法和装置及意图识别方法和装置
  • 意图识别模型的训练方法、装置及意图识别方法、装置
技术分类

06120116490332