用于专利领域对话机器人的对话状态追踪方法及装置

技术领域

本发明涉及人机对话领域，具体涉及一种用于专利领域对话机器人的对话状态追踪方法及装置。

背景技术

任务型对话系统用于帮助用户实现特定领域内的任务目标，如酒店预订、日程管理等，在人们的日常生活中扮演越来越重要的角色。模块化的任务型对话系统是一种最常见的实现方法，这样的任务型对话系统由自然语言理解、对话状态追踪、对话策略和自然语言生成四个模块构成。其中，对话状态追踪是一个关键模块，负责跟踪对话的实时发展，分析用户意图以及对话中提及的相关实体，将其转化为系统可以处理的对话状态信息。对话状态追踪的效果决定了任务型对话系统的整体质量，为系统准确流畅地做出响应提供了保证。

专利领域对话机器人用于帮助专利申请者以及相关从业者快速获取所需信息。现有的对话状态追踪方法由数据驱动，需要一定规模的领域对话数据用于模型训练，时间成本和计算成本较高。专利领域目前缺乏大规模的标注数据，限制了现有对话状态追踪方法用于该领域对话机器人的性能。

发明内容

鉴于专利领域缺乏对话数据，导致对话状态追踪模型训练成本较高的问题，本发明旨在提供一种特别的对话状态追踪方法。该方法可在其他训练数据相对充足的领域中进行模型训练，并将其直接用于数据相对缺乏的专利领域。借助预定义的专利领域模式信息引导对话状态追踪，解决专利领域缺乏标注数据带来的训练成本高的问题。

为实现上述目的，本发明采用以下技术方案：

一种用于专利领域对话机器人的对话状态追踪方法，包括以下步骤：

S1，构建基于模式引导的对话状态追踪模型，使用公开数据集训练所述基于模式引导的对话状态追踪模型；

S2，根据《专利审查指南》和《专利法》内容构建专利领域的模式信息；所述模式信息，包括：

1)专利领域对话机器人涉及的用户意图，以及用户意图的自然语言描述；

2)专利领域对话机器人涉及的槽位，以及槽位的自然语言描述；S3，将训练后的对话状态追踪模型用于专利领域对话机器人，获取对话机器人对话中专利领域对话的上下文，以专利领域对话上下文和所述专利领域的模式信息作为输入，使用经训练得到的对话状态追踪模型进行对话状态预测。

作为优选，步骤S1中所述基于模式引导的对话状态追踪模型以模式信息和某一时刻的对话上下文为输入，依次经过：对话上下文编码、模式信息编码、意图分类、槽位状态判断、槽位值预测，输出该时刻的对话状态；

所述对话上下文编码和模式信息编码使用预训练语言模型TODBERT，所述对话上下文编码后得到对话上下文的嵌入、所述模式信息编码后得到用户意图以及槽位的嵌入；

所述意图分类用以下公式表示：

其中，t为对话上下文的嵌入，i

对所述模式信息编码后得到的所有的用户意图按以上公式进行处理，得到所有意图的概率预测，以概率预测值最大的用户意图作为当前的用户意图；

所述槽位状态判断由一个三门分类器完成，所述三门分类器以所述对话上下文的嵌入以及槽位的嵌入为输入，判断槽位是否在对话上下文中被提及，若被提及则进行槽位值预测；

所述槽位值预测由预测槽位值在对话上下文中起止位置实现，可表示为以下公式：

其中，s为槽位的嵌入，t

模型得到的用户意图预测及槽位值预测即当前的对话状态。

作为优选，步骤S2中，所述用户意图包括：“专利检索”和“申请状态查询”，所述用户意图的自然描述分别是：“根据一个或者多个字段获取最符合的十条专利”和“根据用户提供的申请号查询专利当前的申请状态”。

作为优选，步骤S2中，所述槽位包括：“关键词”、“申请人”、“发明人”、“类型”、“申请日期”、“申请号”，所述槽位的自然语言描述分别是：“用于和目标专利内容进行匹配的词语”、“提交专利申请的单位”、“专利的实际发明人”、“专利的类型”、“专利申请的提交日期”、“专利申请文件的唯一标识符”。

本发明还提供一种用于专利领域对话机器人的对话状态追踪装置，所述装置具有计算机可读存储介质，计算机可读存储介质中配置有计算机程序，所述计算机程序被执行时实现权利要求1至4中任意一项所述方法的步骤。

本发明与现有技术相比，有益效果是：

本发明考虑专利领域存在的数据缺乏问题，构建专利领域的模式信息以引导对话状态追踪，减少对于领域训练数据的依赖。其中对于意图、槽位等元素的自然语言描述为状态追踪提供了丰富的语义信息，在数据相对充足的其他领域训练得到的对话状态追踪模型被用于专利领域对话机器人时，依然能够保证其性能，解决了现有方法训练成本高的问题。

附图说明

图1为本发明的面向专利领域对话机器人的对话状态追踪方法流程示意图；

具体实施方式

为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显然，下面所描述的附图是本发明的一部分实施例，而不是全部的实施例。本领域普通技术人员在不付出创造性劳动的前提下还可以获得其他的实施方式。

本实施例提供的一种用于专利领域对话机器人的对话状态追踪方法，其流程如图1所示。

首先进行步骤S1，使用公开数据集训练基于模式引导的对话状态追踪模型，公开数据集由对话数据以及领域模式信息两部分构成。该模型依次执行以下步骤：对话上下文编码、模式信息编码、意图分类、槽位状态判断、槽位值预测。

所述对话上下文编码和模式信息编码使用预训练语言模型TODBERT，编码后得到所述对话上下文、所述用户意图以及所述槽位的嵌入；

所述意图分类可用以下公式表示：

其中，t为对话上下文的嵌入，i

对模式信息中所有的用户意图按以上公式进行处理，得到所有意图的概率预测，以概率预测值最大的用户意图作为当前的用户意图；

所述槽位状态判断由一个三门分类器完成，以所述对话上下文的嵌入以及槽位的嵌入为输入，判断槽位是否在对话上下文中被提及，若被提及则进行槽位值预测；

所述槽位值预测由预测槽位值在对话上下文中起止位置实现，可表示为以下公式：

其中，s为槽位的嵌入，t

b

模型得到的用户意图预测及槽位值预测即当前的对话状态。使用公开数据集对所述模型训练后保存。

然后进行步骤S2，根据《专利审查指南》和《专利法》内容构建专利领域的模式信息，包括以下内容：

1)专利领域对话机器人涉及的用户意图，以及用户意图的自然语言描述；

2)专利领域对话机器人涉及的槽位，以及槽位的自然语言描述。

在本实施例中，专利领域对话机器人支持的所有用户意图包括：“专利检索”和“申请状态查询”，相应的自然描述分别是：“根据一个或者多个字段获取最符合的十条专利”和“根据用户提供的申请号查询专利当前的申请状态”。

在本实施例中，专利领域对话机器人支持的所有槽位包括：“关键词”、“申请人”、“发明人”、“类型”、“申请日期”、“申请号”，相应的自然语言描述分别是：“用于和目标专利内容进行匹配的词语”、“提交专利申请的单位”、“专利的实际发明人”、“专利的类型”、“专利申请的提交日期”、“专利申请文件的唯一标识符”。

最后执行步骤S3，将训练后的对话状态追踪模型用于专利领域对话机器人，以专利领域对话上下文和所述专利领域的模式信息作为输入，使用经训练得到的对话状态追踪模型进行对话状态预测。在对话进行过程中，在每一轮用户输入后，将对话上下文和专利领域的模式信息输入模型，模型依次进行编码、意图分类、槽位状态预测以及槽位值预测，最终得到当前的对话状态预测。

上述方法通过构建含有专利领域相关知识的模式信息，引导对话状态追踪模型，能够解决专利领域缺乏大规模对话数据所导致的训练成本高的问题。

应当说明的是，以上仅是对本发明的优选实施例及原理进行了说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上存在可变之处，而这些改变也应被视为本发明的保护范围。