一种基于对话框状态跟踪模型的任务外训练系统

技术领域

本发明属于自然语言数据处理领域，具体涉及一种基于对话框状态跟踪模型的任务外训练系统。

背景技术

目前在面向任务的对话系统中，对话状态跟踪器的作用是总结到目前为止的对话历史并提取用户目标。对话状态跟踪(DST)受到数据稀疏性的严重影响。虽然许多自然语言处理(NLP)任务受益于迁移学习和多任务学习，但在对话中，这些方法受到可用数据量和对话应用的特殊性的限制，对话状态跟踪存在严重的数据稀疏性问题且自然语言处理在有关对话的处理上存在着无法解决或解决效果不好的问题。

发明内容

针对上述对话状态跟踪受到数据稀疏性的严重影响的技术问题，本发明提供了一种效率高、误差小、稳定性强的基于对话框状态跟踪模型的任务外训练系统。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于对话框状态跟踪模型的任务外训练系统，包括DST模块、辅助任务模块、ITFT模块和MTL模块，所述ITFT模块连接有MTL模块，所述MTL模块连接有DST模块，所述MTL模块连接有辅助任务模块；

所述DST模块用于从用户输入中提取意义和意图，并在对话的继续过程中保留和更新这些信息；

所述辅助任务模块用于支持模型训练；

所述ITFT模块用于将编码器的参数引导到一个有利的方向，以便后续的微调能找到更好的局部最优；

所述MTL模块用于在辅助任务和目标任务之间同时训练相同的模型。

所述DST模块中，DST即对话状态跟踪，使用DST模型Trippy处理数据集，通过Roberta编译器给予bert对片段的区分在对话中的适应性。

所述辅助任务模块中，包括句子和句子对层面的分类任务，所述辅助任务模块采用以下训练约束：辅助任务为分类问题或跨度预测问题；一次只能使用一个辅助任务。

所述ITFT模块为任务微调模块，在两个不相关的任务上连续训练相同的模型，所述两个不相关的任务分别为辅助任务和DST任务。

所述MTL模块为多任务学习模块，对每一步进行DST训练，而且对辅助任务进行额外的训练，在步骤的层次上，训练在辅助任务和目标任务之间交替进行，所述辅助任务和目标任务同享一个优化器，并连续执行连两个更新。

本发明与现有技术相比，具有的有益效果是：

本发明通过辅助任务数据有利于支持模型训练，尤其是MTL的使用，大大提高了处理高难度任务的性能。同时本发明为大量不相关的自然语言处理语料库打开了大门，这些语料库定义在广泛的非对话任务中，以缓解DST中的数据稀疏问题。

附图说明

图1为本发明的主要步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于对话框状态跟踪模型的任务外训练方法，如图1所示，包括DST模块、辅助任务模块、ITFT模块和MTL模块，所述ITFT模块连接有MTL模块，所述MTL模块连接有DST模块，所述MTL模块连接有辅助任务模块；

进一步，DST模块用于从用户输入中提取意义和意图，并在对话的继续过程中保留和更新这些信息；

进一步，辅助任务模块用于有效地支持模型训练；

进一步，ITFT模块用于将编码器的参数引导到一个有利的方向，以便后续的微调能找到更好的局部最优；

进一步，MTL模块用于在辅助任务和目标任务之间同时训练相同的模型。

进一步，模块DST模块中，DST(Dialog state tracking)即对话框状态跟踪，DST的任务是从用户输入中提取意义和意图，并在对话的继续过程中保留和更新这些信息。利用公开的DST模型Trippy可以在处理数据集上有着先进的性能，而且由于bert对片段的区分在对话中没有适应性，所以选择了Roberta编译器，该DST模型的性能取决于上下文编码器、时隙门和跨度预测的单独性能，即这些部分中的任何一个都可能从任务外训练中受益。

进一步，模块辅助任务模块中，具体考虑了与DST无关的辅助任务。其中包括句子和句子对层面的分类任务，旨在发现语言现象。发现可以采用以下训练约束：其一是辅助任务可以是分类问题，也可以是跨度预测问题；其二是一次只能使用一个辅助任务。后者使则能够清楚地识别特定辅助任务的效果。

进一步，模块ITFT模块中，ITFT(Intermediate Task Fine-tuning)即中间任务微调，在两个不相关的任务上连续训练相同的模型，即辅助任务和DST任务。ITFT的目的是将编码器的参数引导到一个有利的方向，以便后续的微调能找到更好的局部最优。

进一步，模块MTL模块中，MTL(Multi-task Learning)即多任务学习，使用MTL，我们在两个无关的任务上同时训练相同的模型。对每一步进行DST训练，而且对辅助任务进行了额外的训练，也就是说，在步骤的层次上，训练在辅助任务和目标任务之间交替进行，这两个任务同享一个优化器，并连续执行连两个更新。

上述所有模块都可以封装进一个应用程序中，通过相互调用接口协同完成基于对话框状态跟踪模型的任务外训练技术功能。

上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。