检测数据和训练分类模型的方法、装置、设备和存储介质

技术领域

本公开涉及计算机技术领域，具体涉及智能语音领域、自然语言处理领域、深度学习领域和云计算领域，更具体地涉及一种检测数据的方法、装置、设备和存储介质，以及一种训练分类模型的方法、装置、设备和存储介质。

背景技术

随着计算机技术的发展，人工智能融入社会与生产中，成为提高生产力的途径之一，也是未来的发展方向之一。为了向用户提供更好的服务，基于人工智能技术的智能客服系统随之产生。

智能客服是在大规模知识处理基础上发展起来的一项面向各行业的应用。在智能客服系统中，意图识别是了解用户需求的重要过程。若该智能客服系统采集到的用户输入数据为系统不支持的集外数据，则可能会导致系统产生级联错误，从而错误理解用户的需求，给用户带来较差的体验。

发明内容

提供了一种提高意图检测准确性的检测数据的方法、装置、设备和存储介质，以及一种训练用于检测数据的分类模型的方法、装置、设备和存储介质。

根据第一方面，提供了一种检测数据的方法，该方法包括：采用特征提取模型提取待检测数据的特征向量；基于特征向量，采用至少两个分类模型分别得到针对待检测数据的至少两个分类置信度，该至少两个分类置信度包括：待检测数据表达多个预定意图的置信度中取值最大的第一置信度以及待检测数据属于集内数据的第二置信度；基于至少两个分类置信度和置信度阈值，确定待检测数据是否为集内数据；以及在确定待检测数据为集内数据的情况下，确定待检测数据表达的意图为与第一置信度对应的预定意图。

根据第二方面，提供了一种训练分类模型的方法，该方法包括：获取历史数据集，该历史数据集包括多个集内数据和多个集外数据；以多个集内数据中预定数量的集内数据作为训练样本，训练初始特征提取模型、第一分类模型和至少一个第二分类模型，得到特征提取模型、预训练的第一分类模型和训练好的至少一个第二分类模型，其中，第一分类模型分配有取值为预定值的平滑因子；以及以历史数据集中除预定数量的集内数据外的其他数据作为验证样本，基于预定正样本率调整平滑因子的取值，得到训练好的第一分类模型，其中，在训练过程中，第一分类模型的输出信息包括输入初始特征提取模型的数据表达多个预定意图的置信度中取值最大的置信度；至少一个第二分类模型的输出信息包括输入所述初始特征提取模型的数据属于集内数据的置信度。

根据第三方面，提供了一种检测数据的装置，该装置包括：特征向量提取模块，用于采用特征提取模型提取待检测数据的特征向量；置信度获得模块，用于基于特征向量，采用至少两个分类模型分别得到针对待检测数据的至少两个分类置信度，该至少两个分类置信度包括：待检测数据表达多个预定意图的置信度中取值最大的第一置信度以及待检测数据属于集内数据的第二置信度；数据确定模块，用于基于至少两个分类置信度和置信度阈值，确定待检测数据是否为集内数据；以及意图确定模块，用于在确定待检测数据为集内数据的情况下，确定待检测数据表达的意图为第一置信度对应的预定意图。

根据第四方面，提供了一种训练分类模型的装置，该装置包括：数据集获取模块，用于获取历史数据集，该历史数据集包括多个集内数据和多个集外数据；模型训练模块，用于以多个集内数据中预定数量的集内数据作为训练样本，训练初始特征提取模型、第一分类模型和至少一个第二分类模型，得到特征提取模型、预训练的第一分类模型和训练好的至少一个第二分类模型，其中，第一分类模型分配有取值为预定值的平滑因子；以及模型调整模块，用于以历史数据集中除预定数量的集内数据外的其他数据作为验证样本，基于预定正样本率调整平滑因子的取值，得到训练好的第一分类模型，其中，在训练过程中，第一分类模型的输出信息包括输入初始特征提取模型的数据表达多个预定意图的置信度中取值最大的置信度；至少一个第二分类模型的输出信息包括输入初始特征提取模型的数据属于集内数据的置信度。

根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的检测数据的方法，并且/或者执行本公开提供的训练分类模型的方法。

根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的检测数据的方法，并且/或者执行本公开提供的训练分类模型的方法。

根据第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开提供的检测数据的方法，并且/或者执行本公开提供的训练分类模型的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例的检测数据和训练分类模型的方法、装置、设备和存储介质的应用场景示意图；

图2是根据本公开实施例的检测数据的方法的流程图；

图3是根据本公开实施例的检测数据的方法的原理示意图；

图4是根据本公开另一实施例的检测数据的方法的原理示意图；

图5是根据本公开实施例的确定待检测数据是否为集内数据的原理示意图；

图6是根据本公开实施例的训练分类模型的方法的流程图；

图7是根据本公开实施例的检测数据的装置的结构框图；

图8是根据本公开实施例的训练分类模型的装置的结构框图；以及

图9是用来实现本公开实施例的检测数据的方法和/或训练分类模型的方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种检测数据的方法，该方法包括特征向量提取阶段、置信度获得阶段、集内数据确定阶段和意图确定阶段。在特征向量提取阶段中，采用特征提取模型提取待检测数据的特征向量。在置信度获得阶段，基于特征向量，采用至少两个分类模型分别得到针对待检测数据的至少两个分类置信度，该至少两个分类置信度包括：待检测数据表达多个预定意图的置信度中取值最大的第一置信度以及待检测数据属于集内数据的第二置信度。在集内数据确定阶段，基于至少两个分类置信度和置信度阈值，确定待检测数据是否为集内数据。在意图确定阶段，在确定待检测数据为集内数据的情况下，确定待检测数据表达的意图为与第一置信度对应的预定意图。

根据本公开的实施例，该检测数据的方法例如可以应用于智能客服系统，以用于识别用户的输入信息所表达的意图，理解用户需求，并向用户提供不间断的精准服务。智能客服系统融合了大规模知识处理技术、自然语言理解技术、知识管理技术、自动问答系统和推理技术等。

以下将结合图1对本公开提供的方法和装置的应用场景进行描述。

图1是根据本公开实施例的检测数据和训练分类模型的方法、装置、设备、介质和程序产品的应用场景图。

如图1所示，该实施例的应用场景100可以包括用户110和终端设备120。

终端设备120可以安装有各种客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、网盘类应用、邮箱客户端、社交类应用等(仅为示例)。终端设备120可以为具有显示屏并且具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便捷计算机和台式计算机等等。

该终端设备120例如可以向用户110提供有交互界面，用户110通过该交互界面可以向终端设备120输入信息，该输入的信息例如可以为咨询信息等，以期通过终端设备120得到应答信息。相应地，终端设备120例如可以安装有智能客服系统，以通过对输入信息进行识别处理，向用户110展示与输入信息匹配的应答信息。

根据本公开的实施例，如图1所示，该应用场景100例如还可以包括有第一服务器130，该第一服务器130和终端设备120之间例如可以通过网络通信，网络例如可以包括有线或无线通信网络。其中，第一服务器130例如可以是结合了区块链的服务器。或者，第一服务器130还可以为虚拟服务器或云服务器等。

示例性地，用户110可以使用终端设备120通过网络与第一服务器130进行信息交互。第一服务器130例如可以为应用服务器，用于对终端设备120运行的客户端应用提供支持。在该实施例中，终端设备120可以响应于获取到输入信息，将该输入信息140转发给第一服务器130。第一服务器130例如可以对该输入信息进行意图识别，并根据识别的意图确定与输入信息匹配的应答信息，并将该应答信息150反馈给终端设备120，以供终端设备120进行展示。

根据本公开的实施例，如图1所示，该应用场景100还可以包括第二服务器160，第一服务器130与第二服务器160之间可以通过网络通信连接。第二服务器160例如可以向第一服务器130提供对输入信息进行意图识别的信息处理模型。在一实施例中，该第二服务器160与第一服务器130可以为运行于同一设备上的两个功能模块，也可以为两个独立的设备。

根据本公开的实施例，如图1所示，该应用场景100还可以包括有数据库170，该数据库170中维护有应答语料库。第一服务器130可以通过网络访问该数据库170。例如，该第一服务器130可以从该数据库170维护的应答语料库中获取与输入信息匹配的应答信息。

需要说明的是，本公开提供的检测数据的方法可以由终端设备120执行，或者可以由第一服务器130执行。本公开提供的训练分类模型的方法可以由第一服务器130执行，或者可以由第二服务器160执行。相应地，本公开提供的检测数据的装置可以设置在终端设备120中，或者可以设置在第一服务器130中。本公开提供的训练分类模型的装置可以设置在第一服务器130中，或者可以设置在第二服务器160中。

应该理解，图1中的终端设备、第一服务器、第二服务器和数据库的类型仅仅是示意性的。根据实现需要，可以具有任意类型的终端设备、第一服务器、第二服务器和数据库。

以下将结合图1描述的应用场景，通过图2～图5对本公开提供的检测数据的方法进行详细描述。

图2是根据本公开实施例的检测数据的方法的流程示意图。如图2所示，该实施例的检测数据的方法200包括操作S210、操作S230、操作S250和操作S270。

在操作S210，采用特征提取模型提取待检测数据的特征向量。

根据本公开的实施例，待检测数据可以为用户输入的文本信息，或者可以为将用户输入的语音信息转换得到的文本信息。

根据本公开的实施例，特征提取模型例如可以为语义理解模型，该模型提取的特征向量为语义特征向量。该特征提取模型例如可以为卷积神经网络模型、长短期记忆网络模型(Long Short-Term Memory，LSTM)等。该特征提取模型可以采用与待检测数据类似的样本数据预先训练得到，例如可以采用下文描述的第一训练样本训练得到，在此不再详述。可以理解的是，该特征提取模型的类型仅作为示例以利于理解本公开，本公开可以采用任意的具有特征提取功能的模型。

根据本公开的实施例，在采用特征提取模型提取特征向量之前，该实施例还可以先对待检测数据进行分词处理，并将分词处理得到的各个词转换为词向量，得到表示待检测数据的词向量矩阵。

示例性地，特征提取模型的输入为该词向量矩阵，输出为特征向量。可以采用Jieba、Yaha、盘古、语言技术平台(Language Technology Platform，LTP)等工具来进行分词处理。在分词处理得到文本信息包括的多个词后，可以采用GloVe模型或Word2Vec模型来得到多个词的向量表示。依次排列多个词的词向量，可以得到表示待检测数据的词向量矩阵。

在操作S230，基于特征向量，采用至少两个分类模型分别得到针对待检测数据的至少两个分类置信度。

根据本公开的实施例，至少两个分类置信度可以包括待检测数据表达多个预定意图的置信度中取值最大的第一置信度，还可以包括待检测数据属于集内(In domain)数据的第二置信度。

示例性地，在类似于智能客服系统的任务型对话系统中，通常会预先定义多个预定意图，例如查询天气、控制智能家电、播放音乐等，以此来满足用户的任务需求。对于不落入任何一个预定意图的待检测数据为集外数据(即Out of Domain语料，OOD语料)。对于落入任何一个预定意图的待检测数据为集内数据，即表达多个预定意图中任一预定意图的数据为集内数据，该集内数据是相对于集外数据而言的。

根据本公开的实施例，至少两个分类模型中例如可以包括根据特征向量确定用户意图的第一分类模型，该第一分类模型通过对特征向量进行识别处理，可以得到待检测数据表达多个预定意图中每个预定意图的置信度，得到多个置信度。该第一分类模型的输出信息可以为该多个置信度中的最大置信度，作为第一置信度。其中，多个预定意图为集内数据所表达的意图，即表达多个预定意图中任意一个预定意图的数据为集内数据。该第一分类模型例如可以为多分类模型，该多分类模型例如可以基于softmax激活函数构建，或者可以基于k最近邻算法、决策树算法、朴素贝叶斯算法等构建。

示例性地，该第一分类模型例如可以与特征提取模型构成一个整体模型，该第一分类模型为整体模型包括的多层结构中的最后一层。相应地，该第一分类模型例如可以为整体模型的激活层，该激活层可以采用softmax函数作为激活函数。

根据本公开的实施例，至少两个分类模型中例如可以包括根据特征向量确定数据属于集内数据的置信度的第二分类模型。该第二分类模型的输入信息为特征向量，输出信息为数据属于集内数据的置信度。该第二分类模型可以为二分类模型。该第二分类模型可以为支持向量机模型(Support Vector Machine，SVM)、单类支持向量机模型(One-ClassSVM，OCSVM)等，或者该第二分类模型可以基于逻辑回归算法、k最近邻算法等构建。

示例性地，该第二分类模型例如可以与特征提取模型构成一个整体模型，该第二分类模型为整体模型包括的多层结构中的最后一层。相应地，该第一分类模型例如可以为整体模型的激活层，该激活层可以采用sigmoid函数作为激活函数。

示例性地，第二分类模型例如可以采用单类支持向量机模型。在将检测数据的方法200应用于智能客服系统时，若该第二分类模型采用单类支持向量机模型，可以提高确定的第二置信度的准确率，同时可以提高数据处理效率。这是由于单类支持向量机模型具有捕获数据集的形状的能力，尤其适用于仅有一种类型的样本，或者虽然有两种类型的样本，但其中一个类型的样本数据远少于另一类型的样本数据的场景。

根据本公开的实施例，特征提取模型与至少两个分类模型可以集成为一个整体模型，该整体模型具有与至少两个分类模型分别对应的至少两个输出层，至少两个分类模型并列设置，特征提取模型输出的特征向量作为至少两个分类模型的输入信息。

可以理解的是，上述各分类模型和特征提取模型的类型仅作为示例以利于理解本公开，本公开对此不做限定。

在操作S250，基于至少两个分类置信度和置信度阈值，确定待检测数据是否为集内数据。

根据本公开的实施例，可以将至少两个分类置信度进行融合，得到待检测数据属于集内数据的目标置信度。随后将该目标置信度与置信度阈值进行比较。若目标置信度大于等于置信度阈值，则确定待检测数据为集内数据。若目标置信度小于置信度阈值，则确定待检测数据为集外数据。

示例性地，将至少两个分类置信度进行融合例如可以包括计算至少两个分类置信度的平均值，将该平均值作为目标置信度。或者计算该至少两个分类置信度的加权和，将该加权和作为目标置信度。可以理解的是，上述对至少两个分类置信度进行融合的方法仅作为示例以利于理解本公开，本公开对此不做限定。

若通过操作S250确定待检测数据为集内数据，可以执行操作S270。若通过操作S250确定待检测数据不是集内数据，则可以确定待检测数据为集外数据。该实施例则无需确定该集外数据表达的意图，而是将该集外数据反馈给工作人员进行进一步审核。通过该集外数据，可以向工作人员提供额外的信息，利于工作人员发现智能客服系统的不足和性能提升方向。相较于相关技术中不识别集外数据，而是直接确定集外数据所表达的意图，可以提高确定的意图准确性，避免级联错误的产生。

在操作S270，在确定待检测数据为集内数据的情况下，确定待检测数据表达的意图为与第一置信度对应的预定意图。

综上分析，本公开实施例在检测数据时，通过设置至少两个分类模型来确定待检测数据是否为集内数据，并仅在待检测数据为集内数据的情况下才输出待检测数据表达的意图，可以提高确定的待检测数据表达的意图的准确性。同时，由于至少两个分类模型确定的分类置信度中包括属于集内数据的置信度，因此可以提高检测集外数据的能力，进一步提高确定的意图的准确性。通过该方法，无需对集外样本进行数据标注即可实现对集外数据的检测，可以节省人力，避免因集外样本不足导致的检测不准确的情况。另外，由于在确定是否为集外数据时，采用了能够输出待检测数据表达多个预定意图的置信度中取值最大的第一置信度的分类模型，因此可以很好地利用已有的集内样本的标注信息，可以进一步提高确定的意图的准确性。

图3是根据本公开实施例的检测数据的方法的原理示意图。

如图3所示，该实施例300的检测数据的方法例如可以采用两种分类模型来确定待检测数据是否为集内数据。

在该实施例中，可以采用包括词嵌入层320、特征提取层330、多分类层340和二分类层350的处理模型来得到两个分类置信度。多分类层340和二分类层350可以并列设置。该处理模型的输入为待检测数据310，该待检测数据310经由词嵌入层320处理后，可以得到词向量矩阵301。该词向量矩阵301作为特征提取层330的输入，经由特征提取层330处理后得到待检测数据的特征向量302。该特征向量302作为多分类层340的输入，经由多分类层340处理后可以得到前文描述的第一置信度。该特征向量302作为二分类层350的输入，经由二分类层350处理后可以得到前文描述的第二置信度。

在得到第一置信度和第二置信度后，可以采用前文描述的方法确定待检测数据310属于集外数据360，或确定待检测数据310属于集内数据370。若待检测数据为集内数据370，则可以将与第一置信度对应的预定意图作为待检测数据310所表达的意图380。

可以理解的是，词嵌入层320可以采用前文描述的获得词向量矩阵的模型来实现，特征提取层可以采用前文描述的特征提取模型来实现，多分类层可以采用前文描述的多分类模型来实现，二分类层可以采用前文描述的二分类模型来实现，在此不再赘述。

图4是根据本公开另一实施例的检测数据的方法的原理示意图。

检测数据的方法在采集待检测数据的特征向量之前，例如还可以获取历史数据对检测数据的过程中使用到的各模型进行训练。以下将结合图4对各模型的训练过程进行详细描述。

如图4所示，该实施例400在训练各模型时，可以先获取历史数据集410。该历史数据集410包括多个集内数据411和多个集外数据412。该历史数据集中的数据可以为智能客服系统已经采集并完成意图识别的数据。对于集内数据411，例如可以携带有表示意图的标签，以表示识别得到的集内数据411所表达的意图。集外数据412可以不携带标签。

在得到历史数据集410后，该实施例可以将预定数量的集内数据411作为训练样本421，并采用该训练样本421训练初始特征提取模型431、第一分类模型441和至少一个第二分类模型451，得到前述的特征提取模型432、预训练的第一分类模型442和训练好的第二分类模型452。将该训练好的第二分类模型作为前述至少两个分类模型中的部分模型。

在训练过程中，可以以初始特征提取模型为模型的初始状态，将训练样本421分为多批样本。随后将训练样本421中的第一批训练样本的词向量矩阵作为初始特征提取模型431的输入，输出得到针对该一批训练样本的特征向量，并将该特征向量作为针对第一分类模型441和第二分类模型451的输入，对第一分类模型441和第二分类模型451进行同步训练。在经由第一分类模型441和第二分类模型451得到输出信息后，可以将该输出信息与该一批训练样本的标签进行比对，根据比对结果和预定损失函数对初始特征提取模型431、第一分类模型441和第二分类模型451的参数进行调整。随后将第二批训练样本的词向量矩阵作为调整后的初始特征提取模型的输入，对调整后的初始特征提取模型、调整后的第一分类模型和调整后的第二分类模型再次进行调整。通过采用上述方法循环地对当前调整后的特征提取模型、调整后的第一分类模型和调整后的第二分类模型进行调整，最终得到前述特征提取模型432、预训练的第一分类模型442和训练好的第二分类模型452。

根据本公开的实施例，该实施例可以向第一分类模型441分配平滑因子。在前述训练过程中，该平滑因子的取值例如可以为1或者接近于1的任意预定值。在该第一分类模型采用softmax函数作为激活函数时，该第一分类模型根据平滑因子得到的置信度可以表示为：

其中，p

q＝max

该q即为第一分类模型得到的针对多个预定意图的置信度中取值最大的置信度。

在得到预训练的第一分类模型后，可以采用验证样本对该预训练的第一分类模型的精度进行验证，并对平滑因子进行调整，以使得调整平滑因子后的第一分类模型得到的正样本率不低于预定正样本率490。其中，正样本率为被准确确定为集内数据的量与验证样本中集内数据的量的比值。

示例性地，可以将历史数据集410中除训练样本外的其他集内数据和集外数据412组成验证样本422，将平滑因子作为变量，基于预定正样本率调整平滑因子的取值，从而得到训练好的第一分类模型。

示例性地，在调整平滑因子时，可以将验证样本422作为特征提取模型432的输入，以提取得到验证样本422的特征向量。随后将平滑因子作为变量，将验证样本422的特征向量作为预训练的第一分类模型442的输入，经由预训练的第一分类模型442输出得到平滑因子表示的分类置信度460，即得到平滑因子与验证样本的分类置信度之间的关联关系。该关联关系例如可以表示为q＝g(T)。q为置信度，T为平滑因子。在得到平滑因子表示的分类置信度460后，可以通过调整置信度阈值变量481的取值和平滑因子T的取值，并采用与前述确定待检测数据是否为集内数据的方法类似的方法确定验证样本422属于集内数据还是集外数据。最终将验证样本422的正样本率大于等于预定正样本率490时平滑因子T的取值和置信度阈值变量481的取值，分别作为最终的平滑因子470和置信度阈值482。其中，预定正样本率490可以根据实际需求进行设定，例如可以设定为不低于90％的任意值，例如95％、93％等，本公开对此不做限定。

在基于预定正样本率得到平滑因子470的取值后，该实施例可以将该平滑因子470代入前文描述的第一分类模型根据平滑因子得到的置信度的表达式中，实现对预训练的第一分类模型442的调整，并得到训练好的第一分类模型443。该训练好的第一分类模型443与前文描述的训练好的第二分类模型452共同构成前文描述的至少两个分类模型。

该实施例在训练第一分类模型的过程中，通过基于预定正样本率来设定平滑因子，可以使得该第一分类模型能够更好的区分集内数据和集外数据，从而在待检测数据为集外数据时，输出的第一置信度的取值较小。因此，可以提高第一分类模型对集外数据的识别度，提高确定的第一置信度的准确性。

该实施例在调整平滑因子时，同时对置信度阈值进行调整，可以提高用于作为数据是否为集内数据的参考的置信度阈值的准确性，从而便于提高检测集外数据的精度，提高确定的数据表达意图的准确性。

可以理解的是，前述训练模型的过程及调整平滑因子的方法仅作为示例以利于理解本公开，本公开对此不做限定。

图5是根据本公开实施例的确定待检测数据是否为集内数据的原理示意图。

根据本公开的实施例，如前文描述，在确定待检测数据是否为集内数据时，可以根据至少两个分类置信度确定待检测数据属于集内数据的目标置信度。

在一实施例中，在确定目标置信度时，可以先确定至少两个分类置信度中每个分类置信度与置信度阈值之间的距离。该距离例如可以由每个分类置信度与置信度阈值之间的差值的绝对值表示。随后确定与置信度阈值之间的距离最大的分类置信度为目标置信度。

如图5所示的实施例500，至少两个分类置信度包括分类置信度q

在另一实施例中，在确定目标置信度时，可以将该至少两个分类置信度代入预定线性回归模型中，将该预定线性回归模型得到的值作为目标置信度。例如，若该至少两个分类置信度为两个，线性回归模型可以表示为：

q

其中，q

在得到目标置信度后，该实施例可将该目标置信度与置信度阈值进行比较。在目标置信度小于置信度阈值时，确定待检测数据为集外数据，否则确定待检测数据为集内数据。

该实施例通过融合第一置信度和第二置信度确定待检测数据是否为集内数据，可以充分利用已有的集内样本的标注信息，从而可以提高确定的集内数据的准确性。同时，便于在确定为集内数据时，同时输出该集内数据表达的意图，可以提高数据处理效率。

以下将结合图6，对本公开实施例提供的训练分类模型的方法进行描述。

图6是根据本公开实施例的训练分类模型的方法的流程图。

如图6所示，该实施例的训练分类模型的方法600可以包括操作S620、操作S640和操作S660。

在操作S620，获取历史数据集，该历史数据集包括多个集内数据和多个集外数据。该历史数据集与前文描述的历史数据集类似，在此不再赘述。

在操作S640，以多个集内数据中预定数量的集内数据作为训练样本，训练初始特征提取模型、第一分类模型和至少一个第二分类模型，得到特征提取模型、预训练的第一分类模型和训练好的至少一个第二分类模型，其中，第一分类模型分配有取值为预定值的平滑因子。

根据本公开的实施例，采用训练样本训练初始特征提取模型、第一分类模型和至少一个第二分类模型的方法与前文描述的训练模型的方法类似，在此不再赘述。平滑因子所取的预定值与前文描述的预定值类似，在此不再赘述。

根据本公开的实施例，在循环训练初始特征提取模型、第一分类模型和至少一个第二分类模型的过程中，当前特征提取模型输出的特征向量为第一分类模型和至少一个第二分类模型的训练样本，至少一个第二分类模型的输出信息包括输入初始特征提取模型的数据属于集内数据的置信度。第一分类模型的输出信息包括输入初始特征提取模型的数据表达多个预定意图的置信度中取值最大的置信度。

在操作S660，以历史数据集中除预定数量的集内数据外的其他数据作为验证样本，基于预定正样本率调整平滑因子的取值，得到训练好的第一分类模型。

根据本公开的实施例，在基于预定正样本率调整平滑因子的取值时，可以先采用操作S640训练得到的特征提取模型提取验证样本的特征向量。得到验证样本的特征向量后，以平滑因子为变量，以验证样本的特征向量作为预训练的第一分类模型的输入，得到平滑因子与针对验证样本的分类置信度之间的关联关系。得到关联关系后，基于关联关系，确定验证样本的正样本率大于等于预定正样本率的情况下平滑因子和置信度阈值的取值。得到平滑因子后，基于该平滑因子调整预训练的第一分类模型，得到训练好的第一分类模型。

可以理解的是，该操作S660调整平滑因子的取值的方法与前文描述的调整平滑因子的取值的方法类似，在此不再赘述。

根据本公开的实施例，第一分类模型可以包括多分类模型，至少一个第二分类模型可以包括单类支持向量机模型。可以理解的是，第一分类模型和第二分类模型的类型与前文描述的第一分类模型和第二分类模型的类型相同，在此不再赘述。

基于前文描述的检测数据的方法，本公开还提供了一种检测数据的装置。以下将结合图7对该装置进行详细描述。

图7是根据本公开实施例的检测数据的装置的结构框图。

如图7所示，该实施例的检测数据的装置700可以包括特征向量提取模块710、置信度获得模块730、数据确定模块750和意图确定模块770。

特征向量提取模块710用于采用特征提取模型提取待检测数据的特征向量。在一实施例中，特征向量提取模块710可以用于执行前文描述的操作S210，在此不再赘述。

置信度获得模块730用于基于特征向量，采用至少两个分类模型分别得到针对待检测数据的至少两个分类置信度，至少两个分类置信度包括：待检测数据表达多个预定意图的置信度中取值最大的第一置信度以及待检测数据属于集内数据的第二置信度。在一实施例中，置信度获得模块730可以用于执行前文描述的操作S230，在此不再赘述。

数据确定模块750用于基于至少两个分类置信度和置信度阈值，确定待检测数据是否为集内数据。在一实施例中，数据确定模块750可以用于执行前文描述的操作S250，在此不再赘述。

意图确定模块770用于在确定待检测数据为集内数据的情况下，确定待检测数据表达的意图为第一置信度对应的预定意图。在一实施例中，意图确定模块770可以用于执行前文描述的操作S270，在此不再赘述。

根据本公开的实施例，置信度获得模块730可以包括第一获得子模块和第二获得子模块，第一获得子模块用于采用多分类模型得到第一置信度。第二获得子模块用于采用单类支持向量机模型得到第二置信度。

根据本公开的实施例，检测数据的装置700例如还可以包括数据集获取模块、模型训练模块和模型调整模块。数据集获取模块用于获取历史数据集，该历史数据集包括多个集内数据和多个集外数据。模型训练模块用于以多个集内数据中预定数量的集内数据作为训练样本，训练初始特征提取模型、第一分类模型和至少一个第二分类模型，得到特征提取模型、预训练的第一分类模型和训练好的至少一个第二分类模型；其中，第一分类模型分配有取值为预定值的平滑因子。模型调整模块用于以历史数据集中除预定数量的集内数据外的其他数据作为验证样本，基于预定正样本率调整平滑因子的取值，得到训练好的第一分类模型。其中，至少两个分类模型包括训练好的第一分类模型和训练好的至少一个第二分类模型。

根据本公开的实施例，上述模型调整模块可以包括向量提取子模块、关系获得子模块和取值确定子模块。向量提取子模块用于采用特征提取模型提取验证样本的特征向量。关系获得子模块用于以平滑因子为变量，以验证样本的特征向量作为预训练的第一分类模型的输入，得到平滑因子与针对验证样本的分类置信度之间的关联关系。取值确定子模块用于基于关联关系，确定在验证样本的正样本率大于等于预定正样本率的情况下平滑因子和置信度闽值的取值。

根据本公开的实施例，上述数据确定模块750例如可以包括目标置信度确定子模块和数据确定子模块，目标置信度确定子模块用于基于至少两个分类置信度，确定待检测数据属于集内数据的目标置信度。数据确定子模块用于在待检测数据属于集内数据的目标置信度大于等于置信度阈值的情况下，确定待检测数据为集内数据。

根据本公开的实施例，目标置信度确定子模块可以包括距离确定单元和置信度确定单元。距离确定单元用于针对至少两个分类置信度中的每个分类置信度，确定每个分类置信度与置信度阈值之间的距离。置信度确定单元用于确定与置信度阈值之间的距离最大的分类置信度为待检测数据属于集内数据的目标置信度。

根据本公开的实施例，目标置信度确定子模块具体可以用于以至少两个分类置信度作为预定线性回归模型的输入，确定待检测数据属于集内数据的目标置信度。

根据本公开的实施例，表达多个预定意图中任一预定意图的数据为集内数据。

基于前文描述的训练分类模型的方法，本公开还提供了一种训练分类模型的装置。以下将结合图8对该装置进行详细描述。

图8是根据本公开实施例的训练分类模型的装置的结构框图。

如图8所示，该训练分类模型的装置800包括数据集获取模块820、模型训练模块840和模型调整模块860。

数据集获取模块820用于获取历史数据集，历史数据集包括多个集内数据和多个集外数据。在一实施例中，数据集获取模块820可以用于执行前文描述的操作S620，在此不再赘述。

模型训练模块840用于以多个集内数据中预定数量的集内数据作为训练样本，训练初始特征提取模型、第一分类模型和至少一个第二分类模型，得到特征提取模型、预训练的第一分类模型和训练好的至少一个第二分类模型，其中，第一分类模型分配有取值为预定值的平滑因子。在一实施例中，模型训练模块840可以用于执行前文描述的操作S640，在此不再赘述。

模型调整模块860用于以历史数据集中除预定数量的集内数据外的其他数据作为验证样本，基于预定正样本率调整平滑因子的取值，得到训练好的第一分类模型。在一实施例中，模型调整模块860可以用于执行前文描述的操作S660，在此不再赘述。

根据本公开的实施例，在训练过程中，第一分类模型的输出信息包括输入初始特征提取模型的数据表达多个预定意图的置信度中取值最大的置信度；至少一个第二分类模型的输出信息包括输入初始特征提取模型的数据属于集内数据的置信度。

根据本公开的实施例，上述模型调整模块可以包括向量提取子模块、关系获得子模块和取值确定子模块。向量提取子模块用于采用特征提取模型提取验证样本的特征向量。关系获得子模块用于以平滑因子为变量，以验证样本的特征向量作为预训练的第一分类模型的输入，得到平滑因子与针对验证样本的分类置信度之间的关联关系。取值确定子模块用于基于关联关系，确定在验证样本的正样本率大于等于预定正样本率的情况下平滑因子和置信度阈值的取值。

根据本公开的实施例，第一分类模型包括多分类模型，至少一个第二分类模型包括单类支持向量机模型。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实现本公开实施例的检测数据的方法和/或训练分类模型的方法的电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如检测数据的方法和/或训练分类模型的方法。例如，在一些实施例中，检测数据的方法和/或训练分类模型的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的检测数据的方法和/或训练分类模型的方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行检测数据的方法和/或训练分类模型的方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。