多类目识别方法、装置、电子设备及储存介质

技术领域

本公开涉及自然语言处理技术领域，尤其涉及一种多类目识别方法、装置、电子设备及储存介质。

背景技术

在当今电子商务搜索中，商品种类繁多且数量庞大。简单的关键词匹配已经无法满足全量和多样化的查询需求以及与商品之间的映射关系。类目识别技术作为商城搜索中的重要技术之一，能够准确识别用户在搜索场景下的真实意图。这项技术不仅可以缩小搜索系统中召回模块的召回范围，还能为排序模块提供类目特征，将用户更关心的商品展示在最前面，使用户更容易找到所需商品，从而提升购物体验和满意度。因此，准确实现对用户搜索文本进行类目识别是迫切需要解决的问题。

发明内容

本公开提供一种多类目识别方法、装置、电子设备及储存介质，以至少解决对用户搜索文本进行类目识别不准确的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种多类目识别方法，包括：获取用户输入的实时请求文本；将实时请求文本输入目标多类目识别模型，获取目标多类目识别模型输出的每个候选类目对应的类目预测概率，其中，目标多类目识别模型中预设的有候选类目集合，候选类目集合中包含多个候选类目；将所有类目预测概率按照从大到小的顺序进行排序，获取排序后生成的类目预测概率序列；获取类目预测概率序列中的前N个类目预测概率对应的N个候选类目，并将N个候选类目作为实时请求文本对应的目标类目。

在一些实施例中，目标多类目识别模型的训练方法，包括：获取样本数据集，其中，样本数据集中的每个样本数据包含一个请求文本以及与请求文本相关联的一个或多个类目标签；获取预设的候选类目集合，候选类目集合中包含多个候选类目；基于样本数据集和候选类目集合对初始多类目识别模型进行训练，获取初始多类目识别模型输出的每个请求文本对应的每个候选类目的类目预测概率；基于每个请求文本对应的每个候选类目的类目预测概率，结合该请求文本相关联的一个或多个类目标签，对初始多类目识别模型进行迭代训练，获取训练完成后生成的目标多类目识别模型。

在一些实施例中，初始多类目识别模型由文本编码器、类目编码器、语义聚合层和输出层组成，基于样本数据集和候选类目集合对初始多类目识别模型进行训练，获取初始多类目识别模型输出的每个请求文本对应的每个候选类目的类目预测概率，包括：将样本数据集的请求文本输入文本编码器，获取文本编码器输出的文本特征向量；将候选类目集合输入类目编码器，获取类目编码器输出的类目向量；基于语义聚合层对类目向量与文本特征向量进行聚合，获取聚合后生成的聚合特征向量；基于聚合特征向量，经输出层处理后输出每个请求文本对应的每个候选类目的类目预测概率。

在一些实施例中，文本编码器由位置编码器、预训练句子编码器和堆叠编码器组成，将样本数据集的请求文本输入文本编码器，获取文本编码器输出的文本特征向量，包括：将样本数据集中的请求文本输入位置编码器，获取位置编码器输出的位置嵌入向量；将样本数据集中的请求文本输入预训练句子编码器，获取预训练句子编码器输出的语义特征向量，位置嵌入向量与语义特征向量的维度相同；将位置嵌入向量与语义特征向量相加，获取相加后获得的语义位置融合向量；将语义位置融合向量输入堆叠编码器，获取经堆叠编码器进行特征提取后输出的文本特征向量。

在一些实施例中，基于语义聚合层对类目向量与文本特征向量进行聚合，获取聚合后生成的聚合特征向量，包括：基于注意力机制获取文本特征向量中每个token向量的权重；基于每个token向量的权重结合类目向量进行加权，获得聚合特征向量。

在一些实施例中，基于聚合特征向量，经输出层处理后输出每个请求文本对应的每个候选类目的类目预测概率，包括：对聚合特征向量进行线性变换和函数激活，以获取每个请求文本对应的每个候选类目的类目预测概率。

在一些实施例中，对初始多类目识别模型进行迭代训练，获取训练完成后生成的目标多类目识别模型，包括：对初始多类目识别模型进行迭代训练，直至初始多类目识别模型的损失函数收敛，结束训练，获取训练完成后生成的目标多类目识别模型；或者，对初始多类目识别模型进行迭代训练，直至初始多类目识别模型的训练次数达到预设次数，结束训练，获取训练完成后生成的目标多类目识别模型。

在一些实施例中，获取样本数据集，包括：基于样本用户的搜索浏览日志，获取每个样本用户所输入的请求文本，请求文本由一种或者多种语言组成；获取每个样本用户在输入请求文本之后，该样本用户所浏览的每个商品对应的用户浏览时长；针对任一请求文本，获取在输入该请求文本后用户浏览时长超过预设时长阈值的商品以及该商品对应的类目，将该商品对应的类目作为该请求文本的关联类目；针对任一请求文本，基于该请求文本与该请求文本对应的一个或多个关联类目，生成一个初始样本数据；对每条初始样本数据进行处理，以获取处理后的样本数据，并基于多条样本数据，生成样本数据集。

在一些实施例中，对每条初始样本数据进行处理，以获取处理后的样本数据，包括：对每条初始样本数据进行数据格式化，获得数据格式化之后生成的多条格式化样本数据；对每条格式化样本数据进行数据增强，获得数据增强之后生成的多条数据增强样本数据；对每条数据增强样本数据进行数据清洗，获得数据清洗之后生成的多条样本数据。

根据本公开实施例的第二方面，提供一种多类目识别装置，包括：文本获取模块，用于获取用户输入的实时请求文本；模型输出模块，用于将实时请求文本输入目标多类目识别模型，获取目标多类目识别模型输出的每个候选类目对应的类目预测概率，其中，目标多类目识别模型中预设的有候选类目集合，候选类目集合中包含多个候选类目；概率排序模块，用于将所有类目预测概率按照从大到小的顺序进行排序，获取排序后生成的类目预测概率序列；类目确定模块，用于获取类目预测概率序列中的前N个类目预测概率对应的N个候选类目，并将N个候选类目作为实时请求文本对应的目标类目。

在一些实施例中，多类目识别装置还包括模型训练模块，模型训练模块，用于：获取样本数据集，其中，样本数据集中的每个样本数据包含一个请求文本以及与请求文本相关联的一个或多个类目标签；获取预设的候选类目集合，候选类目集合中包含多个候选类目；基于样本数据集和候选类目集合对初始多类目识别模型进行训练，获取初始多类目识别模型输出的每个请求文本对应的每个候选类目的类目预测概率；基于每个请求文本对应的每个候选类目的类目预测概率，结合该请求文本相关联的一个或多个类目标签，对初始多类目识别模型进行迭代训练，获取训练完成后生成的目标多类目识别模型。

在一些实施例中，初始多类目识别模型由文本编码器、类目编码器、语义聚合层和输出层组成，模型训练模块，还用于：将样本数据集的请求文本输入文本编码器，获取文本编码器输出的文本特征向量；将候选类目集合输入类目编码器，获取类目编码器输出的类目向量；基于语义聚合层对类目向量与文本特征向量进行聚合，获取聚合后生成的聚合特征向量；基于聚合特征向量，经输出层处理后输出每个请求文本对应的每个候选类目的类目预测概率。

在一些实施例中，文本编码器由位置编码器、预训练句子编码器和堆叠编码器组成，模型训练模块，还用于：将样本数据集中的请求文本输入位置编码器，获取位置编码器输出的位置嵌入向量；将样本数据集中的请求文本输入预训练句子编码器，获取预训练句子编码器输出的语义特征向量，位置嵌入向量与语义特征向量的维度相同；将位置嵌入向量与语义特征向量相加，获取相加后获得的语义位置融合向量；将语义位置融合向量输入堆叠编码器，获取经堆叠编码器进行特征提取后输出的文本特征向量。

在一些实施例中，模型训练模块，还用于：基于注意力机制获取文本特征向量中每个token向量的权重；基于每个token向量的权重结合类目向量进行加权，获得聚合特征向量。

在一些实施例中，模型训练模块，还用于：对聚合特征向量进行线性变换和函数激活，以获取每个请求文本对应的每个候选类目的类目预测概率。

在一些实施例中，模型训练模块，还用于：对初始多类目识别模型进行迭代训练，直至初始多类目识别模型的损失函数收敛，结束训练，获取训练完成后生成的目标多类目识别模型；或者，对初始多类目识别模型进行迭代训练，直至初始多类目识别模型的训练次数达到预设次数，结束训练，获取训练完成后生成的目标多类目识别模型。

在一些实施例中，模型训练模块，还用于：基于样本用户的搜索浏览日志，获取每个样本用户所输入的请求文本，请求文本由一种或者多种语言组成；获取每个样本用户在输入请求文本之后，该样本用户所浏览的每个商品对应的用户浏览时长；针对任一请求文本，获取在输入该请求文本后用户浏览时长超过预设时长阈值的商品以及该商品对应的类目，将该商品对应的类目作为该请求文本的关联类目；针对任一请求文本，基于该请求文本与该请求文本对应的一个或多个关联类目，生成一个初始样本数据；对每条初始样本数据进行处理，以获取处理后的样本数据，并基于多条样本数据，生成样本数据集。

在一些实施例中，模型训练模块，还用于：对每条初始样本数据进行数据格式化，获得数据格式化之后生成的多条格式化样本数据；对每条格式化样本数据进行数据增强，获得数据增强之后生成的多条数据增强样本数据；对每条数据增强样本数据进行数据清洗，获得数据清洗之后生成的多条样本数据。

根据本公开实施例的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以实现如本申请第一方面实施例所述的一种多类目识别方法。

根据本公开实施例的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于实现如本申请第一方面实施例所述的一种多类目识别方法。

根据本公开实施例的第五方面，提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本申请第一方面实施例所述的一种多类目识别方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本申请通过目标多类目识别模型加强对用户意图的理解，提供更精确的类目识别结果，从而能够进一步提升用户购物体验和满意度，并且目标多类目识别模型的输出取决于候选类目集合的大小，可随着候选类目集合变化而变化，为商品的上下架、类目变更、汰换等场景预留了空间。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是本申请示出的一种多类目识别方法的示例性实施方式的示意图。

图2是本申请示出的一种目标多类目识别模型的训练方法的示意图。

图3是本申请示出的一种目标多类目识别模型的训练框架图。

图4是本申请示出的一种获取每个请求文本对应的每个候选类目的类目预测概率的示意图。

图5是本申请示出的一种多类目识别装置的示意图。

图6是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是本申请示出的一种多类目识别方法的示例性实施方式的示意图，如图1所示，该多类目识别方法，包括以下步骤：

S101，获取用户输入的实时请求文本。

其中，实时请求文本为用户打算进行搜索的词句。示例性的，在商城商品搜索场景中，实时请求文本为用户在搜索框中输入的查询词，比如说，实时请求文本可为“智能手环”、“一种可以发出声音的书”等词句。

S102，将实时请求文本输入目标多类目识别模型，获取目标多类目识别模型输出的每个候选类目对应的类目预测概率，其中，目标多类目识别模型中预设的有候选类目集合，候选类目集合中包含多个候选类目。

在目标多类目识别模型中预设一个候选类目集合，候选类目集合中包括所有的商品所对应的类目，比如说“手环”、“手机”、“数码产品”、“手表”等。

将实时请求文本输入目标多类目识别模型，获取目标多类目识别模型输出的每个候选类目对应的类目预测概率。示例性的，若候选类目集合中共包括100个候选类目，则将实时请求文本输入目标多类目识别模型之后，目标多类目识别模型会输出这100个候选类目各自对应的类目预测概率，类目预测概率用于表示该实时请求文本与该候选类目的相关程度。

S103，将所有类目预测概率按照从大到小的顺序进行排序，获取排序后生成的类目预测概率序列。

示例性的，若候选类目集合中共包括100个候选类目，目标多类目识别模型会输出实时请求文本与这100个候选类目各自对应的类目预测概率，对这100个类目预测概率按照从大到小的顺序进行排序，获取排序后生成的类目预测概率序列。

S104，获取类目预测概率序列中的前N个类目预测概率对应的N个候选类目，并将N个候选类目作为实时请求文本对应的目标类目。

假如说将N设置为5，则获取类目预测概率序列中的前5个类目预测概率对应的5个候选类目，并将这5个候选类目作为实时请求文本对应的目标类目。

进一步的，本申请中，还可设置一个类目预测概率阈值，比如说将类目预测概率阈值设置为0.5，若前N个类目预测概率中存在小于该类目预测概率阈值的类目预测概率，则将该类目预测概率对应的候选类目过滤掉，将N个候选类目中最终剩下的候选类目作为实时请求文本对应的目标类目。

本申请实施例提出了一种多类目识别方法，通过获取用户输入的实时请求文本；将实时请求文本输入目标多类目识别模型，获取目标多类目识别模型输出的每个候选类目对应的类目预测概率，其中，目标多类目识别模型中预设的有候选类目集合，候选类目集合中包含多个候选类目；将所有类目预测概率按照从大到小的顺序进行排序，获取排序后生成的类目预测概率序列；获取类目预测概率序列中的前N个类目预测概率对应的N个候选类目，并将N个候选类目作为实时请求文本对应的目标类目。本申请通过目标多类目识别模型加强对用户意图的理解，提供更精确的类目识别结果，从而能够进一步提升用户购物体验和满意度，并且目标多类目识别模型的输出取决于候选类目集合的大小，可随着候选类目集合变化而变化，为商品的上下架、类目变更、汰换等场景预留了空间。

图2是本申请示出的一种目标多类目识别模型的训练方法的示意图，如图2所示，该目标多类目识别模型的训练方法，包括以下步骤：

S201，获取样本数据集，其中，样本数据集中的每个样本数据包含一个请求文本以及与请求文本相关联的一个或多个类目标签。

本申请中，基于样本用户的搜索浏览日志，获取每个样本用户所输入的请求文本，请求文本由一种或者多种语言组成。本申请中，基于搜索浏览日志挖掘用户点击浏览行为，构建点击浏览商品与请求文本之间的关系，从而获取到模型训练的数据集，避免了人工标注耗时问题。

示例性的，请求文本可只由一种语言组成，也可由多个地区的多种语言组成，如：auriculares(西语)，montre(法语)，monopattino(意大利语)，handyhülle(德语)，

获取每个样本用户在输入请求文本之后，该样本用户所浏览的每个商品对应的用户浏览时长，针对任一请求文本，获取在输入该请求文本后用户浏览时长超过预设时长阈值的商品以及该商品对应的类目，将该商品对应的类目作为该请求文本的关联类目。示例性的，若用户1输入“band”，点击了商品“mi band 5”且停留时长超过了预设时长阈值，则将商品对应的类目“手环”赋值给“band”作为类目之一；用户2输入“band”，点击了商品“miband charger”且停留时长超过了预设时长阈值，则将商品对应的类目“可穿戴配件”赋值给“band”作为类目之一，也即，请求文本“band”对应的关联类目包括“手环”、“可穿戴配件”。

针对任一请求文本，基于该请求文本与该请求文本对应的一个或多个关联类目，生成一个初始样本数据，初始样本数据可表示为<请求文本，类目1，类目2…>。

在获取大量初始样本数据之后，需要对每条初始样本数据进行处理，以获取处理后的样本数据，并基于多条样本数据，生成样本数据集。

具体的，对每条初始样本数据进行处理，以获取处理后的样本数据包括数据格式化、数据增强和数据清洗等步骤，下边将依次进行介绍。

首先，对每条初始样本数据进行处理时，需要对每条初始样本数据进行数据格式化，比如说采用大写转小写、标点符号过滤(保留和商品强相关的标点符号，如+)、转义字符替换等方式，获得数据格式化之后生成的多条格式化样本数据。

接下来，需要对每条格式化样本数据进行数据增强，获得数据增强之后生成的多条数据增强样本数据，以丰富训练数据集，增加请求文本的多样性，让模型对未见过的请求文本也具有一定的鲁棒性。

可选的，在对每条格式化样本数据进行数据增强时，可将商品标题和关键词作为请求文本进行增强以提供更多样化、丰富的请求文本，从而增加模型对不同商品类别的识别能力。

可选的，在对每条格式化样本数据进行数据增强时，可人工噪声变体，扩充请求文本的模式：首先对请求文本进行分词，然后按照如下的策略进行加噪：

1、随机删除请求文本中的不重要的单词，如：商品型号、修饰词(智能、手持)等。

2、随机将请求文本中相邻的单词交换顺序，如：band strap交换后变为strapband。

3、随机将请求文本中的一些单词进行重复，如：band 5重复后变为bandband 5。

可选的，在对每条格式化样本数据进行数据增强时，可利用翻译工具将请求文本翻译到其他语种再回译回本地语种，可以引入新的语义和表达方式，例如：西班牙语中的reloj，翻译到法语中的horloge，在回译到西班牙中mirar。这种增强策略能够帮助模型对不同语言之间的类目关联进行学习，并提升模型在多语言环境下的泛化能力。

最后，对每条数据增强样本数据进行数据清洗，以获得数据清洗之后生成的多条样本数据。

可选的，本申请中，可对同一商品点击的关联请求文本进行聚合，以获取属于同一个大类别的样本数据集，提升目标多类目识别模型的泛化能力。

S202，获取预设的候选类目集合，候选类目集合中包含多个候选类目。

在目标多类目识别模型中预设一个候选类目集合，候选类目集合中包括所有的商品所对应的类目，比如说“手环”、“手机”、“数码产品”、“手表”等。

S203，基于样本数据集和候选类目集合对初始多类目识别模型进行训练，获取初始多类目识别模型输出的每个请求文本对应的每个候选类目的类目预测概率。

图3是本申请示出的一种目标多类目识别模型的训练框架图，如图3所示，初始多类目识别模型由文本编码器、类目编码器、语义聚合层和输出层组成。

图4是本申请示出的一种获取每个请求文本对应的每个候选类目的类目预测概率的示意图，如图4所示，该获取每个请求文本对应的每个候选类目的类目预测概率，包括以下步骤：

S2031，将样本数据集的请求文本输入文本编码器，获取文本编码器输出的文本特征向量。

其中，文本编码器由位置编码器、预训练句子编码器(Universal SentenceEncoder，USE)和堆叠编码器(Stack Encoder)组成。

本申请中，将样本数据集中的请求文本输入位置编码器，获取位置编码器输出的位置嵌入向量，位置嵌入向量表示了请求文本中单词之间的相对位置信息。

将样本数据集中的请求文本输入预训练句子编码器，获取预训练句子编码器输出的语义特征向量，位置嵌入向量与语义特征向量的维度相同。其中，若预训练句子编码器输出的语义特征向量与位置嵌入向量的维度不相同的话，可在预训练句子编码器后接一个前馈网络(feed-forward network，FFN)，以将语义特征向量转换为与位置嵌入向量的相同维度。将位置嵌入向量与语义特征向量相加，获取相加后获得的语义位置融合向量。

将语义位置融合向量输入堆叠编码器，获取经堆叠编码器进行特征提取后输出的文本特征向量。其中，堆叠编码器由多层自注意力机制(Self-Attention)堆叠而成，每一层的自注意力机制的参数并不相同。

S2032，将候选类目集合输入类目编码器，获取类目编码器输出的类目向量。

鉴于候选类目的文本长度偏短，本申请中，在模型中利用循环神经网络作为类目编码器进行类目文本编码，得到候选类目集合的类目向量，其中循环神经网络可使用循环神经网络(Recurrent Neural Network,RNN)、长短期记忆网络(Long short-term memory，LSTM)、门控循环单元(Gate Recurrent Unit，GRU)等网络结构。

S2033，基于语义聚合层对类目向量与文本特征向量进行聚合，获取聚合后生成的聚合特征向量。

本申请中，通过注意力机制将请求文本中和类目语义强相关的token突出，非相关的token抑制，即最大程度保留请求文本中对类目识别有利的token，再基于注意力机制获取文本特征向量中每个token向量的权重，基于每个token向量的权重结合类目向量进行加权，获得聚合特征向量，以将类目向量的语义信息融入到文本特征向量，让模型学习到具有类似语义的请求更容易被识别成相同的类目。

S2034，基于聚合特征向量，经输出层处理后输出每个请求文本对应的每个候选类目的类目预测概率。

对聚合特征向量进行线性变换和sigmoid激活函数激活，以获取每个请求文本对应的每个候选类目的类目预测概率。

S204，基于每个请求文本对应的每个候选类目的类目预测概率，结合该请求文本相关联的一个或多个类目标签，对初始多类目识别模型进行迭代训练，获取训练完成后生成的目标多类目识别模型。

作为一种可实现的方式，基于每个请求文本对应的每个候选类目的类目预测概率，结合该请求文本相关联的一个或多个类目标签，对初始多类目识别模型进行迭代训练，直至初始多类目识别模型的损失函数收敛，结束训练，获取训练完成后生成的目标多类目识别模型。其中，损失函数可采用交叉熵损失(Cross Entropy Loss)。

作为另一种可实现的方式，基于每个请求文本对应的每个候选类目的类目预测概率，结合该请求文本相关联的一个或多个类目标签，对初始多类目识别模型进行迭代训练，直至初始多类目识别模型的训练次数达到预设次数，结束训练，获取训练完成后生成的目标多类目识别模型。

进一步的，在训练过程中会保存多个阶段的模型文件，基于不同于训练集的测试集从多个模型文件中挑选出效果最好的一个模型，其中效果最好定义为识别准确率最高，定义为目标多类目识别模型。

本申请实施例中，通过构建多语言请求文本样本数据集，并在模型中使用预训练句子编码器，充分利用了多地区中同类商品语义相似的信息，实现数据的互补，同时也为商城新建站前期数据严重不足带来的few-shot问题提供了一种改善方法，即利用其他区域具有相似语义的数据来改善语料不足的问题，同时，通过文本编码器提取文本特征向量，通过类目编码器提取类目向量，再基于语义聚合层将类目向量聚合至文本特征向量，以使得最终输出层输出每个请求文本对应的每个候选类目的类目预测概率，并对初始多类目识别模型进行迭代训练，获取了对类目识别更准确的目标多类目识别模型。

图5是本申请示出的一种多类目识别装置的示意图，如图5所示，该多类目识别装置500，包括文本获取模块501、模型输出模块502、概率排序模块503和类目确定模块504，其中：

文本获取模块501，用于获取用户输入的实时请求文本。

模型输出模块502，用于将实时请求文本输入目标多类目识别模型，获取目标多类目识别模型输出的每个候选类目对应的类目预测概率，其中，目标多类目识别模型中预设的有候选类目集合，候选类目集合中包含多个候选类目。

概率排序模块503，用于将所有类目预测概率按照从大到小的顺序进行排序，获取排序后生成的类目预测概率序列。

类目确定模块504，用于获取类目预测概率序列中的前N个类目预测概率对应的N个候选类目，并将N个候选类目作为实时请求文本对应的目标类目。

本装置通过目标多类目识别模型加强对用户意图的理解，提供更精确的类目识别结果，从而能够进一步提升用户购物体验和满意度，并且目标多类目识别模型的输出取决于候选类目集合的大小，可随着候选类目集合变化而变化，为商品的上下架、类目变更、汰换等场景预留了空间。

在一些实施例中，多类目识别装置500还包括模型训练模块505，模型训练模块505，用于：获取样本数据集，其中，样本数据集中的每个样本数据包含一个请求文本以及与请求文本相关联的一个或多个类目标签；获取预设的候选类目集合，候选类目集合中包含多个候选类目；基于样本数据集和候选类目集合对初始多类目识别模型进行训练，获取初始多类目识别模型输出的每个请求文本对应的每个候选类目的类目预测概率；基于每个请求文本对应的每个候选类目的类目预测概率，结合该请求文本相关联的一个或多个类目标签，对初始多类目识别模型进行迭代训练，获取训练完成后生成的目标多类目识别模型。

在一些实施例中，初始多类目识别模型由文本编码器、类目编码器、语义聚合层和输出层组成，模型训练模块505，还用于：将样本数据集的请求文本输入文本编码器，获取文本编码器输出的文本特征向量；将候选类目集合输入类目编码器，获取类目编码器输出的类目向量；基于语义聚合层对类目向量与文本特征向量进行聚合，获取聚合后生成的聚合特征向量；基于聚合特征向量，经输出层处理后输出每个请求文本对应的每个候选类目的类目预测概率。

在一些实施例中，文本编码器由位置编码器、预训练句子编码器和堆叠编码器组成，模型训练模块505，还用于：将样本数据集中的请求文本输入位置编码器，获取位置编码器输出的位置嵌入向量；将样本数据集中的请求文本输入预训练句子编码器，获取预训练句子编码器输出的语义特征向量，位置嵌入向量与语义特征向量的维度相同；将位置嵌入向量与语义特征向量相加，获取相加后获得的语义位置融合向量；将语义位置融合向量输入堆叠编码器，获取经堆叠编码器进行特征提取后输出的文本特征向量。

在一些实施例中，模型训练模块505，还用于：基于注意力机制获取文本特征向量中每个token向量的权重；基于每个token向量的权重结合类目向量进行加权，获得聚合特征向量。

在一些实施例中，模型训练模块505，还用于：对聚合特征向量进行线性变换和函数激活，以获取每个请求文本对应的每个候选类目的类目预测概率。

在一些实施例中，模型训练模块505，还用于：对初始多类目识别模型进行迭代训练，直至初始多类目识别模型的损失函数收敛，结束训练，获取训练完成后生成的目标多类目识别模型；或者，对初始多类目识别模型进行迭代训练，直至初始多类目识别模型的训练次数达到预设次数，结束训练，获取训练完成后生成的目标多类目识别模型。

在一些实施例中，模型训练模块505，还用于：基于样本用户的搜索浏览日志，获取每个样本用户所输入的请求文本，请求文本由一种或者多种语言组成；获取每个样本用户在输入请求文本之后，该样本用户所浏览的每个商品对应的用户浏览时长；针对任一请求文本，获取在输入该请求文本后用户浏览时长超过预设时长阈值的商品以及该商品对应的类目，将该商品对应的类目作为该请求文本的关联类目；针对任一请求文本，基于该请求文本与该请求文本对应的一个或多个关联类目，生成一个初始样本数据；对每条初始样本数据进行处理，以获取处理后的样本数据，并基于多条样本数据，生成样本数据集。

在一些实施例中，模型训练模块505，还用于：对每条初始样本数据进行数据格式化，获得数据格式化之后生成的多条格式化样本数据；对每条格式化样本数据进行数据增强，获得数据增强之后生成的多条数据增强样本数据；对每条数据增强样本数据进行数据清洗，获得数据清洗之后生成的多条样本数据。

图6是根据一示例性实施例示出的一种电子设备600的框图。

如图6所示，上述电子设备600包括：

存储器601及处理器602，连接不同组件(包括存储器601和处理器602)的总线603，存储器601存储有计算机程序，当处理器602执行程序时实现本公开实施例的一种多类目识别方法。

总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备600典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器601还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)604和/或高速缓存存储器605。电子设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统606可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。存储器601可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块607的程序/实用工具608，可以存储在例如存储器601中，这样的程序模块607包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块607通常执行本公开所描述的实施例中的功能和/或方法。

电子设备600也可以与一个或多个外部设备609(例如键盘、指向设备、显示器610等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口611进行。并且，电子设备600还可以通过网络适配器612与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器612通过总线603与电子设备600的其它模块通信。应当明白，尽管图6中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器602通过运行存储在存储器601中的程序，从而执行各种功能应用以及数据处理。

需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的一种多类目识别方法的解释说明，此处不再赘述。

为了实现上述实施例，本申请实施例还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机实现如上述实施例所示的一种多类目识别方法。可选的，非瞬时计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

为了实现上述实施例，本申请实施例还提出一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上述实施例所示的一种多类目识别方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。