信息排序方法、装置、电子设备和存储介质

技术领域

本申请涉及人工智能技术领域中的深度学习、知识图谱等技术领域，尤其涉及一种信息排序方法、装置、电子设备和存储介质。

背景技术

在进行信息检索的过程中，会对检测到的各种信息，按照与搜索问题的关联度进行排序。但是，针对特定领域的信息检索，目前的信息排序系统无法精确高效的进行排序处理，不能很好地解决领域间迁移等问题。

发明内容

本申请提供了一种用于信息排序的方法、装置、设备以及存储介质，涉及人工智能尤其是深度学习、知识图谱等技术领域。提供了一种计算量小、效果更好的信息排序方法。

根据本申请的第一方面，提供了一种信息排序方法，包括：

获取目标领域的目标样本语料集，其中，所述目标样本语料集包括：样本问题和对应的样本反馈信息；

获取所述样本问题和对应的所述样本反馈信息之间的相关度特征；

获取所述样本问题和对应的所述样本反馈信息之间的分类特征；

根据所述相关度特征和所述分类特征建立所述目标领域的排序系统，根据所述排序系统对待处理的目标问题对应的目标反馈信息进行排序。

根据本申请的第二方面，提供了一种信息排序装置，包括：

第一获取模块，用于获取目标领域的目标样本语料集，其中，所述目标样本语料集包括：样本问题和对应的样本反馈信息；

第二获取模块，用于获取所述样本问题和对应的所述样本反馈信息之间的相关度特征；

第三获取模块，用于获取所述样本问题和对应的所述样本反馈信息之间的分类特征；

系统建立模块，用于根据所述相关度特征和所述分类特征建立所述目标领域的排序系统，根据所述排序系统对待处理的目标问题对应的目标反馈信息进行排序。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请的一方面所述信息排序方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请的第一方面所述信息排序方法。

根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述信息排序方法。

根据本申请的技术方案，提供了一种可以在领域间可以实现迁移且算力要求更低的信息排序方法。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请一个实施例的信息排序方法的流程图；

图2是根据本申请另一个实施例的信息排序方法的流程图；

图3是根据本申请又一个实施例的信息排序方法的流程图；

图4是根据本申请一个实施例的信息排序装置的结构框图；

图5是根据本申请另一个实施例的信息排序装置的结构框图；

图6是根据本申请又一个实施例的信息排序装置的结构框图；

图7是根据本申请又一个实施例的信息排序装置的结构框图；

图8是根据本申请又一个实施例的信息排序装置的结构框图；

图9是用来实现本申请实施例的信息排序的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本申请一个实施例的信息排序方法的流程图。需要说明的是，本申请实施例的信息排序方法可应用于本申请实施例的信息排序装置，该信息排序装置可被配置于本申请实施例的电子设备上。

如图1所示，该信息排序方法可以包括：

步骤101，获取目标领域的目标样本语料集，其中，目标样本语料集包括：样本问题和对应的样本反馈信息。

信息排序可以应用于不同的领域范围，包括领域范围较宽的面向个人客户，以及领域范围较窄的面向机构客户。由于成本和语料的限制，目前适用于面向个人客户的排序系统无法满足面向机构客户所需要的目标领域内的信息排序需求。其中，该目标领域包括但不限于：口腔医疗、医疗、军事中的任一种或多种组成的交叉领域。因此，本申请提出一种针对面向机构客户所需要的信息排序系统。

首先，从目标领域的众多信息中提取出目标样本语料集，其中，目标样本语料集具体包括：样本问题和样本反馈信息。

在本申请一些实施例中，样本问题包括但不限于：信息排序的关键字字符串和/或输入检索框的检索字符串。样本问题的格式包括但不限于：文本、语音、图像中的任一种或多种。样本反馈信息包括但不限于：通过关键字检索到的信息、通过输入检索框的检索字段检索到的信息中的任一种。样本反馈信息的格式包括但不限于：网页、文档、视频中的任一种或多种。其中，该样本反馈信息的信息种类包括但不限于：标题字符串、标题和副标题拼接组成的字符串中的任一种。

步骤102，获取样本问题和对应的样本反馈信息之间的相关度特征。在本申请一些实施例中，同一样本问题可以对应多个样本反馈信息，在将样本反馈信息展现给用户的时候，和样本问题关系紧密的样本反馈信息通常以用户容易注意的方式展现；和样本问题关系不紧密的样本反馈信息通常以用户不容易注意的方式展现，该展现方式即可理解为信息排序。

可以理解地，信息排序可以基于样本问题和对应样本反馈信息之间的特征，该特征包括但不限于：相关度特征和/或分类特征。

在本申请一些实施例中，相关度特征代表了样本问题和对应的样本反馈信息的相关性。可以分别对样本问题和其对应的样本反馈信息进行特征提取，得到特征向量，再计算特征向量之间的相似度。其中，特征提取方法包括但不限于：TF-IDF(term frequency–inverse document frequency)、Word2Vec中的任一种。相似度计算方法包括但不限于：欧拉距离、余弦相似度中的任一种。

步骤103，获取样本问题和对应的样本反馈信息之间的分类特征。

如上所述，除相关度特征之外，还有一个特征为分类特征。

在本申请一些实施例中，样本问题对应一个类别，该类别可以记为样本问题类别，样本反馈信息对应一个类别，该类别可以记为反馈信息类别。样本问题类别和反馈信息类别之间的关系即可理解为分类特征。

在本申请一些实施例中，可以对样本问题和对应的样本反馈信息进行分词处理，根据分词处理获得的词和已有的分类列表中的类别进行相似度比较，相似度最高的即为样本问题类别和反馈信息类别。将样本问题类别和反馈信息类别进行相似度比较，该比较结果即为分类特征。该相似度比较方法包括但不限于：N-gram相似度比较、Jaccard相似度比较中的任一种方法。

步骤104，根据相关度特征和分类特征建立目标领域的排序系统，根据排序系统对待处理的目标问题对应的目标反馈信息进行排序。

进而，根据样本问题和对应的样本反馈信息之间的相关度特征和分类特征，建立目标领域的排序系统。需要说明的是，在本申请一些实施例中，可以根据具体应用需要选择合适的深度学习模型，其中，所述深度学习模型包括但不限于：多层神经网络、循环神经网络中的任一种。然后，将样本问题和对应的样本反馈信息的相关度特征和分类特征作为输入，样本反馈信息的排序序号作为输出，对该深度学习模型进行训练，得到目标领域的排序系统。

当需要对目标领域中的问题进行检索时，获取用户输入的待检索的目标问题以及检索系统搜索到的对应的目标反馈信息。通过训练获得的排序系统获取目标问题和对应目标反馈信息之间的相关度特征和分类特征值会得出目标反馈信息序号，并根据目标反馈信息序号进行排序。

基于上述实施例，进一步需要说明的是，如果目前的排序系统是根据目标问题和对应目标反馈信息之间的其他特征，对目标反馈信息进行排序的，那么，在现有排序系统的基础上，本发明提出的排序系统也同样适用，即在现有特征的基础上增加相关度特征和分类特征，训练得到排序系统。

可以理解地，相关度特征和分类特征是可以代表目标领域的特性的特征，基于这两种特征构建的排序系统可以实现不同领域间的快速迁移，满足目标领域内的特殊需求，并且可以提升目标领域的排序效果。

根据本申请实施例的信息排序算法，根据目标领域的目标样本语料集中的样本问题和对应的样本反馈信息，得到相关度特征和分类特征。根据这两个特征构建可以对目标反馈信息进行排序的目标领域排序系统。

现有的特征大都是基于字面的，本申请提出的两个特征不仅仅是基于字面的特征，其具有了更多的语义特征以及领域特征。由于有了比基于字面更深层的特征，在对该排序系统进行训练时，对训练数据的质量、数量的要求以及对算力的需求也会相应下降，可以在目标领域训练数据的质量、数量以及算力有限的情况下，获得效果更好的排序系统。同时，由于本申请提出的两个特征揭示了样本问题和样本反馈信息的领域特征，可以更好地表达目标领域的特性，从而可以更好的实现领域迁移。

本申请的第二实施例中，基于第一实施例，为了使模型的算力需求和硬件需求更低，可以对模型进行轻量化处理。可以基于图1的信息排序方案使用实施例二具体说明该方法。可选地，步骤102，具体操作可以为步骤201-204。

图2是根据本申请另一个实施例的信息排序方法的流程图。为了更清楚说明如何对模型进行轻量化处理，可以通过图2具体说明，图2为根据本申请一个实施例的方法的流程图，具体包括：

步骤201，根据预先训练的原始语义匹配模型对样本问题和对应的样本反馈信息进行匹配打分，根据打分结果获取待泛化数据集和第一负例集。

可以理解地，可以对一个非轻量化的模型进行轻量化处理，从而获得轻量化模型，预先训练的原始语义模型可以为一种非轻量化模型。

在本申请一些实施例中，可以通过包括但不限于以下两种方法中的任一种获取预先训练的原始语义匹配模型：

方法一，可以设定一个预设阈值，将问题对应的反馈信息的排序序号和该预设阈值进行比较，大于该预设阈值的记为负例集，小于该预设阈值的记为正例集。使用该正例集和负例集作为训练集，得到原始语义匹配模型，该原始语义匹配模型基于的模型包括但不限于：BiMPM(Bilateral Multi-perspective Matching)、DIIN(Densely InteractiveInference Network)中的任一个。

方法二，还可以对正例集和负例集进行更细致的筛选，该原始语义匹配模型的获得包括如下步骤：

步骤一，获取各领域的问题和对应的反馈信息。

在本申请一些实施例中，各领域可以是多个领域，所述多个领域包括但不限于：目标领域、目标领域相近领域、面向个人用户的领域中的一个或多个相结合。各领域中会有问题和对应的反馈信息，所述问题包括但不限于：信息排序的关键字字符串和/或输入检索框的检索字符串。所述反馈信息包括但不限于：通过关键字检索到的信息、通过输入检索框的检索字段检索到的信息中的任一种，其中，该信息包括但不限于：标题字符串、标题和副标题拼接组成的字符串中的任一种。

步骤二，根据每个问题对应的反馈信息的排序，获取相关性满足第一预设条件的反馈信息作为第二正例集，以及相关性满足第二预设条件的反馈信息作为第二负例集。

在本申请一些实施例中，第一预设条件可以为排序靠前，第二预设条件可以为排序靠后。可以理解地，可以将问题对应的反馈信息进行排序，取排序靠前的反馈信息，和问题配对组成第二正例集。取排序靠后的反馈信息，和问题配对组成第二负例集，第二负例集中还可以包括其他问题排序靠后的反馈信息。

举例而言，可以取问题对应的排序1-5位的反馈信息，和对应的问题配对组成第二正例集。可以取问题对应的排序20-25位反馈信息，以及，其他问题对应的排序20-25位反馈信息中的多个，和问题配对组成第二负例集。

步骤三，根据第二正例集和第二负例集训练预设模型，生成原始语义匹配模型。

可以理解地，可以使用第二正例集和第二负例集对模型进行训练，从而生成原始语义匹配模型进行训练。

在本申请一些实施例中，原始语义匹配模型可以包括一个ERNIE(EnhancedLanguage Representation with Informative Entities)模型和一个匹配模型，ERNIE模型的输入为问题及对应的反馈信息，输出为语义向量，可以将语义向量作为匹配模型的输入，匹配模型的输出则为表征正例或负例的符号或字符。该匹配模型包括但不限于：BiMPM(Bilateral Multi-perspective Matching)、DIIN(Densely Interactive InferenceNetwork)中的任一种。

可以理解地，在获取预先训练的原始语义匹配模型之后，可以使用该模型获取训练用数据集。

在本申请一些实施例中，目标领域的样本问题和对应的样本反馈信息中，匹配度较高的为少数，大部分匹配度较低。然而深度学习中，对模型进行训练时，需要大量的数据，现有的匹配度较高的样本问题和对应的样本反馈信息的数量是不足的，因此可以对匹配度较高的样本问题和对应的样本反馈信息进行泛化操作。

举例而言，可以使用训练得到的原始语义匹配模型对样本问题和对应的样本反馈信息进行匹配打分，根据该打分结果可以获取待泛化数据集和第一负例集。可以理解地，通常匹配度越高，则打分结果越高，可以设定一预设阈值，打分结果高于该预设阈值的，即匹配度较高，即为待泛化的数据集，打分结果低于该预设阈值的即为第一负例集。通常来说，打分结果低于阈值的样本问题和对应的样本反馈信息的数目是足够多的，因此可以直接记为负例集，不需要再进行泛化操作。但是在一些特殊情况下，在目标领域中，打分结果低于阈值的样本问题和对应的样本反馈信息也不足，可以采用泛化方法来扩展该第一负例集。

步骤202，根据原始语义匹配模型对待泛化的数据集和各领域的问题和对应的反馈信息进行匹配打分，根据打分结果获取第一正例集。

在本申请一些实施例中，待泛化数据集存在对应的待泛化样本问题和对应的待泛化样本反馈信息，可以使用原始语义匹配模型对两组数据进行匹配度打分，其中，一组数据来自待泛化数据集中的待泛化样本问题或待泛化样本反馈信息；另一组数据来自各领域中的问题或反馈信息。根据打分结果，可以获取第一正例集。举例而言，可以取打分高的问题或反馈信息作为泛化后的样本问题或泛化后的样本反馈信息。泛化后的样本问题和泛化后的样本反馈信息的对应关系，与待泛化样本问题和待泛化样本反馈信息的对应关系相同。该泛化后的样本问题和对应的泛化后的样本反馈信息即为第一正例集。

步骤203，根据第一正例集和第一负例集训练目标语义匹配模型。

可以理解地，此时得到的第一正例集和第一负例集可以用于训练目标语义匹配模型，第一正例集中的数据数目和第一负例集中的数据数目的比值可以是1:1.5左右，也可以是其他会使目标语义匹配模型的效果更好的比值。

在本申请一些实施例中，目标语义匹配模型可以为一轻量化模型，该轻量化模型需要的参数数量一般少于原始语义匹配模型中参数的数量，并且该轻量化模型对算力的要求更低，相应的对硬件的要求也更低，可以部署在计算资源有限的设备上，该设备包括但不限于：智能手机、平板电脑、嵌入式设备中的任一种。该目标语义匹配模型的基础模型包括但不限于：BOW(Bag of word)、CNN(Convolutional Neural Networks，卷积神经网络)中的任一种。

步骤204，根据目标语义匹配模型对样本问题和对应的样本反馈信息进行处理，获取样本问题和样本反馈信息之间的相关度特征。

可以理解地，当需要获得样本问题和样本反馈信息之间的相关度特征时，可以将样本问题和样本反馈信息输入目标语义匹配模型，模型的输出值即为所需的相关度特征。

根据本申请实施例的信息排序方法，通过原始语义匹配模型对样本问题和对应的样本反馈信息进行打分获得第一负例集，并且进行泛化处理获得第一正例集。使用该第一正例集和第一负例集对轻量化模型训练，生成目标语义匹配模型。该目标语义匹配模型所需要的计算资源少，硬件要求低，计算速度更快，由于第一正例集和第一负例集的数据充足，因此模型的效果和原始语义匹配模型相比，差距是可以接受的。因此可以使用该目标语义匹配模型进行样本问题和样本反馈信息之间相关度特征的计算。

本申请的第三实施例中，基于上述实施例，为了使分类特征的获取方法需要的计算资源更少，硬件要求更低，可以对模型继续进行轻量化处理。为了更清楚说明该轻量化处理过程，可以基于上述各实施例的信息排序方案使用实施例三，具体说明该轻量化处理方法。在本申请一些实施例中，可选地，步骤103，具体操作可以为步骤301-303。

更清楚地，可以通过图3具体说明，图3是根据本申请又一个实施例的信息排序方法的流程图，具体包括：

步骤301，根据预先训练的原始分类模型对目标领域相关领域内的问题和对应的反馈信息进行分类处理，根据分类结果训练目标分类模型。

可以理解地，可以先训练获得一非轻量化模型，然后对该非轻量化模型进行轻量化处理，从而获得轻量化模型，预先训练的原始分类模型可以为一非轻量化模型。

在本申请一些实施例中，可以通过包括但不限于以下两种方法中的任一种获取预先训练的原始分类模型：

方法一：可以使用各领域的问题的分类标签和反馈信息的分标签对深度学习模型进行训练，得到原始分类模型。所述深度学习模型包括但不限于BERT(BidirectionalEncoder Representation from Transformers)模型、Text-to-Text TransferTransformer(T5)模型中的任一种。

方法二：为了更准确地获得分类特征，还可以对分类模型进行测试，该技术手段的具体步骤如下：

步骤一，获取各领域的问题的分类标签和对应的反馈信息的分类标签。

在本申请一些实施例中，各领域可以是多个领域，所述多个领域包括但不限于：目标领域、目标领域相近领域、面向个人用户的领域中的一个或多个相结合。各领域中会有问题和对应的反馈信息，所述问题包括但不限于：信息排序的关键字字符串和/或输入检索框的检索字符串。所述反馈信息包括但不限于：通过关键字检索到的信息、通过输入检索框的检索字段检索到的信息中的任一种，其中，该信息包括但不限于：标题字符串、标题和副标题拼接组成的字符串中的任一种。各领域中的问题和反馈信息都会有对应的分类标签，该分类标签用于标书问题和反馈信息的类别。

步骤二，根据所述各领域的问题的分类标签和对应的反馈信息的分类标签，对预设模型进行训练获取待测分类模型。

在本申请一些实施例中，待测分类模型可以包括一个ERNIE模型和一个分类模型，训练时，ERNIE模型的输入为问题或反馈信息，输出为语义向量，可以将语义向量作为分类模型的输入，分类模型的输出为对应的分类标签。分类模型包括但不限于BERT(Bidirectional Encoder Representation from Transformers)模型、Text-to-TextTransfer Transformer(T5)模型中的任一种。

步骤三，获取所述样本问题的分类标签和对应的样本反馈信息的分类标签，对所述待测分类模型进行测试。

在本申请一些实施例中，可以使用目标领域中的样本问题及其对应的分类标签和样本反馈信息及其对应的分类标签对分类模型进行测试，通常来说，测试会得到相应的测试结果，所述测试结果包括但不限于：召回率、准确率中的一种或多种。

步骤四，如果测试结果满足预设条件，则确定所述待测分类模型为所述原始分类模型。

在本申请一些实施例中，预设条件可以为一个预设阈值，当测试结果优于该阈值的时候，可以认为该待测分类模型就是原始分类模型。

步骤五，如果测试结果不满足预设条件，则对所述待测分类模型进行调整直到满足所述预设条件，并将调整后分类模型确定为所述原始分类模型。

可以理解地，当测试结果不满足预设条件时，还需要对待测分类模型进行调整。

在本申请一些实施例中，可以对待测分类模型的信息利用方式或者模型的结果进行调整，也可以对问题和对应的反馈信息的所述领域进行调整，可以选取各领域中与目标领域更接近的相关领域，使用该相关领域的问题及其分类标签和反馈信息及其分类标签重新对分类模型进行训练。

举例而言，可以对待测分类模型使用不限于上述三种调整手段中的任一种或多种进行调整，直到待测分类模型可以满足预设条件。调整后的分类模型即为原始分类模型。

可以理解地，使用领域内样本问题及其分类标签和样本反馈信息及其分类标签对待测分类模型进行测试，如果不满足预设条件则对待测分类模型进行调整，直到满足预设条件，得到原始分类模型。该测试和调整可以使原始分类模型的能力提升到一个统一标准，保证了目标领域的排序系统中的分类特征在目标领域较广泛时，仍然是可以进行比较的。

可以理解地，在获取预先训练的原始分类模型之后，可以使用该模型对目标领域相关领域内的问题和对应的反馈信息进行分类处理，该分类处理结果即为训练用数据集。

可以理解地，当前目标领域内的带有分类标签的数据是不足训练得到目标分类模型的，因此还需要得到更多的数据用于目标分类模型的训练，可以对目标领域内带有分类标签的数据进行泛化操作。

在本申请一些实施例中，各领域中的数据的覆盖面较广，可以选取各领域中与目标领域较为接近的相关领域，并选取相关领域内的问题和对应的反馈信息。使用获取到的原始分类模型对相关领域内的问题和对应的反馈信息分别进行分类处理，得到相应的分类概率向量，该分类概率向量表示了问题或反馈信息属于不同类别的概率。问题和对应的分类概率向量构成了问题分类集，反馈信息和对应的分类概率向量构成了反馈信息分类集。

可以理解地，相关领域内的问题分类集和反馈信息分类集的数据量已经足够训练得到目标分类模型。

在本申请一些实施例中，目标分类模型可以以一轻量化模型为基础训练得到，该轻量化模型包括但不限于：多层卷积神经网络、多层循环神经网络。进行训练时，目标分类模型的输入为相关领域内的问题或反馈信息，目标分类模型的输出为问题分类集或反馈信息分类集中输入数据对应的分类概率向量。

步骤302，根据目标分类模型获取样本问题的分类概率以及对应的样本反馈信息的分类概率。

在本申请一些实施例中，可以使用目标分类模型对样本问题和对应的样本反馈信息进行分类处理，处理得到的结果即为对应的分类概率向量，可以取样本问题对应的分类概率向量中最大的概率作为该样本问题的分类概率，该分类概率对应的分类即为该样本问题的分类。取样本反馈信息的分类概率向量中，属于其对应的样本问题的分类的概率向量，作为样本反馈信息的分类概率。

步骤303，按照预设算法对样本问题的分类概率以及对应的样本反馈信息的分类概率进行计算，获取样本问题和样本反馈信息之间的分类特征。

在本申请一些实施例中，分类特征可以是由样本问题的分类概率和样本反馈信息系的分类概率通过预设算法得到的，该预设算法包括但不限于：求和、求乘积中的任一种。

可以理解地，该算法可以保证不同领域的分类特征可以映射到同一区间内，使得不同领域的分类特征可以进行比较。

根据本申请实施例的信息排序方法，根据原始分类模型对目标领域的相关领域的问题和反馈信息进行分类处理，该过程可以理解为对目标领域中的样本问题和样本反馈信息的一个泛化过程。通过该过程，可以得到数量和质量都更佳的数据训练得到目标分类模型。目标分类模型为一轻量化模型，算力要求更低、计算速度更快、对硬件的需求性更低，可以有更广泛的应用场景，同时由于其训练数据的数量和质量得到了提升，所以其相比原始分类模型相差的效果是可以接受的。

根据本申请的实施例，本申请还提供了一种信息排序装置。

图4是根据本申请一个实施例的信息排序装置的结构框图。如图4所示，该事件分类处理装置400可以包括：第一获取模块410，第二获取模块420，第三获取模块430，系统建立模块440。

具体地，第一获取模块410，用于获取目标领域的目标样本语料集，其中，目标样本语料集包括：样本问题和对应的样本反馈信息。

第二获取模块420，用于获取样本问题和对应的样本反馈信息之间的相关度特征。

第三获取模块430，用于获取样本问题和对应的样本反馈信息之间的分类特征。

系统建立模块440，用于根据相关度特征和分类特征建立目标领域的排序系统，根据排序系统对待处理的目标问题对应的目标反馈信息进行排序。

图5是根据本申请另一个实施例的信息排序装置的结构框图。在本申请一些实施例中，如图5所示，该信息排序装置500中第二获取模块520还可以包括第一获取单元521，第一处理单元522，第一生成单元523，第二获取单元524：

具体地，

第一获取单元521，用于根据预先训练的原始语义匹配模型对样本问题和对应的样本反馈信息进行匹配打分，根据打分结果获取待泛化数据集和第一负例集；。

第一处理单元522，用于根据原始语义匹配模型对待泛化的数据集和各领域的问题和对应的反馈信息进行匹配打分，根据打分结果获取第一正例集。

第一生成单元523，用于根据第一正例集和第一负例集训练目标语义匹配模型。

第二获取单元524，用于根据目标语义匹配模型对样本问题和对应的样本反馈信息进行处理，获取样本问题和样本反馈信息之间的相关度特征。

其中，图5中510、530、540和图4中410、430、440具有相同功能和结构。

图6是根据本申请另一个实施例的信息排序装置的结构框图。在本申请一些实施例中，如图6所示，该信息排序装置600中第二获取模块620还可以包括第三获取单元625，第二处理单元626，第二生成单元627：

具体地，第三获取单元625，用于获取各领域的问题和对应的反馈信息。

第二处理单元626，用于根据每个问题对应的反馈信息的排序，获取相关性满足第一预设条件的反馈信息作为第二正例集，以及相关性满足第二预设条件的反馈信息作为第二负例集。

第二生成单元627，用于根据第二正例集和所述第二负例集训练预设模型，生成原始语义匹配模型。

其中，图6中610、630、640和图5中510、530、540具有相同功能和结构，图6中621-624和图5中521-524具有相同功能和结构。

图7是根据本申请又一个实施例的信息排序装置的结构框图。在本申请一些实施例中，如图7所示，该信息排序装置700中第三获取模块730还可以包括第三处理单元731，第四获取单元732，第五获取单元733：

具体地，第三处理单元731，用于根据预先训练的原始分类模型对目标领域的相关领域内的问题和对应的反馈信息进行分类处理，根据分类结果训练目标分类模型。

第四获取单元732，用于根据目标分类模型获取样本问题的分类概率以及对应的样本反馈信息的分类概率。

第五获取单元733，用于按照预设算法对样本问题的分类概率以及对应的样本反馈信息的分类概率进行计算，获取样本问题和样本反馈信息之间的分类特征。

其中，图7中710、720、740和图6中610、620、640具有相同功能和结构，图7中721-727和图6中621-627具有相同功能和结构。

图8是根据本申请又一个实施例的信息排序装置的结构框图。在本申请一些实施例中，如图8所示，该信息排序装置800中第三获取模块830还可以包括第六获取单元834，第四处理单元835，测试单元836，模型确认单元837：

具体地，第六获取单元834，用于获取各领域的问题的分类标签和对应的反馈信息的分类标签；

第四处理单元835，用于根据各领域的问题的分类标签和对应的反馈信息的分类标签，对预设模型进行训练获取待测分类模型；

测试单元836，用于获取样本问题的分类标签和对应的样本反馈信息的分类标签，对待测分类模型进行测试；

模型确认单元837，用于在测试结果满足预设条件时，则确定待测分类模型为原始分类模型；在测试结果不满足预设条件时，则对待测分类模型进行调整直到满足预设条件，并将调整后分类模型确定为原始分类模型。

其中，图8中810、820、840和图7中710、720、740具有相同功能和结构，图8中821-827、831-833和图7中721-727、731-733具有相同功能和结构。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图9示出了可以用来实施本申请的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如信息排序方法。例如，在一些实施例中，信息排序方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的信息排序方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行信息排序方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

根据本申请实施例的信息排序算法，根据目标领域的目标样本语料集中的样本问题和对应的样本反馈信息，得到相关度特征和分类特征。根据这两个特征构建可以对目标反馈信息进行排序的目标领域排序系统。

现有的特征大都是基于字面的，本申请提出的两个特征不仅仅是基于字面的特征，其具有了更多的语义特征以及领域特征。由于有了比基于字面更深层的特征，在对该排序系统进行训练时，对训练数据的质量、数量的要求以及对算力的需求也会相应下降，可以在目标领域训练数据的质量、数量以及算力有限的情况下，获得效果更好的排序系统。同时，由于本申请提出的两个特征揭示了样本问题和样本反馈信息的领域特征，可以更好地表达目标领域的特性，从而可以更好的实现领域迁移。

本申请还提出了可以对获取相关度特征的模型和获取分类特征的模型进行轻量化处理。

对获取相关度特征的模型进行轻量化处理时，通过原始语义匹配模型对样本问题和对应的样本反馈信息进行打分获得第一负例集，并且进行泛化处理获得第一正例集。使用该第一正例集和第一负例集对轻量化模型训练，生成目标语义匹配模型。该目标语义匹配模型所需要的计算资源少，硬件要求低，计算速度更快，由于第一正例集和第一负例集的数据充足，因此模型的效果和原始语义匹配模型相比，差距是可以接受的。因此可以使用该目标语义匹配模型进行样本问题和样本反馈信息之间相关度特征的计算。

对获取分类特征的模型进行轻量化处理时，根据原始分类模型对目标领域的相关领域的问题和反馈信息进行分类处理，该过程可以理解为对目标领域中的样本问题和样本反馈信息的一个泛化过程。通过该过程，可以得到数量和质量都更佳的数据训练得到目标分类模型。目标分类模型为一轻量化模型，算力要求更低、计算速度更快、对硬件的需求性更低，可以有更广泛的应用场景，同时由于其训练数据的数量和质量得到了提升，所以其相比原始分类模型相差的效果是可以接受的。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。