分类精度评价方法、装置、计算机设备和存储介质

技术领域

本申请涉及机器学习技术领域，特别是涉及一种分类精度评价方法、装置、计算机设备和存储介质。

背景技术

分类技术是在统计学习理论基础上发展起来的一种新的非常有效的机器学习方法。由于其出色的学习性能，分类技术已成为预测领域新的研究热点。

语音分类的应用已经深入日常生活的方方面面。例如，有害语音分类在预防各种电信诈骗上取得了显著的效果。有害语音分类模型是用于对有害语音进行分类的模型，有害语音的分类结果可以反过来评价有害语音分类模型的分类效果。

目前针对有害语音分类模型的评价是根据正确结果与预测结果是否一致来评价模型的分类效果，不能对具体的分类结果进行更加精细化的评价，对分类模型评价的准确度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高分类模型评价准确度的分类精度评价方法、装置、计算机设备和存储介质。

第一方面，提供了一种分类精度评价方法，该方法包括：

获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签；

将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签；

在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类；其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类；

根据目标分类确定待评价的有害语音分类模型的分类精确程度。

在其中一个实施例中，在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类，包括：

在预设的分类层级中，逐层向上查找并比对预测类别标签的上层分类以及有害语音样本的样本类别标签的上层分类；

当预测类别标签的上层分类与有害语音样本的样本类别标签的上层分类相同时，将相同的分类作为目标分类。

在其中一个实施例中，根据目标分类确定待评价的有害语音分类模型的分类精确程度，包括：

根据目标分类以及不在目标分类中的最小类确定每个样本标签的寄生最小类组，其中，最小类为有害语音样本集中各样本类别标签对应的分类；

根据每一个样本对应的寄生最小类组计算归类切量；

将所有样本的归类切量相加得到总归类切量；

根据总归类切量和总最大归类切量计算分类精确程度。

在其中一个实施例中，根据每一个样本对应的寄生最小类组计算归类切量，包括：

当有害语音样本的预测类别标签与样本类别标签相同时，根据最小类的集合中每个最小类中的样本数与总样本数计算归类切量；

当有害语音样本的预测类别标签与样本类别标签不同时，根据目标分类中的样本数、不在目标分类中的每个最小类的样本数以及总样本数计算归类切量。

在其中一个实施例中，分类精确程度包括总归类切率；根据总归类切量和总最大归类切量计算分类精确程度，包括：

根据样本类别标签的最小类计算最大归类切量，根据最大归类切量计算总最大归类切量；

根据总归类切量与总最大归类切量计算总归类切率。

在其中一个实施例中，分类精确程度包括总归类损失率；

根据总归类切量和总最大归类切量计算分类精确程度，包括：

根据总归类切量与总最大归类切量计算总归类损失量；

根据总归类损失量和总最大归类切量计算总归类损失率。

在其中一个实施例中，分类层级的确定过程，包括：

将有害语音样本集中各样本类别标签对应的分类作为分类层级的最小类；

根据最小类和预设的迭代归类算法进行归类处理，得到至少一个归类集合，其中，一个归类集合包含一次归类得到的分类；

根据最小类和至少一个归类集合包含的分类之间的关联关系，建立分类层级。

第二方面，提供了一种分类精度评价装置，该装置包括：

获取模块，用于获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签；

分类模块，用于将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签；

目标分类确定模块，在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类；其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类；

确定模块，用于根据目标分类确定待评价的有害语音分类模型的分类精确程度。

第三方面，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：

获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签；

将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签；

在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类；其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类；

根据目标分类确定待评价的有害语音分类模型的分类精确程度。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签；

将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签；

在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类；其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类；

根据目标分类确定待评价的有害语音分类模型的分类精确程度。

上述分类精度评价方法、装置、计算机设备和存储介质，通过获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签；将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签；在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类；其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类；根据目标分类确定待评价的有害语音分类模型的分类精确程度。本方案中，对有害语音样本进行了多层次的分类(即分类层级)，然后在分类层级中确定预测类别标签和样本类别标签共同所属的目标分类，目标分类可以反映预测类别标签和样本类别标签的匹配度，进而根据目标分类确定分类模型的分类精确程度，与现有技术中直接对比预测类别标签与样本类别标签是否一致来评价模型的分类效果的方案相比，能够有效的提高分类模型评价的准确度。

附图说明

图1为一个实施例中分类精度评价方法的流程示意图；

图2为一个实施例中分类层级的示意图；

图3为一个实施例中分类精度评价装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在对有害语音分类时，通过有害语音的分类结果对有害语音分类模型进行评价是一个非常重要的环节。评价主要是通过计算相应指标来对模型的某一方面的好坏进行评价，从而使得不同的模型有了共同的可比的指标，进一步，这些指标还可作为一个优化目标来对模型进行优化。

目前常见的有害语音分类模型评价标准有准确率、错误率、灵敏度、精确度、召回率、Kappa系数等，但这些分类评价标准不能有效利用模型的预测结果，对于模型的预测结果，只能利用其为正确结果或者不正确结果的信息，而无法利用其有多大程度上接近正确结果的信息。

例如，在有害语音分类中，样本分类标签包括A1、A2、B1、B2，其中，A1、A2、B1、B2表示不同的分类。A1指消费式诈骗语音，A2指冒充式诈骗语音，B1指硬暴力语音，B2指软暴力语音。其中A1、A2同属于A大类，即诈骗语音，B1、B2同属于B大类，即暴力语音。

假设有三个有害语音样本分别为样本1、样本2、样本3，这三个样本的样本分类标签分别为A1，B1，A2。有两个待评价的有害语音分类模型分别为模型1、模型2，模型1对有害语音样本的分类结果为A1，B2，A2，模型2对有害语音样本的分类结果为A1，A2，A2。虽然两个分类结果都是正确了2个，错误了1个，从准确率、错误率、召回率等现有的分类模型评价指标来对其进行评价，评价结果都是两者的好坏是一致的。但明显模型1对对有害语音样本2的分类结果更接近正确结果，都同属于A大类，虽然不能够准确地分类到每个小类，但大类全部判断正确，而模型2甚至判断错了有害语音类型是诈骗还是暴力。

所以，虽然模型1和模型2都不能够准确地对有害语音样本进行判断并分类，但是模型1相比于模型2有更好的“归类缩小”能力，能够提供更多样本中的信息。现有的分类评价指标对于模型的评价不够精细，对分类结果的信息利用不够充分，对有害语音分类模型评价的准确度不高。

因此，本发明提供的分类精度评价方法充分利用有害语音分类模型的分类结果，提高了对分类结果评价的精细程度，使得这种分类方法中可以体现出错误分类结果带来的信息量的能力，提高了对有害语音分类模型评价的准确度。

在一个实施例中，如图1所示，提供了一种分类精度评价方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本申请所提供的分类精度评价方法不仅可以用于对有害语音分类模型进行评价，也可应用到其他领域对其他分类模型进行评价，例如，对医疗文本分类模型进行评价、对歌曲分类模型进行评价，本申请实施例以对有害语音分类模型进行评价举例说明，对其他分类模型评价部分不做限定。本实施例中，该方法包括以下步骤：

步骤102，获取有害语音样本集。

其中，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签。有害语音样本集是用来测试有害语音分类模型分类效果的数据集，有害语音样本集中包括多个带标签(即样本类别标签)的有害语音样本。样本类别标签是有害语音样本的正确分类标签，样本类别标签是预先人为设定的有害语音样本对应的标签，有害语音样本集中部分有害语音样本的样本类别标签相同，剩余有害语音样本的样本类别标签不同。

具体地，终端从数据库或者存储器中获取有害样本数据集。

步骤104，将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签。

具体地，终端将获取的有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型，通过有害语音分类模型对每个有害语音样本进行分类，得到每个有害语音样本对应的预测类别标签。有害语音分类模型可以根据多种机器学习算法或者神经网络模型训练得到，本申请实施例在此不做限定。

步骤106，在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类。

其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类。

具体地，终端中可以预先存储有分类层级，分类层级包括多个层，按照层级由低到高的顺序，每个层包含的分类的数目递减，并且有害语音样本集中多个有害语音样本在不同层级所属的类别之间的关联关系。如图2所示，{a11,a12,a13,a21,b11,b21,b22}为多个有害语音样本的样本类别标签对应的7个最小类，这7个最小类构分类层级的最底层，对最小类组中的7个最小类根据相似性再进行归类可以得到{a1,a2,b1,b2}四个父类，对四个父类进行归类可以得到{A,B}两个祖先类，最后两个祖先类归于总类。分类层级的具体生成过程后续会进行详细说明。

终端可以在预设的分类层级中，通过逐层向上寻找有害语音样本的样本类别标签和分类得到的预测类别标签共同所属的最低分类层级中的分类，就可以确定有害语音样本被正确分类的层级以及分类。

例如，样本1的预测类别标签为a11，而样本1的样本类别标签为a21，a11与a21共同所属的最低分类层级为A，则目标分类为A。样本2的预测类别标签为a13，而样本2的样本类别标签为b12，a13与b12共同所属的最低分类层级为总类，则目标分类为总类。显然，有害语音分类模型对样本1的可以分类到的正确的层级更低，分类准确度比样本2高。

步骤108，根据目标分类确定待评价的有害语音分类模型的分类精确程度。

具体地，根据有害语音样本集中多个有害语音样本被正确分类的层级以及分类计算待评价的有害语音分类模型的分类精确程度。

上述分类精度评价方法中，通过获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签；将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签；在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类；其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类；根据目标分类确定待评价的有害语音分类模型的分类精确程度。本方案中，对有害语音样本进行了多层次的分类(即分类层级)，然后在分类层级中确定预测类别标签和样本类别标签共同所属的目标分类，目标分类可以反映预测类别标签和样本类别标签的匹配度，进而根据目标分类确定分类模型的分类精确程度，与现有技术中直接对比预测类别标签与样本类别标签是否一致来评价模型的分类效果的方案相比，能够有效的提高分类模型评价的准确度。

在一个可选的实施例中，分类层级的确定过程，包括：将有害语音样本集中各样本类别标签对应的分类作为分类层级的最小类；根据最小类和预设的迭代归类算法进行归类处理，得到至少一个归类集合，其中，一个归类集合包含一次归类得到的分类；根据最小类和至少一个归类集合包含的分类之间的关联关系，建立分类层级。

其中，归类处理是指对最小类或者归类集合进行聚类并给聚类结果特定的属性名称。

具体地，将有害语音样本集中多个有害语音样本的样本类别标签对应的分类作为最小类，多个最小类组成的集合作为最小类组，最小类组作为分类层级的最底层。根据最小类组中的多个最小类之间的相似性对最小类进行归类处理，将至少一个最小类归为一个分类(父类)，并建立父类与至少一个最小类之间的关联关系。将各最小类的父类作为一个归类集合，将该归类集合作为最底层的上一层。然后，再对各最小类的父类进行归类，将至少一个父类归为一个祖先类，并建立祖先类与至少一个父类之间的关联关系。以此类推，直到得到总类为止，最终归类的结果为总类。基于上述过程，即可得到分类层级。

预设的迭代归类算法可以根据不同类型的数据集对应的划分习惯或者常识来对样本集进行分类层级的划分。例如“有害语音”类包括“诈骗”类和“暴力”类，“诈骗”类包括了“消费式诈骗”类和“冒充式诈骗”类，“暴力”类包括了“硬暴力”类和“软暴力”类。

对于日常生活中没有对应层次结构的样本集，预设的迭代归类算法还可以采用聚类算法，通过设置聚类的类别数量，使得上一层的数量是下一层数量的α倍，α由数据集类别的精细程度决定，通常取值0.5。

如图2所示的分类层级中，有害语音样本集中共有10个有害语音样本，这10个样本有7个样本类别标签，分别为a11、a12、a13、a14、b11、b21、b22，这7个样本类别标签可以将10个有害语音样本分为7个最小类，7个最小类的集合为最小类组{a11,a12,a13,a21,b11,b21,b22}，最小类组作为分类层级的最底层。对最小类组中的7个最小类根据相似性再进行归类可以得到{a1,a2,b1,b2}四个父类，对四个父类进行归类可以得到{A,B}两个祖先类，最后整体归于总类。

本实施例中，通过建立有害语音样本集对应的分类层级，分类层级中分类越精细的层级对应的层级越低，分类层级数越多分类更加精细，就可以从有害语音样本中挖掘更多的信息。从而根据分类层级对有害语音模型的分类结果进行更加精细化的评价，使得评价结果更准确。

在一个可选的实施例中，在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类，包括：在预设的分类层级中，逐层向上查找并比对预测类别标签的上层分类以及有害语音样本的样本类别标签的上层分类；当预测类别标签的上层分类与有害语音样本的样本类别标签的上层分类相同时，将相同的分类作为目标分类。

具体地，若预测类别标签与有害语音样本的样本类别标签相同，则预测正确，目标分类则为预设的分类层级中样本类别标签对应的最小类。

若预测类别标签与有害语音样本的样本类别标签不同，则在预设的分类层级中，从最底层开始逐层向上查找并对比预测类别标签的上层分类以及有害语音样本的样本类别标签的上层分类，当预测类别标签的上层分类与有害语音样本的样本类别标签的上层分类相同时，将相同的分类作为目标分类。

例如，对于某个样本，样本类别标签为a11，而有害语音分类模型分类的预测类别标签为a12。样本类别标签a11和预测类别标签a12的最低上层分类都为a1，则有害语音分类模型能够将该样本正确分类到的最低层为a1所在的层，因为a1以下的归类就发生了错误，因此目标分类为a1。

在一个可选的实施例中，根据目标分类计算待评价的有害语音分类模型的分类精确程度，包括：根据目标分类以及不在目标分类中的最小类确定每个样本标签的寄生最小类组，其中，最小类为有害语音样本集中各样本类别标签对应的分类；根据每一个样本对应的寄生最小类组计算归类切量；将所有样本的归类切量相加得到总归类切量；根据总归类切量和总最大归类切量计算分类精确程度。

具体地，针对每一个有害语音样本，将目标分类以及不在目标分类中的最小类组成的集合作为这个有害语音样本的寄生最小类组。根据寄生最小类组中目标分类的样本数、最小类的样本数以及总样本数来计算归类切量。将有害语音样本集中的每个样本的归类切量相加得到总归类切量。根据有害语音分类模型对样本正确的分类结果计算最大归类切量，进而根据样本数与最大归类切量计算得到总最大归类切量。根据预测类别标签得到总归类切量和正确分类得到的总最大归类切量计算分类精确程度。

在一个可选的实施例中，根据每一个样本对应的寄生最小类组计算归类切量，包括：当有害语音样本的预测类别标签与样本类别标签相同时，根据最小类的集合中每个最小类中的样本数与总样本数计算归类切量；当有害语音样本的预测类别标签与样本类别标签不同时，根据目标分类中的样本数、不在目标分类中的每个最小类的样本数以及总样本数计算归类切量。

具体地，针对每一个有害语音样本，归类切量

其中，y

当有害语音样本的预测类别标签与样本类别标签相同时，则有害语音样本对应的寄生最小类组为预设的分类层级中最小类的集合，根据最小类的集合中每个最小类中的样本数与总样本数计算归类切量，

有害语音样本的预测类别标签与样本类别标签不同时，则有害语音样本对应的寄生最小类组为目标分类以及不在目标分类中的最小类，根据目标分类中的样本数、不在目标分类中的每个最小类的样本数以及总样本数计算归类切量，

在一个可选的实施例中，分类精确程度包括总归类切率；相应的，根据总归类切量和总最大归类切量计算分类精确程度，包括：根据样本类别标签的最小类计算最大归类切量，根据最大归类切量计算总最大归类切量；根据总归类切量与总最大归类切量计算总归类切率。

具体地，当一个有害语音样本被正确归类至最小类时，对应的归类切量为最大归类切量

根据总归类切量与总最大归类切量的比值计算总归类切率R

在一个可选的实施例中，分类精确程度包括总归类损失率；相应的，根据总归类切量和总最大归类切量计算分类精确程度，包括：根据总归类切量与总最大归类切量计算总归类损失量；根据总归类损失量和总最大归类切量计算总归类损失率。

具体地，根据总归类切量与总最大归类切量的差值计算总归类损失量L，L＝Q

本实施例中，通过根据总归类损失率和总归类切量精确表示分类结果所能正确分类的层级，从而更准确地对有害语音分类模型进行评价，进一步可以根据分类精确程度对模型进行优化，可以提升模型的预测效果。

例如，可以将总归类损失率和总归类切量中的任一指标来评价有害语音分类模型的分类效果，当任一指标计算的分类效果大于人为设定阈值，得到训练好的有害语音分类模型。也可以将总归类损失率和总归类切量两个指标共同评价有害语音分类模型的分类效果，当两个指标计算的分类效果都大于人为设定阈值，得到训练好的有害语音分类模型。

为了易于理解本申请实施例提供的技术方案，以完整的分类精度评价过程对本申请实施例提供的分类精度评价方法进行简要说明：

(1)获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签。

(2)将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签。

(3)在预设的分类层级中，逐层向上查找并比对预测类别标签的上层分类以及有害语音样本的样本类别标签的上层分类；

当预测类别标签的上层分类与有害语音样本的样本类别标签的上层分类相同时，将相同的分类作为目标分类。

(4)根据目标分类以及不在目标分类中的最小类确定每个样本标签的寄生最小类组，其中，最小类为有害语音样本集中各样本类别标签对应的分类；

根据每一个样本对应的寄生最小类组计算归类切量；

将所有样本的归类切量相加得到总归类切量；

根据样本类别标签的最小类计算最大归类切量，根据最大归类切量计算总最大归类切量；

根据总归类切量与总最大归类切量计算总归类切率。

(5)根据总归类切量与总最大归类切量计算总归类损失量；

根据总归类损失量和总最大归类切量计算总归类损失率。

如图2所示，下面以本申请实施例提供的分类精度评价方法对有害语音分类模型1和有害语音分类模型2的分类结果进行评价为例，对详细的分类精度评价过程进行说明：

(1)获取有害语音样本集，有害语音样本集中共有10个有害语音样本，这10个样本有7个样本类别标签，分别为a11、a12、a13、a14、b11、b21、b22，这7个样本类别标签可以将10个有害语音样本分为7个最小类，7个最小类的集合为最小类组{a11,a12,a13,a21,b11,b21,b22}，最小类组作为分类层级的最底层。对最小类组中的7个最小类根据相似性再进行归类可以得到{a1,a2,b1,b2}四个父类，对四个父类进行归类可以得到{A,B}两个祖先类，最后整体归于总类。A代表“诈骗”、B代表“暴力”；a1代表“冒充式诈骗”，a2代表“消费式诈骗”，b1为“硬暴力”，b2为“软暴力”；a11为“冒充熟人”，a12为“冒充银行”，a13为“冒充警方”，a21为“推销假货”，b11为“含有暴力词汇”，b21为“侮辱谩骂”，b22为“泄露他人隐私”。

10个有害语音样本的样本类别标签分别为：{a13,b21,a11,a12,b11,b22,a21,a12,b22,a21}。

(2)用有害语音分类模型1和有害语音分类模型2对10个有害语音样本进行分类，模型1的分类结果为{a13,b22,a11,a12,b11,b22,a21,a21,b22,a21}，其中只有第2个样本和第8个样本的分类出错；模型2的分类结果为{a12,b21,a11,a12,b11,b21,a21,a12,b22,a21}，其中只有第1个样本和第6个样本的分类出错。

(3)在预设的分类层级中，找到分类结果与正确的样本类别标签的目标分类。对每个样本，模型1的分类结果中每个样本对应的目标分类为{a13,b2,a11,a12,b11,b22,a21,A,b22,a21}，模型2的分类结果中每个样本对应的目标分类为{a1,b21,a11,a12,b11,b2,a21,a12,b22,a21}。

(4)最小类为{a11,a12,a13,a21,b11,b21,b22}，各自的样本占总体比例为：{0.1,0.2,0.1,0.2,0.1,0.1,0.2}。

针对模型1对每一个样本的分类结果，找到其寄生最小类组：

第1个样本分类正确，其寄生最小类组为{a11,a12,a13,a21,b11,b21,b22}；

第2个样本分类错误，其目标分类为d，则其寄生最小类组为{a11,a12,a13,a21,b11,b2}；

第3个样本分类正确，其寄生最小类组为{a11,a12,a13,a21,b11,b21,b22}；

…

第8个样本分类错误，其极小类为A，则其寄生最小类组为{A,b11,b21,b22}；

…

第10个样本分类正确，其寄生最小类组为{a11,a12,a13,a21,b11,b21,b22}；

对每一个样本的分类结果，根据其寄生最小类组计算归类切量。

首先计算最大归类切量

Q

易知，对于分类正确的样本，其归类切量等于最大归类切量。设

则

总归类切率

总归类损失量

总归类损失率

同理，可以计算出模型2的总归类切率

总归类损失率

无论从总归类损失量还是总归类损失率来看，都是模型2的分类效果更好。

若用传统的分类评价方法对模型1和模型2进行评价，两个模型的准确率都是80％，传统的分类模型评价标准无法区分两个模型的分类精度。

同时总归类损失量或者总归类损失率可以作为机器学习模型中的损失函数，以降低总归类损失量和总归类损失率作为目标可以对模型进行优化，就可以在有害语音分类算法评测等领域发挥效果。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图3所示，提供了一种分类精度评价装置，包括：获取模块302、分类模块304、目标分类确定模块306和确定模块308，其中：

获取模块302，用于获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签。

分类模块304，用于将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签。

目标分类确定模块306，在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类；其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类。

确定模块308，用于根据目标分类确定待评价的有害语音分类模型的分类精确程度。

在一个可选的实施例中，目标分类确定模块306还用于在预设的分类层级中，逐层向上查找并比对预测类别标签的上层分类以及有害语音样本的样本类别标签的上层分类；以及当预测类别标签的上层分类与有害语音样本的样本类别标签的上层分类相同时，将相同的分类作为目标分类。

在一个可选的实施例中，确定模块308还用于根据目标分类以及不在目标分类中的最小类确定每个样本标签的寄生最小类组，其中，最小类为有害语音样本集中各样本类别标签对应的分类；以及根据每一个样本对应的寄生最小类组计算归类切量；以及将所有样本的归类切量相加得到总归类切量；以及根据总归类切量和总最大归类切量计算分类精确程度。

在一个可选的实施例中，确定模块308还用于当有害语音样本的预测类别标签与样本类别标签相同时，根据最小类的集合中每个最小类中的样本数与总样本数计算归类切量；以及当有害语音样本的预测类别标签与样本类别标签不同时，根据目标分类中的样本数、不在目标分类中的每个最小类的样本数以及总样本数计算归类切量。

在一个可选的实施例中，分类精确程度包括总归类切率；确定模块308还用于根据样本类别标签的最小类计算最大归类切量，根据最大归类切量计算总最大归类切量；以及根据总归类切量与总最大归类切量计算总归类切率。

在一个可选的实施例中，分类精确程度包括总归类损失率；确定模块308还用于根据总归类切量与总最大归类切量计算总归类损失量；以及根据总归类损失量和总最大归类切量计算总归类损失率。

在一个可选的实施例中，分类精度评价装置还包括分类层级建立模块，用于将有害语音样本集中各样本类别标签对应的分类作为分类层级的最小类；以及根据最小类和预设的迭代归类算法进行归类处理，得到至少一个归类集合，其中，一个归类集合包含一次归类得到的分类；以及根据最小类和至少一个归类集合包含的分类之间的关联关系，建立分类层级。

关于分类精度评价装置的具体限定可以参见上文中对于分类精度评价方法的限定，在此不再赘述。上述分类精度评价装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种分类精度评价方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签；

将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签；

在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类；其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类；

根据目标分类确定待评价的有害语音分类模型的分类精确程度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类，包括：在预设的分类层级中，逐层向上查找并比对预测类别标签的上层分类以及有害语音样本的样本类别标签的上层分类；当预测类别标签的上层分类与有害语音样本的样本类别标签的上层分类相同时，将相同的分类作为目标分类。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据目标分类确定待评价的有害语音分类模型的分类精确程度，包括：根据目标分类以及不在目标分类中的最小类确定每个样本标签的寄生最小类组，其中，最小类为有害语音样本集中各样本类别标签对应的分类；根据每一个样本对应的寄生最小类组计算归类切量；将所有样本的归类切量相加得到总归类切量；根据总归类切量和总最大归类切量计算分类精确程度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据每一个样本对应的寄生最小类组计算归类切量，包括：当有害语音样本的预测类别标签与样本类别标签相同时，根据最小类的集合中每个最小类中的样本数与总样本数计算归类切量；当有害语音样本的预测类别标签与样本类别标签不同时，根据目标分类中的样本数、不在目标分类中的每个最小类的样本数以及总样本数计算归类切量。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：分类精确程度包括总归类切率；根据总归类切量和总最大归类切量计算分类精确程度，包括：根据样本类别标签的最小类计算最大归类切量，根据最大归类切量计算总最大归类切量；根据总归类切量与总最大归类切量计算总归类切率。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：分类精确程度包括总归类损失率；根据总归类切量和总最大归类切量计算分类精确程度，包括：根据总归类切量与总最大归类切量计算总归类损失量；根据总归类损失量和总最大归类切量计算总归类损失率。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：分类层级的确定过程，包括：将有害语音样本集中各样本类别标签对应的分类作为分类层级的最小类；根据最小类和预设的迭代归类算法进行归类处理，得到至少一个归类集合，其中，一个归类集合包含一次归类得到的分类；根据最小类和至少一个归类集合包含的分类之间的关联关系，建立分类层级。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取有害语音样本集，有害语音样本集包括多个有害语音样本以及每个有害语音样本对应的样本类别标签；

将有害语音样本集中的每个有害语音样本输入待评价的有害语音分类模型中进行分类，得到预测类别标签；

在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类；其中，目标分类为包含预测类别标签和样本类别标签的最低层级的分类；

根据目标分类确定待评价的有害语音分类模型的分类精确程度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在预设的分类层级中，确定与预测类别标签和有害语音样本的样本类别标签对应的目标分类，包括：在预设的分类层级中，逐层向上查找并比对预测类别标签的上层分类以及有害语音样本的样本类别标签的上层分类；当预测类别标签的上层分类与有害语音样本的样本类别标签的上层分类相同时，将相同的分类作为目标分类。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据目标分类确定待评价的有害语音分类模型的分类精确程度，包括：根据目标分类以及不在目标分类中的最小类确定每个样本标签的寄生最小类组，其中，最小类为有害语音样本集中各样本类别标签对应的分类；根据每一个样本对应的寄生最小类组计算归类切量；将所有样本的归类切量相加得到总归类切量；根据总归类切量和总最大归类切量计算分类精确程度。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据每一个样本对应的寄生最小类组计算归类切量，包括：当有害语音样本的预测类别标签与样本类别标签相同时，根据最小类的集合中每个最小类中的样本数与总样本数计算归类切量；当有害语音样本的预测类别标签与样本类别标签不同时，根据目标分类中的样本数、不在目标分类中的每个最小类的样本数以及总样本数计算归类切量。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：分类精确程度包括总归类切率；根据总归类切量和总最大归类切量计算分类精确程度，包括：根据样本类别标签的最小类计算最大归类切量，根据最大归类切量计算总最大归类切量；根据总归类切量与总最大归类切量计算总归类切率。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：分类精确程度包括总归类损失率；根据总归类切量和总最大归类切量计算分类精确程度，包括：根据总归类切量与总最大归类切量计算总归类损失量；根据总归类损失量和总最大归类切量计算总归类损失率。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：分类层级的确定过程，包括：将有害语音样本集中各样本类别标签对应的分类作为分类层级的最小类；根据最小类和预设的迭代归类算法进行归类处理，得到至少一个归类集合，其中，一个归类集合包含一次归类得到的分类；根据最小类和至少一个归类集合包含的分类之间的关联关系，建立分类层级。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。