恶意语音样本的确定方法、装置、计算机设备和存储介质

技术领域

本申请涉及语音处理技术领域，特别是涉及一种恶意语音样本的确定方法、装置、计算机设备和存储介质。

背景技术

随着语音传输技术的快速发展，出现了恶意语音检测技术。恶意语音检测技术是通过恶意语音检测模型来检测出恶意语音，例如诈骗语音，恐吓语音等等。通常，为保证恶意语音检测模型拥有较高的检测性能，需要采用不断更新的恶意语音样本对恶意语音检测模型进行训练并修正。

传统技术中，通常采用人工筛选方式确定恶意语音并进行标注，得到恶意语音样本。

然而，采用传统技术，恶意语音样本的确定效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高恶意语音样本确定效率的恶意语音样本的确定方法、装置、计算机设备和存储介质。

一种恶意语音样本的确定方法，所述方法包括：

获取初始语音样本集；

根据预设的多种恶意类别对所述初始语音样本集进行分类，得到所述多种恶意类别中每种恶意类别对应的语音样本子集；

根据所述每种恶意类别对应的语音样本子集中的语音样本信息，计算所述每种恶意类别对应的语音样本子集的恶意度；

将所述恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本。

在其中一个实施例中，所述将所述恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本，包括：

获取所述每种恶意类别对应的语音样本子集中的语音样本的第一数量；

获取所述每种恶意类别对应的语音样本子集中添加有负向标记的语音样本的第二数量，其中，所述负向标记用于指示所述语音样本中包含负面语音内容；

根据所述第二数量与所述第一数量的比值，确定所述每种恶意类别对应的语音样本子集的恶意度。

在其中一个实施例中，所述根据所述第二数量与所述第一数量的比值，确定所述每种恶意类别对应的语音样本子集的恶意度，包括：

计算所述第二数量与所述第一数量的比值，得到所述每种恶意类别对应的语音样本子集的负面反馈因子；

获取所述初始语音样本集中的语音样本的第三数量；

计算所述第一数量与所述第三数量的比值，得到所述每种恶意类别对应的语音样本子集的传播影响因子；

根据所述负面反馈因子和所述传播影响因子，计算所述每种恶意类别对应的语音样本子集的恶意度。

在其中一个实施例中，所述方法还包括：

获取多个候选分类数量以及每个候选分类数量对应的语音分类模型，其中，所述每个候选分类数量对应的语音分类模型中的每个语音分类模型用于处理一种候选恶意类别的分类任务；

针对所述每个候选分类数量，将所述初始语音样本集中的每个语音样本分别输入至所述候选分类数量对应的语音分类模型进行多种候选恶意类别的分类，得到所述每个语音样本所属多种候选恶意类别对应的多个置信度；

针对所述每个候选分类数量，从所述每个语音样本所属的多种候选恶意类别中选取所述置信度满足预设的第一置信度条件的候选恶意类别，确定为所述每个语音样本所属的第一恶意类别；

针对所述每个候选分类数量，根据所述每个语音样本所属第一恶意类别对应的第一置信度和所述每个语音样本所属第二恶意类别对应的第二置信度，确定所述每个候选分类数量对应的分类契合度总和，其中，所述第二恶意类别为所述多种候选恶意类别中除所述第一恶意类别之外的候选恶意类别；

将所述多个候选分类数量中所述分类契合度总和满足预设契合度总和条件的候选分类数量对应的多种候选恶意类别，确定为所述预设的多种恶意类别。

在其中一个实施例中，所述方法还包括：

获取每个候选分类数量对应的初始语音分类模型；

针对所述每个候选分类数量，将所述初始语音样本集中的每个语音样本分别输入至所述候选分类数量的初始语音分类模型进行多种恶意类别的分类，得到所述每个语音样本所属多种恶意类别对应的多个置信度，从所述每个语音样本所属的多种恶意类别中选取所述置信度满足预设的第二置信度条件的恶意类别，确定为所述每个语音样本所属的第三恶意类别；

针对所述每个候选分类数量，将所述第三恶意类别对应的语音样本输入至所述候选分类数量对应的初始语音分类模型进行训练，得到所述候选分类数量对应的训练好的语音分类模型；

针对所述每个候选分类数量，将所述初始语音样本集中的每个语音样本分别输入至所述候选分类数量对应的训练好的语音分类模型进行多种恶意类别的分类，得到所述每个语音样本所属多种恶意类别对应的多个置信度，从所述每个语音样本所属的多种恶意类别中选取所述置信度满足所述预设的第二置信度条件的恶意类别，确定为所述每个语音样本所属的第四恶意类别；

若所述第四恶意类别与所述第三恶意类别相同，则将候选分类数量对应的训练好的语音分类模型确定为所述候选分类数量对应的语音分类模型；

若所述第四恶意类别与所述第三恶意类别不同，则将所述第四恶意类别对应的语音样本作为所述第三恶意类别对应的语音样本，并返回执行针对所述每个候选分类数量，将所述第三恶意类别对应的语音样本输入至所述候选分类数量对应的初始语音分类模型进行训练的步骤，直到所述第四恶意类别与所述第三恶意类别相同。

在其中一个实施例中，所述针对所述每个候选分类数量，根据所述每个语音样本所属第一恶意类别对应的第一置信度和所述每个语音样本所属第二恶意类别对应的第二置信度，确定所述每个候选分类数量对应的分类契合度总和，包括：

根据所述每个候选分类数量对应的每个语音样本所属第二恶意类别对应的第二置信度，计算所述每个候选分类数量对应的每个语音样本的类间区分度；

将所述每个候选分类数量对应的每个语音样本所属第一恶意类别对应的第一置信度，确定为所述每个候选分类数量对应的每个语言样本的类内相似度；

计算所述类内相似度与所述类间区分度之间的乘积结果与所述类内相似度与所述类间区分度之间的相加结果的比值，得到所述每个候选分类数量对应的每个语音样本的分类契合度；

将所述每个候选分类数量对应的每个语音样本的分类契合度进行累加，得到所述每个候选分类数量对应的分类契合度总和。

一种恶意语音检测方法，所述方法包括：

获取待检测的语音；

将所述待检测的语音输入至恶意语音检测模型，确定恶意语音；

其中，所述恶意语音检测模型是根据恶意语音样本训练得到的；所述恶意语音样本是通过根据预设的多种恶意类别对初始语音样本集进行分类，得到所述多种恶意类别中每种恶意类别对应的语音样本子集，并根据所述每种恶意类别对应的语音样本子集中的语音样本信息，计算所述每种恶意类别对应的语音样本子集的恶意度，以及选取所述恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本得到的。

一种恶意语音样本的确定装置，所述装置包括：

语音样本获取模块，用于获取初始语音样本集；

语音样本分类模块，用于根据预设的多种恶意类别对所述初始语音样本集进行分类，得到所述多种恶意类别中每种恶意类别对应的语音样本子集；

恶意度计算模块，用于根据所述每种恶意类别对应的语音样本子集中的语音样本信息，计算所述每种恶意类别对应的语音样本子集的恶意度；

语音样本确定模块，用于将所述恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取初始语音样本集；

根据预设的多种恶意类别对所述初始语音样本集进行分类，得到所述多种恶意类别中每种恶意类别对应的语音样本子集；

根据所述每种恶意类别对应的语音样本子集中的语音样本信息，计算所述每种恶意类别对应的语音样本子集的恶意度；

将所述恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取初始语音样本集；

根据预设的多种恶意类别对所述初始语音样本集进行分类，得到所述多种恶意类别中每种恶意类别对应的语音样本子集；

根据所述每种恶意类别对应的语音样本子集中的语音样本信息，计算所述每种恶意类别对应的语音样本子集的恶意度；

将所述恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本。

上述恶意语音样本的确定方法、装置、计算机设备和存储介质，先将初始语音样本集划分为多种恶意类别对应的语音样本子集，并基于语音样本信息分别计算每种恶意类别对应的语音样本子集的恶意度，从而将恶意度较高的恶意类别对应的语音样本子集中的语音样本确定为恶意语音样本。本申请基于语音样本子集的恶意类别以及恶意度可自动确定恶意语音样本，有利于提高恶意语音样本的确定效率。

附图说明

图1为一个实施例中恶意语音样本的确定方法的流程示意图；

图2为一个实施例中确定语音样本对应的多种恶意类别的流程示意图；

图3为另一个实施例中恶意语音样本的确定方法的流程示意图；

图4为一个实施例中恶意语音样本的确定装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种恶意语音样本的确定方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤S102，获取初始语音样本集。

其中，初始语音样本集是由多个语音样本构成的集合。

具体地，服务器获取初始语音样本集。可选地，服务器以预设间隔(例如5小时、8小时等)收集一次新的语音数据集，并对该新的语音数据集进行清洗、重复信息删除、错误纠正以及数据格式统一等预处理，得到初始语音样本集。可选地，服务器也可以直接将以预设间隔收集的语音数据集作为初始语音样本集。

步骤S104，根据预设的多种恶意类别对初始语音样本集进行分类，得到多种恶意类别中每种恶意类别对应的语音样本子集。

其中，恶意类别用于区分不同恶意性质的语音样本。可选地，恶意类别包括诈骗类别、恐吓类别、推销类别等等。

具体地，服务器根据预设的多种恶意类别对初始语音样本集进行分类，得到多种恶意类别中每种恶意类别对应的语音样本子集。可选地，服务器将初始语音样本集中的每个语音样本分别输入至多个语音分类模型，其中每个语音分类模型输出每个语音样本所属一种恶意类别对应的置信度，因此该多个语音分类模型可对每个语音样本进行多种恶意类别的分类，并输出每个语音样本所属多种恶意类别对应的多个置信度。然后，服务器从每个语音样本所属的多种恶意类别中选取置信度满足预设的置信度条件的恶意类别，确定为每个语音样本所属的恶意类别。在初始语音样本集中的所有语音样本都分类完成后，将所属同一恶意类别的语音样本进行汇集，得到多种恶意类别中每种恶意类别对应的语音样本子集。

步骤S106，根据每种恶意类别对应的语音样本子集中的语音样本信息，计算每种恶意类别对应的语音样本子集的恶意度。

其中，语音样本信息是指表征语言样本属性的信息。可选地，语音样本信息包括语音样本的数量、语言样本添加的标记信息等等。

具体地，服务器根据每种恶意类别对应的语音样本子集中的语音样本信息，计算每种恶意类别对应的语音样本子集的恶意度。可选地，服务器根据每种恶意类别对应的语音样本子集中的语音样本的第一数量、每种恶意类别对应的语音样本子集中添加有负向标记的语音样本的第二数量，计算每种恶意类别对应的语音样本子集的恶意度。其中，负向标记用于指示语音样本中包含负面语音内容。例如，负面语音内容包括推销内容、诈骗内容等等。可选地，服务器根据每种恶意类别对应的语音样本子集中的语音样本的第一数量、每种恶意类别对应的语音样本子集中添加有正向标记的语音样本的第二数量，计算每种恶意类别对应的语音样本子集的恶意度。其中，正向标记用于指示语音样本中包含非负面语音内容。

步骤S108，将恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本。

具体地，服务器将多种恶意类别对应的语音样本子集中恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本。可选地，预设恶意度条件可以是恶意度最高、恶意度次高或者恶意度满足恶意度阈值ε等等。

上述恶意语音样本的确定方法中，先将初始语音样本集划分为多种恶意类别对应的语音样本子集，并基于语音样本信息分别计算每种恶意类别对应的语音样本子集的恶意度，从而将恶意度较高的恶意类别对应的语音样本子集中的语音样本确定为恶意语音样本。本方法基于语音样本子集的恶意类别以及恶意度可自动确定恶意语音样本，有利于提高恶意语音样本的确定效率。

在一个实施例中，涉及上述步骤S108“将恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本”的一种可能的实现方式。在上述实施例的基础上，步骤S108具体可以通过以下步骤实现：

步骤S1082，获取每种恶意类别对应的语音样本子集中的语音样本的第一数量；

步骤S1084，获取每种恶意类别对应的语音样本子集中添加有负向标记的语音样本的第二数量；

步骤S1086，根据第二数量与第一数量的比值，确定每种恶意类别对应的语音样本子集的恶意度。

其中，添加有负向标记的语音样本可以是用户手动添加负向标记的语音样本。例如，用户针对某一段语音数据进行了举报，则该语音数据会被添加负向标记；或者，用户在短时间内删除了某段语音，则该语音数据也会被添加负向标记。添加有负向标记的语音样本也可以是服务器自动添加负向标记的语音样本。例如，服务器获取语音数据并将其转化为文本数据，通过对该文本数据进行内容分析来确定是否对其添加负向标记。

具体地，服务器一方面统计每种恶意类别对应的语音样本子集中的语音样本的第一数量，另一方面获取每种恶意类别对应的语音样本子集中添加有负向标记的语音样本，并统计添加有负向标记的语音样本的第二数量。然后，服务器根据第二数量与第一数量的比值，确定每种恶意类别对应的语音样本子集的恶意度。

可选地，在一个实施例中，步骤S1086的实现方式为：

步骤S108’，将第二数量与第一数量的比值，确定每种恶意类别对应的语音样本子集的恶意度。

具体地，假设第j种恶意类别样本中对应的语音样本子集中的语音样本的第一数量表示为N

本实施例中，将第二数量与第一数量的比值作为每种恶意类别对应的语音样本子集的恶意度，简单高效，有利于提高恶意语音样本确定的准确性。

可选地，在另一个实施例中，步骤S1086的实现方式为：

步骤S108a，计算第二数量与第一数量的比值，得到每种恶意类别对应的语音样本子集的负面反馈因子；

步骤S108b，获取初始语音样本集中的语音样本的第三数量；

步骤S108c，计算第一数量与第三数量的比值，得到每种恶意类别对应的语音样本子集的传播影响因子；

步骤S108d，根据负面反馈因子和传播影响因子，计算每种恶意类别对应的语音样本子集的恶意度。

其中，负面反馈因子用于表征每种恶意类别对应的语音样本子集中包含的负面语音内容的恶意程度。传播影响因子用于表征每种恶意类别对应的语音样本子集的传播影响力。

具体地，服务器计算第二数量N

可选地，在添加有负向标记的语音样本为用户手动添加负向标记的语音样本时，负面反馈因子也可以称之为用户行为反馈因子。

本实施例中，采用每种恶意类别对应的语音样本子集的负面反馈因子和传播影响因子来计算每种恶意类别对应的语音样本子集的恶意度，考虑因素多样，有利于提高恶意语音样本确定的准确性。

在一个实施例中，如图2所示，该方法还包括以下步骤：

步骤S111，获取多个候选分类数量以及每个候选分类数量对应的语音分类模型；

步骤S112，针对每个候选分类数量，将初始语音样本集中的每个语音样本分别输入至候选分类数量对应的语音分类模型进行多种候选恶意类别的分类，得到每个语音样本所属多种候选恶意类别对应的多个置信度；

步骤S113，针对每个候选分类数量，从每个语音样本所属的多种候选恶意类别中选取置信度满足预设的第一置信度条件的候选恶意类别，确定为每个语音样本所属的第一恶意类别；

步骤S114，针对每个候选分类数量，根据每个语音样本所属第一恶意类别对应的第一置信度和每个语音样本所属第二恶意类别对应的第二置信度，确定每个候选分类数量对应的分类契合度总和；

步骤S115，将多个候选分类数量中分类契合度总和满足预设契合度总和条件的候选分类数量对应的多种候选恶意类别，确定为预设的多种恶意类别。

其中，每个候选分类数量对应的语音分类模型中的每个语音分类模型用于处理一种候选恶意类别的分类任务。该语音分类模型为训练好的语音分类模型。可选地，语音分类模型可以是二分类模型，例如逻辑回归模型、支持向量机等等。

其中，第二恶意类别为多种候选恶意类别中除第一恶意类别之外的候选恶意类别。

具体地，服务器根据问题场景(例如诈骗语音场景、推销语音场景、恐吓语音场景等)确定候选分类数量为1～M，通常M为经验值，M可取100。假设M为80，那么，多个候选分类数量为1、2、3…k…80。候选分类数量对应的语音分类模型的数量也为1、2、3…k…80。针对候选分类数量k，服务器将初始语音样本集中的语音样本分别输入至候选分类数量对应的语音分类模型进行多种候选恶意类别的分类，得到每个语音样本所属多种候选恶意类别对应的多个置信度，例如针对第i个语音样本，分别用第j个语音分类模型进行分类判别，得到第i个语音样本所属第j个语音分类模型对应的候选恶意类别的置信度μ

本实施例中，从多个候选分类数量中选取满足预设契合度总和条件的候选分类数量对应的多种候选恶意类别，作为预设的多种恶意类别，如此使得多种恶意类别更接近于实际情况，有利于提高恶意语音样本确定的准确性。

在一个实施例中，该方法还包括以下步骤：

步骤S121，获取每个候选分类数量对应的初始语音分类模型；

步骤S122，针对每个候选分类数量，将初始语音样本集中的每个语音样本分别输入至候选分类数量的初始语音分类模型进行多种恶意类别的分类，得到每个语音样本所属多种恶意类别对应的多个置信度，从每个语音样本所属的多种恶意类别中选取置信度满足预设的第二置信度条件的恶意类别，确定为每个语音样本所属的第三恶意类别；

步骤S123，针对每个候选分类数量，将第三恶意类别对应的语音样本输入至候选分类数量对应的初始语音分类模型进行训练，得到候选分类数量对应的训练好的语音分类模型；

步骤S124，针对每个候选分类数量，将初始语音样本集中的每个语音样本分别输入至候选分类数量对应的训练好的语音分类模型进行多种恶意类别的分类，得到每个语音样本所属多种恶意类别对应的多个置信度，从每个语音样本所属的多种恶意类别中选取置信度满足预设的第二置信度条件的恶意类别，确定为每个语音样本所属的第四恶意类别；

步骤S125，若第四恶意类别与第三恶意类别相同，则将候选分类数量对应的训练好的语音分类模型确定为候选分类数量对应的语音分类模型；

步骤S126，若第四恶意类别与第三恶意类别不同，则将第四恶意类别对应的语音样本作为第三恶意类别对应的语音样本，并返回执行针对每个候选分类数量，将第三恶意类别对应的语音样本输入至候选分类数量对应的初始语音分类模型进行训练的步骤，直到第四恶意类别与第三恶意类别相同。

具体地，以候选分类数量k为例，首先，服务器初始化候选分类数量k对应的语音分类模型的参数，得到k个初始语音分类模型。这里的语音分类模型也可以称之为分类器，每个分类器即为一个分类凝聚核，代表一种恶意类别，记为μ

然后，服务器选出c

之后，服务器将初始语音样本集中的每个语音样本分别输入至候选分类数量对应的训练好的语音分类模型进行多种恶意类别的分类，得到每个语音样本所属多种恶意类别对应的多个置信度，从每个语音样本所属的多种恶意类别中选取置信度满足预设的第二置信度条件的恶意类别，确定为每个语音样本所属的第四恶意类别。若第四恶意类别与第三恶意类别相同，即每一个语音样本所属的语音分类模型不再改变，即c

本实施例中，通过不断迭代语音分类模型，可保证语音分类模型的分类性能，进而有利于提高恶意语音样本确定的准确性。

在一个实施例中，涉及上述步骤S114“针对每个候选分类数量，根据每个语音样本所属第一恶意类别对应的第一置信度和每个语音样本所属第二恶意类别对应的第二置信度，确定每个候选分类数量对应的分类契合度总和”的一种可能的实现方式。在上述实施例的基础上，步骤S114具体可以通过以下步骤实现：

步骤S1142，根据每个候选分类数量对应的每个语音样本所属第二恶意类别对应的第二置信度，计算每个候选分类数量对应的每个语音样本的类间区分度；

步骤S1144，将每个候选分类数量对应的每个语音样本所属第一恶意类别对应的第一置信度，确定为每个候选分类数量对应的每个语言样本的类内相似度；

步骤S1146，计算类内相似度与类间区分度之间的乘积结果与类内相似度与类间区分度之间的相加结果的比值，得到每个候选分类数量对应的每个语音样本的分类契合度；

步骤S1148，将每个候选分类数量对应的每个语音样本的分类契合度进行累加，得到每个候选分类数量对应的分类契合度总和。

具体地，对于候选分类数量k，服务器根据候选分类数量k对应的第i个语音样本所属第二恶意类别j对应的第二置信度：μ

进一步地，服务器根据每个候选分类数量对应的分类契合度总和以及初始语音样本集中的语音样本的第三数量，计算每个候选分类数量对应的分类契合度的平均值，例如以候选分类数量k为例，候选分类数量k下对应的分类契合度的平均值为：

本实施例中，通过每个语音样本的类间区分度和类内相似度计算每个候选分类数量对应的分类契合度总和，有利于提高恶意语音样本确定的准确性。

下面结合图3以及一个具体的应用场景来介绍本公开的一个实施例，该方法包括如下步骤：

步骤S302，语音样本积累和清洗。

具体地，当恶意语音样本的确定装置投入实际使用中后，通过服务器每隔8小时收集一次新的语音数据集，并对新的语音数据集进行清洗，删除重复信息，纠正存在的错误，保证数据的格式基本一致。假设某一次得到的实时的初始语音样本集为X＝{x

步骤S304，从初始语音样本集中选取恶意语音样本。

具体地，步骤S304包括：

步骤S304’，运用核凝聚分类算法对初始语音样本集进行分类。

更具体地，步骤S304’包括：

步骤S304a，在该恶意语音样本的确定装置投入使用的问题场景下，信息分类的可能数量为1～110。

步骤S304b，对于1～110的任一候选分类数量k，将初始语音样本集中的语音样本分为k种恶意类别对应的语音样本子集，其中k＝1,...,110，这里以k＝80为例。

更具体地，步骤S304b包括：

步骤S3042，随机初始化80个语音分类模型(例如逻辑回归分类模型)的参数，得到80个分类凝聚核，记为μ

步骤S3044，将每一个语音样本划归到某一分类凝聚核下。例如，对于第i个语音样本，分别用第j个分类凝聚核进行判别，可以得到第i个语音样本属于第j个分类凝聚核的核置信度μ

然后，根据公式

步骤S3046，根据每个分类凝聚核下凝聚的语音样本划分初始语音样本集，并重新训练分类凝聚核的分类参数。例如，挑选出c

步骤S3048，重复步骤S3044到步骤S3046，直到每一个语音样本所属的分类凝聚核不再改变，即c

步骤S304c,对候选分类数量k，计算初始语音样本集分为k种恶意类别后总数据集的分类契合度S

对于第1个语音样本，

步骤S304d,选出使得S

步骤S304”,对由步骤S304’分类得到的65类语音样本子集，计算每一类语音样本子集的传播影响因子f

…

对由步骤S304’分类得到的65类样本，计算每一类语音样本子集的用户行为反馈因子p

…

其中，p

对由步骤S304’分类得到的65类样本，计算每一类语音样本子集的恶意度h

h

h

…

h

此处取恶意度阈值ε＝0.01，选出所有语音样本子集的恶意度高于恶意度阈值的语音样本子集对应的恶意类别为第6类，第13类，第19类，第24类，第30类，第39类，第44类和第65类，总共50326条语音样本数据，即为从初始语音样本集中选出的恶意语音样本。

步骤S306，将新获得的恶意语音样本合并入恶意语音检测模型的训练数据集合，对恶意语音检测模型进行训练，从而使得恶意语音检测模型得到纠正，与实际情况更加相符。

步骤S308，分发训练好的恶意语音检测模型到实际应用中，返回步骤S302。

基于同一发明构思，在一个实施例中，提供了一种恶意语音检测方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤S202，获取待检测的语音。

具体地，服务器获取待检测的语音。

步骤S204，将待检测的语音输入至恶意语音检测模型，确定恶意语音。

其中，恶意语音检测模型是根据恶意语音样本训练得到的；恶意语音样本是通过根据预设的多种恶意类别对初始语音样本集进行分类，得到多种恶意类别中每种恶意类别对应的语音样本子集，并根据每种恶意类别对应的语音样本子集中的语音样本信息，计算每种恶意类别对应的语音样本子集的恶意度，以及选取恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本得到的。

具体地，服务器将待检测的语音输入至恶意语音检测模型，确定恶意语音。

上述恶意语音检测方法中，采用基于语音样本子集的恶意类别以及恶意度自动确定的恶意语音样本，可提高恶意语音检测模型的训练效率，从而提高恶意语音的检测效率。

应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种恶意语音样本的确定装置，包括：语音样本获取模块、语音样本分类模块、恶意度计算模块和语音样本确定模块，其中：

语音样本获取模块402，用于获取初始语音样本集；

语音样本分类模块404，用于根据预设的多种恶意类别对初始语音样本集进行分类，得到多种恶意类别中每种恶意类别对应的语音样本子集；

恶意度计算模块406，用于根据每种恶意类别对应的语音样本子集中的语音样本信息，计算每种恶意类别对应的语音样本子集的恶意度；

语音样本确定模块408，用于将恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本。

上述恶意语音样本的确定装置中，先将初始语音样本集划分为多种恶意类别对应的语音样本子集，并基于语音样本信息分别计算每种恶意类别对应的语音样本子集的恶意度，从而将恶意度较高的恶意类别对应的语音样本子集中的语音样本确定为恶意语音样本。本装置基于语音样本子集的恶意类别以及恶意度可自动确定恶意语音样本，有利于提高恶意语音样本的确定效率。

在一个实施例中，语音样本确定模块408具体用于获取每种恶意类别对应的语音样本子集中的语音样本的第一数量；获取每种恶意类别对应的语音样本子集中添加有负向标记的语音样本的第二数量，其中，负向标记用于指示语音样本中包含负面语音内容；根据第二数量与第一数量的比值，确定每种恶意类别对应的语音样本子集的恶意度。

在一个实施例中，语音样本确定模块408具体用于计算第二数量与第一数量的比值，得到每种恶意类别对应的语音样本子集的负面反馈因子；获取初始语音样本集中的语音样本的第三数量；计算第一数量与第三数量的比值，得到每种恶意类别对应的语音样本子集的传播影响因子；根据负面反馈因子和传播影响因子，计算每种恶意类别对应的语音样本子集的恶意度。

在一个实施例中，该装置还包括：

分类信息获取模块，用于获取多个候选分类数量以及每个候选分类数量对应的语音分类模型，其中，每个候选分类数量对应的语音分类模型中的每个语音分类模型用于处理一种候选恶意类别的分类任务；

语音样本分类模块，用于针对每个候选分类数量，将初始语音样本集中的每个语音样本分别输入至候选分类数量对应的语音分类模型进行多种候选恶意类别的分类，得到每个语音样本所属多种候选恶意类别对应的多个置信度；

恶意类别选取模块，用于针对每个候选分类数量，从每个语音样本所属的多种候选恶意类别中选取置信度满足预设的第一置信度条件的候选恶意类别，确定为每个语音样本所属的第一恶意类别；

契合度总和计算模块，用于针对每个候选分类数量，根据每个语音样本所属第一恶意类别对应的第一置信度和每个语音样本所属第二恶意类别对应的第二置信度，确定每个候选分类数量对应的分类契合度总和，其中，第二恶意类别为多种候选恶意类别中除第一恶意类别之外的候选恶意类别；

恶意类别确定模块，用于将多个候选分类数量中分类契合度总和满足预设契合度总和条件的候选分类数量对应的多种候选恶意类别，确定为预设的多种恶意类别。

在一个实施例中，该装置还包括：

分类模型获取模块，用于获取每个候选分类数量对应的初始语音分类模型；

恶意类别选取模块，用于针对每个候选分类数量，将初始语音样本集中的每个语音样本分别输入至候选分类数量的初始语音分类模型进行多种恶意类别的分类，得到每个语音样本所属多种恶意类别对应的多个置信度，从每个语音样本所属的多种恶意类别中选取置信度满足预设的第二置信度条件的恶意类别，确定为每个语音样本所属的第三恶意类别；

分类模型训练模块，用于针对每个候选分类数量，将第三恶意类别对应的语音样本输入至候选分类数量对应的初始语音分类模型进行训练，得到候选分类数量对应的训练好的语音分类模型；

恶意类别确定模块，用于针对每个候选分类数量，将初始语音样本集中的每个语音样本分别输入至候选分类数量对应的训练好的语音分类模型进行多种恶意类别的分类，得到每个语音样本所属多种恶意类别对应的多个置信度，从每个语音样本所属的多种恶意类别中选取置信度满足预设的第二置信度条件的恶意类别，确定为每个语音样本所属的第四恶意类别；

分类模型确定模块，用于若第四恶意类别与第三恶意类别相同，则将候选分类数量对应的训练好的语音分类模型确定为候选分类数量对应的语音分类模型；

语音样本确定模块，用于若第四恶意类别与第三恶意类别不同，则将第四恶意类别对应的语音样本作为第三恶意类别对应的语音样本，并返回执行针对每个候选分类数量，将第三恶意类别对应的语音样本输入至候选分类数量对应的初始语音分类模型进行训练的步骤，直到第四恶意类别与第三恶意类别相同。

在一个实施例中，契合度总和计算模块具体用于根据每个候选分类数量对应的每个语音样本所属第二恶意类别对应的第二置信度，计算每个候选分类数量对应的每个语音样本的类间区分度；将每个候选分类数量对应的每个语音样本所属第一恶意类别对应的第一置信度，确定为每个候选分类数量对应的每个语言样本的类内相似度；计算类内相似度与类间区分度之间的乘积结果与类内相似度与类间区分度之间的相加结果的比值，得到每个候选分类数量对应的每个语音样本的分类契合度；将每个候选分类数量对应的每个语音样本的分类契合度进行累加，得到每个候选分类数量对应的分类契合度总和。

关于恶意语音样本的确定装置的具体限定可以参见上文中对于恶意语音样本的确定方法的限定，在此不再赘述。上述恶意语音样本的确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种恶意语音样本的确定方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取初始语音样本集；

根据预设的多种恶意类别对初始语音样本集进行分类，得到多种恶意类别中每种恶意类别对应的语音样本子集；

根据每种恶意类别对应的语音样本子集中的语音样本信息，计算每种恶意类别对应的语音样本子集的恶意度；

将恶意度满足预设恶意度条件的恶意类别对应的语音样本子集中的语音样本，确定为恶意语音样本。

上述计算机设备中，先将初始语音样本集划分为多种恶意类别对应的语音样本子集，并基于语音样本信息分别计算每种恶意类别对应的语音样本子集的恶意度，从而将恶意度较高的恶意类别对应的语音样本子集中的语音样本确定为恶意语音样本。本计算机设备基于语音样本子集的恶意类别以及恶意度可自动确定恶意语音样本，有利于提高恶意语音样本的确定效率。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取每种恶意类别对应的语音样本子集中的语音样本的第一数量；获取每种恶意类别对应的语音样本子集中添加有负向标记的语音样本的第二数量，其中，负向标记用于指示语音样本中包含负面语音内容；根据第二数量与第一数量的比值，确定每种恶意类别对应的语音样本子集的恶意度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：计算第二数量与第一数量的比值，得到每种恶意类别对应的语音样本子集的负面反馈因子；获取初始语音样本集中的语音样本的第三数量；计算第一数量与第三数量的比值，得到每种恶意类别对应的语音样本子集的传播影响因子；根据负面反馈因子和传播影响因子，计算每种恶意类别对应的语音样本子集的恶意度。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取多个候选分类数量以及每个候选分类数量对应的语音分类模型，其中，每个候选分类数量对应的语音分类模型中的每个语音分类模型用于处理一种候选恶意类别的分类任务；针对每个候选分类数量，将初始语音样本集中的每个语音样本分别输入至候选分类数量对应的语音分类模型进行多种候选恶意类别的分类，得到每个语音样本所属多种候选恶意类别对应的多个置信度；针对每个候选分类数量，从每个语音样本所属的多种候选恶意类别中选取置信度满足预设的第一置信度条件的候选恶意类别，确定为每个语音样本所属的第一恶意类别；针对每个候选分类数量，根据每个语音样本所属第一恶意类别对应的第一置信度和每个语音样本所属第二恶意类别对应的第二置信度，确定每个候选分类数量对应的分类契合度总和，其中，第二恶意类别为多种候选恶意类别中除第一恶意类别之外的候选恶意类别；将多个候选分类数量中分类契合度总和满足预设契合度总和条件的候选分类数量对应的多种候选恶意类别，确定为预设的多种恶意类别。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取每个候选分类数量对应的初始语音分类模型；针对每个候选分类数量，将初始语音样本集中的每个语音样本分别输入至候选分类数量的初始语音分类模型进行多种恶意类别的分类，得到每个语音样本所属多种恶意类别对应的多个置信度，从每个语音样本所属的多种恶意类别中选取置信度满足预设的第二置信度条件的恶意类别，确定为每个语音样本所属的第三恶意类别；针对每个候选分类数量，将第三恶意类别对应的语音样本输入至候选分类数量对应的初始语音分类模型进行训练，得到候选分类数量对应的训练好的语音分类模型；针对每个候选分类数量，将初始语音样本集中的每个语音样本分别输入至候选分类数量对应的训练好的语音分类模型进行多种恶意类别的分类，得到每个语音样本所属多种恶意类别对应的多个置信度，从每个语音样本所属的多种恶意类别中选取置信度满足预设的第二置信度条件的恶意类别，确定为每个语音样本所属的第四恶意类别；若第四恶意类别与第三恶意类别相同，则将候选分类数量对应的训练好的语音分类模型确定为候选分类数量对应的语音分类模型；若第四恶意类别与第三恶意类别不同，则将第四恶意类别对应的语音样本作为第三恶意类别对应的语音样本，并返回执行针对每个候选分类数量，将第三恶意类别对应的语音样本输入至候选分类数量对应的初始语音分类模型进行训练的步骤，直到第四恶意类别与第三恶意类别相同。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据每个候选分类数量对应的每个语音样本所属第二恶意类别对应的第二置信度，计算每个候选分类数量对应的每个语音样本的类间区分度；将每个候选分类数量对应的每个语音样本所属第一恶意类别对应的第一置信度，确定为每个候选分类数量对应的每个语言样本的类内相似度；计算类内相似度与类间区分度之间的乘积结果与类内相似度与类间区分度之间的相加结果的比值，得到每个候选分类数量对应的每个语音样本的分类契合度；将每个候选分类数量对应的每个语音样本的分类契合度进行累加，得到每个候选分类数量对应的分类契合度总和。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。