语音识别模型的训练方法、装置、电子设备及存储介质

技术领域

本申请涉及语音识别技术领域，尤其涉及一种语音识别模型的训练方法、装置、电子设备及存储介质。

背景技术

随着电子技术的发展，文本相关的声纹识别的应用越来越普遍。文本相关的声纹识别指的是：既需要对说话人的声纹信息进行识别，还需要对该说话人的说话内容进行确认，以判断该说话人是否说的是预先指定的内容。

通常情况下，文本相关的声纹识别可以利用携带有标签的数据集训练所得到的语音识别模型进行语音分类而实现。然而，简单的分类可能会导致语音识别模型在训练过程中学习到很多噪声信息，进而影响该语音识别模型对说话人的说话内容识别准确度。

发明内容

本申请实施例提供了一种语音识别模型的训练方法、装置、电子设备及存储介质，以在文本相关的声纹识别的应用场景中提高语音识别模型的识别准确性。

第一方面，本申请实施例提供了一种语音识别模型的训练方法，包括：

获取语音样本；所述语音样本包括第一类型语音；所述第一类型语音用于表示对应的文本为预设文本的语音数据；

将所述语音样本输入待训练的语音识别模型进行训练，得到训练后的语音识别模型；所述训练后的语音识别模型用于对待处理语音进行识别，得到所述待处理语音的语音识别结果，所述待处理语音的语音识别结果用于确定所述待处理语音是否由预设注册用户发出，以及所述待处理语音对应的文本是否包括所述预设文本；

其中，所述待训练的语音识别模型包括特征提取模块、编码模块、融合模块以及识别模块；

所述特征提取模块用于根据所述语音样本进行特征提取处理，得到所述语音样本对应的声纹特征信息；

所述编码模块用于根据所述声纹特征信息进行编码处理，得到所述声纹特征信息对应的文本向量；

所述融合模块用于根据所述声纹特征信息和所述文本向量进行融合处理，得到融合特征信息；

所述识别模块用于根据所述融合特征信息进行识别处理，得到所述融合特征信息对应的语音识别结果。

第二方面，本申请实施例提供了一种声音唤醒方法，包括：

获取唤醒语音；

将所述唤醒语音输入语音识别模型进行识别处理，得到所述唤醒语音的语音识别结果；所述语音识别模型通过第一方面所述的语音识别模型的训练方法训练得到；

在所述语音识别结果用于表示所述唤醒语音由预设注册用户发出，以及所述唤醒语音对应的文本包括预设文本的情况下，确定所述唤醒语音的声音唤醒结果为唤醒通过。

第三方面，本申请实施例提供了一种语音识别模型的训练装置，所述装置包括：

第一获取单元，用于获取语音样本；所述语音样本包括第一类型语音；所述第一类型语音用于表示对应的文本为预设文本的语音数据；

训练单元，用于将所述语音样本输入待训练的语音识别模型进行训练，得到训练后的语音识别模型；所述训练后的语音识别模型用于对待处理语音进行识别，得到所述待处理语音的语音识别结果，所述待处理语音的语音识别结果用于确定所述待处理语音是否由预设注册用户发出，以及所述待处理语音对应的文本是否包括所述预设文本；

其中，所述待训练的语音识别模型包括特征提取模块、编码模块、融合模块以及识别模块；

所述特征提取模块用于根据所述语音样本进行特征提取处理，得到所述语音样本对应的声纹特征信息；

所述编码模块用于根据所述声纹特征信息进行编码处理，得到所述声纹特征信息对应的文本向量；

所述融合模块用于根据所述声纹特征信息和所述文本向量进行融合处理，得到融合特征信息；

所述识别模块用于根据所述融合特征信息进行识别处理，得到所述融合特征信息对应的语音识别结果。

第四方面，本申请实施例提供了一种声音唤醒装置，所述装置包括：

第二获取单元，用于获取唤醒语音；

识别单元，用于将所述唤醒语音输入语音识别模型进行识别处理，得到所述唤醒语音的语音识别结果；所述语音识别模型通过第一方面所述的语音识别模型的训练方法训练得到；

确定单元，用于在所述语音识别结果用于表示所述唤醒语音由预设注册用户发出，以及所述唤醒语音对应的文本包括预设文本的情况下，确定所述唤醒语音的声音唤醒结果为唤醒通过。

第五方面，本申请实施例提供了一种电子设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行如第一方面所述的语音识别模型的训练方法，或者，如第二方面所述的声音唤醒方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现如第一方面所述的语音识别模型的训练方法，或者，如第二方面所述的声音唤醒方法。

可以看出，在本申请实施例中，一方面，参与训练的每个语音样本均包括第一类型语音，该第一类型语音是一个语音数据，该语音数据对应的文本为预设文本，使得训练后的语音识别模型在基于文本的声纹识别场景中能够针对预设文本进行更准确地识别；另一方面，通过特征提取模块根据语音样本进行特征提取处理，得到声纹特征信息，通过编码模块根据声纹特征信息进行编码处理，得到文本向量，通过融合模块根据声纹特征信息和文本向量进行融合处理，得到融合特征信息，使得用于进行语音识别的融合特征信息由可以反应语音样本的语义信息的文本向量和可以反映语音样本的声纹特征的声纹特征信息构成，进而，利用该融合特征信息进行语音识别，能够使语音识别模型在训练过程中更好地兼顾语义信息和声纹特征的学习，提高训练后的语音识别模型在文本相关的声纹识别场景下的语音识别效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；

图1为本申请实施例提供的一种语音识别模型的训练方法的处理流程图；

图2为本申请实施例提供的一种语音识别模型的数据流向示意图；

图3为本申请实施例提供的一种声音唤醒方法的处理流程图；

图4为本申请实施例提供的另一种声音唤醒方法的处理流程图；

图5为本申请实施例提供的一种声音唤醒方法中声纹动态更新的原理示意图；

图6为本申请实施例提供的一种语音识别模型的训练装置示意图；

图7为本申请实施例提供的一种声音唤醒装置示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请的保护范围。

在文本相关的声纹识别场景中，既需要对说话人的声纹信息进行识别，还需要对该说话人的说话内容进行确认，以判断该说话人是否说的是预先指定的内容。例如，用户说出包括指定的唤醒词的唤醒语音后，手机采集到该唤醒语音，既需要判断该唤醒语音是否由手机的注册用户的声纹信息匹配，又需要判断唤醒语音是否包括唤醒词。常规的声纹识别模型通常将训练侧重点放在声纹识别上，通过分类让模型自主学习说话人信息和语义信息。然而，该训练方式使得声纹识别模型会学习过多的噪声，对语义信息的识别准确性不高，导致在文本相关的声纹识别场景中，模型的识别效果不佳。为了解决上述问题，本申请实施例提供了一种语音识别模型的训练方法。

图1为本申请实施例提供的一种语音识别模型的训练方法的处理流程图。图1的语音识别模型的训练方法可由电子设备执行，该电子设备可以是终端设备，比如手机、笔记本电脑、智能交互设备等等；或者，该电子设备还可以是服务器，比如独立的物理服务器、服务器集群或者是能够进行云计算的云服务器。参照图1，本实施例提供的语音识别模型的训练方法，具体包括步骤S102至步骤S104。

步骤S102，获取语音样本；语音样本包括第一类型语音；第一类型语音用于表示对应的文本为预设文本的语音数据。

获取语音样本，可以是获取第一数据集，该第一数据集包括多个语音样本。每个语音样本可以包括第一类型语音。

语音数据为通过语音来记录的数据以及通过语音来传输的数据。语音数据对应的文本可以是对语音数据进行语音转文字处理或文字标注处理所得到的文本。

例如，语音数据1的发音可以用拼音表示如下：‘xiao’‘ma’，其中，‘xiao’的声调为三声，‘ma’的声调为三声。该语音数据1对应的文本为“小马”。

第一类型语音用于表示对应的文本为预设文本的语音数据，具体地，第一类型语音是一个语音数据，该语音数据对应的文本为预设文本。

需要注意的是，在第一数据集中，尽管每个语音样本均包括第一类型语音，但在不同的语音样本中，该第一类型语音分别由不同的人发出。

例如，第一数据集包括100个语音样本，预设文本为“小马小马”。

在第一数据集中，语音样本1包括第一类型语音1，该第一类型语音1是由用户1发出的“小马小马”的语音数据；

语音样本2包括第一类型语音2，该第一类型语音2是由用户2发出的“小马小马”的语音数据；

……

语音样本100包括第一类型语音100，该第一类型语音100是由用户100发出的“小马小马”的语音数据。

具体实施时，每个语音样本可以仅包括第一类型语音，也可以由第一类型语音和第二类型语音构成。第二类型语音用于表示对应的文本为预设文本之外的其他文本的语音数据，即第二类型语音为一个语音数据，该语音数据对应的文本为其他文本。在多个语音样本中，每个语音样本所包括的第二类型语音对应的文本可以是相同的文本，也可以是不同的文本。

在每个语音样本由第一类型语音和第二类型语音构成的情况下，在每个语音样本中，该语音样本所包括的第一类型语音和第二类型语音也可以分别是同一个语音数据中的两部分。

在文本相关的声纹识别场景中，第二类型语音对应的文本可以是针对电子设备发出的指令文本。

在第一类型语音和第二类型语音中，“第一”和“第二”仅仅用于区分两种不同类型的语音，不具有实际含义。本说明书中出现的其他“第一”和“第二”同理，不再赘述。

例如，获取的第一数据集是1000人定制数据集，包括1000个语音样本，每个语音样本分别由不同的人发出。每个语音样本的时间长度均为3分钟，且每个语音样本对应的文本均由两部分构成，其中一部分是预设文本“小马小马”，另一部分是预设文本“小马小马”之外的其他文本。

具体地，语音样本1对应的文本为：小马小马，播放音乐X1。该语音样本1包括第一类型语音1和第二类型语音1。其中，第一类型语音1对应的文本为“小马小马”。第二类型语音1对应的文本为“播放音乐X1”。

语音样本2对应的文本为：小马小马，搜索X2的网址。该语音样本2包括第一类型语音2和第二类型语音2。其中，第一类型语音2对应的文本为“小马小马”。第二类型语音2对应的文本为“搜索X2的网址”。

语音样本3对应的文本为：小马小马，查询X3的地址。该语音样本3包括第一类型语音3和第二类型语音3。其中，第一类型语音3对应的文本为“小马小马”。第二类型语音3对应的文本为“查询X3的地址”。

……

语音样本N对应文本为：小马小马，告诉我X4的号码。该语音样本N包括第一类型语音N和第二类型语音N。其中，第一类型语音N对应的文本为“小马小马”。第二类型语音N对应的文本为“告诉我X4的号码”。

N为大于3的自然数。

第一数据集可以用于语音识别模型的模型微调。

另外，也可以获取不包括第一类型语音的语音样本，例如，语音样本i对应的文本为“请播放音乐S”，预设文本为“小马小马”，则该语音样本i不包括第一类型语音。i为大于0的自然数。

步骤S104，将语音样本输入待训练的语音识别模型进行训练，得到训练后的语音识别模型；训练后的语音识别模型用于对待处理语音进行识别，得到待处理语音的语音识别结果，待处理语音的语音识别结果用于确定待处理语音是否由预设注册用户发出，以及待处理语音对应的文本是否包括预设文本；其中，待训练的语音识别模型包括特征提取模块、编码模块、融合模块以及识别模块；特征提取模块用于根据语音样本进行特征提取处理，得到语音样本对应的声纹特征信息；编码模块用于根据声纹特征信息进行编码处理，得到声纹特征信息对应的文本向量；融合模块用于根据声纹特征信息和文本向量进行融合处理，得到融合特征信息；识别模块用于根据融合特征信息进行识别处理，得到融合特征信息对应的语音识别结果。

待训练的语音识别模型可以是预训练模型。将语音样本输入待训练的语音识别模型进行训练，可以是根据语音样本对预训练模型进行微调。

在文本相关的声纹识别场景中，通过包括第一类型语音的语音样本对预训练模型进行微调，可以使得训练后的语音识别模型学会识别该场景下的指定唤醒词。

预训练模型可以通过如下方式获得：获取第二数据集；将第二数据集输入初始语音识别模型进行训练，得到预训练模型。

第二数据集可以包括多个训练样本，每个训练样本为一个语音数据，不同的训练样本分别由不同的人发出。每个训练样本对应的文本可以相同也可以不同。

例如，获取的第二数据集由10000人分别发出的语音数据构成，即第二数据集包括10000个训练样本。每个训练样本的时间长度为10分钟，且每个语音样本对应的文本各不相同。

待训练的语音识别模型包括特征提取模块、编码模块、融合模块以及识别模块。

具体地，在待训练的语音识别模型中，特征提取模块的输入为语音样本，特征提取模块的输出为编码模块的输入，编码模块的输出为融合模块的输入，特征提取模块的输出为融合模块的输入，融合模块的输出为识别模块的输入，以及，融合模块的输出为语音样本的语音识别结果。

特征提取模块可以用于根据语音样本进行特征提取处理，得到语音样本对应的声纹特征信息。

在一种具体的实现方式中，根据语音样本进行特征提取处理，得到语音样本对应的声纹特征信息的具体实现方式有：根据语音样本，生成对应的初始音频特征；对初始音频特征进行声纹特征提取处理，得到声纹特征信息。

具体实施时，特征提取模块可以包括依次连接的预处理子模块和编码子模块，预处理子模块的输入为语音样本，预处理子模块的输出为编码子模块的输入，编码子模块的输出为语音样本对应的声纹特征信息。

具体实施时，通过预处理子模块，可以根据语音样本，生成对应的初始音频特征。通过编码子模块，可以对初始音频特征进行声纹特征提取处理，得到声纹特征信息。

初始音频特征可以是矩阵形式的音频特征。

初始音频特征可以是Fbank特征，例如，初始音频特征可以是fbank80特征。

Fbank，即FilterBank的缩写，人耳对声音频谱的响应是非线性的，Fbank就是一种前端处理算法，以类似于人耳的方式对音频进行处理，可以提高语音识别的性能。获得语音信号的fbank特征的步骤可以包括：预加重、分帧、加窗、STFT(short-time Fouriertransform，短时傅里叶变换)、mel滤波、去均值等。

编码子模块可以是conformer模型。

conformer模型是一种将transformer和CNN(Convolutional Neural Networks，卷积神经网络)相结合得到的模型，Transformer模型擅长捕获基于内容的全局交互，而CNN则有效地利用了局部特征，二者结合使得conformer模型对长时全局交互信息和局部特征都有比较好的建模。

transformer是一种基于自注意力机制的时序模型，在编码器部分可以有效对时序信息进行编码，对时序信息的处理能力远远好于LSTM(Long Short-Term Memory，长短期记忆网络)，且速度快。transformer广泛应用于自然语言处理，计算机视觉，机器翻译，语音识别等领域中。

通过编码子模型，对初始音频特征进行声纹特征提取处理，得到声纹特征信息，具体实施时可以是通过conformer模型，可以对矩阵形式的Fbank特征进行编码处理，得到向量形式的声纹特征信息。

需要强调的是，初始音频特征为帧级别的数据。语音样本可以包括多帧音频数据，每帧音频对应于一个初始音频特征，每个初始音频特征的处理方式相同。

具体实施时，通过预处理子模型，根据每个语音样本，生成该语音样本对应的多个初始音频特征；该多个初始音频特征的数量对应于该语音样本所包括的多帧音频数据的帧数；通过编码子模型，对每个初始音频特征进行声纹特征提取处理，得到该初始音频特征对应的声纹特征信息。

综上，通过特征提取模块获得的声纹特征信息也是帧级别的数据。

编码模块可以用于根据声纹特征信息进行编码处理，得到声纹特征信息对应的文本向量。

编码模块可以是transformer模型。编码模块可以用于对文本内容进行建模。

根据声纹特征信息进行编码处理，得到声纹特征信息对应的文本向量，可以是根据语音样本中每帧音频数据对应的声纹特征信息进行编码处理，得到可以反映语音样本的语义信息的文本向量。

融合模块可以用于根据声纹特征信息和文本向量进行融合处理，得到融合特征信息。

在一种具体的实现方式中，声纹特征信息包括帧级别的第一声纹特征向量；根据声纹特征信息和文本向量进行融合处理，得到融合特征信息的具体实现方式有：将第一声纹特征向量转换为段级别的第二声纹特征向量；将第二声纹特征向量与文本向量进行拼接处理，得到融合特征信息。

融合模块可以包括池化子模块和拼接子模块。

通过池化子模块可以将第一声纹特征向量转换为段级别的第二声纹特征向量；通过拼接子模块可以将第二声纹特征向量与文本向量进行拼接处理，得到融合特征信息。

池化子模块可以是statis pooling层，可以用于向量转换。

拼接子模块，可以用于通过contat合并方式将第二声纹特征向量与文本向量拼接得到一个向量，将该拼接得到的向量作为融合特征信息。

Contat合并方式，可以是调用torch.concat函数对该函数的两个入参进行合并处理。

特征提取模块的输出可以是statis pooling层的输入，statis pooling层的输出可以是拼接子模块的输入，拼接子模块的输出可以是融合特征信息。

帧级别的数据可能受到语音样本的音频时长的影响，不利于后续融合特征信息的识别。通过池化子模块将帧级别的第一声纹特征向量转换为段级别的第二声纹特征向量，并将第二声纹特征向量与文本向量拼接得到的融合特征信息，可以避免融合特征信息受语音样本的音频时长的影响。

另外，融合模块还可以包括线性层，即linear层。拼接子模块的输出可以为linear层的输入。

具体实施时，通过池化子模块可以将第一声纹特征向量转换为段级别的第二声纹特征向量；通过拼接子模块可以将第二声纹特征向量与文本向量进行拼接处理，得到中间特征信息；通过线性层，可以对中间特征信息进行非线性映射，得到融合特征信息。

识别模块可以用于根据融合特征信息进行识别处理，得到融合特征信息对应的语音识别结果。

融合特征信息对应的语音识别结果等同于语音样本对应的语音识别结果。语音识别结果可以包括第一识别结果和第二识别结果：

第一识别结果用于表示语音样本由预设注册用户发出，以及语音样本对应的文本包括预设文本。

第二识别结果用于表示语音样本不同时满足语音样本由预设注册用户发出，以及语音样本对应的文本包括预设文本。

语音样本不同时满足语音样本由预设注册用户发出，以及语音样本对应的文本包括预设文本，可能包括如下三种情况：

(a1)语音样本由预设注册用户发出，以及语音样本对应的文本不包括预设文本；

(a2)语音样本非预设注册用户发出，以及语音样本对应的文本包括预设文本；

(a3)语音样本非预设注册用户发出，以及语音样本对应的文本不包括预设文本。需要注意的是，在语音样本对应的语音识别结果为第二识别结果的情况下，该第二识别结果对应于(a1)-(a3)中哪一种情况是未知的。

语音样本对应的语音识别结果包括第一识别结果和第二识别结果，是考虑到在文本相关的声纹识别场景中，只有在预设注册用户说出指定唤醒词的情况下唤醒语音的声音唤醒结果为唤醒通过。若非预设注册用户说出指定唤醒词，或者，预设注册用户未说出指定唤醒词，或者，非预设注册用户未说出指定唤醒词，其结果都是唤醒未通过。在文本相关的声纹识别场景中，将唤醒语音输入训练后的语音识别模型进行识别处理得到语音识别结果，该语音识别结果用于确定唤醒语音的声音唤醒结果是唤醒通过还是唤醒未通过，因此，没有必要训练模型学习如何对唤醒未通过的三种不同情况，即前述(a1)-(a3)，进行细致分类。

下面具体说明一下语音样本是否由预设注册用户发出的定义：

在语音样本对应的声纹特征信息与预先存储的预设注册用户的声纹特征信息的相似度大于预设相似度阈值的情况下，语音样本由预设注册用户发出；在语音样本对应的声纹特征信息与预先存储的预设注册用户的声纹特征信息的相似度小于等于预设相似度阈值的情况下，语音样本非预设注册用户发出。

若预先存储的预设注册用户的数量为多个，则语音样本由预设注册用户发出，指的是，在预先存储的多个预设注册用户的声纹特征信息中，语音样本对应的声纹特征信息与其中一个预设注册用户的声纹特征信息的相似度大于预设相似度阈值，且与其他预设注册用户的声纹特征信息的相似度小于等于预设相似度阈值。语音样本非预设注册用户发出，指的是，在预先存储的多个预设注册用户的声纹特征信息中，语音样本对应的声纹特征信息与其中每个预设注册用户的声纹特征信息的相似度均小于等于预设相似度阈值。

电子设备可以在每个用户进行声音唤醒注册时存储该用户的声纹特征信息。

语音样本对应的声纹特征信息，可以是发出语音样本所包括的语音数据的用户的声纹特征信息。

例如，语音样本1包括由用户1发出的“小马小马，请播放乐曲Y”的语音数据，则语音样本1对应的声纹特征信息为该用户1的声纹特征信息。

电子设备可以预先存储有用户x和用户y的声纹特征信息。

在用户1的声纹特征信息与用户x的声纹特征信息的相似度大于预设相似度阈值的情况下，语音样本1由预设注册用户“用户x”发出。

在用户1的声纹特征信息与用户y的声纹特征信息的相似度大于预设相似度阈值的情况下，语音样本1由预设注册用户“用户y”发出。

在用户1的声纹特征信息与用户x的声纹特征信息的相似度小于等于预设相似度阈值，且用户1的声纹特征信息与用户y的声纹特征信息的相似度小于等于预设相似度阈值的情况下，语音样本1非预设注册用户发出。

下面具体说明一下语音样本对应的文本是否包括预设文本的定义：

将语音样本所包括的语音数据进行语音转文字处理或人工标注处理得到该语音样本对应的文本，可以该文本表示为包括h个字符的第一字符串，将预设文本表示为包括i个字符的第二字符串，h和i均为大于0的自然数，且h大于等于i。在第二字符串为第一字符串的子集的情况下，语音样本对应的文本包括预设文本；在第二字符串不是第一字符串的子集的情况下，语音样本对应的文本不包括预设文本。

例如，语音样本1对应的第一字符串1为“小马小马，请播放音乐M”，预设文本对应的第二字符串为“小马小马”，该第二字符串为第一字符串1的子集，则该语音样本1包括预设文本。

语音样本2对应的第一字符串2为“请播放音乐T”，预设文本对应的第二字符串为“小马小马”，该第二字符串不是第一字符串2的子集，则该语音样本2不包括预设文本。

在一种具体的实现方式中，根据融合特征信息进行识别处理，得到融合特征信息对应的语音识别结果的具体实现方式有：计算融合特征信息与预存的参考特征集合中每个参考特征信息的余弦相似度；根据余弦相似度与预设相似度阈值的大小比较结果，确定融合特征信息对应的语音识别结果。

余弦相似度即余弦距离(consine)，几何中夹角余弦可用来衡量两个向量方向的差异，机器学习中借用这一概念来衡量样本向量之间的差异。相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。在声纹识别中常用来计算两个向量的相似度。

计算融合特征信息与预存的参考特征集合中每个参考特征信息的余弦相似度。每个参考特征信息对应于一个预设注册用户。

在将待处理语音输入训练后的语音识别模型的情况下，若融合特征信息与至少一个参考特征信息的余弦相似度大于等于预设相似度阈值，则可以确定融合特征信息对应的语音识别结果为第一识别结果，即接收的待处理语音同时满足待处理语音由预设注册用户发出，以及，待处理语音对应的文本包括预设文本；若融合特征信息与任意一个参考特征信息的余弦相似度均小于预设相似度阈值，则可以确定融合特征信息对应的语音识别结果为第二识别结果，即接收的待处理语音不同时满足待处理语音由预设注册用户发出，以及待处理语音对应的文本包括预设文本。

训练后的语音识别模型用于对待处理语音进行识别，得到待处理语音的语音识别结果，待处理语音的语音识别结果用于确定待处理语音是否由预设注册用户发出，以及待处理语音对应的文本是否包括预设文本。

具体实施时，可以通过训练后的语音识别模型中的特征提取模块对待处理语音进行特征提取处理，得到待处理语音对应的声纹特征信息；通过训练后的语音识别模型中的编码模块根据声纹特征信息进行编码处理，得到声纹特征信息对应的文本向量；通过训练后的语音识别模型中的融合模型根据声纹特征信息和文本向量进行融合处理，得到融合特征信息；通过训练后的语音识别模型中的识别模块根据融合特征信息进行识别处理，得到融合特征信息对应的语音识别结果，将该融合特征信息对应的语音识别结果作为待处理语音的语音识别结果。

该待处理语音的语音识别结果可以是第一识别结果和第二识别结果中的其中一者。第一识别结果用于表示待处理语音由预设注册用户发出，以及待处理语音对应的文本包括预设文本。第二识别结果用于表示待处理语音不同时满足待处理语音由预设注册用户发出，以及待处理语音对应的文本包括预设文本。在一种具体的实现方式中，参考特征信息通过如下方式生成：获取预设注册用户发出的注册语音；注册语音对应的文本包括预设文本；根据注册语音进行特征提取处理，得到注册语音对应的注册声纹特征信息；根据注册声纹特征信息进行编码处理，得到注册声纹特征信息对应的注册文本向量；根据注册声纹特征信息和注册文本向量进行融合处理，得到预设注册用户的参考特征信息。

为了实现融合特征的识别，需要预先生成至少一个预设注册用户的参考特征信息并存储至指定区域，以形成参考特征集合。

指定区域可以是注册向量库。注册向量库可以包括多个注册向量，注册向量即参考特征信息。

参考特征信息的生成可以利用训练后的语音识别模型中的特征提取模块、编码模块以及融合模块。待训练的语音识别模型与训练后的语音识别模型的结构相同，模型参数不同。

例如，在文本相关的声纹识别场景中的注册阶段，当一条由预设注册用户发出的注册语音输入模型之后，首先对注册提取fbank80特征，然后将该fbank80特征输入到conformer模型当中，conformer分别将声纹特征信息输出至transformer模型和statispooling层，transformer模型将声纹特征信息转换为对应的文本向量并传输至linear层，statis pooling层将帧级别的声纹特征信息转换为段级别的声纹特征信息并传输至linear层，然后将该文本向量和段级别的声纹特征信息进行concat合并，再通过linear层对合并得到的向量进行非线性映射处理，得到最终的融合特征信息，将融合特征信息作为注册向量，存入注册向量库中。

在详细介绍待训练的语音识别模型的模型结构之后，结合待训练的语音识别模型的模型结构，示例性说明通过对初始语音识别模型进行预训练得到待训练的语音识别模型的具体流程：

使用第二数据集训练conformer模型，conformer模型与statis pooling层连接，conformer模型的输出为statis pooling层的输入，通过statis pooling层将帧级别特征转换为段级别特征，然后将段级别特征送入到softmax分类器中，对说话人身份进行分类，反向传播进行训练，直至模型收敛。

在一种具体的实现方式中，在模型训练过程中，语音识别模型的参数是基于损失函数值更新的，所述损失函数值是基于所述文本向量、所述融合特征信息以及预先配置的损失权重值确定的。

示例性地，在第i次训练中，根据文本向量、融合特征信息以及预先配置的损失权重值，生成该第i次训练的损失函数值。i可以是大于0的任意自然数。

例如，在第1次训练中，根据文本向量、融合特征信息以及预先配置的损失权重值，生成第1次训练的损失函数值，损失函数值用于驱动第1次训练的语音识别模型进行参数更新，从而得到第2次训练的语音识别模型。

在将语音样本输入待训练的语音识别模型进行训练的过程中，与预训练阶段区别点在于，不仅声纹特征信息参与到模型训练中，还可以将文本向量引入训练。

在一种具体的实现方式中，损失函数值是基于第一函数值、第二函数值以及损失权重值确定的，第一函数值是基于文本向量和预设文本标签确定的，第二函数值是基于特征融合信息和预设特征标签确定的。

具体实施时，可以根据文本向量和预设文本标签，生成第一损失子函数的第一函数值；根据特征融合信息和预设特征标签，生成第二损失子函数的第二函数值；根据第一函数值、第二函数值以及损失权重值，生成损失函数值。

第一损失子函数可以是CTC(Connectionist Temporal Classification，连接主义时序分类)损失。

语音样本可以携带有预设文本标签，该预设文本标签用于表示该语音样本对应的文本。

例如，语音样本1对应的文本为“小马小马，播放音乐X1”，则该语音样本1携带的预设文本标签为“小马小马，播放音乐X1”。

CTC损失的输入是帧级别的向量，即前述的编码模块输出的文本向量，CTC损失的输出是第一损失子函数的损失函数值，通过计算CTC损失可以自动对齐序列，计算输入的向量与预设文本标签之间的序列相似度，达到对文本内容建模的目的。

第二损失子函数可以是交叉熵损失，即Softmax损失。

通过计算Softmax损失，可以进行预设特征标签与融合特征信息的标签向量onehot转换和求后验概率。

语音样本可以携带有预设特征标签，预设特征标签可以是人工标注的用于描述语音样本对应的语音特征信息的标签。

损失权重值可以包括预先配置的第一损失子函数对应的第一权重值和第二损失子函数对应的第二权重值。例如，第一权重值为0.1，第二权重值为0.9。

示例性地，在第一权重值为0.1，第二权重值为0.9的情况下，根据第一函数值、第二函数值以及损失权重值，生成损失函数值，可以参照如下公式(1)：

L

其中，L

基于L

在如图1所示的实施例中，一方面，参与训练的每个语音样本均包括第一类型语音，该第一类型语音是一个语音数据，该语音数据对应的文本为预设文本，使得训练后的语音识别模型在基于文本的声纹识别场景中能够针对预设文本进行更准确地识别；另一方面，通过特征提取模块根据语音样本进行特征提取处理，得到声纹特征信息，通过编码模块根据声纹特征信息进行编码处理，得到文本向量，通过融合模块根据声纹特征信息和文本向量进行融合处理，得到融合特征信息，使得用于进行语音识别的融合特征信息由可以反应语音样本的语义信息的文本向量和可以反映语音样本的声纹特征的声纹特征信息构成，进而，利用该融合特征信息进行语音识别，能够使语音识别模型在训练过程中更好地兼顾语义信息和声纹特征的学习，提高训练后的语音识别模型在文本相关的声纹识别场景下的语音识别效果。

在上述的实施例中，提供了一种语音识别模型的训练方法，与之相对应的，基于相同的技术构思，本申请实施例还提供了一种具体的语音识别模型。图2为本申请实施例提供的一种语音识别模型的数据流向示意图。

如图2所示，语音识别模型包括第一编码单元204、第二编码单元206、统计池化层210以及线性层212。

将音频特征202输入第一编码单元204进行编码处理，得到音频特征202对应的声纹特征信息。

该音频特征202可以是Fbank80特征，具体可参照图1实施例中的初始音频特征。第一编码单元204可以是conformer模型，具体可参照图1实施例中的编码子单元。

第一编码单元204将声纹特征信息分别传输至第二编码单元206和统计池化层210。声纹特征信息可以是帧级别数据。

通过第二编码单元206对声纹特征信息进行编码处理，得到对应的文本向量。

通过统计池化层210对声纹特征信息进行转换处理，使帧级别数据被转换为段级别数据。

第二编码单元206可以是transformer模型，具体可参照图1实施例中的编码模块。统计池化层可以statis pooling层，具体可参照图1实施例中的池化子模块。

第二编码单元206一方面将文本向量输出，以生成时序分类损失208，另一方面将文本向量传输至线性层212。

时序分类损失208可以是CTC损失。

线性层212可以是linear层，用于对输入数据进行非线性映射。

统计池化层210将段级别的声纹特征信息传输至线性层212。

在线性层212对输入数据进行非线性映射之前，将段级别的声纹特征信息与文本向量融合，得到中间特征信息。通过线性层212对中间特征信息进行非线性映射处理，得到对应的融合特征信息。

线性层212输出融合特征信息，以生成交叉熵损失214。

交叉熵损失214可以是Softmax损失。

通过本实施例提供的语音识别模型，可以利用融合特征信息确定是否是同一人，同一文本216，即音频特征202对应的待处理语音是否同时满足待处理语音由预设注册用户发出，以及，待处理语音对应的文本包括预设文本。

由于技术构思相同，本实施例中描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。

出于与语音识别模型的训练方法相同的技术构思，本申请实施例还提供了一种声音唤醒方法。图3为本申请实施例提供的一种声音唤醒方法的处理流程图。

如图3所示，步骤S302，获取唤醒语音。

在文本相关的声纹识别场景中，唤醒语音可以是预设注册用户发出的用于激活对应服务的语音数据。具体地，可以是预设注册用户发出的包括预设的唤醒词的语音。

例如，用户发出“小马小马，给我搜索下X”的声音，智能终端采集到该声音，将其作为唤醒语音。

步骤S304，将唤醒语音输入语音识别模型进行识别处理，得到唤醒语音的语音识别结果；语音识别模型通过语音识别模型的训练方法训练得到。

语音识别模型的训练方法可以参照上述的语音识别模型的训练方法实施例。

步骤S306，在语音识别结果用于表示唤醒语音由预设注册用户发出，以及唤醒语音对应的文本包括预设文本的情况下，确定唤醒语音的声音唤醒结果为唤醒通过。

另外，在语音识别结果用于表示唤醒语音不同时满足由预设注册用户发出，以及，唤醒语音对应的文本包括预设文本的情况下，确定唤醒语音的声音唤醒结果为唤醒未通过。

在唤醒语音的声音唤醒结果为唤醒未通过的情况下，还可以生成提示信息，该提示信息用于提示发出唤醒语音的用户其不具有操作权限或唤醒语音的文本有误。

在实际应用中，可以由手机端接收用户发出的唤醒语音，当用户说出指定唤醒词后，通过语音识别模型对该唤醒语音进行识别处理，得到唤醒语音的识别结果。

在一种具体的实现方式中，声音唤醒方法还包括如下流程：在唤醒语音的声音唤醒结果为唤醒通过的情况下，在预设存储区域中存储唤醒语音对应的融合特征向量；判断预设存储区域中存储的融合特征向量的数量是否大于等于预设数量阈值；若是，则根据预设存储区域中存储的融合特征向量进行均值计算处理，得到目标特征向量，并删除预设存储区域中存储的融合特征向量；根据目标特征向量，对唤醒语音对应的预设注册用户的参考特征信息进行更新处理。

在每次用户进行声音唤醒时，该次用户唤醒通过，则将该次获取的唤醒语音对应的融合特征向量记录下来，存至预设存储区域中，当预设存储区域中的融合特征向量的个数达到预设数量阈值时，根据该预设存储区域中存储的融合特征向量进行均值计算处理，得到目标特征向量并删除预设存储区域中存储的融合特征向量，将唤醒语音对应的预设注册用户的参考特征信息变更为该目标特征向量。

例如，预设数量阈值可以是10，在预设存储区域中存储的向量个数达到10个时，根据该10个融合特征向量进行均值计算处理，得到目标特征向量并删除该10个融合特征向量，将唤醒语音对应的用户的参考特征信息变更为该目标特征向量。

考虑到用户生病或用户的年龄增长可能导致该用户的声音逐渐发生细微的变化，例如，生病第一天嗓子只是有点不舒服，在进行声音唤醒时用户的声音和注册时的声音变化不大，依然可以唤醒通过，但到了第二天、第三天……用户的声音变化越来越大，可能会导致唤醒失败。

通过动态更新用户的参考特征信息，可以使得参考特征信息由近期唤醒通过的融合特征信息确定，而不是由很久之前注册时生成的融合特征信息确定，可以降低唤醒未通过的概率，提高用户体验。

在如图3所示的实施例中，首先，获取唤醒语音；然后，将唤醒语音输入语音识别模型进行识别处理，得到唤醒语音的语音识别结果；语音识别模型通过语音识别模型的训练方法训练得到；最后，在语音识别结果用于表示唤醒语音由预设注册用户发出，以及唤醒语音对应的文本包括预设文本的情况下，确定唤醒语音的声音唤醒结果为唤醒通过。以此，一方面，参与训练的每个语音样本均包括第一类型语音，该第一类型语音是一个语音数据，该语音数据对应的文本为预设文本，使得训练后的语音识别模型在基于文本的声纹识别场景中能够针对预设文本进行更准确地识别；另一方面，通过特征提取模块根据语音样本进行特征提取处理，得到声纹特征信息，通过编码模块根据声纹特征信息进行编码处理，得到文本向量，通过融合模块根据声纹特征信息和文本向量进行融合处理，得到融合特征信息，使得用于进行语音识别的融合特征信息由可以反应语音样本的语义信息的文本向量和可以反映语音样本的声纹特征的声纹特征信息构成，进而，利用该融合特征信息进行语音识别，能够使语音识别模型在训练过程中更好地兼顾语义信息和声纹特征的学习，提高训练后的语音识别模型在文本相关的声纹识别场景下的语音识别效果。

图4为本申请实施例提供的另一种声音唤醒方法的处理流程图。

如图4所示，步骤S402，接收唤醒。

采集由用户发出的唤醒语音。

步骤S404，声纹唤醒。

将唤醒语音输入语音识别模型进行识别处理，得到对应的语音识别结果。语音识别模型可以通过前述方法实施例中提供的语音识别模型的训练方法训练所得到。

步骤S406，是否唤醒通过。

若语音识别结果为第一识别结果，则确定唤醒通过；若语音识别结果为第二识别结果，则确定唤醒未通过。

若是，则执行步骤S408；若否，则返回步骤S402。

步骤S408，执行后续逻辑。

由于技术构思相同，本实施例中描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。

图5为本申请实施例提供的一种声音唤醒方法中声纹动态更新的原理示意图。

如图5所示，步骤S502，声纹注册。

步骤S504，生成注册向量。

步骤S502至步骤S504可以参照图1实施例中的参考特征信息的生成方式。注册向量与参考特征信息为同一概念。

在生成注册向量之后，可以将其存储于声纹注册库中。

步骤S506，等待唤醒。

步骤S508，声纹唤醒。

步骤S510，生成唤醒向量。

唤醒向量可以是获取的唤醒语音对应的融合特征向量。

步骤S512，确定唤醒通过。

步骤S514，存储唤醒向量。

步骤S516，是否超过10个向量。

判断存储的唤醒向量的个数是否超过10个，若是，则根据该10个唤醒向量进行均值计算处理，得到目标特征向量，删除该10个唤醒向量，并利用该目标特征向量更新声纹注册库中的注册向量。

由于技术构思相同，本实施例中描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。

在上述的实施例中，提供了一种语音识别模型的训练方法，与之相对应的，基于相同的技术构思，本申请实施例还提供了一种语音识别模型的训练装置，下面结合附图进行说明。

图6为本申请实施例提供的一种语音识别模型的训练装置示意图。

本实施例提供一种语音识别模型的训练装置600，包括：

第一获取单元602，用于获取语音样本；所述语音样本包括第一类型语音；所述第一类型语音用于表示对应的文本为预设文本的语音数据；

训练单元604，用于将所述语音样本输入待训练的语音识别模型进行训练，得到训练后的语音识别模型；所述训练后的语音识别模型用于对待处理语音进行识别，得到所述待处理语音的语音识别结果，所述待处理语音的语音识别结果用于确定所述待处理语音是否由预设注册用户发出，以及所述待处理语音对应的文本是否包括所述预设文本；其中，所述待训练的语音识别模型包括特征提取模块、编码模块、融合模块以及识别模块；所述特征提取模块用于根据所述语音样本进行特征提取处理，得到所述语音样本对应的声纹特征信息；所述编码模块用于根据所述声纹特征信息进行编码处理，得到所述声纹特征信息对应的文本向量；所述融合模块用于根据所述声纹特征信息和所述文本向量进行融合处理，得到融合特征信息；所述识别模块用于根据所述融合特征信息进行识别处理，得到所述融合特征信息对应的语音识别结果。

可选地，在模型训练过程中，语音识别模型的参数是基于损失函数值更新的，所述损失函数值是基于所述文本向量、所述融合特征信息以及预先配置的损失权重值确定的。

可选地，所述损失函数值是基于第一函数值、第二函数值以及所述损失权重值确定的，所述第一函数值是基于所述文本向量和预设文本标签确定的，所述第二函数值是基于所述特征融合信息和预设特征标签确定的。

可选地，所述根据所述融合特征信息进行识别处理，得到所述融合特征信息对应的语音识别结果的具体实现方式有：

计算所述融合特征信息与预存的参考特征集合中每个参考特征信息的余弦相似度；

根据所述余弦相似度与预设相似度阈值的大小比较结果，确定所述融合特征信息对应的语音识别结果。

可选地，所述根据所述语音样本进行特征提取处理，得到所述语音样本对应的声纹特征信息的具体实现方式有：

根据所述语音样本，生成对应的初始音频特征；

对所述初始音频特征进行声纹特征提取处理，得到所述声纹特征信息。

可选地，所述声纹特征信息包括帧级别的第一声纹特征向量；所述根据所述声纹特征信息和所述文本向量进行融合处理，得到融合特征信息的具体实现方式有：

将所述第一声纹特征向量转换为段级别的第二声纹特征向量；

将所述第二声纹特征向量与所述文本向量进行拼接处理，得到所述融合特征信息。

可选地，所述参考特征信息通过如下方式生成：

获取所述预设注册用户发出的注册语音；所述注册语音对应的文本包括所述预设文本；

根据所述注册语音进行特征提取处理，得到所述注册语音对应的注册声纹特征信息；

根据所述注册声纹特征信息进行编码处理，得到所述注册声纹特征信息对应的注册文本向量；

根据所述注册声纹特征信息和所述注册文本向量进行融合处理，得到所述预设注册用户的所述参考特征信息。

本申请实施例所提供的语音识别模型的训练装置包括：第一获取单元，用于获取语音样本；语音样本包括第一类型语音；第一类型语音用于表示对应的文本为预设文本的语音数据；训练单元，用于将语音样本输入待训练的语音识别模型进行训练，得到训练后的语音识别模型；训练后的语音识别模型用于对待处理语音进行识别，得到所述待处理语音的语音识别结果，所述待处理语音的语音识别结果用于确定所述待处理语音是否由预设注册用户发出，以及待处理语音对应的文本是否包括预设文本；其中，待训练的语音识别模型包括特征提取模块、编码模块、融合模块以及识别模块；特征提取模块用于根据语音样本进行特征提取处理，得到语音样本对应的声纹特征信息；编码模块用于根据声纹特征信息进行编码处理，得到声纹特征信息对应的文本向量；融合模块用于根据声纹特征信息和文本向量进行融合处理，得到融合特征信息；识别模块用于根据融合特征信息进行识别处理，得到融合特征信息对应的语音识别结果。以此，一方面，参与训练的每个语音样本均包括第一类型语音，该第一类型语音是一个语音数据，该语音数据对应的文本为预设文本，使得训练后的语音识别模型在基于文本的声纹识别场景中能够针对预设文本进行更准确地识别；另一方面，通过特征提取模块根据语音样本进行特征提取处理，得到声纹特征信息，通过编码模块根据声纹特征信息进行编码处理，得到文本向量，通过融合模块根据声纹特征信息和文本向量进行融合处理，得到融合特征信息，使得用于进行语音识别的融合特征信息由可以反应语音样本的语义信息的文本向量和可以反映语音样本的声纹特征的声纹特征信息构成，进而，利用该融合特征信息进行语音识别，能够使语音识别模型在训练过程中更好地兼顾语义信息和声纹特征的学习，提高训练后的语音识别模型在文本相关的声纹识别场景下的语音识别效果。

在上述的实施例中，提供了一种声音唤醒方法，与之相对应的，基于相同的技术构思，本申请实施例还提供了一种声音唤醒装置，下面结合附图进行说明。

图7为本申请实施例提供的一种声音唤醒装置示意图。

本实施例提供一种声音唤醒装置700，包括：

第二获取单元702，用于获取唤醒语音；

识别单元704，用于将所述唤醒语音输入语音识别模型进行识别处理，得到所述唤醒语音的语音识别结果；所述语音识别模型通过语音识别模型的训练方法训练得到；

确定单元706，用于在所述语音识别结果用于表示所述唤醒语音由预设注册用户发出，以及所述唤醒语音对应的文本包括预设文本的情况下，确定所述唤醒语音的声音唤醒结果为唤醒通过。

可选地，声音唤醒装置700，还包括：

存储单元，用于在所述唤醒语音的声音唤醒结果为唤醒通过的情况下，在预设存储区域中存储所述唤醒语音对应的融合特征向量；

判断单元，用于判断所述预设存储区域中存储的融合特征向量的数量是否大于等于预设数量阈值；

若是，则运行更新单元，所述更新单元用于根据所述预设存储区域中存储的融合特征向量进行均值计算处理，得到目标特征向量，并删除所述预设存储区域中存储的融合特征向量；根据所述目标特征向量，对所述唤醒语音对应的所述预设注册用户的所述参考特征信息进行更新处理。

本申请实施例所提供的声音唤醒装置包括：第二获取单元，用于获取唤醒语音；识别单元，用于将唤醒语音输入语音识别模型进行识别处理，得到唤醒语音的语音识别结果；语音识别模型通过语音识别模型的训练方法训练得到；确定单元，用于在语音识别结果用于表示唤醒语音由预设注册用户发出，以及唤醒语音对应的文本包括预设文本的情况下，确定唤醒语音的声音唤醒结果为唤醒通过。以此，一方面，参与训练的每个语音样本均包括第一类型语音，该第一类型语音是一个语音数据，该语音数据对应的文本为预设文本，使得训练后的语音识别模型在基于文本的声纹识别场景中能够针对预设文本进行更准确地识别；另一方面，通过特征提取模块根据语音样本进行特征提取处理，得到声纹特征信息，通过编码模块根据声纹特征信息进行编码处理，得到文本向量，通过融合模块根据声纹特征信息和文本向量进行融合处理，得到融合特征信息，使得用于进行语音识别的融合特征信息由可以反应语音样本的语义信息的文本向量和可以反映语音样本的声纹特征的声纹特征信息构成，进而，利用该融合特征信息进行语音识别，能够使语音识别模型在训练过程中更好地兼顾语义信息和声纹特征的学习，提高训练后的语音识别模型在文本相关的声纹识别场景下的语音识别效果。

对应上述描述的一种语音识别模型的训练方法或声音唤醒方法，基于相同的技术构思，本申请实施例还提供一种电子设备，该电子设备用于执行上述提供的语音识别模型的训练方法或声音唤醒方法，图8为本申请实施例提供的一种电子设备的结构示意图。

如图8所示，电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括电子设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在电子设备上执行存储器802中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入/输出接口805，一个或一个以上键盘806等。

在一个具体的实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取语音样本；所述语音样本包括第一类型语音；所述第一类型语音用于表示对应的文本为预设文本的语音数据；

将所述语音样本输入待训练的语音识别模型进行训练，得到训练后的语音识别模型；所述训练后的语音识别模型用于对待处理语音进行识别，得到所述待处理语音的语音识别结果，所述待处理语音的语音识别结果用于确定所述待处理语音是否由预设注册用户发出，以及所述待处理语音对应的文本是否包括所述预设文本；

其中，所述待训练的语音识别模型包括特征提取模块、编码模块、融合模块以及识别模块；

所述特征提取模块用于根据所述语音样本进行特征提取处理，得到所述语音样本对应的声纹特征信息；

所述编码模块用于根据所述声纹特征信息进行编码处理，得到所述声纹特征信息对应的文本向量；

所述融合模块用于根据所述声纹特征信息和所述文本向量进行融合处理，得到融合特征信息；

所述识别模块用于根据所述融合特征信息进行识别处理，得到所述融合特征信息对应的语音识别结果。

在另一个具体的实施例中，电子设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对电子设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

获取唤醒语音；

将所述唤醒语音输入语音识别模型进行识别处理，得到所述唤醒语音的语音识别结果；所述语音识别模型通过语音识别模型的训练方法训练得到；

在所述语音识别结果用于表示所述唤醒语音由预设注册用户发出，以及所述唤醒语音对应的文本包括预设文本的情况下，确定所述唤醒语音的声音唤醒结果为唤醒通过。

本说明书提供的一种计算机可读存储介质实施例如下：

对应上述描述的一种语音识别模型的训练方法，基于相同的技术构思，本申请实施例还提供一种计算机可读存储介质。

本实施例提供的计算机可读存储介质，用于存储计算机可执行指令，计算机可执行指令在被处理器执行时可以实现以下流程：

获取语音样本；所述语音样本包括第一类型语音；所述第一类型语音用于表示对应的文本为预设文本的语音数据；

将所述语音样本输入待训练的语音识别模型进行训练，得到训练后的语音识别模型；所述训练后的语音识别模型用于对待处理语音进行识别，得到所述待处理语音的语音识别结果，所述待处理语音的语音识别结果用于确定所述待处理语音是否由预设注册用户发出，以及，所述待处理语音对应的文本是否包括所述预设文本；

其中，所述待训练的语音识别模型包括特征提取模块、编码模块、融合模块以及识别模块；

所述特征提取模块用于根据所述语音样本进行特征提取处理，得到所述语音样本对应的声纹特征信息；

所述编码模块用于根据所述声纹特征信息进行编码处理，得到所述声纹特征信息对应的文本向量；

所述融合模块用于根据所述声纹特征信息和所述文本向量进行融合处理，得到融合特征信息；

所述识别模块用于根据所述融合特征信息进行识别处理，得到所述融合特征信息对应的语音识别结果。

需要说明的是，本说明书中关于计算机可读存储介质的实施例与本说明书中关于语音识别模型的训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应方法的实施，重复之处不再赘述。

本实施例提供的计算机可读存储介质，用于存储计算机可执行指令，计算机可执行指令在被处理器执行时还可以实现以下流程：

获取唤醒语音；

将所述唤醒语音输入语音识别模型进行识别处理，得到所述唤醒语音的语音识别结果；所述语音识别模型通过语音识别模型的训练方法训练得到；

在所述语音识别结果用于表示所述唤醒语音由预设注册用户发出，以及所述唤醒语音对应的文本包括预设文本的情况下，确定所述唤醒语音的声音唤醒结果为唤醒通过。

需要说明的是，本说明书中关于计算机可读存储介质的实施例与本说明书中关于声音唤醒方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应方法的实施，重复之处不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域内的技术人员应明白，本申请实施例可提供为方法、系统或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程设备的处理器以产生一个机器，使得通过计算机或其他可编程设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。