语音信息的识别方法、装置、设备及存储介质

技术领域

本申请涉及电子设备技术领域，特别地涉及一种语音信息的识别方法、装置、设备及存储介质。

背景技术

现如今社会，智能家居开始走进了家家户户，随着芯片性能的提升及语音识别算法的迭代，语音识别在人们日常生活中开始普遍应用。在智能家居系统中，智能中控作为与用户进行交互及智能子设备的控制中枢，其使用体验足以影响用户对家里整个智能家居系统的体验感。现市面上的智能中控大都具备语音识别的功能，但是无论是单次对话还是多轮对话，用户在与智能中控进行语音交互时都需要通过特定唤醒词才能唤醒智能中控，影响用户的使用体验。

发明内容

针对上述问题，本申请提供一种语音信息的识别方法、装置、设备及存储介质，能够不需要唤醒词就能实现语音控制，提升用户的使用体验。

本申请实施例提供一种语音信息的识别方法，应用于电子设备，包括：

在获取到语音信息、且所述语音信息的时长达到预设时长的情况下，确定所述电子设备的前方预设区域内是否存在用户；

在存在用户的情况下，确定所述用户的方位信息；

基于所述方位信息采集所述用户的人脸图像，基于所述人脸图像确定所述用户的人脸角度；

在基于所述用户的人脸角度确定所述用户的脸部朝向所述电子设备的情况下，识别所述语音信息并进行响应。

在一些实施例中，所述基于所述方位信息采集所述用户的人脸图像，包括：

控制3D结构光模组旋转至所述方位信息对应的方位；

控制所述3D结构光模组进行图像采集，以采集所述用户的人脸图像。

在一些实施例中，所述方法还包括：

控制热释电人体红外传感器模块进行旋转，并检测所述电子设备前方预设区域内是否存在用户；

在不存在用户的情况下，控制所述电子设备进入节能模式；

在存在用户的情况下，控制所述电子设备进行工作模式，其中，工作模式的能耗大于所述节能模式的能耗。

在一些实施例中，所述确定所述用户的方位信息，包括：

控制所述热释电人体红外传感器模块进行旋转，以检测所述用户的方位信息。

在一些实施例中，所述方法还包括：

在基于所述用户的人脸角度确定所述用户的脸部不是朝向所述电子设备的情况下，丢弃所述语音信息。

在一些实施例中，所述电子设备包括：智能中控设备，所述语音信息用于控制目标设备，所述识别所述语音信息并进行响应，包括：

识别所述语音信息得到所述目标设备的控制指令；

发送所述控制指令至所述目标设备，以对所述目标设备进行控制。

本申请实施例提供一种语音信息的处理装置，应用于电子设备，包括：

第一确定模块，用于在获取到语音信息、且所述语音信息的时长达到预设时长的情况下，确定所述电子设备的前方预设区域内是否存在用户；

第二确定模块，用于在存在用户的情况下，确定所述用户的方位信息；

第三确定模块，用于基于所述方位信息采集所述用户的人脸图像，基于所述人脸图像确定所述用户的人脸角度；

响应模块，用于在基于所述用户的人脸角度确定所述用户的脸部朝向所述电子设备的情况下，识别所述语音信息并进行响应。

本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行如上述任意一项所述语音信息的识别方法。

本申请实施例提供一种智能中控设备，包括上述所述的电子设备、热释电人体红外传感器模块、3D结构光模组和语音采集模块，其中，所述电子设备与所述热释电人体红外传感器模块、3D结构光模组和语音采集模块通信连接，所述电子设备用于控制所述热释电人体红外传感器模块进行旋转并进行检测，所述电子设备用于控制3D结构光模组进行旋转和采集图像，所述电子设备还用于控制所述语音采集模块进行语音信息的采集。

本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现上述所述语音信息的识别方法。

本申请提供的一种语音信息的识别方法、装置、设备及存储介质，通过在获取到语音信息、且所述语音信息的时长达到预设时长的情况下，确定所述电子设备的前方预设区域内是否存在用户；在存在用户的情况下，确定所述用户的方位信息；基于所述方位信息采集所述用户的人脸图像，基于所述人脸图像确定所述用户的人脸角度；在基于所述用户的人脸角度确定所述用户的脸部朝向所述电子设备的情况下，识别所述语音信息并进行响应，能够实现不需要唤醒词就能实现对电子设备进行语音控制，提高用户的使用体验。

附图说明

在下文中将基于实施例并参考附图来对本申请进行更详细的描述。

图1为本申请实施例提供的一种语音信息的识别方法的实现流程示意图；

图2为本申请实施例提供的一种语音信息的识别方法的流程示意图；

图3为本申请实施例提供的电子设备的组成结构示意图。

在附图中，相同的部件使用相同的附图标记，附图并未按照实际的比例绘制。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

如果申请文件中出现“第一第二第三”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一第二第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一第二第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

基于相关技术中存在的问题，本申请实施例提供一种语音信息的识别方法，所述方法应用于电子设备，例如计算机、移动终端、智能中控设备等，所述移动终端可以包括手机、平板电脑等，所述计算机可以是服务器，在一些实施例中，所述电子设备可以是计算机、移动终端、智能中控设备的控制器。

本申请实施例中，中控设备可以包括：电子设备、热释电人体红外传感器模块、3D结构光模组和语音采集模块，其中，所述电子设备与所述热释电人体红外传感器模块、3D结构光模组和语音采集模块通信连接，所述电子设备用于控制所述热释电人体红外传感器模块进行旋转并进行检测，所述电子设备用于控制3D结构光模组进行旋转和采集图像，所述电子设备还用于控制所述语音采集模块进行语音信息的采集。

本申请实施例中，通信连接对应的通信方式包括以下通信方式中的多种：局域网、直连通信、互联网通信。其中，局域网可包括无线局域网和有线局域网，无线局域网的包括：无线保真(Wireless Fidelity，WiFi)、紫蜂(zigbee)等；直连通信包括：蓝牙、声波通信、基于移动网络的设备到设备通信(Device-to-Device，D2D)等，互联网通信可为采用消息队列遥测传输(Message Queuing Telemetry Transport，MQTT)、超文本传输协议(Hyper TextTransfer Protocol，HTTP)等协议实现数据通信。所述传感器可以设置在室内的设备上。通过传感器来获取室内环境数据。

本申请实施例中，所述语音采集模块可以是麦克风。

本申请实施例中，热释电人体红外传感器模块可以包括转动装置和设置在转动装置的热释电人体红外传感器，转动装置可以转动，从而带动热释电人体红外传感器转动，所述热释电人体红外传感器用于对是否存在用户进行检测，且能够用于检测用户的方位。

本申请实施例中，3D结构光模组可以包括：转动装置和3D结构光摄像头，通过控制转动装置转动，从而带动3D结构光摄像头，所述3D结构光摄像头用于采集用户的人脸图像。

本申请实施例提供的语音信息的识别方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质中。

本申请实施例提供一种语音信息的识别方法，图1为本申请实施例提供的一种语音信息的识别方法的实现流程示意图，如图1所示，包括：

步骤S101，在获取到语音信息、且所述语音信息的时长达到预设时长的情况下，确定所述电子设备的前方预设区域内是否存在用户。

本申请实施例中，电子设备可以处于节能模式或正常工作模式，在节能模式和正常工作模式下，电子设备可以通过语音采集模块来获取语音信息。电子设备可以将获取的语音信息存储在缓存中，并确定语音信息的时长。

本申请实施例中，用户可以自己配置预设时长，在一些实施例中，也可以是电子设备在出厂时设置好的。

本申请实施例中，预设时长可以基于有效语音指令的时长进行配置，通常有效语音指令通常都是大于1S的，低于1S通常不是有效的语音指令，因此，可以设置预设时长为1S。

本申请实施例中，在获取到语音信息、且所述语音信息的时长达到预设时长的情况下，则说明获取到有效的语音信息。

本申请实施例中，电子设备可以通过热释电人体红外传感器模块来确定所述电子设备的前方预设区域是否存在用户。如果热释电人体红外传感器模块在前方预设区域检测到信号，则确定所述电子设备的前方预设区域是存在用户，如果热释电人体红外传感器模块在前方预设区域没有检测到信号，则确定所述电子设备的前方预设区域是不存在用户。

本申请实施例中，前方预设区域可以进行配置，可以配置前方预设区域的大小和形状等。不同的设备可能有不同的预设区域。

在一些实施例中，电子设备也可以通过3D结构光模组来采集前方预设区域的图像，通过图像来确定所述电子设备的前方预设区域是否存在用户。可以将图像输入至预先训练好的识别模型中输出是否存在用户的信息，从而确定所述电子设备前方预设区域内是否存在用户。

本申请实施例中，可以通过样本图像数据来训练模型。样本图像数据包括样本图像和样本图像对应的是否存在用户的标签信息。

步骤S102，在存在用户的情况下，确定所述用户的方位信息。

本申请实施例中，如果存在用户则可能是用户发出的用于控制电子设备的语音信息。

本申请实施例中，可以通过热释电人体红外传感器模块来确定用户的方位信息。所述方位信息可以包括：方向和距离等。

在一些实施例中，电子设备也可以通过3D结构光模组来采集前方预设区域的图像，通过图像来确定所述用户的方位信息。可以将图像输入至预先训练好的识别模型中输出用户的方位信息。

可以通过样本图像数据来训练模型，样本图像数据包括样本图像和样本图像对应的方位信息的标签信息。

步骤S103，基于所述方位信息采集所述用户的人脸图像，基于所述人脸图像确定所述用户的人脸角度。

本申请实施例中，在确定了方位信息后，则可以控制控制3D结构光模组旋转至所述方位信息对应的方位；控制所述3D结构光模组进行图像采集，以采集所述用户的人脸图像。

本申请实施例中，电子设备可以将人脸图像输入至人脸角度识别模型中，从而得到用户的人脸角度。

本申请实施例中，可以通过样本人脸图像数据来训练模型从而得到人脸角度识别模型，样本人脸图像数据可以包括：样本人脸图像和样本人脸图像对应的人脸角度标签。以样本人脸图像为模型的输入，人脸角度标签为模型的输出，从而对模型进行训练，得到人脸角度识别模型。

步骤S104，在基于所述用户的人脸角度确定所述用户的脸部朝向所述电子设备的情况下，识别所述语音信息并进行响应。

本申请实施例中，可以预先角度范围，如果人脸角度在角度范围内，则认为用户的脸部朝向所述电子设备，如果人脸角度不在角度范围内，则认为用户的脸部没有朝向所述电子设备。

本申请实施例中，在基于所述用户的人脸角度确定所述用户的脸部朝向所述电子设备的情况下，则可以认为是用户对电子设备发出语音信息。

本申请实施例中，电子设备可以对语音信息进行识别，从而进行响应。本申请实施例中，响应包括：回复用户的语音，控制其他设备工作。

本申请提供的一种语音信息的识别方法，通过在获取到语音信息、且所述语音信息的时长达到预设时长的情况下，确定所述电子设备的前方预设区域内是否存在用户；在存在用户的情况下，确定所述用户的方位信息；基于所述方位信息采集所述用户的人脸图像，基于所述人脸图像确定所述用户的人脸角度；在基于所述用户的人脸角度确定所述用户的脸部朝向所述电子设备的情况下，识别所述语音信息并进行响应，能够实现不需要唤醒词就能实现对电子设备进行语音控制，提高用户的使用体验。

在一些实施例中，在步骤S104之后，所述方法还包括：

步骤S105，在基于所述用户的人脸角度确定所述用户的脸部不是朝向所述电子设备的情况下，丢弃所述语音信息。

本申请实施例中，在基于所述用户的人脸角度确定所述用户的脸部不是朝向所述电子设备的情况下，则认为用户不是对电子设备发出语音信息，因此，不对语音信息进行识别处理。

在一些实施例中，在步骤S101之后，所述方法还包括：

步骤S106，在不存在用户的情况下，丢弃所述语音信息。

本申请实施例中，如果不存在用户，则可以认为该语音信息不是用户对电子设备发出的，因此，丢弃所述语音信息。

在一些实施例中，所述方法还包括：

步骤S107，控制热释电人体红外传感器模块进行旋转，并检测所述电子设备前方预设区域内是否存在用户。

本申请实施例中，可以通过热释电人体红外传感器模块进行旋转，扫描电子设备的前方预设区域，从而通过检测信号来确定是否存在用户。

步骤S108，在不存在用户的情况下，控制所述电子设备进入节能模式。

本申请实施例中，电子设备进入节能模式的情况下，3D结构光模组、热释电人体红外传感器模块可以不工作，电子设备的屏幕熄屏，语音采集模块可以正常工作。

本申请实施例中，通过控制所述电子设备进入节能模式能够减少电子设备的能耗。

步骤S109，在存在用户的情况下，控制所述电子设备进行工作模式，其中，工作模式的能耗大于所述节能模式的能耗。

本申请实施例中，在工作模式下，3D结构光模组、热释电人体红外传感器模块、屏幕、语音采集模块都正常工作。

在一些实施例中，所述电子设备包括：智能中控设备，所述语音信息用于控制目标设备，所述识别所述语音信息并进行响应，包括：

识别所述语音信息得到所述目标设备的控制指令；

发送所述控制指令至所述目标设备，以对所述目标设备进行控制。

本申请实施例中，目标设备可以是智能家居设备，所述智能家居设备可以包括：冰箱、空调、电视等。

基于前述的各个实施例，本申请实施例在提供一种语音信息的处理方法，以智能中控设备为例进行说明，智能中控包括：mic麦克风语音输入接口模块、具备角度可控的3D结构光人脸识别模块、具备角度可控的热释电人体红外传感器模块，图2为本申请实施例提供的一种语音信息的处理方法的实现流程示意图，如图2所示，所述方法包括：

步骤S201，智能中控通过热释电红外传感器模块判断智能中控前方预设区域是否有用户，若识别不到用户在中控前方预设区域，智能中控息屏进入节能模式。若热释电红外传感器模块识别到用户，则退出节能模式，进入正常工作模式。

步骤S202，节能模式下，智能中控通过mic麦克风输入接口采集监听语音信号的输入。若有语音信号输入，则对语音信号持续进行采集及缓存，若语音信号时长能达到一秒的时长以上。智能中控控制热释电人红外传感器进行旋转捕捉用户方位信息，若热释电人红外传感器捕获到用户方位，则回传至智能中控。

步骤S203，智能中控通过控制调整3D结构光人脸识别模块至热释电人红外传感器捕获的用户方位，并对该区域进行人脸识别。若捕获到用户人脸信息，则判断此时用户的人脸角度是否面向智能中控，若用户的人脸角度面向智能中控，则判断用户正在向智能中控下发控制指令。

步骤S204，智能中控进入与用户语音控制流程，识别用户输入语音，并对语音控制指令进行响应。实现智能中控的免唤醒词唤醒。

本申请实施例提供的一种语音信息的处理方法，结合3D结构光模块，在识别到用户发起语音控制指令时，获取用户人脸角度，结合人脸角度判定该语音控制指令是否执行。使得用户在通过语音控制智能中控时无需通过唤醒词即可向智能中控下发与控制，提升用户体验。

基于前述的实施例，本申请实施例提供一种语音信息的处理装置，该装置包括的各模块、以及各模块包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，CentralProcessing Unit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，DigitalSignal Processing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等。

本申请实施例提供一种语音信息的处理装置，包括：

第一确定模块，用于在获取到语音信息、且所述语音信息的时长达到预设时长的情况下，确定所述电子设备的前方预设区域内是否存在用户；

第二确定模块，用于在存在用户的情况下，确定所述用户的方位信息；

第三确定模块，用于基于所述方位信息采集所述用户的人脸图像，基于所述人脸图像确定所述用户的人脸角度；

响应模块，用于在基于所述用户的人脸角度确定所述用户的脸部朝向所述电子设备的情况下，识别所述语音信息并进行响应。

在一些实施例中，所述基于所述方位信息采集所述用户的人脸图像，包括：

控制3D结构光模组旋转至所述方位信息对应的方位；

控制所述3D结构光模组进行图像采集，以采集所述用户的人脸图像。

在一些实施例中，语音信息的处理装置还用于：

控制热释电人体红外传感器模块进行旋转，并检测所述电子设备前方预设区域内是否存在用户；

在不存在用户的情况下，控制所述电子设备进入节能模式；

在存在用户的情况下，控制所述电子设备进行工作模式，其中，工作模式的能耗大于所述节能模式的能耗。

在一些实施例中，所述确定所述用户的方位信息，包括：

控制所述热释电人体红外传感器模块进行旋转，以检测所述用户的方位信息。

在一些实施例中，语音信息的处理装置还用于：

在基于所述用户的人脸角度确定所述用户的脸部不是朝向所述电子设备的情况下，丢弃所述语音信息。

在一些实施例中，所述电子设备包括：智能中控设备，所述语音信息用于控制目标设备，所述识别所述语音信息并进行响应，包括：

识别所述语音信息得到所述目标设备的控制指令；

发送所述控制指令至所述目标设备，以对所述目标设备进行控制。

本申请实施例提供一种电子设备；图3为本申请实施例提供的电子设备的组成结构示意图，如图3所示，所述电子设备500包括：一个处理器501、至少一个通信总线502、用户接口503、至少一个外部通信接口504、存储器505。其中，通信总线502配置为实现这些组件之间的连接通信。其中，用户接口503可以包括控制屏，外部通信接口504可以包括标准的有线接口和无线接口。所述处理器501配置为执行存储器中存储的语音信息的识别方法的程序，以实现以上述实施例提供的语音信息的识别方法中的步骤；

其中，语音信息的识别方法，包括：

在获取到语音信息、且所述语音信息的时长达到预设时长的情况下，确定所述电子设备的前方预设区域内是否存在用户；

在存在用户的情况下，确定所述用户的方位信息；

基于所述方位信息采集所述用户的人脸图像，基于所述人脸图像确定所述用户的人脸角度；

在基于所述用户的人脸角度确定所述用户的脸部朝向所述电子设备的情况下，识别所述语音信息并进行响应。

在一些实施例中，所述基于所述方位信息采集所述用户的人脸图像，包括：

控制3D结构光模组旋转至所述方位信息对应的方位；

控制所述3D结构光模组进行图像采集，以采集所述用户的人脸图像。

在一些实施例中，所述方法还包括：

控制热释电人体红外传感器模块进行旋转，并检测所述电子设备前方预设区域内是否存在用户；

在不存在用户的情况下，控制所述电子设备进入节能模式；

在存在用户的情况下，控制所述电子设备进行工作模式，其中，工作模式的能耗大于所述节能模式的能耗。

在一些实施例中，所述确定所述用户的方位信息，包括：

控制所述热释电人体红外传感器模块进行旋转，以检测所述用户的方位信息。

在一些实施例中，所述方法还包括：

在基于所述用户的人脸角度确定所述用户的脸部不是朝向所述电子设备的情况下，丢弃所述语音信息。

在一些实施例中，所述电子设备包括：智能中控设备，所述语音信息用于控制目标设备，所述识别所述语音信息并进行响应，包括：

识别所述语音信息得到所述目标设备的控制指令；

发送所述控制指令至所述目标设备，以对所述目标设备进行控制。这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所控制或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元控制的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台控制器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。