智能设备语音控制方法、智能设备及可读介质

技术领域

本公开涉及信息通信技术领域，具体涉及一种智能设备语音控制方法、智能设备及可读介质。

背景技术

智能设备，例如智能音箱，是消费者用语音进行上网的工具，具有基本的点歌、上网、购物等功能。同时，它也可以对智能家居设备进行联动控制，比如打开空调、打开电视、设置冰箱温度等。近年来，智能设备已经被几家头部厂商打造为智能家居控制中枢，市场销售规模不断扩大。智能设备的广泛应用是一柄双刃剑，一方面极大地方便了生活和服务，另一方面智能设备存在过度收集用户个人信息的行为，带来隐私泄露的严重隐患。

发明内容

本公开提供一种智能设备语音控制方法、智能设备及可读介质。

第一方面，本公开实施例提供一种智能设备语音控制方法，所述方法应用于智能设备，包括：

检测目标终端，在检测到目标终端的情况下，确定所述目标终端的运动状态信息；

在所述智能设备处于工作模式，且所述目标终端的运动状态信息满足停止采集音频数据的条件的情况下，所述智能设备停止采集音频数据，并从工作模式切换至休眠模式。

又一方面，本公开实施例还提供一种智能设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前所述的智能设备语音控制方法。

又一方面，本公开实施例还提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被执行时实现如前所述的智能设备语音控制方法。

本公开实施例提供的智能设备语音控制方法，应用于智能设备，包括：检测目标终端，在检测到目标终端的情况下，确定目标终端的运动状态信息；在智能设备处于工作模式，且目标终端的运动状态信息满足停止采集音频数据的条件的情况下，智能设备停止采集音频数据，并从工作模式切换至休眠模式；本公开实施例在用户不需要智能设备的语音识别功能时，能够自适应控制智能设备退出工作模式，进入休眠模式，在休眠模式下，智能设备不采集环境的音频数据、不进行声波识别和语音语义识别等操作，可以解决隐私泄露的问题，保护用户的隐私安全，提高信息安全性。

附图说明

图1为本公开实施例提供的智能设备语音控制方法的流程示意图一；

图2为本公开实施例提供的检测目标终端的流程示意图；

图3为本公开实施例提供的检测目标终端的示意图；

图4为本公开实施例提供的智能设备语音控制方法的流程示意图二；

图5为本公开实施例提供的智能设备语音控制方法的流程示意图三。

具体实施方式

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

当前智能设备误唤醒率较高，约为每48小时2次，更糟糕的情况则达到每24小时2-3次。一旦智能设备被唤醒，相应就会开始采集音频数据，发明人发现，很多用户遭遇的所谓隐私泄露问题，大多源于这类原因。

为解决上述问题，本公开实施例提供一种智能设备语音控制方法，所述方法应用于智能设备。如图1所示，所述智能设备语音控制方法包括以下步骤：

步骤11，检测目标终端，在检测到目标终端的情况下，确定目标终端中的运动状态信息。

在本公开实施例中，智能设备是对目标终端具有一定管理控制功能的设备，示例性的，可以包括但不限于智能音箱、家庭机器人等，在本公开实施例中，以智能音箱为例进行说明。目标终端是指已经与智能设备配对、绑定的智能终端设备，示例性的，可以包括但不限于手机、平板电脑、可穿戴智能设备等。智能设备和目标终端可以是UWB(Ultra WideBand，超宽带)设备，能够发射、接收UWB无线电信号。

在本步骤中，智能设备周期检测目标终端，若智能设备检测到一个或多个目标终端，则分别确定每个目标终端的运动状态信息。

步骤12，在智能设备处于工作模式，且目标终端的运动状态信息满足停止采集音频数据的条件的情况下，智能设备停止采集音频数据，并从工作模式切换至休眠模式。

在本公开实施例中，智能设备包括工作模式和休眠模式，工作模式又可以包括本地工作模式和云端工作模式。智能设备未被唤醒前处于本地工作模式，虽然会采集环境的音频数据，但不会对这些音频数据进行存储与语义识别。智能设备被唤醒后进入云端工作模式，唤醒前智能设备进行声波识别，将采集到的音频数据与唤醒词进行对比，只有声波相符时智能设备才会被唤醒。在云端工作模式下，智能设备将采集的音频数据传输至云端服务器，完成语音语义识别和反馈工作。若用户结束命令，如数秒内无新声音出现，智能设备会恢复到本地工作模式。

在检测到多个目标终端的情况下，若智能设备当前处于工作模式，且每个目标终端分别满足停止采集音频数据的条件，则智能设备自动进入休眠模式，在休眠模式下，智能设备不采集环境的音频数据、不进行声波识别和语音语义识别等操作。

本公开实施例提供的智能设备语音控制方法，应用于智能设备，包括：检测目标终端，在检测到目标终端的情况下，确定目标终端的运动状态信息；在智能设备处于工作模式，且目标终端的运动状态信息满足停止采集音频数据的条件的情况下，智能设备停止采集音频数据，并从工作模式切换至休眠模式；本公开实施例在用户不需要智能设备的语音识别功能时，能够自适应控制智能设备退出工作模式，进入休眠模式，在休眠模式下，智能设备不采集环境的音频数据、不进行声波识别和语音语义识别等操作，可以解决隐私泄露的问题，保护用户的隐私安全，提高信息安全性。

在一些实施例中，为了进一步提高信息安全性，所述智能设备语音控制方法还可以包括以下步骤：在智能设备处于工作模式，且目标终端的运动状态信息满足停止采集音频数据的条件的情况下，清除智能设备本次进入工作模式后所执行命令的历史数据。也就是说，在智能设备从工作模式切换为休眠模式后，将本次工作模式下的操作记录全部清除，以彻底清除隐私数据，防止隐私信息泄露。

在检测到多个目标终端的情况下，若智能设备处于工作模式且每个目标终端的运动状态信息均满足停止采集音频数据的条件，则清除智能设备本次进入工作模式后所执行命令的历史数据。

在一些实施例中，所述清除智能设备本次进入工作模式后所执行命令的历史数据，至少包括以下之一：

清除智能设备本次进入工作模式后所存储的音频数据，音频数据包括本地存储的音频文件和/或云端存储的音频数据；

清除智能设备本次进入工作模式后采集音频数据所生成的日志文件。

在一些实施例中，所述历史数据包括所有目标终端用户的历史数据，或者，预设目标终端用户的历史数据。也就是说，可以清除智能设备本次进入工作模式后所有目标终端用户下发命令的历史数据，也可以有针对性的清除智能设备本次进入工作模式后指定目标终端用户下发命令的历史数据。

因此，清除智能设备本次进入工作模式后所执行命令的历史数据，包括但不限于：

清除本地和云端存储的本次进入工作模式后的音频数据；

清除指定目标终端用户在本地和云端存储的本次进入工作模式后的音频数据；

清除所有目标终端用户在本地和云端存储的本次进入工作模式后的音频数据；

清除本次进入工作模式后采集音频数据所生成的日志文件；

清除本次进入工作模式后采集的针对指定目标终端用户的音频数据所生成的日志文件；

清除本次进入工作模式后采集的所有目标终端用户的音频数据所生成的日志文件。

在一些实施例中，在检测到多个目标终端的情况下，所述智能设备语音控制方法还可以包括以下步骤：在智能设备处于工作模式，且采集到至少一个目标终端用户的音频数据的情况下，在音频数据中添加目标终端用户的标识。在本步骤中，智能设备在工作模式下采集到目标终端用户的音频数据后，在该音频数据中添加该目标终端用户的标识，以对音频数据进行标识，在添加完目标终端用户的标识之后，进行语音、语义识别和反馈。

相应的，在目标终端用户对应的目标终端的运动状态信息满足停止采集音频数据的条件的情况下，根据目标终端用户的标识，清除智能设备本次进入工作模式后所存储的相应目标终端用户的音频数据。也就是说，只要目标终端的运动状态信息满足停止采集音频数据的条件，智能设备就清除本次进入工作模式后所存储的该目标终端用户的音频数据，而不用等到智能设备进入休眠模式之后再将所有目标终端用户的相关音频数据一起清除，可以更加及时清除用户隐私数据，进一步提高信息安全性。

在一些实施例中，所述智能设备停止采集音频数据(即步骤12)，包括智能设备执行以下至少之一操作：

1、撤销访问麦克风的权限。

撤销访问麦克风的权限后，智能设备内置的APP(Application，应用程序)将无法调用麦克风采集环境的音频数据。

本公开实施例实现了动态撤销访问麦克风权限的管控策略，灵活有效地保证了用户的隐私安全。

2、关闭麦克风。

通过及时关闭麦克风，使得智能设备无法采集环境的音频数据，从而降低误唤醒导致的“窃听事件”。

3、对麦克风断电。

通过控制麦克风断电，使得智能设备无法采集环境的音频数据，从而降低误唤醒导致的“窃听事件”，且避免黑客入侵并控制智能设备带来的隐私泄露风险。

在一些实施例中，结合图2和图3所示，检测目标终端的步骤(即步骤11)包括以下步骤：

步骤21，发送第一信号。

步骤22，在接收到目标终端发送的第二信号的情况下，确定检测到目标终端，其中，第二信号由目标终端在接收到第一信号后发送。

智能设备通过发射UWB无线通信信号检测目标终端，UWB无线通信是一种采用时间间隔极短(小于1ns)的脉冲进行通信的方式，也称作脉冲无线电，每个UWB模块从启动开始即会生成一条独立的时间戳。如图3所示，智能设备的UWB发射机在Ta1时刻发射请求性质的脉冲信号(即第一信号)，如果目标终端在Ta2时刻接收到第一信号，则目标终端的UWB发射机在Tb1时刻发射一个响应性质的脉冲信号(即第二信号)，智能设备在Tb2时刻接收到该第二信号。在这种情况下，智能设备接收到目标终端的第二信号，就认为已经检测到目标终端。

在一些实施例中，如图4所示，在确定目标终端的运动状态信息(即步骤11)之后，所述智能设备语音控制方法还可以包括以下步骤：

步骤12’，在智能设备处于休眠模式，且目标终端的状态信息满足开始采集音频数据的条件的情况下，智能设备开始采集音频数据，并从休眠模式切换至工作模式。

在本步骤中，若智能设备当前处于休眠模式，且至少一个目标终端满足开始采集音频数据的条件，则智能设备自动进入工作模式，在工作模式下，智能设备采集环境的音频数据。需要说明的是，从休眠模式切换的是本地工作模式，在本地工作模式下，智能设备采集音频数据、进行声波识别，但不进行语音语义识别等操作，只有在获取到用户发出的唤醒词且比对成功后，才进入云端工作模式，进行语音语义识别。

本公开实施例在识别出用户可能需要智能设备的语音识别功能时，能够自适应控制智能设备退出休眠模式，进入工作模式，保证智能设备正常工作，提升用户体验。

在一些实施例中，所述智能设备开始采集音频数据，包括智能设备执行以下至少之一操作：授予访问麦克风的权限、开启麦克风、为麦克风供电。

Android系统把权限分为两类。一类是普通权限，这类权限不会潜藏有危害用户隐私和安全的问题，比如访问网络权限、访问WiFi(Wireless Fidelity，无线保真)的权限等。另一类是危险权限，这类权限会威胁到用户的隐私和安全问题，比如访问通讯录、相册、位置信息、麦克风等权限。Android系统为了安全考虑，从Android 6.0起引入了权限申请机制，即应用程序需要动态申请相关危险权限后才能使用某些功能。如果应用程序需要危险权限，则在每次执行需要危险权限的操作之前，检查应用程序是否具有该危险权限。例如，应用程序如果需要使用拍照功能，则需要先判断应用程序是否具有相机权限，如果没有则需要去申请，用户授权后才能使用，如果用户拒绝则无法使用。未被授予访问麦克风的权限时，智能设备内置的APP将无法调用麦克风采集音频数据。通过给麦克风供电，使得麦克风硬件处于正常工作状态。智能设备开启麦克风，准备采集音频数据。

在一些实施例中，如图3所示，在从工作模式切换至休眠模式(即步骤12)之后，或者，在从休眠模式切换至工作模式(即步骤12’)之后，所述智能设备语音控制方法还可以包括以下步骤：

步骤13，播报智能设备当前所处的模式。

若智能设备从工作模式切换至休眠模式，则播报智能设备当前处于休眠模式；若智能设备从休眠模式切换至工作模式，则播报智能设备当前处于工作模式。可以通过语音方式播报智能设备当前所处的方式，也可以通过智能设备自带的显示屏通过文字方式播报智能设备当前所处的方式，以向目标终端用户告知智能设备的工作模式，尤其是在智能设备进入工作模式的情况下，可以提醒目标终端用户注意隐私保护。

在一些实施例中，目标终端的运动状态信息可以包括目标终端与智能设备之间的距离，和/或，目标终端相对于智能设备的运动趋势信息，其中，目标终端相对于智能设备的运动趋势信息可以包括：目标终端相对于智能终端处于静止及静止持续时间、目标终端远离智能终端及其远离的速度和加速度、目标终端靠近智能终端。

可以基于ToF(Time of Flight，飞行时间)技术计算无线电波返回设备的时间，进而计算目标终端与智能设备之间的距离。ToF测距方法属于双向测距技术，它主要利用信号在两个异步收发机(Transceiver)之间的飞行时间来测量节点间的距离。

结合图3所示，智能设备的UWB发射机在Ta1时刻发射第一信号，目标终端在Ta2时刻接收到第一信号，目标终端的UWB发射机在Tb1时刻向智能设备发射第二信号，智能设备在Tb2时刻接收到该第二信号，由此可以计算出脉冲信号在两个UWB模块之间的飞行时间，从而确定出目标终端与智能设备之间的距离S：S＝C x[(Ta2-Ta1)-(Tb2-Tb1)]，其中，C为光速。

在一些实施例中，所述状态信息满足停止采集音频数据的条件包括以下至少之一：

目标终端远离智能设备，且目标终端与智能设备之间的距离大于预设的第二阈值；

目标终端与智能设备之间的距离在预设距离范围之内，且在预设距离范围内目标终端持续停留的时间大于预设的第三阈值；其中，预设距离范围为大于预设的第一阈值且小于预设的第二阈值，第一阈值小于第二阈值；

目标终端与智能设备之间的距离大于预设的第一阈值且小于第二阈值，且目标终端保持静止状态的持续时间大于预设的第四阈值；

目标终端远离智能设备的速度大于预设的第五阈值；

目标终端远离智能设备的加速度大于预设的第六阈值。

需要说明的是，通常智能设备的收声范围大约是3到5米，因此第一阈值和第二阈值可以设置在该范围内。上述第一阈值、第二阈值、第三阈值、第四阈值、第五阈值、第六阈值可以在智能设备出厂时预设初始值，也可以由用户在智能设备的APP中自行设置。

在一些实施例中，目标终端的运动状态信息包括目标终端与智能设备之间的距离和目标终端相对于智能设备的运动状态信息。

所述状态信息满足开始采集音频数据的条件，包括：目标终端靠近智能设备，且目标终端与智能设备之间的距离小于预设的第一阈值。

现有技术中，智能设备自从上电后，一直处于工作模式，无休止地采集音频数据、声波识别、语音语义识别等操作。用户如果希望智能设备不要采集音频数据，只能拔掉智能设备的电源插头。

本公开实施例根据UWB测距及目标终端的运动趋势，在用户不需要智能设备的语音识别功能时，自适应控制智能设备退出工作模式，进入休眠模式，在休眠模式下，智能设备不采集环境的音频数据、不进行声波识别和语音语义识别等操作，保护用户的隐私安全，提高信息安全性，还可以降低智能设备的功耗，提高续航能力。通过控制麦克风断电，可以避免黑客入侵并控制智能设备带来的隐私泄露风险。

为清楚说明本公开的技术方案，以下结合具体实施例对技术方案进行详细说明。

实施例1

在本实施例中，智能音箱当前处于云端工作模式，智能音箱从云端工作模式自动切换为休眠模式的过程如下：

步骤S101：智能音箱发射UWB无线电信号，探测附近的UWB终端。

步骤C101：判断是否探测到UWB终端，若探测到，则继续执行步骤S102；否则，执行步骤S101。

步骤S102：测量与探测到的UWB终端之间的距离。

步骤S103：判断是否满足停止采集音频数据的条件，若满足，则继续执行步骤S104；否则，执行步骤S102。

步骤S104：智能音箱由云端工作模式进入休眠模式。

步骤S105：清除本次进入工作模式后所执行命令的历史数据。

步骤S106：停止采集音频数据，结束收录外界声音。

步骤S107：播报智能音箱当前所处的模式。

其中，步骤S105、步骤S106、步骤S107的执行顺序不限。

步骤S108：本次会话结束。

智能音箱探测到UWB终端逐渐远离智能音箱，且二者距离大于第二阈值，则自动切换为休眠模式，停止收录外界声音，清除进入工作模式后所执行命令的历史数据。

实施例2

在本实施例中，智能音箱当前处于休眠模式，智能音箱从休眠模式自动切换为工作模式的过程如下：

步骤S201：智能音箱发射UWB无线电信号，探测附近的UWB终端。

步骤C201：判断是否探测到UWB终端，若探测到，则继续执行步骤S202；否则，执行步骤S201。

步骤S202：测量与探测到的UWB终端之间的距离。

步骤S203：判断是否满足开始采集音频数据的条件，若满足，则继续执行步骤S204；否则，执行步骤S202。

步骤S204：智能音箱由休眠模式进入本地工作模式。

步骤S205：播报智能音箱当前所处的模式。

步骤S206：开始采集音频数据，收录外界声音。

其中步骤S205和步骤S206的执行顺序不限。

步骤S207：本次会话结束。

智能音箱探测到UWB终端不断靠近智能音箱，且二者距离小于第一阈值，则自动切换为工作模式，开始收录外界声音。

实施例3

本实施例为多UWB终端场景，智能音箱当前处于休眠模式，智能音箱从休眠模式自动切换为工作模式，并从工作模式自动切换为休眠模式的过程如下：

步骤S301：智能音箱探测到附近的UWB终端A，读取UWB终端A的标识。

步骤S302：测量与UWB终端A之间的距离。

步骤S303：智能音箱识别到UWB终端A不断靠近智能音箱且二者距离小于第一阈值。

步骤S304：智能音箱由休眠模式进入本地工作模式。

步骤S305：播报智能音箱当前所处的模式。

步骤S306：开始采集音频数据，收录外界声音，并识别到唤醒词。

步骤S307：智能音箱由本地工作模式进入云端工作模式。

步骤S308：在本地和云端保存UWB终端A用户的音频数据，在音频数据中添加该UWB终端A的标识，并完成语音语义识别和反馈工作。

步骤S309：智能音箱探测到附近的UWB终端B，读取UWB终端B的标识。

步骤S310：识别到UWB终端B不断靠近智能音箱，且二者距离小于第一阈值。

步骤S311：智能音箱开始采集音频数据，收录外界声音，并识别到唤醒词，根据音色判断出是另一个用户(UWB终端B用户)的声音。

步骤S312：在本地和云端保存UWB终端B用户的音频数据，并在音频数据中添加UWB终端B的标识，并完成语音语义识别和反馈工作。

步骤S313：智能音箱识别到UWB终端A逐渐远离智能音箱，且二者距离大于第二阈值。

步骤S314：清除UWB终端A用户的本次进入工作模式后所执行命令的历史数据。

步骤S315：智能音箱识别到UWB终端B逐渐远离智能音箱，且二者距离大于第二阈值。

步骤S316：停止采集音频数据，结束收录外界声音。

步骤S317：清除UWB终端B用户本次进入工作模式后所执行命令的历史数据。

步骤S318：智能音箱由云端工作模式进入休眠模式。

步骤S319：播报智能音箱当前所处的模式。

步骤S320：本次会话结束。

智能音箱探测到UWB终端A靠近，自动从休眠模式进入工作模式，开始采集UWB终端A用户的音频数据，并在其中添加UWB终端A的用户标识。在工作模式下识别出UWB终端B靠近，开始采集UWB终端B用户的音频数据，并在其中添加UWB终端B的用户标识。在UWB终端A/B离开智能音箱时，清除相应UWB终端的相关历史数据，并在两个UWB终端均离开智能音箱后，自动从工作模式进入休眠模式，停止采集音频数据。

本公开实施例还提供了一种智能设备，该智能设备包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如前述各实施例所提供的智能设备语音控制方法。

本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，该计算机程序被执行时实现如前述各实施例所提供的智能设备语音控制方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本发明的范围的情况下，可进行各种形式和细节上的改变。