无线音箱设备语音回声消除处理方法、装置及智能终端

技术领域

本发明涉及电视技术领域，尤其涉及的是一种无线音箱设备语音回声消除处理方法、装置、智能终端及存储介质。

背景技术

随着科技的发展和人们生活水平的不断提高，各种智能终端如电视的使用越来越普及。

有远场语音功能的电视，为了保证电视播放音频时的语音唤醒效果，会进行回声消除。电视播放音频时，本机播放的声音和用户指令语音，会同时被麦克风收录采集，形成混合信号。通过算法处理消除本机播放的声音，保留正常的指令语音信号的处理过程称为回声消除。

现有技术电视的回声消除实现方案，通常是将功放输出给喇叭的音频信号经转换后再回送给主芯片或语音处理芯片，麦克风收到的混合音频信号也送给主芯片或者语音处理芯片，然后将混合音频信号和处理后的喇叭音频信号进行对比消除。

因为此方式设计硬件连接，在功放和处理芯片有硬件连接结构连接的整机上容易实现，而对于无线连接的音箱等音频设备，无法通过此方式进行回声消除，此方式而随着用户对于便捷性和音效的要求，电视机搭配无线音箱使用的情况非常多，使用时对无线音箱的音频信号不进行处理，会对远场语音的唤醒产生影响，导致用户体验变差。

现有技术中前为了避免这种情况，通用的做法是将电视机标配的无线音箱配置为重低音音箱，并尽量将音频范围放低，避免在人声频段产生影响。此措施的弊端在于限制了无线音箱的音效发挥，并且音箱播放时会产生谐波，谐波为基波的倍频，谐波可能出现在人声频段，对语音唤醒产生影响。

因此，现有技术还有待改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种无线音箱设备语音回声消除处理方法、装置、智能终端及存储介质，旨在解决现有技术的电视机配置无线音箱使用时无法进行语音回采，从而对语音唤醒产生影响的问题。

本发明解决问题所采用的技术方案如下：

一种无线音箱设备语音回声消除处理方法，其中，所述方法包括：

通过设置在整机上的功能麦克风接收无线音箱和用户语音指令的混合音频信号，并进行缓存；

通过设置在无线音响上的回采麦克风获取无线音箱发出的音频信号；

将回采麦克风获取的无线音箱的音频信号编码后通过蓝牙模块发送给整机端；

整机端将所述无线音箱的音频信息进行解码还原成原始的音频信号；

整机的功能麦克风将所述混合音频信号与解码后的音频信号进行对比处理，将混合音频信号中的无线音箱产生的音频干扰过滤掉，还原得出所述用户指令。

所述的无线音箱设备语音回声消除处理方法，其中，所述通过设置在整机上的功能麦克风接收无线音箱和用户语音指令的混合音频信号，并进行缓存的步骤包括：

通过设置在整机上的功能麦克风接收无线音箱发出声音信息和用户语音指令声音信息的混合音频信号，并进行缓存；所述功能麦克风板为能正常识别用户指令的麦克风。

所述的无线音箱设备语音回声消除处理方法，其中，所述通过设置在整机上的功能麦克风接收无线音箱和用户语音指令的混合音频信号，并进行缓存的步骤之前包括：

预先将回采麦克风设置在无线音箱的振膜周边。

所述的无线音箱设备语音回声消除处理方法，其中，所述通过设置在无线音响上的回采麦克风获取无线音箱发出的音频信号的步骤包括：

当无线音箱工作时，通过设置在无线音响上的回采麦克风获取实际音频+人声音信息，此时人声信息小于实际音频值。

所述的无线音箱设备语音回声消除处理方法，其中，所述将回采麦克风获取的无线音箱的音频信号编码后通过蓝牙模块发送给整机端的步骤包括：

将回采麦克风获取的无线音箱的音频信号，通过编码芯片将音频信号进行次频带编码；

通过蓝牙模块将编码后的音频信号发送给整机端的蓝牙接收模块。

所述的无线音箱设备语音回声消除处理方法，其中，所述整机端将所述无线音箱的音频信息进行解码还原成原始的音频信号的步骤包括：

整机端接收编码后的音频信号；

并将所述编码后的音频信号进行解码还原成原始的音频信号。

所述的无线音箱设备语音回声消除处理方法，其中，所述整机的功能麦克风将所述混合音频信号与解码后的音频信号进行对比处理，将混合音频信号中的无线音箱产生的音频干扰过滤掉，还原得出用户指令的步骤包括：

整机的功能麦克风将所述混合音频信号与解码后的音频信号进行在同一时刻的信号比对，将混合音频信号中的无线音箱产生的音频干扰过滤掉；

处理掉无线音箱直接输出的音频和经过结构、环境影响后产生的谐波信号；还原得出用户指令。

一种无线音箱设备语音回声消除处理装置，其中，所述装置包括：

混合音频获取控制模块，用于通过设置在整机上的功能麦克风接收无线音箱和用户语音指令的混合音频信号，并进行缓存；

第一获取控制模块，用于控制通过设置在无线音响上的回采麦克风获取无线音箱发出的音频信号；

发送控制模块，用于将回采麦克风获取的无线音箱的音频信号编码后通过蓝牙模块发送给整机端；

解码控制模块，用于控制整机端将所述无线音箱的音频信息进行解码还原成原始的音频信号；

过滤还原模块，用于控制整机的功能麦克风将所述混合音频信号与解码后的音频信号进行对比处理，将混合音频信号中的无线音箱产生的音频干扰过滤掉，还原得出所述用户指令。

一种智能终端，其中，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行任意一项所述的方法。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行任意一项所述的方法。

本发明的有益效果：本发明实施例提出了一种无线音箱设备语音回声消除处理方法、装置、智能终端及存储介质。采用高AOP(声压过载点)的麦克风，内置于无线音箱上，收音孔朝外，当无线音箱工作时，麦克风收音将音箱发出的实际音频+人声收录进来，此时人声远小于实际音频，然后通过蓝牙传回给主芯片或者语音处理芯片，与整机上的唤醒识别作用的mic收录数据进行比对处理，从而处理掉无线音箱直接输出的音频和经过结构、环境影响后产生的谐波信号。本发明使得无线音箱工作时，主系统依然可以从混合信号中处理掉无线音箱产生的各种音频信号，保持远场语音的唤醒率。采用本发明后，可以降低无线音箱对远场语音唤醒的影响，提高语音唤醒率，为用户的使用提供了方便。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的无线音箱设备语音回声消除处理方法的流程示意图。

图2是本发明第二实施例提供的无线音箱设备语音回声消除处理方法流程示意图。

图3是本发明第三实施例所述的无线音箱设备语音回声消除处理方法的自动建立音频补偿模型流程示意图。

图4是本发明实施例提供的无线音箱设备语音回声消除处理装置的原理框图。

图5是本发明实施例提供的智能终端的内部结构原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

现有技术中前为了避免这种情况，通用的做法是将电视机标配的无线音箱配置为重低音音箱，并尽量将音频范围放低，避免在人声频段产生影响。此措施的弊端在于限制了无线音箱的音效发挥，并且音箱播放时会产生谐波，谐波为基波的倍频，谐波可能出现在人声频段，对语音唤醒产生影响问题。

为了解决现有技术的问题，本发明提供一种无线音箱设备语音回声消除处理方法，在发明实施例中，使用高AOP(声压过载点)的麦克风设计成可固定的麦克风板，将设计好的麦克风板装配在无线音箱表面，收音孔朝外，尽可能的靠近振膜，保证麦克风收到无线音箱发出的音频尽可能高幅值，与人声幅度拉开差距，此麦克风板称作回采麦克风板。无线音箱工作时，此mic会将无线音箱发出的音频收录回去，通过编码芯片将音频信号进行SBC编码(次频带编码)，然后通过蓝牙模块将音频发送给整机端的蓝牙接收模块并进行解码还原成原始的音频信号。正常识别用户指令的麦克风板称之为功能麦克风板，功能麦克风板收录到的混合音频信号与回采麦克风板接受到的音频信号在同一时刻的信号进行比对，将功能麦克风板中收录到的混合音频信号中无线音箱的音频干扰过滤掉。

其中，SBC编码原理SBC是subband codec的缩写,中文叫做次频带编码,也叫子带编码。其基本原理是把信号的频率分为若干子带,然后对每个子带进行编码,并根据每个子带的重要性及特点分配不同的位数(采样深度)来表示数据。例如,在音频编码中,由于人耳对不同频率的敏感度不同,可以在对人...”)

如图1中所示，本发明实施例提供一种无线音箱设备语音回声消除处理方法，所述无线音箱设备语音回声消除处理方法可以应用于无线音箱与整机系统。在本发明实施例中，所述方法包括如下步骤：

步骤S100、通过设置在整机上的功能麦克风接收无线音箱和用户语音指令的混合音频信号，并进行缓存；

本发明采用在无线音箱内设置的采麦克风收录无线音箱的音频信号，以及采用整机上设置的功能麦克风接收无线音箱和用户语音指令的混合音频信号，并进行缓存。

具体地例如通过设置在整机上的功能麦克风接收无线音箱发出声音信息和用户语音指令声音信息的混合音频信号，例如无线音箱播放的音频和用户发出的语音指令通过整机的功能麦克风接收成混合音频信号，并进行缓存；所述功能麦克风板为能正常识别用户指令的麦克风。

具体地实施时，预先将回采麦克风设置在无线音箱的振膜周边。举例为，使用高AOP(声压过载点)的麦克风设计成可固定的麦克风板，将设计好的麦克风板装配在无线音箱表面，收音孔朝外，尽可能的靠近振膜，保证麦克风收到无线音箱发出的音频尽可能高幅值，与人声幅度拉开差距，此麦克风板称作回采麦克风板。

步骤S200、通过设置在无线音响上的回采麦克风获取无线音箱发出的音频信号；

本步骤中，通过设置在无线音响上的回采麦克风获取无线音箱发出的音频信号。

当无线音箱工作时，通过设置在无线音响上的回采麦克风获取实际音频+人声音信息，此时人声信息小于实际音频值。

步骤S300、将回采麦克风获取的无线音箱的音频信号编码后通过蓝牙模块发送给整机端；

本发明中将回采麦克风获取的无线音箱的音频信号编码后通过蓝牙模块发送给整机端。

具体为，例如将回采麦克风获取的无线音箱的音频信号，通过编码芯片将音频信号进行次频带编码；通过蓝牙模块将编码后的音频信号发送给整机端的蓝牙接收模块。

例如，无线音箱工作时，此回采麦克风会将无线音箱发出的音频收录回去，通过编码芯片将音频信号进行SBC编码(次频带编码)，然后通过蓝牙模块将音频发送给整机端的蓝牙接收模。

步骤S400、整机端将所述无线音箱的音频信息进行解码还原成原始的音频信号；

本步骤中，所述整机端通过所述功能麦克风接将所述无线音箱的音频信息进行解码还原成原始的音频信号。

具体地，整机端接收编码后的音频信号；并将所述编码后的音频信号进行解码还原成原始的音频信号。即还原为无线音箱本身的音频信号，方便后在音频干扰滤除。

步骤S500、整机的功能麦克风将所述混合音频信号与解码后的音频信号进行对比处理，将混合音频信号中的无线音箱产生的音频干扰过滤掉，还原得出所述用户指令。

本发明实施例中，整机的功能麦克风将所述混合音频信号与解码后的音频信号进行对比处理，将混合音频信号中的无线音箱产生的音频干扰过滤掉，还原得出用户指令。

具体地，整机的功能麦克风将获取的所述混合音频信号与所述解码后的音频信号进行在同一时刻的信号比对，将混合音频信号中的无线音箱产生的音频干扰过滤掉；处理掉无线音箱直接输出的音频和经过结构、环境影响后产生的谐波信号；还原得出用户指令。

以下通过具体应用实施例对本发明做进一步详细说明：

如图2所示，本第二实施例所述的无线音箱设备语音回声消除处理方法，包括以下步骤：

10、无线音箱工作，发出音频；

20、功能麦克风板接收到音箱+用户指令的混合音频，并进行缓存；

30、回采麦克风板接收到无线音箱发出的音频；

40、将回采音频信号进行编码；

50、通过蓝牙发射模块将音频发送出去；

60、整机端接受音频信号并进行解码；

70、功能麦克风板收到的混合音频与解码之后的音频进行比对处理；

80、将混合音频中音箱产生的音频干扰去除，还原得出用户指令，完成识别。

可见，本发明使用高AOP(声压过载点)的麦克风设计成可固定的麦克风板，将设计好的麦克风板装配在无线音箱表面，收音孔朝外，尽可能的靠近振膜，保证麦克风收到无线音箱发出的音频尽可能高幅值，与人声幅度拉开差距，此麦克风板称作回采麦克风板。无线音箱工作时，此mic会将无线音箱发出的音频收录回去，通过编码芯片将音频信号进行SBC编码(次频带编码)，然后通过蓝牙模块将音频发送给整机端的蓝牙接收模块并进行解码还原成原始的音频信号。正常识别用户指令的麦克风板称之为功能麦克风板，功能麦克风板收录到的混合音频信号与回采麦克风板接受到的音频信号在同一时刻的信号进行比对，将功能麦克风板中收录到的混合音频信号中无线音箱的音频干扰过滤掉。

在进一步地实施例中，由于收音位置的差异，无线音箱发出的声音经功能麦克风板和回采麦克风采样后会存在差异，可以根据功能麦克风板和回采麦克风板的位置进行补偿。如图3所示，为本发明第三实施例所述的无线音箱设备语音回声消除处理方法的自动建立音频补偿模型流程示意图。

如图3所示，本发明第三实施例所述的无线音箱设备语音回声消除处理方法，包括以下步骤：

S101、用户发出唤醒指令；

S102、整机接收到唤醒，mute(消音)掉原本界面播放的音频；

S103、语音系统发出标准唤醒回复；

S104、功能麦克风板与回采麦克风板对标准唤醒回复进行采集收录；即无线音响上的回采麦克风和整机上的功能麦克风对标准唤醒回复进行采集收录。

S105、内部检测回采音频补偿模型；

S106、判断是否有回采模型？当否进入步骤S109,当是进入步骤S107；

S107、根据两边采集收录的标准唤醒回复比对情况，与现有的补偿模型进行适配确认；

S108、判断现有补偿模型可以适配调用，当否进入S109,当是进入S113；

S109、提示用户保持安静环境；

S110、发出全频段扫频信号；

S111、扫频音被功能麦克风板和回采麦克风板同步采集；

S112、根据两边的音频幅度和频域分布进行补偿模型建立；

S113、对功能麦克风板和回采麦克风板位置差异造成的采集差异进行信号补偿；

S114、处理掉功能麦克风板中无线音箱产生的干扰音频，降低无线音箱的干扰，完成用户指令的正确识别。

由上可见，本发明具体实施方式中，使用高AOP(声压过载点)的麦克风，内置于无线音箱上，收音孔朝外，当无线音箱工作时，无线音响上的回采麦克风将音箱发出的实际音频+人声收录进来，此时人声远小于实际音频，然后通过蓝牙传回给主芯片或者语音处理芯片，与整机上的唤醒识别作用的功能麦克风收录数据进行比对处理，从而处理掉无线音箱直接输出的音频和经过结构、环境影响后产生的谐波信号。此方式使得无线音箱工作时，主系统依然可以从混合信号中处理掉无线音箱产生的各种音频信号，保持远场语音的唤醒率。

由于收音位置的差异，无线音箱发出的声音经功能麦克风板和回采麦克风采样后会存在差异，可以根据功能麦克风板和回采麦克风板的位置进行补偿。在无线音箱使用位置确定后，启动远场语音功能时，用户发出唤醒词，此时整机端接收到唤醒，将原本播放界面的音频mute(过滤)掉，通过无线音箱回应类似“主人你说”的标准回复。同时内部检测是否已经有回采音频补偿模型，无回采模型则会在标准回复后提示用户保持安静环境，然后通过无线继续发出一段扫频。此扫频音被功能麦克风板和回采麦克风板同步收录，根据两边收到的音频，将功能麦克风板和回采麦克风板收到的音频幅度和频域分布做数学运算，得出此时的回采补偿模型。拥有补偿模型之后，因为功能麦克风板和回采麦克风板收音位置差异不会对回采效果造成影响。保存有补偿模型后，依然后继续根据“主人你说”的标准回复在两边收到音频情况的比对验证补偿模型是否有效。如果音频比对发现和补偿模型不匹配时，将再次进行回采音频的补偿模型建立。每一次的补偿模型建立都会保存下来，多次建立学习之后，对整个环境的使用情况已经完善确认，在建立补偿模型之前，先根据音频比对情况对补偿模型查找确认，如有合适的补偿模型则直接调用，不用再通过扫频音进行模型的重新建立。

本发明此回采麦克风板通过无线传输给整机端去处理，会存在时延，在具体的回采处理中应将回采麦克风板收到的音频信号在时序上进行提前补偿，此时间根据具体的蓝牙传输速度进行确定。

可见，本发明通过对音箱实际发出音频的收录进行回声消除，解决了整机配置无线音箱使用时影响远场语音效果的问题；而建立音频补偿模型，无线音箱不同位置的使用均可以自适应完成回采确认，同时具有学习功能，更加智能化；减少了噪声影响。

示例性设备

如图4中所示，本发明实施例提供一种无线音箱设备语音回声消除处理装置，该装置包括：

混合音频获取控制模块510，用于通过设置在整机上的功能麦克风接收无线音箱和用户语音指令的混合音频信号，并进行缓存；

第一获取控制模块520，用于控制通过设置在无线音响上的回采麦克风获取无线音箱发出的音频信号；

发送控制模块530，用于将回采麦克风获取的无线音箱的音频信号编码后通过蓝牙模块发送给整机端；

解码控制模块540，用于控制整机端将所述无线音箱的音频信息进行解码还原成原始的音频信号；

过滤还原模块550，用于控制整机的功能麦克风将所述混合音频信号与解码后的音频信号进行对比处理，将混合音频信号中的无线音箱产生的音频干扰过滤掉，还原得出所述用户指令。

基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图5所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、麦克风。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无线音箱设备语音回声消除处理方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏。

本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

通过设置在整机上的功能麦克风接收无线音箱和用户语音指令的混合音频信号，并进行缓存；

通过设置在无线音响上的回采麦克风获取无线音箱发出的音频信号；

将回采麦克风获取的无线音箱的音频信号编码后通过蓝牙模块发送给整机端；

整机端将所述无线音箱的音频信息进行解码还原成原始的音频信号；

整机的功能麦克风将所述混合音频信号与解码后的音频信号进行对比处理，将混合音频信号中的无线音箱产生的音频干扰过滤掉，还原得出所述用户指令。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

综上所述，本发明公开了一种无线音箱设备语音回声消除处理方法、装置、智能终端及存储介质，所述方法包括：采用高AOP(声压过载点)的麦克风，内置于无线音箱上，收音孔朝外，当无线音箱工作时，麦克风收音将音箱发出的实际音频+人声收录进来，此时人声远小于实际音频，然后通过蓝牙传回给主芯片或者语音处理芯片，与整机上的唤醒识别作用的mic收录数据进行比对处理，从而处理掉无线音箱直接输出的音频和经过结构、环境影响后产生的谐波信号。本发明使得无线音箱工作时，主系统依然可以从混合信号中处理掉无线音箱产生的各种音频信号，保持远场语音的唤醒率。采用本发明后，可以降低无线音箱对远场语音唤醒的影响，提高语音唤醒率，为用户的使用提供了方便。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。