回声消除装置和电子设备

技术领域

本公开涉及人工智能技术领域，尤其涉及语音处理技术领域。更具体地，本公开提供了一种回声消除装置和电子设备。

背景技术

随着人工智能技术的发展，智能语音硬件设备可以同用户进行语音交互。

发明内容

本公开提供了一种回声消除装置和电子设备。

根据本公开的一方面，提供了一种回声消除装置，该装置包括：信号采集单元，用于采集语音信号和回声信号，对采集的语音信号和回声信号进行滤波，并将经滤波语音信号和经滤波回声信号输出至模数转换单元；模数转换单元，用于接收经滤波语音信号和经滤波回声信号，并将经滤波语音信号和经滤波回声信号分别转换为数字语音信号和数字回声信号；以及音频信号处理单元，用于接收数字语音信号和数字回声信号；利用数字回声信号对数字语音信号进行回声消除处理，得到回声消除信号；对回声消除信号进行处理，得到经处理音频信号；并在音频信号处理单元的输出端输出经处理音频信号。

根据本公开的另一方面，提供了一种电子设备，包括本公开提供的回声消除装置。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是是根据本公开的一个实施例的回声消除装置的示意框图；

图2是根据本公开的一个实施例的回声信号采集模块的示意电路图；

图3是根据本公开的一个实施例的回声消除装置的示意框图；

图4是根据本公开的另一个实施例的回声消除装置的示意框图；

图5是根据本公开的一个实施例的多个回声消除装置的频率分析图；以及

图6是根据本公开的一个实施例的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在距离较远(例如5～10米)的情况下，用户可以发出语音信号，智能硬件设备可以接收语音信号并作出响应，以完成一次远场语音交互。在远场语音交互过程中，智能硬件设备可以从语音信号中识别出唤醒词，以便进入唤醒模式。

智能硬件设备可以发出声音。以智能音箱为例，在播放音乐的过程中，用户可以发出语音信号。若检测到语音信号中存在唤醒词，智能音箱可以停止音乐播放，与用户进行交互。在接收用户发出的语音信号时，音箱的麦克风阵列采集的是包括用户的语音信号和音乐信号的叠加信号。音乐信号可以被视作回声。智能音箱难以直接从叠加信号中识别出唤醒词。

可以对叠加信号进行回声消除，以便确定语音信号中是否存在唤醒词。由此，回声消除技术是远场语音交互的关键技术之一。为了提高回声消除性能，可以提高采集到的回声信号的质量。

回声消除所需的语音信号和回声信号需要有较高的信号质量。在回声信号失真或具有大量的噪声的情况下，难以获得较好的回声消除效果。例如，若回声信号包括噪声干扰信号，而语音信号中不含该噪声干扰信号，该噪声干扰信号就难以消除，进而导致智能硬件设备难以被唤醒，可能会影响最终的语音交互体验。

在一些实施例中，可以采集功放后端的电感电容(LC)滤波电路后(即喇叭前端)的模拟信号，作为回声信号。该回声信号很容易就带有直流噪声干扰。

图1是是根据本公开的一个实施例的回声消除装置的示意框图。

如图1所示，回声消除装置100可以包括信号采集单元110、模数转换单元120和音频信号处理单元130。

信号采集单元110，可以采集语音信号和回声信号。在本公开实施例中，信号采集单元110也可以对采集的语音信号和回声信号进行滤波，得到经滤波语音信号和经滤波回声信号。信号采集单元110也可以将经滤波语音信号和经滤波回声信号输出至模数转换单元。例如，采集的语音信号可以是为语音模拟信号，可以来自用户。采集的回声信号可以是回声模拟信号，可以来自智能硬件设备。

模数转换单元120，可以接收经滤波语音信号和经滤波回声信号，并将经滤波语音信号和经滤波回声信号分别转换为数字语音信号和数字回声信号。

音频信号处理单元130，可以接收数字语音信号和数字回声信号。可以利用数字回声信号对数字语音信号进行回声消除处理，得到回声消除信号。对回声消除信号进行处理，可以得到经处理音频信号。可以在音频信号处理单元130的输出端输出经处理音频信号。在本公开实施例中，音频信号处理单元130可以实现各种回声消除算法，以获得回声消除信号。经处理音频信号可以输出至音频播放单元，以播放与该信号对应的音频。

通过本公开实施例，信号采集单元可以同时采集语音信号和回声信号，有利于提高回声信号和语音信号的同步程度。经由模数转换单元处理后，数字语音信号和数字回声信号的同步程度更高。由此，可以高效地利用数字回声信号对数字语音信号进行回声消除，提高了回声消除的效果，可以获得几乎没有噪声干扰、清晰的音频信号。

在本公开实施例中，信号采集单元可以包括集成的语音信号采集模块和回声信号采集模块。例如，语音信号采集模块可以包括麦克风阵列。通过本公开实施例，集成的语音信号采集模块和回声信号采集模块有助于拓展语音交互的应用场景，也可以同步地采集语音信号和回声信号，提高二者的同步程度。

在本公开实施例中，为了进一步降低噪声干扰，可以对回声采集模块进行优化，下面将结合图2进行进一步说明。

图2是根据本公开的一个实施例的回声信号采集模块的示意电路图。

在本公开实施例中，经处理音频信号包括左声道回声正信号、右声道回声正信号和负回声信号。如图2所示，回声信号采集模块211可以包括第一信号输入端P21、第二信号输入端P22和第三信号输入端P23。第一信号输入端P21可以接收左声道回声正信号。第二信号输入端P22可以接收右声道回声正信号。第三信号输入端P23可以接收负回声信号。通过本公开实施例，设置了正信号的输入端和负信号的输入端，有助于实现差分走线，进而可以在信号采集单元集成了回声信号采集模块和语音信号采集模块的情况下，降低回声信号中的干扰信号，有助于提高回声消除效果。

在本公开实施例中，回声采集模块211还可以包括第一支路2111和第二支路2112。

如图2所示，第一支路2111，可以经由第一正信号线SPKL_P与第一输入端P21连接，也可以经由第一负信号线SPKL_N与第三信号输入端P23连接。第二支路2112，可以经由第二正信号线SPKR_P与第二输入端P22连接，也可以经由第二负信号线SPKR_N与第三信号输入端P23连接。通过本公开实施例，利用两个支路分别处理左声道回声信号和右声道回声信号，每个支路可以分别对回声正信号和回声负信号进行滤波，可以同步地完成对不同声道的正负信号的处理，有助于实现回声信号与语音信号更进一步的同步，进而可以提高回声消除效果。

在本公开实施例中，第一支路2111可以对左声道回声正信号和负回声信号进行滤波，得到经滤波左声道回声正信号和经滤波左声道回声负信号，并将经滤波左声道回声正信号和经滤波左声道回声负信号输出至模数转换单元。

例如，第一支路2111可以包括第一低通滤波电路。第一低通滤波电路的输入端可以经由第一正信号线SPKL_P与第一输入信号端P21连接。第一低通滤波电路可以对左声道回声正信号进行低通滤波，得到左声道低通滤波信号。如图2所示，第一低通滤波电路可以包括电阻R201、电阻R202和电容C202。电阻R201的输入端可以作为第一低通滤波电路的输入端，可以经由第一正信号线SPKL_P与第一输入信号端P21连接。电阻R201的输出端与电阻R202的输入端连接。电阻R202的输出端可以连接至接地端GND。电容C202的第一端可以作为第一低通滤波电路的输出端，可以与电阻R201的输出端连接，可以输出左声道低通滤波信号SPK_L_P。电容C202的第二端可以连接至接地端GND。

例如，第一支路2111还可以包括第一隔直流电路。第一隔直流电路的第一输入端可以与第一低通滤波电路的输出端连接。第一隔直流电路的第二输入端经由第一负信号线可以与第三信号输入端连接。第一隔直流电路可以对左声道低通滤波信号和负回声信号进行隔直流滤波，得到经滤波左声道回声正信号和经滤波左声道回声负信号，并将经滤波左声道回声正信号和经滤波左声道回声负信号输出至模数转换单元。如图2所示，第一隔直流电路可以包括电容C201和电容C204。电容C201的第一端可以作为第一隔直流电路的第一输入端，可以与电容C202的第一端连接。电容C204的第一端可以作为第一隔直流电路的第二输入端，可以经由第一负信号线SPKL_N与第三信号输入端P23连接。第一隔直流电路可以分别对左声道低通滤波信号SPK_L_P和负回声信号进行隔直流滤波，得到经滤波左声道回声正信号SPK_LP和经滤波左声道回声负信号SPK_LN。第一隔直流电路还可以将经滤波左声道回声正信号SPK_LP和经滤波左声道回声负信号SPK_LN输出至模数转换单元。

在本公开实施例中，第一支路2111还可以包括第一稳压电路。第一稳压电路的第一端连接至第一隔直流电路的第一输入端。第一稳压电路的第二端连接至第一隔直流电路的第二输入端。如图2所示，第一稳压电路可以包括电容C203。电容C203的第一端可以连接至电容C201的第一端。电容C203的第二端可以连接至电容C204的第一端。

在本公开实施例中，第二支路2112可以对右声道回声正信号和负信号进行滤波，得到经滤波右声道回声正信号和经滤波右声道回声负信号，并将经滤波右声道回声正信号和经滤波右声道回声负信号输出至模数转换单元。

例如，第二支路2112可以包括第二低通滤波电路。第二低通滤波电路的输入端可以经由第二正信号线与第二输入信号端连接。第二低通滤波电路可以对右声道回声正信号进行低通滤波，得到右声道低通滤波信号。如图2所示，第二低通滤波电路可以包括电阻R203、电阻R204和电容C208。电阻R203的输入端可以作为第二低通滤波电路的输入端，可以经由第二正信号线SPKR_P与第二输入信号端P22连接。电阻R203的输出端与电阻R204的输入端连接。电阻R204的输出端可以连接至接地端GND。电容C208的第一端可以作为第二低通滤波电路的输出端，可以与电阻R203的输出端连接，可以输出右声道低通滤波信号SPK_R_P。电容C208的第二端可以连接至接地端GND。

例如，第二支路2112还可以包括第二隔直流电路。第二隔直流电路的第一输入端可以与第二低通滤波电路的输出端连接。第二隔直流电路的第二输入端可以经由第二负信号线与第三信号输入端连接。第二隔直流电路可以对右声道低通滤波信号和负信号进行隔直流滤波，得到经滤波右声道回声正信号和经滤波右声道回声负信号，并将经滤波右声道回声正信号和经滤波右声道回声负信号输出至模数转换单元。如图2所示，第二隔直流电路可以包括电容C205和电容C207。电容C205的第一端可以作为第二隔直流电路的第一输入端，可以与电容C208的第一端连接。电容C207的第一端可以作为第二隔直流电路的第二输入端，可以经由第二负信号线SPKR_N与第三信号输入端P23连接。第二隔直流电路可以分别对右声道低通滤波信号SPK_R_P和负回声信号进行隔直流滤波，得到经滤波右声道回声正信号SPK_RP和经滤波右声道回声负信号SPK_RN。第二隔直流电路还可以将经滤波右声道回声正信号SPK_RP和经滤波右声道回声负信号SPK_RN输出至模数转换单元。

在本公开实施例中，第二支路2112还可以包括第二稳压电路。第二稳压电路的第一端连接至第二隔直流电路的第一输入端。第二稳压电路的第二端连接至第二隔直流电路的第二输入端。如图2所示，第二稳压电路可以包括电容C206。电容C206的第一端可以连接至电容C205的第一端。电容C206的第二端可以连接至电容C207的第一端。

通过本公开实施例，利用两个支路分别对左声道回声信号和右声道回声信号进行处理，有助于在印刷电路板(PCB)上实现差分走线。由此，可以进一步抗直流干扰，有助于提高精度，提高回声信号的质量。

可以理解，图2所示第一低通滤波电路和第二低通滤波电路的结构仅为示例，在另一些实施例中，第一低通滤波电路例如可以包括电阻R201和电容C202。

也可以理解，图2所示第一支路和第二支路的结构仅为示例，在另一些实施例中，第一支路例如可以不设置第一稳压电路。第二支路例如可以不设置第二稳压电路。

在本公开实施例中，回声采集模块还可以包括静电防护电路，静电防护电路的第一端与第一正信号线连接，静电防护电路的第二端与第二正信号线连接，静电防护电路的第三端与第一负信号线连接，静电防护电路的第四端与第二负信号线连接，以及静电防护电路的第五端接地。如图2所示，回声采集模块211可以包括静电防护电路2113。静电防护电路2113可以包括静电防护二极管ED201、静电防护二极管ED202、静电防护二极管ED203和静电防护二极管ED204。静电防护二极管ED201的第一端与第一正信号线SPKL_P连接，可以作为静电防护电路2113的第一端。静电防护二极管ED201的第二端接地。静电防护二极管ED202的第一端与第二正信号线SPKR_P连接，可以作为静电防护电路2113的第二端。静电防护二极管ED202的第二端接地。静电防护二极管ED203的第一端与第一负信号线SPKL_N连接，可以作为静电防护电路2113的第三端。静电防护二极管ED203的第二端接地。静电防护二极管ED204的第一端与第二负信号线SPKR_N连接，可以作为静电防护电路2113的第四端。静电防护二极管ED204的第二端接地。又例如，静电防护二极管可以为齐纳(zener)二极管。通过本公开实施例，设置了静电防护电路，有助于提高回声信号采集模块运行的稳定性，进而可以稳定地进行回声消除。

在本公开实施例中，回声采集模块211还可以包括音频端子P201。音频端子P201的第一端与第三信号输入端连接。音频端子P201的第二端接地。音频端子P201例如可以是3.5毫米音频端子。

可以理解，上文对本公开的回声采集模块进行了说明，下面将对本公开的模数转换单元进行说明。

在本公开实施例中，模数转换单元还可以对经滤波语音信号和经滤波回声信号进行同步，得到经同步的语音信号和回声信号。模数转换单元还可以分别将经同步的语音信号和回声信号转换为数字语音信号和数字回声信号。例如，模数转换单元可以接收上述的经滤波右声道回声正信号SPK_LP、经滤波右声道回声负信号SPK_LN、经滤波右声道回声正信号SPK_RP和经滤波右声道回声负信号SPK_RN。模数转换单元可以将这些信号与语音信号同步。模数转换单元可以将与语音信号同步的经滤波右声道回声正信号SPK_LP、经滤波右声道回声负信号SPK_LN、经滤波右声道回声正信号SPK_RP和经滤波右声道回声负信号SPK_RN转换为数字回声信号。模数转换单元也可以将语音信号转换为数字语音信号。通过本公开实施例，模数转换单元可以同步地转换语音信号和回声信号，使得数字语音信号与数字回声信号的同步程度更高，有助于提高回声消除效果。

可以理解，上文对本公开的模数转换单元进行了说明，下面将对本公开的音频处理单元进行说明。

图3是根据本公开的一个实施例的回声消除装置的示意框图。

如图3所示，回声消除装置300可以包括信号采集单元310、模数转换单元320和音频信号处理单元330。上述关于信号采集单元110、模数转换单元120和音频信号处理单元130的说明，同样适用于本实施例，本公开在此不再赘述。

在本公开实施例中，音频信号处理单元330可以包括第一音频信号处理器331。第一音频信号处理器331可以接收数字语音信号和数字回声信号。第一音频信号处理器331可以利用数字回声信号对数字语音信号进行回声消除处理，得到回声消除信号。第一音频信号处理器331还可以对回声消除信号进行处理，得到第一音频信号。

如图3所示，第一音频信号处理器331可以包括第一信号接口。第一信号接口可以为集成电路内置音频总线(Inter-IC Sound，I2S)接口、通用串行总线(Universal SerialBus，USB)接口、串行外设接口(Serial Peripheral Interface，SPI)接口和蓝牙(Bluetooth)接口中的至少一种。经由第一信号接口，第一音频信号处理器331可以接收数字语音信号和数字回声信号。

在本公开实施例中，可以利用各种回声消除算法处理数字语音信号和数字回声信号。例如，回声消除处理可以包括线性自适应滤波和非线性处理。基于线性自适应滤波，可以构建远端回声的语音模型。该模型可以用于进行第一次回声消除。非线性处理也可以包括残留回声处理和非线性剪切处理。在第一次回声消除之后，可以进行第二次回声消除，以处理残留回声。对于衰减量到达预设衰减阈值的信号，可以进行剪切，以进一步消除回声。

在本公开实施例中，回声消除信号的处理方式可以包括：波束成形(beamforming)、降噪、声源定位和信号放大中的至少一种。利用这些处理方式中的至少一种对回声消除信号进行处理后，可以得到第一音频信号。

在本公开实施例中，音频信号处理单元330还可以包括编解码子单元codec1。编解码子单元codec1可以接收第一音频信号，对第一音频信号进行编解码，得到经处理音频信号。如图3所示，第一音频信号处理器还可以包括第二信号接口。第二信号接口可以是集成电路内置音频总线接口、通用串行总线接口、串行外设接口和蓝牙接口中的至少一种。经由第二信号接口，第一音频信号处理器331可以输出第一音频信号。编解码子单元可以接收第一音频信号。

在本公开实施例中，回声消除装置300还可以包括功率放大器340和音频播放单元350。功率放大器340可以对经处理音频信号进行放大，得到目标音频信号。音频播放单元350可以包括喇叭，以播放与目标音频信号对应的音频。

在本公开实施例中，第三信号输入端与地断开。例如，可以将上述的音频端子P201的第一端和第二端断开，以使上述的第三信号输入端P23与地断开。通过本公开实施例，音频信号处理单元包括一个音频信号处理器，第三信号输入端不接地。由此，可以在不存在地回路的情况下，高效地接收信号，维持电路信号的正常工作。

可以理解，上文以音频信号处理单元包括一个信号处理器为示例进行了说明。但本公开不限于此，音频信号处理单元可以包括两个或两个以上的音频信号处理器，下面将进行进一步说明。

图4是根据本公开的另一个实施例的回声消除装置的示意框图。

如图4所示，回声消除装置400可以包括信号采集单元410、模数转换单元420和音频信号处理单元430。上述关于信号采集单元110、模数转换单元120和音频信号处理单元130的说明，同样适用于本实施例，本公开在此不再赘述。

在本公开实施例中，音频信号处理单元430可以包括第一音频信号处理器431。第一音频信号处理器431可以接收数字语音信号和数字回声信号。第一音频信号处理器431可以利用数字回声信号对数字语音信号进行回声消除处理，得到回声消除信号。第一音频信号处理器431还可以对回声消除信号进行处理，得到第一音频信号。

如图4示，第一音频信号处理器431可以包括第一信号接口。第一信号接口可以为集成电路内置音频总线接口、通用串行总线接口、串行外设接口和蓝牙接口中的至少一种。经由第一信号接口，第一音频信号处理器431可以接收数字语音信号和数字回声信号。

在本公开实施例中，可以利用各种回声消除算法处理数字语音信号和数字回声信号。例如，回声消除处理可以包括线性自适应滤波和非线性处理。基于线性自适应滤波，可以构建远端回声的语音模型。该模型可以用于进行第一次回声消除。非线性处理也可以包括残留回声处理和非线性剪切处理。在第一次回声消除之后，可以进行第二次回声消除，以处理残留回声。对于衰减量到达预设衰减阈值的信号，可以进行剪切，以进一步消除回声。

在本公开实施例中，回声消除信号的处理方式可以包括：波束成形(beamforming)、降噪、声源定位和信号放大中的至少一种。利用这些处理方式中的至少一种对回声消除信号进行处理后，可以得到第一音频信号。

与图3所示的回声消除装置不同之处在于，回声消除装置400的音频信号处理单元430还可以包括第二音频信号处理器432。第二音频信号处理器432可以接收第一音频信号，根据第一音频信号执行目标应用程序，得到第二音频信号。例如，目标应用程序可以包括虚拟数字人程序、视频媒体播放程序等等。目标应用程序例如可以根据第一音频信号，生成虚拟数字人使用的第二音频信号。

如图4所示，第二音频信号处理器431可以包括第三信号接口。第三信号接口可以为集成电路内置音频总线接口、通用串行总线接口、串行外设接口和蓝牙接口中的至少一种。经由第三信号接口，第二音频信号处理器431可以输出第二音频信号。

在本公开实施例中，音频信号处理单元430还可以包括编解码子单元codec2。编解码子单元codec2可以接收第二音频信号，对第二音频信号进行编解码，得到经处理音频信号。如图4所示，经由第三信号接口，编解码子单元可以接收第二音频信号。

在本公开实施例中，回声消除装置400还可以包括功率放大器440和音频播放单元450。功率放大器440可以对经处理音频信号进行放大，得到目标音频信号。音频播放单元450可以包括喇叭，以播放与目标音频信号对应的音频。

在本公开实施例中，第三信号输入端接地。例如，可以将上述的音频端子P201的第一端和第二端导通，以使上述的第三信号输入端P23接地。

在本公开实施例中，第一音频信号处理器、第二音频信号处理器和第三信号输入端共地。例如，在回声消除装置包括两个音频信号处理器的情况下，回声信号采集模块可以采集与喇叭450播放的音频对应的回声信号。通过本公开实施例，第三信号输入端接地、第二音频信号处理器432和第一音频信号处理器431共地，两个音频信号处理器可以形成有效的信号回路，可以消除信号在不同的音频信号处理器之间的电位差，缓解甚至消除差模干扰，也有助于进一步减少直流干扰。

可以理解，上文对本公开的回声消除装置进行了说明，下面将对本公开的回声消除装置的效果进行进一步说明。

图5是根据本公开的一个实施例的多个回声消除装置的频率分析图。

可以对上述的回声消除装置300进行频率分析，得到如图5中所示频率分析结果L501。

在另一些实施例中，回声消除参考装置的回声信号采集参考模块也可以采集语音信号和回声信号。回声信号采集参考模块可以包括第四信号输入端和第五信号输入端。第四信号输入端可以接收左声道回声信号。第五信号输入端可以接收右声道回声信号。回声信号采集参考模块还可以包括第一参考低通滤波电路和第二参考低通滤波电路。可以理解，回声信号采集参考模块未进行差分走线和隔直流处理。对回声消除参考装置进行频率分析，得到如图5中所示的频率分析结果L502。

如频率分析结果L501和频率分析结果L502所示，回声消除装置300在各种频率下，回声消除装置300均可以有效地消除噪声。

可以理解，上文对本公开的回声消除装置进行了说明，下面将对包括回声消除装置的电子设备进行说明

图6是根据本公开的一个实施例的电子设备的示意图。

如图6所示，电子设备60可以包括回声消除装置600。回声消除装置600可以是上述的回声消除装置100、回声消除装置300或回声消除装置400中的任一个。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。