一种教室音频多通道回声消除方法

技术领域

本发明涉及回声消除的技术领域，尤其涉及一种教室音频多通道回声消除方法。

背景技术

在教室音视频系统中，为了获得更好的听觉感受，会在房间内部署多个扬声器和麦克风。使用了多个扬声器与麦克风设备产生的回声称为多通道回声。随着人们对通信质量要求的提高，多通道回声消除逐渐受到重视。同时，越来越复杂的声学环境导致回声路径具有显著的非线性特征。现有方法无法有效地抑制这类非线性回声，针对该问题，本专利提出一种教室音频多通道回声消除方法，实现教室音频系统回声消除。

发明内容

有鉴于此，本发明提供一种教室音频多通道回声消除方法，目的在于：采用多分类滤波器级联的方式，通过构建不同中心频率的分类滤波器对不同傅里叶变换采样点数的音频信号频谱进行切分，并选取麦克风信号能量与扬声器信号能量相差较大的频谱作为待回声消除的音频信号的多个频谱，实现多频域采样点数通道且存在回声的频谱提取；针对所提取的多频域采样点数通道频谱，构建对应的多通道回声滤波器，利用所提取的频谱快速更新多通道回声滤波器的参数；实现教室内音频信号状态的检测，根据检测结果，当教室内扬声器为主要发声声源时，则利用构建多通道回声滤波器对扬声器信号进行滤波处理，实现教室内扬声器回声的智能消除。

实现上述目的，本发明提供的一种教室音频多通道回声消除方法，包括以下步骤：

S1：实时采集教室音频信号，并对所采集教室音频信号进行预处理，其中教室音频信号包括麦克风信号、扬声器信号、回声信号、人声信号以及噪声信号；

S2：将预处理后的麦克风信号以及扬声器信号作为待回音消除的音频信号，采用多分类滤波器级联的方式对待回声消除的音频信号进行切分，得到待回声消除的音频信号的多个频谱；

S3：构建多通道回声滤波器，将切分后的频谱输入到多通道回声滤波器中，求解得到多通道回声滤波器的参数；

S4：根据求解到的多通道回声滤波器参数对多通道回声滤波器进行实时调整，得到调整后的多通道回声滤波器；

S5：实时检测教室内音频信号的状态，当扬声器信号在教室内处于主导状态时，利用调整后的多通道回声滤波器对扬声器信号进行滤波处理，消除教室内扬声器的回声。

作为本发明的进一步改进方法：

可选地，所述S1步骤中实时采集教室音频信号，包括：

实时采集教室音频信号，得到教室音频信号序列，所述教室音频信号包括麦克风信号、扬声器信号、回声信号、人声信号以及噪音信号，麦克风信号表示麦克风接收到的讲话人音频信号，扬声器信号表示扬声器所发出的音频信号，回声信号表示扬声器所发出信号沿回声路径产生的信号，人声信号表示未使用麦克风的讲话人音频信号，噪声信号表示环境噪声；

所述教室音频信号序列Q的格式为：

其中：

表示t

可选地，所述S1步骤中对所采集教室音频信号进行预处理，包括：

对所采集的教室音频信号进行进行预处理，其中待预处理的教室音频信号包括麦克风信号、扬声器信号以及其他噪声音频信号，令待预处理的教室音频信号表示为

S11：构建汉明窗函数：

其中：

L表示待加窗音频信号的长度；

S12：利用汉明窗函数对教室音频信号进行加窗，所述加窗处理公式为：

其中：

S13：重构得到预处理后不同类别的教室音频信号序列：

其中：

可选地，所述S2步骤中采用多分类滤波器级联的方式对待回声消除的音频信号进行切分，包括：

将预处理后的麦克风信号以及扬声器信号作为待回音消除的音频信号，采用多分类滤波器级联的方式对待回声消除的音频信号进行切分，得到不同频域的待回声消除的音频序号序列，其中基于多分类滤波器级联的待回声消除的音频信号切分流程为：

S21：构建M个分类滤波器，其中第m个分类滤波器的中心频率为

其中：

L表示音频信号序列的长度；

S22：分别对预处理后的麦克分信号序列以及扬声器信号序列进行快速傅里叶变换处理：

其中：

c表示虚数单位，

S23：将

对M个分类滤波器的对数能量进行求和：

若

S24：重复步骤S22-S23，得到不同傅里叶变换采样点数的待回声消除频谱，所述待回声消除频谱的集合为：

其中：

可选地，所述S3步骤中将切分后的频谱输入到所构建的多通道回声滤波器中，求解得到多通道回声滤波器的参数，包括：

构建多通道回声滤波器，所述多通道回声滤波器包括N个抽头，每个抽头具有抽头向量，其中N表示输入多通道回声滤波器的待回声消除频谱组数，抽头向量即为多通道回声滤波器的参数；

将切分后的N组频谱输入到所构建的多通道回声滤波器中，求解得到多通道回声滤波器的参数，其中多通道回声滤波器参数的求解流程为：

S31：设置多通道回声滤波器的阶数为K，当前多通道回声滤波器的阶数为k，k的初始值为0，初始化多通道回声滤波器的参数H(0) ：

其中：

T表示转置，

S32：将切分后的扬声器信号序列频谱输入k阶多通道回声滤波器中，则k阶多通道回声滤波器的输出结果

S33：计算k阶多通道回声滤波器的滤波误差：

S34：若k=L则利用逆傅里叶变换处理对H（k）进行处理，并将处理结果作为求解得到的多通道回声滤波器参数H

其中：

并令k=k+1，返回步骤S32。

可选地，所述S4步骤中根据求解到的多通道回声滤波器参数对多通道回声滤波器进行实时调整，包括：

根据求解得到的多通道回声滤波器参数H

可选地，所述S5步骤中实时检测教室内音频信号的状态，包括：

实时检测教室内音频信号的状态，所述教室内音频信号状态包括扬声器处于主导状态以及扬声器处于非主导状态，其中扬声器处于主导状态表示扬声器为教室内的主要发声源，扬声器处于非主导状态表示教室内的人声、噪声为主要发声源；

所述教室内音频信号状态的检测流程为：

S51：构造状态判定函数E

其中：

S52：构建状态判定函数值E

其中：

S53：若

可选地，所述S5步骤中利用调整后的多通道回声滤波器对扬声器信号进行滤波处理，包括：

当扬声器信号在教室内处于主导状态时，将时域表示的扬声器信号输入到多通道回声滤波器中，得到回声消除后的扬声器信号，利用调整后的多通道回声滤波器对扬声器信号进行滤波处理，消除教室内扬声器的回声。

相对于现有技术，本发明提出一种教室音频多通道回声消除方法，该技术具有以下优势：

首先，本方案提出一种音频切分方法，将预处理后的麦克风信号以及扬声器信号作为待回音消除的音频信号，采用多分类滤波器级联的方式对待回声消除的音频信号进行切分，得到不同频域的待回声消除的音频序号序列，其中基于多分类滤波器级联的待回声消除的音频信号切分流程为：构建M个分类滤波器，其中第m个分类滤波器的中心频率为

其中：

其中：c表示虚数单位，

对M个分类滤波器的对数能量进行求和：

若

重复上述步骤，得到不同傅里叶变换采样点数的待回声消除频谱，所述待回声消除频谱的集合为：

其中：

同时，本方案提出一种智能回声消除方法，通过实时检测教室内音频信号的状态，所述教室内音频信号状态包括扬声器处于主导状态以及扬声器处于非主导状态，其中扬声器处于主导状态表示扬声器为教室内的主要发声源，扬声器处于非主导状态表示教室内的人声、噪声为主要发声源；所述教室内音频信号状态的检测流程为：构造状态判定函数E

其中：

其中：

附图说明

图1为本发明一实施例提供的一种教室音频多通道回声消除方法的流程示意图；

图2为本发明一实施例提供的教室音频多通道回声消除装置的功能模块图；

图3为本发明一实施例提供的实现教室音频多通道回声消除方法的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供一种教室音频多通道回声消除方法。所述教室音频多通道回声消除方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述教室音频多通道回声消除方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。

实施例1：

S1：实时采集教室音频信号，并对所采集教室音频信号进行预处理，其中教室音频信号包括麦克风信号、扬声器信号、回声信号、人声信号以及噪声信号。

所述S1步骤中实时采集教室音频信号，包括：

实时采集教室音频信号，得到教室音频信号序列，所述教室音频信号包括麦克风信号、扬声器信号、回声信号、人声信号以及噪音信号，麦克风信号表示麦克风接收到的讲话人音频信号，扬声器信号表示扬声器所发出的音频信号，回声信号表示扬声器所发出信号沿回声路径产生的信号，人声信号表示未使用麦克风的讲话人音频信号，噪声信号表示环境噪声；

所述教室音频信号序列Q的格式为：

其中：

所述S1步骤中对所采集教室音频信号进行预处理，包括：

对所采集的教室音频信号进行进行预处理，其中待预处理的教室音频信号包括麦克风信号、扬声器信号以及其他噪声音频信号，令待预处理的教室音频信号表示为

S11：构建汉明窗函数：

其中：

L表示待加窗音频信号的长度；

S12：利用汉明窗函数对教室音频信号进行加窗，所述加窗处理公式为：

其中：

S13：重构得到预处理后不同类别的教室音频信号序列：

其中：

S2：将预处理后的麦克风信号以及扬声器信号作为待回音消除的音频信号，采用多分类滤波器级联的方式对待回声消除的音频信号进行切分，得到待回声消除的音频信号的多个频谱。

所述S2步骤中采用多分类滤波器级联的方式对待回声消除的音频信号进行切分，包括：

将预处理后的麦克风信号以及扬声器信号作为待回音消除的音频信号，采用多分类滤波器级联的方式对待回声消除的音频信号进行切分，得到不同频域的待回声消除的音频序号序列，其中基于多分类滤波器级联的待回声消除的音频信号切分流程为：

S21：构建M个分类滤波器，其中第m个分类滤波器的中心频率为

其中：

L表示音频信号序列的长度；

S22：分别对预处理后的麦克分信号序列以及扬声器信号序列进行快速傅里叶变换处理：

其中：

c表示虚数单位，

S23：将

对M个分类滤波器的对数能量进行求和：

若

S24：重复步骤S22-S23，得到不同傅里叶变换采样点数的待回声消除频谱，所述待回声消除频谱的集合为：

其中：

S3：构建多通道回声滤波器，将切分后的频谱输入到多通道回声滤波器中，求解得到多通道回声滤波器的参数。

所述S3步骤中将切分后的频谱输入到所构建的多通道回声滤波器中，求解得到多通道回声滤波器的参数，包括：

构建多通道回声滤波器，所述多通道回声滤波器包括N个抽头，每个抽头具有抽头向量，其中N表示输入多通道回声滤波器的待回声消除频谱组数，抽头向量即为多通道回声滤波器的参数；

将切分后的N组频谱输入到所构建的多通道回声滤波器中，求解得到多通道回声滤波器的参数，其中多通道回声滤波器参数的求解流程为：

S31：设置多通道回声滤波器的阶数为K，当前多通道回声滤波器的阶数为k，k的初始值为0，初始化多通道回声滤波器的参数H(0) ：

其中：

T表示转置，

S32：将切分后的扬声器信号序列频谱输入k阶多通道回声滤波器中，则k阶多通道回声滤波器的输出结果

S33：计算k阶多通道回声滤波器的滤波误差：

S34：若k=L则利用逆傅里叶变换处理对H（k）进行处理，并将处理结果作为求解得到的多通道回声滤波器参数H

其中：

并令k=k+1，返回步骤S32。

S4：根据求解到的多通道回声滤波器参数对多通道回声滤波器进行实时调整，得到调整后的多通道回声滤波器。

所述S4步骤中根据求解到的多通道回声滤波器参数对多通道回声滤波器进行实时调整，包括：

根据求解得到的多通道回声滤波器参数H

S5：实时检测教室内音频信号的状态，当扬声器信号在教室内处于主导状态时，利用调整后的多通道回声滤波器对扬声器信号进行滤波处理，消除教室内扬声器的回声。

所述S5步骤中实时检测教室内音频信号的状态，包括：

实时检测教室内音频信号的状态，所述教室内音频信号状态包括扬声器处于主导状态以及扬声器处于非主导状态，其中扬声器处于主导状态表示扬声器为教室内的主要发声源，扬声器处于非主导状态表示教室内的人声、噪声为主要发声源；

所述教室内音频信号状态的检测流程为：

S51：构造状态判定函数E

其中：

S52：构建状态判定函数值E

其中：

S53：若

所述S5步骤中利用调整后的多通道回声滤波器对扬声器信号进行滤波处理，包括：

当扬声器信号在教室内处于主导状态时，将时域表示的扬声器信号输入到多通道回声滤波器中，得到回声消除后的扬声器信号，利用调整后的多通道回声滤波器对扬声器信号进行滤波处理，消除教室内扬声器的回声。

实施例2：

如图2所示，是本发明一实施例提供的教室音频多通道回声消除装置的功能模块图，其可以实现实施例1中的教室音频多通道回声消除方法。

本发明所述教室音频多通道回声消除装置100可以安装于电子设备中。根据实现的功能，所述教室音频多通道回声消除装置可以包括音频信号处理模块101、音频状态检测模块102及回声消除装置103。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

音频信号处理模块101，用于实时采集教室音频信号，并对所采集教室音频信号进行预处理；

音频状态检测模块102，用于测教室内音频信号的状态，当扬声器信号在教室内处于主导状态时，利用调整后的多通道回声滤波器对扬声器信号进行滤波处理，消除教室内扬声器的回声；

回声消除装置103，用于将预处理后的麦克风信号以及扬声器信号作为待回音消除的音频信号，采用多分类滤波器级联的方式对待回声消除的音频信号进行切分，得到待回声消除的音频信号的多个频谱，构建多通道回声滤波器，将切分后的频谱输入到多通道回声滤波器中，求解得到多通道回声滤波器的参数，根据求解到的多通道回声滤波器参数对多通道回声滤波器进行实时调整，得到调整后的多通道回声滤波器。

详细地，本发明实施例中所述教室音频多通道回声消除装置100中的所述各模块在使用时采用与上述的图1中所述的教室音频多通道回声消除方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。

实施例3：

如图3所示，是本发明一实施例提供的实现教室音频多通道回声消除方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11、通信接口13和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如程序12。

其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

所述通信接口13可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备1与其他电子设备之间建立通信连接，并实现电子设备内部组件之间的连接通信。

所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块（用于回声消除的程序12等），以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的程序12是多个指令的组合，在所述处理器10中运行时，可以实现：

实时采集教室音频信号，并对所采集教室音频信号进行预处理；

将预处理后的麦克风信号以及扬声器信号作为待回音消除的音频信号，采用多分类滤波器级联的方式对待回声消除的音频信号进行切分，得到待回声消除的音频信号的多个频谱；

构建多通道回声滤波器，将切分后的频谱输入到多通道回声滤波器中，求解得到多通道回声滤波器的参数；

根据求解到的多通道回声滤波器参数对多通道回声滤波器进行实时调整，得到调整后的多通道回声滤波器；

实时检测教室内音频信号的状态，当扬声器信号在教室内处于主导状态时，利用调整后的多通道回声滤波器对扬声器信号进行滤波处理，消除教室内扬声器的回声。

具体地，所述处理器10对上述指令的具体实现方法可参考图1至图3对应实施例中相关步骤的描述，在此不赘述。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。