掌桥专利:专业的专利平台
掌桥专利
首页

麦克风阵列及其信号处理方法、装置、设备及介质

文献发布时间:2023-06-19 19:30:30


麦克风阵列及其信号处理方法、装置、设备及介质

技术领域

本申请涉及电路技术领域,例如涉及一种麦克风阵列及其信号处理方法、装置、设备及介质。

背景技术

现有的均匀线型麦克风阵列是将麦克风均匀排布在一条直线上,相邻麦克风的间距相等。为了提升上述阵列的拾音质量,通常应用波束形成技术,该技术通常要求麦克风间距与信号波长相当。语音信号频带较宽,对高频信号进行有效的波束形成要求麦克风阵元间距足够小,对低频信号进行有效的波束形成要求阵列孔径足够大。如果采用现有的麦克风均匀排布的阵列结构,为了同时满足高低频波束形成的要求,则所需的麦克风数量较多,不仅增加了硬件成本和结构复杂性,还增加了波束形成算法的计算量。

此外,现有的波束形成算法通常为时延-累加方法,用该方法对宽带语音信号进行波束形成时,存在三个问题:一是其波束图形状和频率有关,且波束主瓣宽度随频率增加而减小,二是噪声在整个频带的衰减是非均匀的,导致波束输出存在人工噪音,三是当声波入射方向偏离主瓣方向时波束形成处理引入了低通滤波效果,导致输出信号失真。

发明内容

本申请目的在于:提供一种非均匀线型麦克风阵列结构和对应的音频信号处理方法,从而在使用相同数量麦克风的条件下获得更优拾音效果,或在保证拾音效果的条件下减少阵列中麦克风的数量。

为达上述目的,本申请采用以下技术方案:

本申请提供了一种非均匀线型麦克风阵列,其中,包括中心麦克风对,以及在所述中心麦克风对两侧对称排布的若干个扩展麦克风;所述中心麦克风对和所述扩展麦克风排布在同一直线上,且相邻麦克风的间距不等,其中,所述扩展麦克风与所述中心麦克风对之间的间距越大,则所述扩展麦克风与靠近阵列中心一侧的相邻麦克风之间的间距也越大。

本申请提供了一种麦克风阵列的音频信号处理方法,其中,所述方法包括:

根据所述麦克风阵列的结构参数和信号采集通道计算对应的阵列导向矢量组,其中,所述阵列导向矢量组包括对应不同频点的若干个阵列导向矢量矩阵;

根据各个频点所属的频段,选取对应的约束条件和代价函数,对加权系数进行优化求解,其中,所述代价函数是由所述阵列导向矢量矩阵和所述加权系数计算得到的,完成频率独立的加权系数优化后再对其进行频域平滑;

从所述麦克风阵列采集的多通道信号中提取所述信号采集通道对应的时域音频信号,对所述信号采集通道对应的时域音频信号进行离散傅里叶变换得到对应的多通道时频域信号;

通过所述加权系数分别对相应频点的所述多通道时频域信号进行加权求和,得到时频域波束输出信号,完成空域滤波;

对所述时频域波束输出信号进行离散傅里叶反变换,计算得到目标音频信号。

本申请还提出了一种麦克风阵列的音频信号处理装置,其中,所述软件包括:

阵列导向矢量组计算单元,用于根据所述麦克风阵列的结构参数和信号采集通道计算对应的阵列导向矢量组,其中,所述阵列导向矢量组包括对应不同频点的若干个阵列导向矢量矩阵;

加权系数求解单元,用于根据各个频点所属的频段,选取对应的约束条件和代价函数,对加权系数进行优化求解,其中,所述代价函数是由所述阵列导向矢量矩阵和所述加权系数计算得到的,完成频率独立的加权系数优化后再对其进行频域平滑;

信号提取单元,用于从所述麦克风阵列采集的多通道信号中提取所述信号采集通道对应的时域音频信号,对所述信号采集通道对应的时域音频信号进行离散傅里叶变换得到对应的多通道时频域信号;

空域滤波单元,用于通过所述加权系数分别对相应频点的所述多通道时频域信号进行加权求和,得到时频域波束输出信号,完成空域滤波;

信号生成模块,用于对所述时频域波束输出信号进行离散傅里叶反变换,计算得到目标音频信号。

本申请还提出了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法。

本申请还提出了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法。

本申请的一种非均匀线型麦克风阵列通过将扩展麦克风以中心麦克风组为中心,向周侧进行非均匀排布,并且距离中心越远,相邻的扩展麦克风间距越大,从而同时兼顾了高低频波束形成对最小阵元间距和最大阵列孔径的要求,在阵元数量相同时,能够覆盖的波长范围更广,在阵列面积相同时,所需的麦克风阵元数量更少;并通过本申请的一种麦克风阵列的音频信号处理方法,对上述非均匀线型麦克风阵列获取的原始音频信号按照不同的角度范围和频段范围采用不同的损失函数进行输出功率衰减,提高了获取到的目标音频信号的质量。

附图说明

图1为一实施例的非均匀线型麦克风阵列的结构示意图;

图2为一实施例的非均匀线型麦克风阵列的具体结构示意图;

图3为一实施例的非均匀线型麦克风阵列的具体结构示意图;

图4为一实施例的麦克风阵列的音频信号处理方法的流程示意图;

图5为一实施例的麦克风阵列的音频信号处理方法的具体流程示意图;

图6为现有技术中的音频信号的宽频带波束图;

图7为一实施例的目标音频信号的宽频带波束图;

图8为本申请一实施例的麦克风阵列的音频信号处理装置的结构示意框图;

图9为本申请一实施例的计算机设备的结构示意框图。

图1至图3中:

1、麦克风阵列;101、中心麦克风对;102、扩展麦克风。

本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“上述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件、模块、模块和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块、模块、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。

本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。

参照图1,是本申请公开的一种非均匀线型麦克风阵列,其中,包括中心麦克风对,以及在所述中心麦克风对两侧对称排布的若干个扩展麦克风;所述中心麦克风对和所述扩展麦克风排布在同一直线上,且相邻麦克风的间距不等,其中,所述扩展麦克风与所述中心麦克风对之间的间距越大,则所述扩展麦克风与靠近阵列中心一侧的相邻麦克风之间的间距也越大。

在一个实施例中,本实施例提供的一种非均匀线型麦克风阵列,通常应用在音视频会议大屏、智慧黑板和其他对拾音质量有一定要求的设备中,用于采集设备周围的声音信息。所述非均匀线型麦克风阵列包括中心麦克风对和至少两个扩展麦克风,其中,中心麦克风对包括两个中心麦克风,中心麦克风对和扩展麦克风排布在同一直线上。具体来说,参照图2,当需要在麦克风阵列中预留摄像头等装置的安装位置时,可以根据其具体尺寸预留中心麦克风对间距d

在一个实施例中,为了在保证信号质量的同时减少麦克风的数量,相邻的扩展麦克风的间距随其到中心麦克风对的距离增大而增大。相较于将相同数量的麦克风以均匀方式排布的阵列结构,按照上述原则排布的非均匀麦克风阵列结构,能够同时实现更小的相邻麦克风单元间距和更大的麦克风阵列整体孔径,即中心麦克风对与其相邻的扩展麦克风之间的间距小于平均间距,而首尾两侧麦克风与其相邻麦克风的间距大于平均间距,从而能够在麦克风数量不变的情况下,获得更大的优化波束形成频率范围,提高拾音质量。

在一个实施例中,参照图3,上述非均匀线型麦克风阵列结构包括由单一硬件结构实现,同时也包括由若干个非均匀不对称的麦克风阵列硬件结构以子阵列形式组合实现。

参照图4,是本申请公开的一种麦克风阵列的音频信号处理算法的流程示意图,上述方法包括:

S1、根据所述麦克风阵列的结构参数和信号采集通道计算对应的阵列导向矢量组,其中,所述阵列导向矢量组包括对应不同频点的若干个阵列导向矢量矩阵;

S2、根据各个频点所属的频段,选取对应的约束条件和代价函数,对加权系数进行优化求解,其中,所述代价函数是由所述阵列导向矢量矩阵和所述加权系数计算得到的,完成频率独立的加权系数优化后再对其进行频域平滑;

S3、从所述麦克风阵列采集的多通道信号中提取所述信号采集通道对应的时域音频信号,对所述信号采集通道对应的时域音频信号进行离散傅里叶变换得到对应的多通道时频域信号;

S4、通过所述加权系数分别对相应频点的所述多通道时频域信号进行加权求和,得到时频域波束输出信号,完成空域滤波;

S5、对所述时频域波束输出信号进行离散傅里叶反变换,计算得到目标音频信号;

在实际的执行过程中,通常上述步骤S1和S2只需进行一次,得到所述频域波束形成加权系数后将其存储,不再随接收信号变化而修改所述频域波束形成加权系数,直至上述麦克风阵列的结构参数发生改变;上述结构参数包括麦克风阵列包含的麦克风数量。

如上述步骤S1所述,首先需要根据所述麦克风阵列的结构参数和信号采集通道计算阵列导向矢量组。具体来说,通过假想信号模拟实际的音频信号,根据上述非均匀线型麦克风阵列结构、信号采集通道、信号采样率和分析频点数,对应每个分析频点和来波方向,计算一个阵列导向矢量。示例性地,若上述麦克风阵列一共由8个麦克风组成,指定全部8个通道为信号采集通道,将来波方向间隔1°划分为0°~180°共181个离散的来波方向,分析频点数选择为512,则阵列导向矢量组由512个维数为8×181的阵列导向矢量矩阵组成,其中每个阵列导向矢量矩阵包括181个对应不同来波方向的导向矢量。示例性地,若指定除首尾2个通道外的其余6个通道为信号采集通道,则阵列导向矢量矩阵的维数为6×181。

如上述步骤S2所述,上述分频段优化加权系数的含义为:根据信号采样率和分析频点数将全部处理频带划分为低、中、高三个处理频段,在低、中、高频段对频域波束形成加权系数进行优化求解时,采用不同的约束条件和代价函数,完成频率独立的加权系数优化后再对其进行频域平滑。

如上述步骤S3所述,波束形成处理在频域进行,因此需要将原始麦克风采集信号变换到时频域。在具体的应用中,根据不同的波束形成目的,可以提取麦克风阵列全部通道的信号,也可以仅提取部分通道信号,通道对应的麦克风位置可以是非对称的。参照图5,假设当前提取的通道数为M,则M麦克风位置处的声压信号分别表示为x

如上述步骤S4所述,将多通道音频信号变换到频域后,根据上述步骤S2计算得到的加权系数矩阵对其进行加权求和,得到K个频点对应的波束输出频域信号Y(1),…,Y(K)。

如上述步骤S5所述,根据和步骤S3中对应的加窗策略,对K个频点对应的波束输出频域信号Y(1),…,Y(K)进行离散傅里叶反变换(InverseDiscrete Fourier Transform,IDFT),最终得到多通道时域音频信号y(l)。

综上所述,通过对所述非均匀线型麦克风阵列采集的原始音频信号进行时频域变换和波束形成处理,最终获得了具有特定指向性的拾音功能,提高了拾取到的音频信号的信噪比。

在一个实施例中,所述信号采集通道的指定方式为以下方式中的一种:

在所述麦克风阵列中选取全部通道信号指定为所述信号采集通道;

在所述麦克风阵列中以所述中心麦克风对为中心对称选取部分通道,指定为所述信号采集通道;

在所述麦克风阵列中以不对称方式选取部分通道,指定为所述信号采集通道,例如,从图2所示的麦克风阵列中提取由前7个麦克风构成的不对称多通道信号。

如上所述,在多通道信号选取环节,可以选取全部通道信号指定为所述信号采集通道,从所述麦克风阵列采集的多通道信号中提取所述信号采集通道对应的时域音频信号,对所述信号采集通道对应的时域音频信号进行离散傅里叶变换得到对应的多通道时频域信号。此时,被选通的麦克风数量等于阵列的麦克风总数量,并且其位置是对称的,相应的,根据这种通道选取方式确定的所述阵列导向矢量矩阵维数是阵列的麦克风单元数量,并且优化加权系数过程中的期望波束响应是对称的。

在多通道信号选取环节,除选取全部通道指定为所述信号采集通道外,也可以选取部分对称通道指定为所述信号采集通道用于后续波束形成,此时,被选通的麦克风数量小于阵列的麦克风总数量,并且其位置是对称的。与上述选取全部通道信号的方式相比,根据这种通道选取方式确定的所述阵列导向矢量矩阵维数小于阵列的麦克风单元数量,并且优化加权系数过程中的期望波束响应是对称的。与上述选取全部通道信号的方式相比,选取部分对称通道信号的方案中,参与波束形成处理的通道数减少,因此,用到的加权系数数量减少,波束形成处理的计算量减少。

在多通道信号选取环节,除上述选取全部或部分对称通道指定为所述信号采集通道的方式外,也可以选取部分非对称通道信号指定为所述信号采集通道用于后续波束形成,此时,被选通的麦克风数量小于阵列的麦克风单元数量,并且其位置是非对称的,相应的,根据这种通道选取方式确定的所述阵列导向矢量矩阵维数小于阵列的麦克风单元数量,并且优化加权系数过程中的期望波束响应是非对称的。

综上所述,组合使用上述三种指定信号采集通道的方案,可以得到若干组不同的和信号采集通道方案对应的加权系数,并得到多个波束形成的结果,为后续信号处理环节提供多通道信号。

在一个实施例中,所述频段包括低频段、中频段和高频段;

其中,所述频段是根据信号采样率和分析频点数对全部处理频带划分得到的;所述低频段、中频段和高频段分别对应不同的约束条件和代价函数。

如上所述,在一个实施例中,将全部处理频带划分为低、中、高三个处理频段,在低、中、高频段对频域波束形成加权系数进行优化求解时,分别采用不同的约束条件和代价函数。其中,处理频段的划分依据是麦克风阵元间距和信号半波长的数值是否相近。中频段是能够通过优化加权系数利用所述阵列结构形成较理想期望波束响应的频率范围,即确定中频段与低频段的频率分界点的依据是该频率信号的半波长数值与阵列的最大麦克风间距相近,确定中频段与高频段的频率分界点的依据是该频率信号的半波长数值与阵列的最小麦克风间距相近。示例性地,根据如下麦克风间距设计参数确定非均匀线型麦克风阵列结构:d

表1

在一个实施例中,所述对加权系数进行优化求解之后,还包括:

计算每个通道的加权系数在各个频点上的一阶差分,以及各个频点的相邻频点的一阶差分平均值;

如果某个频点上的所述一阶差分值与对应的一阶差分平均值之间的相对偏差大于预设的偏差阈值,则将所述频点作为所述加权系数的不连续点;

选择所述不连续点以及所述不连续点的相邻频点作为待平滑区间,对所述待平滑区间内的加权系数进行平滑,并将所述待平滑区间内的加权系数更新为平滑后的加权系数。

如上所述,由于对损失函数的优化求解是在各个频点独立进行的,因此经优化求解得到的加权系数存在频点间的不连续性,即在低、中、高频段的分界处存在一系列较明显的不连续点,对应的波束输出信号中将存在一定程度的人工噪音。首先判断每个通道的加权系数在频域的主要不连续点,然后在所述不连续点附近设置覆盖若干频点的过渡带,并对过渡带覆盖频点的加权系数进行平滑,可以减少波束输出音频信号中的人工噪声。

具体来说,上述相邻频点是指某一频点的前一个频点以及后一个频点,例如某一个频点为全部512个分析频点中的第256个频点,那么相邻频点即第255个频点和第257个频点,而对应的一阶差分平均值为第255个频点和第257个频点对应的一阶差分之间的平均值。当第256个频点的一阶差分值与对应的一阶差分平均值之间的相对偏差大于预设的偏差阈值时,表示第256个频点处的加权系数的变化率较大,即不够平滑,因此将第255个频点至第257个频点作为待平滑区间,并对该区间中的加权系数进行平滑,例如将所述加权系数设置为与一阶差分平均值相同等。

在一个实施例中,所述阵列导向矢量矩阵是根据全部来波方向的假想信号计算的,所述方法还包括:

获取各个频段的频率范围、波束主瓣角度范围、波束衰减角度范围和加权系数范数阈值,并获取中频段的期望主瓣响应和中高频段的主瓣偏差阈值;

所述低频段的约束条件包括:所述加权系数的范数小于加权系数范数低频段阈值;所述低频段的代价函数是:低频段波束衰减角度范围内的所有来波方向的假想信号经过波束形成的输出功率;

所述中频段的约束条件包括:所述加权系数的范数小于加权系数范数中频段阈值,以及中频段波束输出主瓣与所述中频段期望主瓣响应的偏差小于所述主瓣偏差中频段阈值;所述中频段的代价函数是:所述中频段波束衰减角度范围内的所有来波方向的假想信号经过波束形成输出功率;

所述高频段的约束条件包括:所述加权系数的范数小于加权系数范数高频段阈值,以及高频段波束输出主瓣与所述高频段期望主瓣响应的偏差小于所述主瓣偏差高频段阈值;所述高频段的代价函数是:所述高频段波束衰减角度范围内的所有来波方向的假想信号经过波束形成输出功率;

其中,所述输出功率是由所述阵列导向矢量矩阵和所述加权系数计算得到的;所述中频段波束输出主瓣和所述高频段波束输出主瓣是在对应频点下,根据所述加权系数对所述阵列导向矢量矩阵进行加权求和得到的;

所述低频段、中频段和高频段对应的约束条件还均包括:来自主瓣中心角度方向的假想信号经过波束形成的输出增益为1。

如上所述,在分频段优化加权系数的过程中,首先指定各频段的频率范围、波束主瓣角度范围、波束衰减角度范围和加权系数范数阈值,指定中频段的期望主瓣响应和中高频段的主瓣偏差阈值,进而指定各频段具体的约束条件和代价函数。

示例性地,若上述麦克风阵列一共由8个麦克风组成,分析频点数选择为512。首先选取一个待优化频点,根据对应频点的阵列导向矢量矩阵和待优化的加权系数计算所有来波方向的波束输出,进而根据定义计算代价函数并在约束条件下进行优化。最终得到8×512的加权系数矩阵,其中包括在512个频点上与8个麦克风通道对应的频域加权系数,在波束形成处理中用于对多通道时频域信号进行加权求和。

在一个实施例中,在低、中、高频段对频域波束形成加权系数进行优化求解时,采用不同的约束条件和代价函数。示例性地,指定各频段的频率范围如上表1所示,此时考虑所述麦克风阵列的实际使用场景:在会议室中,麦克风阵列通常放置在用户座位的正前方,当用户正对麦克风说话时,其信号的入射角度为90°,但由于参与会议的说话人通常不止一个且位置可能分布在长矩形桌子两侧,麦克风阵列采集到的原始音频信号通常来源于60°~120°的方向。因此,可以将60°~120°作为中频段的期望波束主瓣角度范围D

在优化加权系数时,为了保证一定的稳健性,需要对加权系数的范数进行约束,由于在低频段难以优化得到理想的波束图,一种合理的设计范例是随频率增加逐渐加强该约束,因此低、中、高频段的加权系数范数阈值(α

在优化加权系数时,利用波束主瓣偏差阈值对优化得到的波束主瓣响应与期望波束主瓣响应之间的偏差进行约束。在中频段将波束主瓣偏差阈值约束β

在优化中频段加权系数时,需要给出期望波束响应主瓣形状。由于所述非均匀线型麦克风阵列的排布方式灵活多变,为了实现更一般的设计方法,本实施例不直接给出期望主瓣响应的解析式,而是将期望主瓣响应y

在一个实施例中,所述高频段期望主瓣响应的获取方法是:

完成中频段处的加权系数优化后,根据优化后的所述加权系数对所述阵列导向矢量矩阵进行加权求和,得到波束主瓣形状,并将所述波束主瓣形状作为所述高频段期望主瓣响应。

如上所述,在优化高频段加权系数时,信号波长减小至小于麦克风阵列中的最小阵元间距,此时难以在优化之前预先指定具体的期望主瓣响应的形式。因此,可以将经过优化的中频段波束输出主瓣形状作为高频段加权系数优化时的期望主瓣响应y

上述指标参数选取范例适用于由如下间距确定的非均匀线型麦克风阵列:d

表2

根据上述优化加权系数得到的完整频带的波束图如图6所示,而图7是现有技术中的麦克风得到的完整频带的波束图,由此可见,本实施例提供的麦克风阵列的音频信号处理方法在语音的主要频段(0.5kHz~6.0kHz),波束图主瓣宽度近似恒定,在90°方向增益保持0dB,在0°~60°和120°~180°方向对信号有较强衰减,即滤除噪声和干扰的效果较好。

综上所述,为本申请实施例中提供的麦克风阵列的音频信号处理方法,通过将加权系数的范数和期望主瓣响应作为约束条件,使得波束主瓣角度内的输出信号与预设的波束主瓣响应偏差较小并且具有较高的稳健性;通过将波束衰减角度内的输出信号功率作为代价函数进行最优化求解,能够实现对非波束主瓣方向来波信号的最大程度抑制;通过在低、中、高频段设计不同的约束条件和代价函数,能够避免出现优化问题无解的情况;通过在所述加权系数不连续点附近设置覆盖若干频点的过渡带,并对过渡带覆盖频点的加权系数进行平滑,可以减少波束输出音频信号中的人工噪声;通过先分频段独立优化再进行频域平滑的加权系数设计方法,可以得到一组多通道加权系数,根据所述多通道加权系数对所述非均匀线型麦克风阵列采集的多通道音频信号进行空域滤波,能够提高处理后得到的目标音频信号的信噪比;此外,还可以按照不同方式选取多通道信号进行所述处理,从而满足后续其他多通道音频处理算法的要求,通过将后续多通道算法中的真实通道信号替换为经过空域滤波的信号,可以减少通道数量,提升信号质量。

参照图8,本申请还提出了一种麦克风阵列的音频信号处理装置,包括:

阵列导向矢量组计算单元100,用于根据所述麦克风阵列的结构参数和信号采集通道计算对应的阵列导向矢量组,其中,所述阵列导向矢量组包括对应不同频点的若干个阵列导向矢量矩阵;

加权系数求解单元200,用于根据各个频点所属的频段,选取对应的约束条件和代价函数,对加权系数进行优化求解,其中,所述代价函数是由所述阵列导向矢量矩阵和所述加权系数计算得到的,完成频率独立的加权系数优化后再对其进行频域平滑;

信号提取单元300,用于从所述麦克风阵列采集的多通道信号中提取所述信号采集通道对应的时域音频信号,对所述信号采集通道对应的时域音频信号进行离散傅里叶变换得到对应的多通道时频域信号;

空域滤波单元400,用于通过所述加权系数分别对相应频点的所述多通道时频域信号进行加权求和,得到时频域波束输出信号,完成空域滤波;

信号生成模块500,用于对所述时频域波束输出信号进行离散傅里叶反变换,计算得到目标音频信号。

在一个实施例中,信号采集通道的指定方式为以下方式中的一种:

在所述麦克风阵列中选取全部通道信号指定为所述信号采集通道;

在所述麦克风阵列中以所述中心麦克风对为中心对称选取部分通道,指定为所述信号采集通道;

在所述麦克风阵列中以不对称方式选取部分通道,指定为所述信号采集通道。

在一个实施例中,所述频段包括低频段、中频段和高频段;

其中,所述频段是根据信号采样率和分析频点数对全部处理频带划分得到的;所述低频段、中频段和高频段分别对应不同的约束条件和代价函数。

在一个实施例中,所述空域滤波单元400,还用于:

计算每个通道的加权系数在各个频点上的一阶差分,以及各个频点的相邻频点的一阶差分平均值;

如果某个频点上的所述一阶差分值与对应的一阶差分平均值之间的相对偏差大于预设的偏差阈值,则将所述频点作为所述加权系数的不连续点;

选择所述不连续点以及所述不连续点的相邻频点作为待平滑区间,对所述待平滑区间内的加权系数进行平滑,并将所述待平滑区间内的加权系数更新为平滑后的加权系数。

在一个实施例中,所述阵列导向矢量矩阵是根据全部来波方向的假想信号计算的,所述加权系数求解单元200,还用于:

获取各个频段的频率范围、波束主瓣角度范围、波束衰减角度范围和加权系数范数阈值,并获取中频段的期望主瓣响应和中高频段的主瓣偏差阈值;

所述低频段的约束条件包括:所述加权系数的范数小于加权系数范数低频段阈值;所述低频段的代价函数是:低频段波束衰减角度范围内的所有来波方向的假想信号经过波束形成的输出功率;

所述中频段的约束条件包括:所述加权系数的范数小于加权系数范数中频段阈值,以及中频段波束输出主瓣与所述中频段期望主瓣响应的偏差小于所述主瓣偏差中频段阈值;所述中频段的代价函数是:所述中频段波束衰减角度范围内的所有来波方向的假想信号经过波束形成输出功率;

所述高频段的约束条件包括:所述加权系数的范数小于加权系数范数高频段阈值,以及高频段波束输出主瓣与所述高频段期望主瓣响应的偏差小于所述主瓣偏差高频段阈值;所述高频段的代价函数是:所述高频段波束衰减角度范围内的所有来波方向的假想信号经过波束形成输出功率;

其中,所述输出功率是由所述阵列导向矢量矩阵和所述加权系数计算得到的;所述中频段波束输出主瓣是根据中频段内优化后的所述加权系数对所述阵列导向矢量矩阵进行加权求和得到的,所述高频段波束输出主瓣是根据高频段内优化后的所述加权系数对所述阵列导向矢量矩阵进行加权求和得到的;

所述低频段、中频段和高频段对应的约束条件还均包括:来自主瓣中心角度方向的假想信号经过波束形成的输出增益为1。

在一个实施例中,所述高频段期望主瓣响应的获取方法是:

完成中频段处的加权系数优化后,根据优化后的所述加权系数对所述阵列导向矢量矩阵进行加权求和,得到波束主瓣形状,并将所述波束主瓣形状作为所述高频段期望主瓣响应。

参照图9,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存麦克风阵列的音频信号处理方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种麦克风阵列的音频信号处理方法。所述麦克风阵列的音频信号处理方法,应用于麦克风阵列;其中,所述麦克风阵列包括中心麦克风对,以及在所述中心麦克风对两侧对称排布的若干个扩展麦克风;所述中心麦克风对和所述扩展麦克风排布在同一直线上,且相邻麦克风的间距不等,其中,所述扩展麦克风与所述中心麦克风对之间的间距越大,则所述扩展麦克风与靠近阵列中心一侧的相邻麦克风之间的间距也越大;所述方法包括:根据所述麦克风阵列的结构参数和信号采集通道计算对应的阵列导向矢量组,其中,所述阵列导向矢量组包括对应不同频点的若干个阵列导向矢量矩阵;根据各个频点所属的频段,选取对应的约束条件和代价函数,对加权系数进行优化求解,其中,所述代价函数是由所述阵列导向矢量矩阵和所述加权系数计算得到的,完成频率独立的加权系数优化后再对其进行频域平滑;从所述麦克风阵列采集的多通道信号中提取所述信号采集通道对应的时域音频信号,对所述信号采集通道对应的时域音频信号进行离散傅里叶变换得到对应的多通道时频域信号;通过所述加权系数分别对相应频点的所述多通道时频域信号进行加权求和,得到时频域波束输出信号,完成空域滤波;对所述时频域波束输出信号进行离散傅里叶反变换,计算得到目标音频信号。

本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种麦克风阵列的音频信号处理方法,应用于麦克风阵列;所述麦克风阵列包括中心麦克风对,以及在所述中心麦克风对两侧对称排布的若干个扩展麦克风;所述中心麦克风对和所述扩展麦克风排布在同一直线上,且相邻麦克风的间距不等,其中,所述扩展麦克风与所述中心麦克风对之间的间距越大,则所述扩展麦克风与靠近阵列中心一侧的相邻麦克风之间的间距也越大;所述方法包括:根据所述麦克风阵列的结构参数和信号采集通道计算对应的阵列导向矢量组,其中,所述阵列导向矢量组包括对应不同频点的若干个阵列导向矢量矩阵;根据各个频点所属的频段,选取对应的约束条件和代价函数,对加权系数进行优化求解,其中,所述代价函数是由所述阵列导向矢量矩阵和所述加权系数计算得到的;从所述麦克风阵列采集的多通道信号中提取所述信号采集通道对应的时域音频信号,对所述信号采集通道对应的时域音频信号进行离散傅里叶变换得到对应的多通道时频域信号;通过所述加权系数分别对相应频点的所述多通道时频域信号进行加权求和,得到时频域波束输出信号,完成空域滤波;对所述时频域波束输出信号进行离散傅里叶反变换,计算得到目标音频信号。

上述执行的麦克风阵列的音频信号处理方法,通过将加权系数的范数和期望主瓣响应作为约束条件,使得波束主瓣角度内的输出信号与预设的波束主瓣响应偏差较小并且具有较高的稳健性;通过将波束衰减角度内的输出信号功率作为代价函数进行最优化求解,能够实现对非波束主瓣方向来波信号的最大程度抑制;通过在低、中、高频段设计不同的约束条件和代价函数,能够避免出现优化问题无解的情况;通过在所述加权系数不连续点附近设置覆盖若干频点的过渡带,并对过渡带覆盖频点的加权系数进行平滑,可以减少波束输出音频信号中的人工噪声;通过先分频段独立优化再进行频域平滑的加权系数设计方法,可以得到一组多通道加权系数,根据所述多通道加权系数对所述非均匀线型麦克风阵列采集的多通道音频信号进行空域滤波,能够提高处理后得到的目标音频信号的信噪比;此外,还可以按照不同方式选取多通道信号进行所述处理,从而满足后续其他多通道音频处理算法的要求,通过将后续多通道算法中的真实通道信号替换为经过空域滤波的信号,可以减少通道数量,提升信号质量。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是,在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

相关技术
  • 基于麦克风阵列的声源定位方法、装置及存储介质
  • 基于麦克风阵列的定位方法、装置和存储介质
  • 音频信号处理方法、装置、设备和存储介质
  • 导航信号处理方法、装置、终端设备及存储介质
  • 授时信号的处理方法、装置、设备、介质和系统
  • 麦克风阵列语音信号处理方法、装置、设备及存储介质
  • 麦克风阵列信号处理方法、系统、计算机设备及存储介质
技术分类

06120115938686