掌桥专利:专业的专利平台
掌桥专利
首页

音频处理方法、装置、电子设备及存储介质

文献发布时间:2024-04-18 19:59:31


音频处理方法、装置、电子设备及存储介质

技术领域

本申请涉及电子设备技术领域,更具体地,涉及一种音频处理方法、装置、电子设备及存储介质。

背景技术

随着科技水平和生活水平的进步,具有音频播放功能的电子设备(例如耳机、智能手机、平板电脑等)在人们日常生活中得到越来越广泛的应用,特别是利用电子设备听音乐,听广播等等,因此电子设备的听音效果对用户来说至关重要。但在一些情况下,在电子设备被使用过程中可能出现啸叫现象,啸叫的产生会影响用户体验,并且容易造成喇叭及麦克风的损伤,增加耗电量,甚至可能会引起电路烧坏。

发明内容

本申请提出了一种音频处理方法、装置、电子设备及存储介质,可以提升啸叫抑制效果。

第一方面,本申请实施例提供了一种音频处理方法,应用于电子设备,所述电子设备包括音频采集模块,所述方法包括:检测所述音频采集模块采集的音频信号中存在啸叫的子频带信号,作为第一子频带信号;基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号,所述啸叫参数用于表征所述第一子频带信号的啸叫程度;将所述第二子频带信号与所述音频信号中除所述第一子频带信号以外的其他子频带信号进行混合,得到目标音频信号。

第二方面,本申请实施例提供了一种音频处理装置,应用于电子设备,所述电子设备包括音频采集模块,所述装置包括:啸叫检测模块、啸叫抑制模块以及音频合成模块,其中,所述啸叫检测模块用于检测所述音频采集模块采集的音频信号中存在啸叫的子频带信号,作为第一子频带信号;所述啸叫抑制模块用于基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号,所述啸叫参数用于表征所述第一子频带信号的啸叫程度;所述音频合成模块用于将所述第二子频带信号与所述音频信号中除所述第一子频带信号以外的其他子频带信号进行混合,得到目标音频信号。

第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行上述第一方面提供的音频处理方法。

第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的音频处理方法。

本申请提供的方案,通过检测音频采集模块采集的音频信号中存在啸叫的子频带信号,作为第一子频带信号,基于第一子频带信号的啸叫参数,对第一子频带信号进行啸叫抑制处理,得到第二子频带信号,该啸叫参数用于表征第一子频带信号的啸叫程度,将第二子频带信号与音频信号中除第一子频带信号以外的其他子频带信号进行混合,得到用于输出的目标音频信号。由此,可以实现针对基于存在啸叫的子频带信号的啸叫程度,对该子频带信号进行自适应的啸叫抑制,从而提升啸叫抑制的准确性,进而提升电子设备的啸叫抑制效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的音频系统的示意图。

图2示出了本申请实施例提供的应用场景示意图。

图3示出了根据本申请一个实施例的音频处理方法流程图。

图4示出了根据本申请另一个实施例的音频处理方法流程图。

图5示出了本申请实施例提供的音频处理方法中移频处理的示意图。

图6示出了本申请实施例提供的移频处理的一种效果示意图。

图7示出了本申请实施例提供的移频处理的另一种效果示意图。

图8示出了本申请实施例提供的全通滤波器的一种示意图。

图9示出了本申请实施例提供的全通滤波器的另一种示意图。

图10示出了本申请实施例提供的全通滤波器的幅频响应示意图。

图11示出了本申请实施例提供的全通滤波器的相频响应示意图。

图12示出了根据本申请又一个实施例的音频处理方法流程图。

图13示出了根据本申请再一个实施例的音频处理方法流程图。

图14示出了根据本申请一个实施例的音频处理装置的一种框图。

图15是本申请实施例的用于执行根据本申请实施例的音频处理方法的电子设备的框图。

图16是本申请实施例的用于保存或者携带实现根据本申请实施例的音频处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

在音频播放系统中,由于麦克风与扬声器处在同一环境,其距离相隔较近,麦克风拾取的声音经过功放放大后由扬声器播放出来,该声音又被麦克风拾取,再次经过功放放大后由扬声器播放出来,由此形成正反馈回授而引起声音啸叫现象,由扬声器播放出来刺耳的尖锐声,严重影响拾音和播放的效果,有时甚至有可能烧毁功放设备和扬声器,特别是当麦克风和扬声器距离较近时,这种影响尤其明显。

示例性地,在图1所示的音频系统中,麦克风与喇叭处于同一环境,x(n)是麦克风的采集信号,y(n)是喇叭的播放信号,F(w)是喇叭到麦克风之间的信号传递函数,即反馈系统,G(w)是声音系统传递函数,k是声音系统增益。该声音系统构成闭环系统,其闭环传递函数为:

根据奈奎斯特系统稳定性原理,开环增益的幅度和相位满足以下条件,

|G(w)F(w)|≥1;

∠G(w)F(w)=2nπ,n为整数

则系统不稳定,

近年来,电子产品越来越多,具有音频播放功能的电子设备的使用也越来越广泛。一些场景下,电子设备也会对麦克风采集的声音进行播放,因此也可能出现啸叫现象。例如,对于耳机而言,一些耳机具有通透模式,当用户开启耳机的通透模式后,耳机麦克风采集耳机外部的环境音,并对采集到的环境音进行处理后,使得用户在戴着耳机时听到的环境音和不戴耳机时听到的环境音非常接近;并且,耳机开启通透模式的情况下,如果被用户握持或其他操作触碰到耳机,引起耳机腔体结构变化,则会导致声学传递路径变化,从而引起刺耳的啸叫声。

相关技术中,啸叫抑制处理主要包括:移频、自适应陷波算法以及自适应反馈抑制算法。其中,移频的方式中,通过调制全频带的方式改变频率的输出信号再次进入系统不会和原始信号频率叠加,达到抑制啸叫目的,但是,若啸叫频点较多,移频方式啸叫抑制效果不理想。

自适应陷波算法,通过检测并降低啸叫频率点处增益,破坏啸叫产生的增益条件,即对信号中出现的较明显的啸叫频率点进行陷波处理,从而达到抑制啸叫的目的。但是自适应陷波算法需要准确检测啸叫频点,需对麦克风采集的信号进行快速傅立叶变换(fastFourier transform,FFT)频谱分析处理获取声学特征判断啸叫频点,FFT分辨率不高容易误判导致陷波频点不能很好地消除啸叫频段。

自适应反馈抑制算法,通过使用最小均方算法(Least mean square,LMS),归一化最小均方算法(Normalized Least mean square,NLMS)等自适应算法,把麦克风二次采集的反馈信号从麦克风信号中滤掉。自适应反馈抑制算法对算力要求较高,适用于处理能力强的数字信号处理器。

针对上述问题,发明人提出了本申请实施例提供的音频处理方法、装置、电子设备以及存储介质,针对基于存在啸叫的子频带信号的啸叫程度,对该子频带信号进行自适应的啸叫抑制,从而提升啸叫抑制的准确性,进而提升电子设备的啸叫抑制效果。其中,具体的音频处理方法在后续的实施例中进行详细的说明。

下面先对本申请实施例涉及的场景进行介绍。

如图2所示,电子设备包括处理器110、存储器120、音频采集模块130、运放140和扬声器150。处理器110可以将待播放的音频数据经过运放140的放大处理之后,由扬声器150播放。音频采集模块130可以是麦克风,在扬声器150对音频采集模块130采集的音频信号进行播放的情况下,则处理器150可以对采集的音频信号进行啸叫检测,并根据存在啸叫的子频带信号的啸叫程度,对该子频带信号进行自适应的啸叫抑制,从而提升啸叫抑制的准确性,进而提升电子设备的啸叫抑制效果。

下面再结合附图对本申请实施例提供的音频处理方法进行详细介绍。

请参阅图3,图3示出了本申请一个实施例提供的音频处理方法的流程示意图。在具体的实施例中,所述音频处理方法应用于如图14所示的音频处理装置400以及配置有所述音频处理装置400的电子设备100(图15)。下面将针对图3所示的流程进行详细的阐述,所述音频处理方法具体可以包括以下步骤:

步骤S110:检测所述音频采集模块采集的音频信号中存在啸叫的子频带信号,作为第一子频带信号。

其中,音频信号是带有语音、音乐和音效等的声波的频率、幅度变化信息载体。在本申请实施例中,在电子设备处于对音频采集模块采集的声音进行播放的场景下,可以对音频采集模块采集的音频信号进行啸叫检测,以检测出存在啸叫的子频带信号,并将其作为第一子频带信号,啸叫检测用于检测音频信号中是否包含存在啸叫的信号。

在一些实施方式中,在获取到音频采集模块采集的音频信号后,可以将音频信号从时域变换到频域,并将变换到频域会后的信号划分为多个子频带的信号,得到多个子频带信号;然后,再检测多个子频带信号中每个子频带信号是否存在啸叫。频域变换是指将音频信号从时域变换到频域,时域是指描述音频信号与时间的关系,音频信号的时域波形可以表达音频信号随着时间的变化;频域是描述信号在频率方面特性时用到的一种坐标系,是指音频信号随着频率变化,频域图显示了在一个频率范围内每个给定频带内的信号量,频域表示还可以包括每个正弦曲线的相移的信息,以便能够重新组合频率分量以恢复原始时间信号。

在一种可能的实施方式中,电子设备可以根据子频带信号的功率,检测子频带信号是否存在啸叫。例如,电子设备可以通过峰值阈值功率比(Peak-to-Threshold PowerRaio,PTPR)、峰值均值功率比(Peak-to-Average Power Raio,PAPR)、峰值邻近功率比(Peak-to-Neighboring Power Raio,PNPR)、峰值谐波功率比(Peak-to-Harmonics PowerRaio,PHPR)中的一种或者多种方式检测子频带信号是否存在啸叫。

在一些实施方式中,在获取到音频采集模块采集的音频信号后,可以将该采集信号转换为数字信号,例如通过模数转换器(Analog-to-Digital Converter,ADC)进行转换,将该数字信号输入放大器,得到放大的音频信号,然后对音频信号进行如上的啸叫检测。由于对于音频信号进行了放大,由此,在通过后续啸叫检测、啸叫抑制以及音频播放的过程中,可以便于用户收听的同时,便于啸叫检测以及抑制处理。

在一些实施方式中,在对音频信号进行啸叫检测之前,考虑到音频采集模块采集的音频信号中可以包含杂音,因此,还可以对音频信号进行噪声过滤。其中,噪声过滤的滤波参数可以是固定值,也可以是根据电子设备的音频采集模块所采集的声音中的常见噪声对应的频带,进行针对性设置,具体的滤波参数可以不做限定。

步骤S120:基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号,所述啸叫参数用于表征所述第一子频带信号的啸叫程度。

电子设备在检测出音频采集模块采集的音频信号中的以上第一子频带信号(即存在啸叫的子频带信号)后,则可以对第一子频带信号进行啸叫抑制处理。在本申请实施例中,电子设备可以通过带通滤波器从音频信号中分离出该第一子频带信号,然后对第一子频带信号进行啸叫抑制处理,对第一子频带信号进行啸叫抑制处理时,可以依据第一子频带信号的啸叫参数,对第一子频带信号进行针对性地抑制,并将处理后得到的信号作为第二子频带信号。其中,啸叫参数用于表征第一子频带信号的啸叫程度,啸叫参数可以为第一子频带信号的功率、能量等,在此不做限定;对第一子频带信号进行的啸叫抑制处理的抑制程度可以与该啸叫程度呈正相关,由此可以实现自适应地啸叫抑制,不仅可以避免音质的损失。另外,在啸叫程度相对较低的情况下,在通过移频、移相的方式实现啸叫抑制时,由于啸叫抑制处理的抑制程度也较低,因此移频量、移相量也相对较小,从而能够减少啸叫子带经过移频后重叠或者激发其它频段啸叫形成。

在一些实施方式中,对第一子频带信号进行啸叫抑制处理,可以是对第一子频带信号进行移频、移相等,以抑制啸叫。其中,移频是指改变第一子频带信号的频率,例如升高或者降低第一子频带信号的频率,改变频率的输出信号再次进入系统不会和原始信号频率叠加,从而抑制啸叫;移相与移频同理,通过改变第一子频带信号的相位,以使第一子频带信号不会与原始信号叠加,从而抑制啸叫。其中,移频或移相的改变量与啸叫参数可以呈正相关。当然,具体的啸叫抑制处理的方式可以不做限定,例如可以使用陷波处理的方式进行啸叫抑制处理,其中,陷波处理时,通过降低第一子频带信号的增益,破坏啸叫产生的增益条件,从而达到啸叫抑制的目的,增益的降低程度也可以与啸叫程度呈正相关。

步骤S130:将所述第二子频带信号与所述音频信号中除所述第一子频带信号以外的其他子频带信号进行混合,得到目标音频信号。

在本申请实施例中,电子设备对存在啸叫的第一子频带信号进行啸叫抑制处理,得到第二子频带信号后,则可以将第一子频带信号与音频信号中的其他子频带信号进行混合,从而得到目标音频信号。其中,其他子频带信号即为不存在啸叫的子频带信号,将上述第二子频带信号与其他子频带信号进行混频,从而能够得到对音频采集模块采集的音频信号进行啸叫抑制处理后的音频信号。该目标音频信号即电子设备用于输出的音频信号,由于目标音频信号是对音频采集模块采集的音频信号进行啸叫抑制处理后得到的音频信号,因此能够在播放时避免啸叫的产生。

本申请实施例提供的音频处理方法,通过对音频采集模块采集的音频信号中存在啸叫的子频带信号进行检测,并仅针对存在啸叫的子频带信号进行啸叫抑制处理,因此能减小非啸叫子频带的音质损伤,确保听感,并防止电子设备的元器件损坏;并且,由于基于存在啸叫的子频带信号的啸叫程度,对该子频带信号进行自适应的啸叫抑制,从而提升啸叫抑制的准确性,避免音质的损失,提升啸叫抑制效果。

请参阅图4,图4示出了本申请另一个实施例提供的音频处理方法的流程示意图。该音频处理方法应用于上述电子设备,下面将针对图4所示的流程进行详细的阐述,所述音频处理方法具体可以包括以下步骤:

步骤S210:检测所述音频采集模块采集的音频信号中存在啸叫的子频带信号,作为第一子频带信号。

在本申请实施例中,步骤S210可以参阅其他实施例的内容,在此不再赘述。

步骤S220:基于所述第一子频带信号的啸叫参数,确定啸叫抑制参数,所述啸叫参数用于表征所述第一子频带信号的啸叫程度,所述啸叫抑制参数的参数值与所述啸叫参数的参数值呈正相关。

在本申请实施例中,电子设备在检测出音频采集模块采集的音频信号中的以上第一子频带信号(即存在啸叫的子频带信号)后,对第一子频带信号进行啸叫抑制处理时,可以基于第一子频带信号的啸叫参数,确定啸叫抑制参数,并且啸叫抑制参数的参数值与啸叫参数的参数值呈正相关,也就是说,啸叫参数的参数值越大,则啸叫抑制参数的参数值也越大,反之,啸叫参数的参数值越小,则啸叫抑制参数的参数值也越小。其中,啸叫抑制参数由啸叫抑制处理的方式决定,例如,啸叫抑制处理为通过移频的方式进行,则啸叫抑制参数为频率偏移量,也即移频量(频率的改变量),又例如,啸叫抑制处理为通过移相的方式进行,则啸叫抑制参数为相位偏移量,也即移相量(相位的改变量),再例如,啸叫抑制处理通过陷波处理的方式进行,则啸叫抑制参数为增益的降低量。

在一些实施方式中,电子设备在基于第一子频带信号的啸叫参数,对第一子频带信号进行啸叫抑制处理之前,可以获取第一子频带信号的啸叫参数。其中,啸叫参数可以包括第一子频带信号的功率、第一子频带信对应的包络检波信号的检波值、能量等,具体地啸叫参数可以不做限定。

在一种可能的实施方式中,啸叫参数可以包括第一子频带信号的功率。电子设备可以获取所述第一子频带信号对应的功率谱;基于所述功率谱,获取所述第一子频带信号的功率,作为所述第一子频带信号的啸叫参数。其中,信号功率随着频率的变化情况,即信号功率在频域的分布状况,通过获取第一子频带信号的功率谱,能够确定出第一子频带信号的功率。并且,存在啸叫的信号的功率,能够反映啸叫程度,功率越大,则啸叫程度也越大,反之,功率越小,则啸叫程度也越小。

在另一种可能的实施方式中,啸叫参数可以包括第一子频带信号对应的包络检波信号的检波值。电子设备可以获取所述第一子频带信号对应的包络检波信号;获取所述包络检波信号的检波值,作为所述第一子频带信号的啸叫参数。其中,电子设备可以通过对第一子频带信号进行包络检波,以获取包络检波信号,进而根据包络检波信号,能够确定出以上检波值。并且,包络检波信号的检波值也能够反映啸叫程度,检波值越大,则啸叫程度也越大,反之,检波值越小,则啸叫程度也越小。

在一些实施方式中,电子设备中可以预先存储有啸叫抑制参数与啸叫参数之间的映射关系,并且,该映射关系中,啸叫抑制参数的参数值与啸叫参数的参数值呈正相关。电子设备获取到第一子频带信号的啸叫参数后,确定啸叫抑制参数时,则可以根据该映射关系,确定出与第一子频带信号的啸叫参数所对应的啸叫抑制参数。

步骤S230:基于所述啸叫抑制参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号。

在本申请实施例中,在电子设备确定出啸叫抑制参数后,则可以基于确定出的啸叫抑制参数,对第一子频带信号进行啸叫抑制处理,并将啸叫抑制处理后得到的信号作为第二子频带信号。

在一些实施方式中,啸叫抑制参数可以包括频率偏移量。电子设备可以基于该频率偏移量,对第一子频带信号进行移频处理,得到第二子频带信号。其中,该频率偏移量为正时,则可以按照该频率偏移量,升高第一子频带信号的频率;该频率偏移量为负时,则可以按照该频率偏移量,降低第一子频带信号的频率。

在一种可能的实施方式中,电子设备中可以设置有移频器,该移频器的频率偏移量可以被调整。基于此,电子设备可以根据以上确定出的啸叫抑制参数,调整移频器的频率偏移量,然后将第一子频带信号输入至该移频器,从而得到移频后的信号,并将其作为第二子频带信号。

在另一种可能的实施方式中,电子设备可以通过第一预设滤波器,并基于频率偏移量,对第一子频带信号进行移频处理,得到第二子频带信号。其中,该第一预设滤波器可以是希尔伯特变换滤波器(Hilbert Transform Filter)。

可选地,电子设备可以基于频率偏移量,获取目标正弦信号以及目标余弦信号;基于希尔伯特变换滤波器对第一子频带信号进行滤波处理,得到第一中间信号;获取目标正弦信号与第一中间信号的乘积,得到第二中间信号;获取目标余弦信号与第一子频带信号的乘积,得到第三中间信号;将第二中间信号与第三中间信号相加,得到第二子频带信号。

在该实施方式中,频率偏移量Δf可以表示为:Δf=sin(2*π*f/fs)*f

电子设备可以基于频率偏移量Δf,确定出所需的正弦信号以及余弦信号的角频率ω0,其中,ω0=2*π*Δf/fs。基于此,可以根据ω0,控制振荡器产生目标正弦信号-sin(ω0n),以及目标余弦信号cos(ω0n),并利用-sin(ω0n)和cos(ω0n)实现频移。可选地,振荡器可以为数字振荡器,以根据需求产生不同的正弦信号以及余弦信号。

请参阅图5,电子设备通过将第一子频带信号的时域信号x(n)输入至希尔伯特变换滤波器,得到第一中间信号conv(x(n),h(n)),其中,conv表示卷积或滤波处理,然后将第一中间信号conv(x(n),h(n))与目标正弦信号-sin(ω0n)相乘,得到第二中间信号y

在一些实施方式中,啸叫抑制参数可以包括相位偏移量。电子设备可以基于该相位偏移量,对第一子频带信号进行移相处理,并将移相处理得到的信号作为第二子频带信号。其中,该相位偏移量为正时,则可以按照该相位偏移量,前移第一子频带信号的相位;该相位偏移量为负时,则可以按照该相位偏移量,后移第一子频带信号的相位。

在一种可能的实施方式中,电子设备中可以设置有移相器,该移相器的相位偏移量可以被调整。基于此,电子设备可以根据以上确定出的啸叫抑制参数,调整移相器的相位偏移量,然后将第一子频带信号输入至该移相器,从而得到移相后的信号,并将其作为第二子频带信号。

在另一种可能的实施方式中,电子设备可以通过第二预设滤波器,并基于相位偏移量,对第一子频带信号进行移相处理,得到第二子频带信号。其中,该第二预设滤波器可以是全通滤波器,全通滤波器不具有通常所说的滤波作用,其用于通过改变输入信号的相位,实现相位校正、延时器、延迟均衡等作用。

可选地,全通滤波器的传递函数如下式:

其中,z表示z域,g表示增益,d表示延时。

如图8所示,图8示出了全通滤波器的结构示意图,基于此,基于全通滤波器的基础上,自适应调节延时d,到幅频响应不变而相位动态变化的滤波器,进而能够实现以上相位偏移量所对应的相位调整。如图9所示,在图8所示的全通滤波器进行调整,振荡器输入延时信号d至全通滤波器的z

由此,可以实现对第一子频带信号进行以上相位偏移量的移频处理,在相位偏移量随第一子频带信号的啸叫参数动态变化时,则可以实现动态调整相位偏移量,达到自适应移相处理的效果,进而能够在啸叫参数的参数值相对较低的情况下,相位偏移量也相对较小,从而能够减少啸叫子带经过移频后重叠或者激发其它频段啸叫形成。

在又一些实施方式中,啸叫抑制参数可以包括增益降低量。电子设备可以基于该增益降低量,对第一子频带信号降低相应的增益,从而实现陷波处理的方式对第一子频带信号进行啸叫抑制处理。

步骤S240:将所述第二子频带信号与所述音频信号中除所述第一子频带信号以外的其他子频带信号进行混合,得到目标音频信号。

在本申请实施例中,步骤S240可以参阅其他实施例的内容,在此不再赘述。

需要说明的是,前述的实施方式中,不同实施方式也可以进行结合,在一种可能的实施方式中,上述啸叫抑制参数可以包括频率偏移量以及相位偏移量,电子设备可以根据确定的频率偏移量,对第一子频带信号进行自适应移频后,再根据相位偏移量对第一子频带信号进行自适应移相,从而得到第二子频带信号;然后再将第二子频带信号与其他子频带信号进行混合,得到目标音频信号,目标音频信号经过声音系统增益K后,再通过数模转换器(DAC)转换为模拟信号,然后通过放大器(Amplifier,AMP)进行放大后输出至扬声器,并经过扬声器进行播放。可选地,电子设备可以根据第一子频带信号的啸叫参数,将啸叫抑制处理分解为两部分,一部分通过移频实现,另一部分通过移相实现,由此,可以分别确定频率偏移量以及相位偏移量,其中,频率偏移量可以小于单独利用移频进行啸叫抑制所需的偏移量,相位偏移量可以小于单独利用移相进行啸叫抑制所需的偏移量,进而能够进一步减少啸叫子带经过移频后重叠或者激发其它频段啸叫形成。需要说明的是,在该实施方式中,也可以是对第一子频带信号进行移相处理后,再进行移频处理,两者的顺序可以不做限定。

本申请实施例提供的音频处理方法,根据检测出的存在啸叫的子频带信号的啸叫参数,确定频率偏移量或者相位偏移量,然后根据确定出的参数进行移频处理或移相处理,因此,频率偏移量或者相位偏移量也较小,从而能够减少啸叫子带经过移频后重叠或者激发其它频段啸叫形成,提升啸叫抑制的效果。

请参阅图12,图12示出了本申请又一个实施例提供的音频处理方法的流程示意图。该音频处理方法应用于上述电子设备,下面将针对图12所示的流程进行详细的阐述,所述音频处理方法具体可以包括以下步骤:

步骤S310:对所述音频采集模块采集的音频信号进行预设处理,得到多帧音频信号中每帧音频信号的多个子频带信号。

在本申请实施例中,对音频采集模块采集的音频信号进行啸叫检测时,可以对音频信号进行预设处理,得到多帧音频信号中每帧音频信号的多个子频带信号。其中,预设处理包括模数转换、降采样、分帧、加窗后进行N点(采样点)的快速傅里叶变换(FFT),由此,可以得到每帧音频信号的多个子频带信号X(ω

可以理解地,为使得时域信号更好地满足傅里叶变换过程中的周期性要求,减少信号遗漏,可以对音频信号进行分帧以及加窗。其中,加窗的窗函数可以是矩形窗、高斯窗或Kaiser窗等,具体的函数形式可以不做限定。

步骤S320:基于每个子频带信号的功率,确定所述多帧音频信号中存在啸叫的子频带信号,作为第一子频带信号。

在本申请实施例中,在得到每帧音频信号中的每个子频带信号后,则可以针对每帧音频信号,基于每帧音频信号中每个子频带信号的功率,确定每帧音频信号中存在啸叫的子频带信号,并将其作为第一子频带信号。

在一些实施方式中,电子设备可以基于每个子频带信号的功率,确定所述多帧音频信号中满足第一预设条件的候选子频带信号;基于所述候选子频带信号所在帧的相邻帧的音频信号,确定所述候选子频带信号中满足第二预设条件的候选子频带信号,作为第一子频带信号。

在一种可能的实施方式中,第一预设条件可以为初步候选为存在啸叫的条件。第一预设条件可以是峰值阈值功率比、峰值均值功率比以及峰值邻近功率比中的一种或多种所构成的条件。

可选地,第一预设条件可以是峰值阈值功率比所满足的条件,设定子频带ω

若峰值阈值功率比PTPR大于第一阈值,则确定满足第一预设条件。其中,第一阈值可以为0。

可选地,第一预设条件可以是峰值均值功率比所满足的条件,设定全频段的平均功率为P

若峰值均值功率比PAPR大于第二阈值,则确定满足第一预设条件。其中,第二阈值可以为0。

可选地,第一预设条件可以是峰值邻近功率比所满足的条件,设定选取N个相邻子频带进行比较,峰值近邻功率比的计算公式为:

若峰值近邻功率比PNPR大于第三阈值,则确定满足第一预设条件。其中,第三阈值可以为0。

在一种可能的实施方式中,筛选出候选子频带信号ω

在另一种可能的实施方式中,确定出候选子频带信号后,也可以判断该候选子频带信号所在帧的相邻帧中是否存在相同的候选子频带信号,若存在相同的候选子频带信号,则表示连续多帧音频信号中都是以该子频带信号为候选啸叫子频带信号,因此可以确定出该子频带信号存在啸叫。

通过上述方式,在确定出候选子频带信号后,再通过第二预设条件进行啸叫检测,进而能够准确检测存在啸叫的子频带信号,并且减少无意义的检测判决。

步骤S330:基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号,所述啸叫参数用于表征所述第一子频带信号的啸叫程度。

步骤S340:将所述第二子频带信号与所述音频信号中除所述第一子频带信号以外的其他子频带信号进行混合,得到目标音频信号。

在本申请实施例中,步骤S330以及步骤S340可以参阅其他实施例的内容,在此不再赘述。

本申请实施例提供的音频处理方法,由于基于存在啸叫的子频带信号的啸叫程度,对该子频带信号进行自适应的啸叫抑制,从而提升啸叫抑制的准确性,避免音质的损失,提升啸叫抑制效果;另外,进行啸叫检测时,基于子频带信号的功率,对疑似存在啸叫的子频带信号进行候选后,再通过预设条件进行啸叫检测,进而能够准确检测存在啸叫的子频带信号,并且减少啸叫检测过程中无意义的的判决。

请参阅图13,图13示出了本申请再一个实施例提供的音频处理方法的流程示意图。该音频处理方法应用于上述电子设备,于本实施例中,电子设备为耳机,下面将针对图13所示的流程进行详细的阐述,所述音频处理方法具体可以包括以下步骤:

步骤S410:检测所述音频采集模块采集的音频信号中存在啸叫的子频带信号,作为第一子频带信号。

在本申请实施例中,步骤S410可以参阅前述实施例的内容,在此不再赘述。

步骤S420:若所述耳机处于被佩戴状态,基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号。

在本申请实施例中,耳机还可以对其使用状态进行检测,使用状态包括被佩戴状态或未被佩戴状态。该被佩戴状态是指用户将耳机佩戴在用户的耳部的状态;未被佩戴状态指的是用户未将耳机佩戴在用户的耳部的状态。可选地,若该耳机是入耳式,则在耳机处于被佩戴状态下,耳机的耳塞被插入耳道内,耳机的扬声器播放的音频通过被耳塞包裹的出音通道传送至用户的耳道内。

在一些实施方式中,耳机的壳体上可以设置有佩戴检测模块,该佩戴检测模块设置在耳机的壳体的指定表面,该指定表面为耳机被佩戴时,耳机头与人耳耳甲腔接触的表面。可选地,可以是在该指定表面开设一个黑色圆孔,这个圆孔内装配的便是一个佩戴检测模块,该佩戴检测模块可以是光感传感器,其包括发光单元和感光单元,该发光单元可以是LED灯,LED灯发出红外光线,透过圆孔上的棱镜片,辐射向耳机外,如果前方有不透明物体阻挡的话,大部分光线会反射回来,感光单元根据反射回来的光线强度来判断是否有物体阻挡,来推断是否处于佩戴状态。同理,第二耳机也可以设置佩戴检测器,并基于该佩戴检测器确定耳机是否处于佩戴状态。当然,佩戴检测器的具体类型可以不做限定,佩戴检测器也可以为触摸传感器、压力传感器等。

在该实施方式中,可以预先设置有佩戴检测模块对应的状态阈值,可以基于佩戴检测模块检测的检测值,与状态阈值进行比较,并根据比较结果,确定耳机是否处于佩戴状态。例如,佩戴检测模块为光感传感器时,状态阈值为设定的光线强度阈值,若光感传感器检测的光线强度低于设定的光线强度阈值时,则确定耳机处于佩戴状态;若光感传感器检测的光线强度大于或等于设定的光线强度阈值时,则确定耳机处于未被佩戴状态。

在本申请实施例中,在检测出上述第一子频带信号后,若耳机处于佩戴状态,则表示用户能够听到耳机播放的音频信号,此时则可以对音频采集模块采集的音频信号进行啸叫抑制,以避免影响用户的使用体验,因此,可以基于第一子频带信号的啸叫参数,对第一子频带信号进行啸叫抑制处理,得到第二子频带信号。

步骤S430:若所述耳机处于未被佩戴状态,且所述啸叫参数的参数值大于预设阈值,则基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号。

在本申请实施例中,在检测出上述第一子频带信号后,若耳机处于未被佩戴状态,则表示用户不能够听到耳机播放的音频信号,此时则可能不存在对音频采集模块采集的音频信号进行啸叫抑制的需要。该情况下,考虑到啸叫可能会对耳机产生损伤,可以获取第一子频带信号的啸叫参数的参数值,并将该参数值与预设阈值进行比较,若该参数值大于预设阈值,表示第一子频带信号的啸叫程度会对耳机产生损伤,因此,可以基于第一子频带信号的啸叫参数,对第一子频带信号进行啸叫抑制处理,得到第二子频带信号;若该参数值小于或等于预设阈值,则表示第一子频带信号的啸叫程度不会对耳机产生损伤,并且由于当前用户不会听到耳机播放的音频信号,因此不存在影响用户体验的情况,故该情况下,可以不对第一子频带信号进行啸叫抑制处理,此时可以直接将音频采集模块采集的音频信号作为目标音频信号进行输出。

步骤S440:将所述第二子频带信号与所述音频信号中除所述第一子频带信号以外的其他子频带信号进行混合,得到目标音频信号。

在本申请实施例中,步骤S440可以参阅前述实施例的内容,在此不再赘述。

本申请实施例提供的音频处理方法,由于基于存在啸叫的子频带信号的啸叫程度,对该子频带信号进行自适应的啸叫抑制,从而提升啸叫抑制的准确性,避免音质的损失,提升啸叫抑制效果;另外,在耳机处于被佩戴状态下,对存在啸叫的子频带信号进行啸叫抑制处理,而耳机处于未被佩戴状态下,在该子频带信号的啸叫参数的参数值大于预设阈值的情况下,才对第一子频带信号进行啸叫抑制处理,因此降低耳机的功耗。

请参阅图14,其示出了本申请实施例提供的一种音频处理装置400的结构框图。该音频处理装置400应用上述的电子设备,所述电子设备包括音频采集模块。该音频处理装置400包括:啸叫检测模块410、啸叫抑制模块420以及音频合成模块430。所述啸叫检测模块410用于检测所述音频采集模块采集的音频信号中存在啸叫的子频带信号,作为第一子频带信号;所述啸叫抑制模块420用于基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号,所述啸叫参数用于表征所述第一子频带信号的啸叫程度;所述音频合成模块430用于将所述第二子频带信号与所述音频信号中除所述第一子频带信号以外的其他子频带信号进行混合,得到目标音频信号。

在一些实施方式中,啸叫抑制模块420可以具体用于:基于所述第一子频带信号的啸叫参数,确定啸叫抑制参数,所述啸叫抑制参数的参数值与所述啸叫参数的参数值呈正相关;基于所述啸叫抑制参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号。

在一种可能的实施方式中,所述啸叫抑制参数包括频率偏移量。啸叫抑制模块420基于所述啸叫抑制参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号,可以包括:基于所述频率偏移量,对所述第一子频带信号进行移频处理,得到第二子频带信号。

可选地,啸叫抑制模块420可以具体用于:通过第一预设滤波器,并基于所述频率偏移量,对所述第一子频带信号进行移频处理,得到第二子频带信号。

在另一种可能的实施方式中,所述啸叫抑制参数包括相位偏移量。啸叫抑制模块420可以具体用于:基于所述相位偏移量,对所述第一子频带信号进行移相处理,得到第二子频带信号。

可选地,啸叫抑制模块420可以具体用于:通过第二预设滤波器,并基于所述相位偏移量,对所述第一子频带信号进行移相处理,得到第二子频带信号。

在一些实施方式中,音频处理装置400还可以包括功率谱获取模块以及第一参数获取模块。功率谱获取模块用于在所述基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号之前,获取所述第一子频带信号对应的功率谱;第一参数获取模块用于基于所述功率谱,获取所述第一子频带信号的功率,作为所述第一子频带信号的啸叫参数。

在一些实施方式中,音频处理装置400还可以包括检波获取模块以及第二参数获取模块。检波获取模块用于在所述基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号之前,获取所述第一子频带信号对应的包络检波信号;第二参数获取模块用于获取所述包络检波信号的检波值,作为所述第一子频带信号的啸叫参数。

在一些实施方式中,啸叫检测模块410可以具体用于:对所述音频采集模块采集的音频信号进行预设处理,得到多帧音频信号中每帧音频信号的多个子频带信号;基于每个子频带信号的功率,确定所述多帧音频信号中存在啸叫的子频带信号,作为第一子频带信号。

在一种可能的实施方式中,啸叫检测模块410还可以具体用于:基于每个子频带信号的功率,确定所述多帧音频信号中满足第一预设条件的候选子频带信号;基于所述候选子频带信号所在帧的相邻帧的音频信号,确定所述候选子频带信号中满足第二预设条件的候选子频带信号,作为第一子频带信号。

在一些实施方式中,电子设备为耳机,啸叫抑制模块420可以具体用于:若所述耳机处于被佩戴状态,基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号。

在一种可能的实施方式中,啸叫抑制模块420还可以用于:若所述耳机处于未被佩戴状态,且所述啸叫参数的参数值大于预设阈值,则基于所述第一子频带信号的啸叫参数,对所述第一子频带信号进行啸叫抑制处理,得到第二子频带信号。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。

另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

综上所述,本申请提供的方案,通过检测音频采集模块采集的音频信号中存在啸叫的子频带信号,作为第一子频带信号,基于第一子频带信号的啸叫参数,对第一子频带信号进行啸叫抑制处理,得到第二子频带信号,该啸叫参数用于表征第一子频带信号的啸叫程度,将第二子频带信号与音频信号中除第一子频带信号以外的其他子频带信号进行混合,得到用于输出的目标音频信号。由此,可以实现针对基于存在啸叫的子频带信号的啸叫程度,对该子频带信号进行自适应的啸叫抑制,从而提升啸叫抑制的准确性,进而提升电子设备的啸叫抑制效果。

请参考图15,其示出了本申请实施例提供的一种电子设备的结构框图。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图16,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

相关技术
  • 一种搅拌摩擦焊接的搅拌头水冷却结构及冷却方法
  • 一种双搅拌头的搅拌摩擦加工装置与方法
  • 一种能提高铜合金表层性能的搅拌头
  • 一种可提高搅拌头寿命的涂层及方法
  • 一种提高搅拌摩擦焊搅拌头寿命的方法
技术分类

06120116521934