音频信号处理方法、装置、电子设备及存储介质
文献发布时间:2023-06-19 12:02:28
技术领域
本公开涉及但不限于通信技术领域,尤其涉及一种音频信号处理方法、装置、电子设备及存储介质。
背景技术
在语音通话等过程中,远端设备通过麦克风采集到用户声音后,通过通信线路传递给近端设备,近端设备通过扬声器播放出来。同时,近端设备的麦克风一方面采集到人近端语音,另一方面也采集到了扬声器播放出来的远端声音,一起通过通信线路传递给远端的扬声器,并通过扬声器播出。此时远端的麦克风不仅听到了近端语音,也同时听到了自己扬声器发出的声音,该声音包括远端语音的回声。回声的产生大大影响了语音通话质量。
发明内容
本公开提供一种音频信号处理方法、装置、电子设备及存储介质,以克服相关技术中存在的问题。
根据本公开的第一方面,提供一种音频信号处理方法,应用于电子设备,所述方法包括:
获取第一音频信号及第二音频信号;其中,所述第二音频信号至少包括:所述电子设备播放所述第一音频信号所产生的回声信号;
确定所述第一音频信号及所述第二音频信号之间的相关性;
响应于所述相关性表征所述第二音频信号中不存在目标音频信号,调整滤波调整参数;
根据调整后的所述滤波调整参数对所述第二音频信号进行回声消除处理,得到所述目标音频信号。
根据本公开的第二方面,提供一种音频信号处理装置,应用于电子设备,所述装置包括:
获取模块,用于获取第一音频信号及第二音频信号;其中,所述第二音频信号至少包括:所述电子设备播放所述第一音频信号所产生的回声信号;
确定模块,用于确定所述第一音频信号及所述第二音频信号之间的相关性;
调整模块,用于响应于所述相关性表征所述第二音频信号中不存在目标音频信号,调整滤波调整参数;
处理模块,用于根据调整后的所述滤波调整参数对所述第二音频信号进行回声消除处理,得到所述目标音频信号。
根据本公开的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:用于运行所述可执行指令时,实现本公开任意实施例所述的音频信号处理方法。
根据本公开第四方面,提供一种计算机可读存储介质,所述可读存储介质存储有可执行程序,其中,所述可执行程序被处理器执行时实现本公开任意实施例所述的音频信号处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例可以通过电子设备获取第一音频信号及第二音频信号,其中,所述第二音频信号至少包括:所述电子设备播放所述第一音频信号所产生的回声信号;确定所述第一音频信号及所述第二音频信号之间的相关性;响应于所述相关性表征所述第二音频信号中不存在目标音频信号,调整滤波调整参数;根据调整后的所述滤波调整参数对所述第二音频信号进行回声消除处理,得到所述目标音频信号。
如此,本公开实施例可以仅在第一音频信号及第二音频信号的相关性表征所述第二音频信号中不存在目标音频信号时,才调整滤波调整参数;相对于现有技术无需始终调整滤波调整参数,可以在减少滤波调整参数调整前提下也能获得精准的目标音频信号。如此本公开实施例可以减少滤波调整参数的调整,从而可以减少电子设备的运算量,进而提高电子设备的运算效率及减少电子设备的功耗。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种回声消除的示意图。
图2是根据一示例性实施例示出的一种音频信号处理方法的流程图。
图3是根据一示例性实施例示出的一种回声消除的示意图。
图4是根据一示例性实施例示出的一种音频信号处理方法的流程图。
图5是根据一示例性实施例示出的一种音频信号处理方法的流程图。
图6是根据一示例性实施例示出的一种音频信号处理方法的流程图。
图7是根据一示例性实施例示出的一种音频信号处理装置的框图。
图8是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和装置的例子。
为了更好地理解本公开任意实施例所描述的技术方案,对回声消除进行以下部分说明:
如图1所示,电子设备通过扬声器播放音乐;电子设备通过麦克风采集外界环境声音,该外界环境声音至少包括音乐的回声及人说话的声音。如此,可以通过滤波器来模拟房间的回声路径,以尽可能模拟该音乐的回声;从而基于外界环境声音及该模拟出音乐的回声,获得人说话的声音。在电子设备处于通话模式的场景时,存在手机位置的不确定性,往往需要不断的更新滤波器,从而更好的模拟电子设备播放音乐的回声在房间的回声路径、以获得比较纯净的人的说话的声音。
而在一些应用场景中,申请人发现,对于固定位置的电子设备,一经摆放其位置不再变化,其在房间的回声路径也不会有明显改变。针对该类场景,由于回声路径不会发生明显改变,则可以减少更新滤波器的系数的频率或者无需更新滤波器的系数,也能模拟出电子设备播放的音乐的回声经过的回声路径。如此,本公开实施例可以通过电子设备接收的语音信息确定出回声路径是否发生明显改变、以确定出是否需要更新滤波器的系数。例如,当回声路径没有发生明显改变时,则无需更新滤波器的系数,也能获得比较纯净的人说话的声音。又如,当回声路径发生明显改变时,则需要更新滤波器的系数,从而基于更新后的滤波器的系数能够模拟出改变后的回声路径,以获得比较纯净的人的说话的声音。
如图2所示,本公开实施例提供一种音频信号处理方法的流程图,如图2所示,所述方法包括以下步骤:
步骤S21:获取第一音频信号及第二音频信号;其中,所述第二音频信号至少包括:所述电子设备播放所述第一音频信号所产生的回声信号;
步骤S22:确定所述第一音频信号及所述第二音频信号之间的相关性;
步骤S23:响应于所述相关性表征所述第二音频信号中不存在目标音频信号,调整滤波调整参数;
步骤S24:根据调整后的所述滤波调整参数对所述第二音频信号进行回声消除处理,得到所述目标音频信号。
本公开实施例中的电子设备可以为各种类型的移动设备或固定设备。例如,该电子设备可以为手机、计算机、服务器或平板电脑等电子设备;又如,该电子设备可以为电视机、音箱等电子设备;再如,所述电子设备可以为穿戴式手环、手表等电子设备。
本公开实施例的中电子设备可为任意具有音频模组的电子设备;该音频模组可以包括:音频输入模组及音频输出模组。在一个实施例中,所述音频输入模组包括:麦克风;所述音频输出模组,包括:扬声器。
在一些实施例中,所述第一音频信号可以为所述电子设备播放的音频信号。例如,所述第一音频信号的扬声器播放的音频信号。例如,所述电子设备通过扬声器播放的音乐、新闻、电视节目的声音等等。
在一些实施例中,所述第二音频信号包括:所述第一音频信号经所述电子设备所产生的回声信号。此处的回声信号可以是第一音频信号经回声路径产生的信号。例如,所述电子设备的扬声器播放音乐时,所述电子设备的麦克风可以采集到该音乐经房间的墙壁产生的回声。
在另一些实施例中,所述第二音频信号包括:所述第一音频信号经所述电子设备所产生的回声信号、及目标音频信号。此处的目标音频信号可以是除所述回声信号之外的其它任意信号。例如,此处目标音频信号可以是指所述电子设备所处环境中人声语音信号、或者除所述电子设备之外的其它任意电子设备所发出的语音信号等。例如,所述电子设备的扬声器播放音乐时,还有人发出语音指令,则该人发出的语音指令即可为所述目标音频信号;所述电子设备的麦克风可以采集到该音乐经房间的墙壁所产生的回声以及人发出的语音信号。又如,所述电子设备的扬声器播放音乐时,还有另一个电子设备如手机发出语音信号,则该手机发出的语音信号为目标音频信号;所述电子设备的麦克风采集该音乐经房间的墙壁所产生的回声以及手机发出的语音信号。
在又一些实施例中,所述第二音频信号可以为外界环境声音信号。例如,所述第二音频信号可以为所述电子设备的麦克风采集的任意外界环境声音。
在一些实施例中,所述步骤S21,包括:在所述电子设备播放所述第一音频信号中,获取所述第一音频信号及采集所述第二音频信号。例如,在所述电子设备的扬声器播放所述第一音频信号中,获取所述第一音频信号及基于所述电子设备的麦克风采集所述第二音频信号。如此,在本公开实施例中,可以通过电子设备直接获取到电子设备的扬声器需要播放的第一音频信号,以及可以通过电子设备的麦克风采集外界环境中的所述第二音频信号。
在一些实施例中,所述滤波调整参数用于模拟回声路径;例如,模拟所述第一音频信号的回声路径。此处回声路径是指所述第一音频信号所产生回声信号的路径。例如,所述滤波调整参数可以是指滤波器的系数;若该滤波器的输入信号为第一音频信号,则该滤波器的输出信号为所述第一音频信号的回声信号。
在一些实施例中,所述方法包括:
基于所述第一音频信号及所述滤波调整参数,确定估计回声信号;
基于所述第二音频信号及所述估计回声信号,确定第三音频信号。
在一些实施例中,所述基于所述第一音频信号及所述滤波调整参数,确定估计回声信号,包括:
基于所述第一音频信号及所述滤波调整参数乘积,确定所述估计回声信号。
在一些实施例中,所述基于所述第二音频信号及所述估计回声信号,确定第三音频信号,包括:
基于所述第二音频信号及所述估计回声信号之差,确定所述第三音频信号。
示例性的,如图3所示,电子设备采集到的第一音频信号x(n);所述电子设备采集到的第二音频信号d(n);其中,d(n)包括:第一音频信号x(n)经所述电子设备播放所产生的回声信号y(n)及目标音频信号v(n)。
在一些实施例中,可以通过采用率为16000Hz采集x(n)和d(n)。所述电子设备获取到滤波器的系数(即滤波调整参数)
在一些实施例中,所述滤波器可以为横向滤波器。所述电子设备基于所述第二音频信号d(n)及所述估计回声信号
在图3中,h(n)可以用于描述真实的回声路径的滤波调整参数;第一音频信号x(n)经过该真实回声路径,可以获得回声信号y(n)=x(n)×h(n)。在上述实施例中,说明
在一些实施例中,所述第一音频信号及所述第二音频信号之间的相关性,可以用于指示所述第一音频信号与第二音频信号的相关程度。例如,在一些实施例中,所述第一音频信号与所述第二音频信号相关性,可以用于指示所述第一音频信号及所述第二音频信号的相关音频信号。例如,此处的第一音频信号与第一音频信号的回声信号为相关音频信号。
此处的相关音频信号的大小、与所述第一音频信号及所述第二音频信号之间的相关程度成正比;此处的相关音频信号大小、与目标音频信号在所述第二音频信号的比重成反比。例如,若所述相关音频信号越大,则所述第一音频信号及所述第二音频信号之间越相关,则所述目标音频信号在所述第二音频信号中所占的比重越小;若所述相关音频信号越小,则所述第一音频信号及所述第二音频信号之间的越不相关,则所述目标音频信号在所述第二音频信号中所占比重越大。
在一些实施例中,所述第一音频信号及所述第二音频信号之间的相关性,包括:
所述第一音频信号及所述第二音频信号之间的第一相关性;
在一些实施例中,所述第一音频信号及所述第二音频信号之间的相关性,包括:
所述第一音频信号及所述第二音频信号之间的第一相关性,及所述第二音频信号及所述第三音频信号之间的第二相关性。
在一些实施例中,所述第一相关参数,用于指示所述第一相关性的相关程度;所述第二相关参数,用于指示所述第二相关性的相关程度。
在一些实施例中,所述步骤S22,包括:
确定所述第一音频信号与所述第二音频信号的第一相关参数,以及确定所述第二音频信号及所述第三音频信号的第二相关参数。
在一些实施例中,所述步骤S23中所述相关性表征所述第二音频信号中不存在目标音频信号,可以理解为所述相关性满足滤波调整参数调整条件。
在一些实施例中,所述相关性表征所述第二音频信号中不存在目标音频信号,包括:
所述第一相关参数大于第一阈值参数,及所述第二相关参数小于第二阈值参数。
在本公开实施例中,第一音频信号与第二音频信号之间的第一相关性的第一相关参数大于第一阈值参数,和/或第二音频信号与第三音频信号的第二相关性的第二相关参数小于第二阈值参数,说明第一音频信号的回声信号占第二音频信号中的相对比重比较大,目标音频信号占第二音频信号的相对比重较小。因此,若基于滤波调整参数输出目标音频信号时,会导致输出的目标信号中存在较大的第一音频信号的回声信号。那么,可以确定出若基于滤波调整参数不能很好的消除回声信号,确定滤波调整参数指示模拟的回声路径与第一音频信号经过的真实的回声路径并不相同;此时,判定满足滤波调整参数调整条件,需要调整滤波调整参数,以使得调整后的滤波调整参数指示模拟的回声路径更接近真实的回声路径,从而能够获得精确的目标音频信号。
在一些实施例中,所述步骤S24,包括:
基于所述第一音频信号及调整后的所述滤波调整参数,确定调整后的估计回声信号;
基于所述第二音频信号及调整后的所述估计回声信号,确定所述目标音频信号。
如此,在本公开实施例中,能够基于调整后的滤波调整参数,尽可能的消除第二音频信号中混合的第一音频信号的回声信号;如此能够获得更加真实的目标音频信号,提高获得目标音频信号的精准性。
在本公开实施例中,可以仅在第一音频信号及第二音频信号的相关性满足滤波调整参数调整条件时,才调整滤波调整参数;如此,无需始终调整滤波调整参数,可以在减少滤波调整参数调整前提下也能获得精准的目标音频信号。因此,本公开实施例可以减少滤波调整参数的调整,从而可以减少电子设备的运算量,进而提高电子设备的运算效率及减少电子设备的功耗。
在一些实施例中,所述方法包括:
将所述第一音频信号进行分帧处理,以获得分帧后的所述第一音频信号;和/或,
将所述第二音频信号进行分帧处理,以获得分帧后的所述第二音频信号;
所述基于所述第一音频信号及所述滤波调整参数,确定估计回声信号,包括:
基于每一帧所述第一音频信号及所述滤波调整参数,获得每一帧所述估计回声信号;
所述基于所述第二音频信号及所述估计回声信号,确定第三音频信号,包括:
基于每一帧所述第二音频信号及对应的每一帧所述估计回声信号,获得每一帧所述第三音频信号。
此处的分帧处理,包括将音频信号进行分帧及加窗的处理。
示例性的,一种实现第一音频信号进行分帧处理,获得分帧后的第一音频信号,以及实现第二音频信号进行分帧处理,获得分帧后的第二音频信号的方式为:第一音频信号为x(n);第二音频信号为d(n);对x(n)和d(n)进行分帧加窗,得到的分帧加窗后的第一音频信号和第二音频信号;例如得到第l帧的第一音频信号及第二音频信号分别为x
x
d
其中,n表示帧数,其中,n为1、2、……N;N为帧长;l表示帧的索引;例如N可以为512或者256等;inc表示帧移,例如inc可以为128。在本实施例中,可以获得每一帧的第一音频信号及每一帧的第二音频信号。
示例性的,另一种实现第一音频信号进行分帧处理,获得分帧后的第一音频信号,以及实现第二音频信号进行分帧处理,获得分帧后的第二音频信号的方式为:第一音频信号为x(n);第二音频信号为d(n);对x(n)和d(n)进行分帧加窗,得到的分帧加窗后的第一音频信号和第二音频信号;例如得到第l帧的第一音频信号及第二音频信号分别为x
其中,x
x
d
在本实施例中,可以直接基于第一音频信号分帧后的汉宁窗,得到分帧的第一音频信号;以及基于第二音频信号及分帧后的汉宁窗,得到分帧的第二音频信号。在本实施例中,可以获得每一帧的第一音频信号及每一帧的第二音频信号。
示例性的,一种基于每一帧所述第一音频信号及所述滤波调整参数,获得每一帧所述估计回声信号的方式为:
第一音频信号为x(n),滤波调整参数为
其中,M为滤波器的长度。例如,M为1024。
示例性的,一种基于每一帧所述第二音频信号及对应的每一帧所述估计回声信号,获得每一帧所述第三音频信号的方式为:
第二音频信号为d(n),第l帧的第二音频信号为d
如此,在本公开实施例中,可以通过分帧加窗处理,将第一音频信号及第二音频信号转换为每一帧的第一音频信号及每一帧的第二音频信号;且可以基于每一帧的第一音频信号及滤波调整参数,确定出每一帧的回声估计信号,以及可以基于每一帧的第二音频信号及每一帧的回声路径信号,确定出每一帧的第三音频信号。如此,本公开实施例可以获取分帧后的第三音频信号,进而可以获得每一帧的目标音频信号。并且,当滤波调整参数为调整后的滤波调整参数时,可以获得更加精准的分帧后的第三音频信号,进而获得更加精准的每一帧的目标音频信号。
如图4所示,在一些实施例中,所述方法还包括:
步骤S20:获取所述第一音频信号的第一能量;
所述步骤S22,包括:
步骤S221:在所述第一能量大于能量阈值的情况下,确定所述第一音频信号及所述第二音频信号的之间的相关性。
在一个实施例中,所述步骤S20,包括:获取至少相邻两帧的所述第一音频信号的第一能量;
所述步骤S221,包括:若至少相邻两帧的所述第一音频信号的第一能量大于能量阈值,确定所述第一音频信号及所述第二音频信号之间的相关性。
在一些实施例中,所述能量阈值小于或等于预定数值。例如,所述能量阈值为0、0.5瓦特或者1瓦特等。
此处的至少相邻两帧包括:相邻两帧;例如,可以是第l帧及第l+1帧。此处的至少相邻两帧包括:3帧、4帧、5帧或者6帧等;例如,可以是第l-1、第l帧及第l+1帧,或者可以是第l-1、第l帧、第l+1帧及l+2;等等。
在一些实施例中,第l帧的第一音频信号的第一能量为:第l帧中、帧长中各点第一音频信号的平方的和。此处的第l帧的第一音频信号的第一能量,也可以是第l帧中、帧长各点音频信号能量之和。
示例性的,第l帧的第一能量为:
在本公开实施例中,当至少相邻两帧的第一音频信号的第一能量大于能量阈值时,确定电子设备会播放第一音频信号,例如电子设备播放音乐;如此电子设备采集的第二音频信号中混合了第一音频信号的回声信号,例如混合了音乐的回声。如此本公开实施例中需要确定第一音频信号及第二音频信号的相关性,以有利于基于该相关性确定是否需要调整滤波调整参数以获得更精准的目标音频信号。
此外,在本公开实施例中,只需在第一音频信号的第一能量大于能量阈值时才确定第一音频信号及第二音频信号的相关性,并基于该相关性可能调整滤波调整参数;如此本公开实施例可以无需始终调整滤波调整参数,从而能够进一步降低电子设备运算量及功耗。
在另一些实施例中,所述方法还包括:
在所述第一能量小于或等于所述能量阈值的情况下,基于所述第二音频信号获取所述目标音频信号。
在一些实施例中,在所述第一能量小于或等于所述能量阈值的情况下,基于所述第二音频信号获取所述目标音频信号,包括:
若至少相邻两帧的所述第一音频信号的第一能量小于或等于能量阈值,基于所述第二音频信号获取目标音频信号。
在本公开实施例中,若至少两帧的所述第一音频信号的第一能量小于或等于能量阈值,确定电子设备的没有播放第一音频信号或者播放的第一音频信号很小。本公开实施例第二音频信号中没有混合第一音频信号的回声信号或者混合的第一音频信号的回声信号非常小;如此,可以直接基于第二音频信号获取目标音频信号。在本公开实施例中,可以直接基于第二音频信号获取比较精确的目标音频信号,无需调整滤波调整参数,从而能够大大减少电子设备运算量及功耗。
在一些实施例中,所述相关性表征所述第二音频信号中不存在目标音频信号,包括:
所述第一相关参数大于第一阈值参数,及所述第二相关参数小于第二阈值参数。
在另一个实施例中,所述相关性表征所述第二音频信号中存在所述目标音频信号,包括:
所述第一相关参数小于第三阈值参数,及所述第二相关参数大于第四阈值参数;
其中,所述第三阈值参数小于或等于所述第一阈值参数;所述第四阈值参数大于或等于所述第二阈值参数。
此处的相关性是指第一音频信号及所述第二音频信号之间的相关性。
此处的所述相关性表征所述第二音频信号中存在所述目标音频信号,即为所述相关性不满足所述滤波调整参数调整条件。
示例性的,第一相关参数可以为ρ
此处的第一相关参数大于第一阈值参数、及第二相关参数小于第二阈值参数可以包括但不限于以下至少之一:
ρ
例如,当ρ
此处的第一相关参数小于第三阈值参数,及第二参数大于第四阈值参数可以包括但不限于以下至少之一:
ρ
ρ
例如,当ρ
在一些实施例中,当
当
当然,在其它实施例中,第一阈值参数、第二阈值参数、第三阈值参数及第四阈值参数可以是其它任意的数值,例如可以是0-1的任意实数,只需满足第三阈值参数小于或等于第一阈值参数,及第四阈值参数大于或等于第二阈值参数即可;在此不作限定。
在本公开实施例中,第一音频信号与第二音频信号的第一相关参数大于第一阈值参数,和/或第二音频信号与第三音频信号的第二相关参数小于第二阈值参数;则说明第一音频信号的回声信号占第二音频信号中的相对比重比较大,目标音频信号占第二音频信号的相对比重较小。则此时需要调整滤波调整参数,以使得调整后的滤波调整参数指示模拟的回声路径更接近第一音频信号经过的真实的回声路径。
或者,第一音频信号与第二音频信号之间的第一相关参数小于第三阈值参数,和/或第二音频信号与第三音频信号的第二相关参数小于第四阈值参数;则说明第一音频信号的回声信号占第二音频信号中的相对比重比较小,目标音频信号占第二音频信号的相对比重较大。则此时的滤波调整参数指示模拟的回声路径,与真实的回声路径基本相同;则此时不需要调整滤波调整参数。
如图5所示,在一些实施例中,所述方法包括:
步骤S25:响应于所述相关性表征所述第二音频信号中存在所述目标音频信号,维持所述滤波调整参数不变;
步骤S26:基于所述第三音频信号,确定所述目标音频信号。
在一个实施例中,一种实现所述步骤S26的方式为:确定所述第三音频信号为所述目标音频信号。例如,若第三音频信号为e(n),则目标音频信号e'(n)=e(n)。
在本公开实施例中,当第一音频信号及第二音频信号的相关性相对比较相关时,即第一相关参数小于第三阈值参数,及所述第二参数大于第四阈值参数;说明第一音频信号的回声信号占第二音频信号中的相对比重比较小,目标音频信号占第二音频信号的相对比重较大。如此,说明基于滤波调整参数指示模拟的回声路径与第一音频信号经过的真实的回声路径基本相同,则不需要调整滤波调整参数也能够获得比较精准的目标音频信号。如此,在本公开实施例中,无需调整滤波调整参数,即无需调整滤波器的系数,从而能够减少电子设备的运算量及功耗。
在本公开实施例中,电子设备一经固定放置,则电子设备播放的第一音频信号经过的回声路径基本不变;在该应用场景下,当模拟出比较准确的回声路径后,无需再实时调整滤波调整参数。
在一些实施例中,所述方法还包括以下至少之一:
将每一帧所述第一音频信号进行频域变换,转换为预定频点上的第一频域信号;
将每一帧所述第二音频信号进行频域变换,转换为预定频点上的第二频域信号;
将每一帧所述第三音频信号进行频域变换,转换为预定频点上的第三频域信号。
示例性的,一种将每一帧所述第一音频信号进行频域变换,转换为预定频点上的第一频域信号的实现方式为:
第l帧的第一音频信号为:x
示例性的,一种将每一帧所述第二音频信号进行频域变换,转换为预定频点上的第二频域信号的实现方式为:
第l帧的第二音频信号为:d
示例性的,一种将每一帧所述第三音频信号进行频域变换,转换为预定频点上的第三频域信号的实现方式为:
第l帧的第三音频信号为:e
当然,在其它实施例中,将第一音频信号、第二音频信号及第三音频信号进行频域变化可以是基于任意一种傅里叶函数进行变化,只需满足第一音频信号、第二音频信号及第三音频信号所采用的傅里叶函数相同及预定频点相同即可,在此不作限制。
在一些实施例中,所述确定所述第一音频信号与所述第二音频信号的第一相关参数,包括:
基于所述第一频域信号与所述第二频域信号的乘积的平方,以及所述第一频域信号的平方与第二频域信号的平方的乘积,获取所述第一相关参数;
和/或,
所述确定所述第二音频信号及所述第三音频信号的第二相关参数,包括:
基于所述第二频域信号与所述第三频域信号的乘积的平方,以及所述第二频域信号的平方与所述第三频域信号的平方的乘积,获取所述第二相关参数。
示例性的,一种基于所述第一频域信号与所述第二频域信号的乘积的平方,以及所述第一频域信号的平方与第二频域信号的平方的乘积,获取所述第一相关参数的实现方式为:基于所述第二频域信号的共轭矩阵与第一频域信号的乘积的平方,获得第一参数;基于第一频域信号的平方与第二频域信号的平方的乘积,获得第二参数;基于所述第一参数与所述第二参数的比值,获得所述第一相关参数。例如,第l帧对应的第一频域信号为X
示例性的,一种基于所述第二频域信号与所述第三频域信号的乘积的平方,以及所述第二频域信号的平方与所述第三频域信号的平方的乘积,获取所述第二相关参数的实现方式为:基于所述第二频域信号的共轭矩阵与第三频域信号的乘积的平方,获得第三参数;基于第二频域信号的平方与第三频域信号的平方的乘积,获得第四参数;基于所述第三参数与所述第四参数的比值,获得所述第二相关参数。例如,第l帧对应的第二频域信号为D
在本公开实施例中,可以将第一音频信号、第二音频信号及第三音频信号分别由时域信号转换为频域信号,即分别转换为第一频域信号、第二频信号及第三频域信号;并基于第一频域信号、第二频域信号及第三频域信号确定出第一相关参数及第二相关参数,从而能够基于第一相关参数及第二相关参数准确确定出是否需要调整滤波调整参数。
在一些实施例中,所述步骤23中所述调整所述滤波调整参数,包括:
基于预定步长,调整所述滤波调整参数。
在一些实施例中,所述步骤S23中所述调整所述滤波调整参数,包括:
基于第i-1次调整后的所述滤波调整参数及预定步长,确定第i次调整后的所述滤波调整参数;其中,所述i为大于0的整数;所述预定步长用于指示所述滤波调整参数每次调整的变化程度。
此处的预定步长可以为μ。例如,μ为0.8、07、0.1或者0.08等。
在一些实施例中,第i次调整与第j次调整的预定步长相同;其中i和j整数。如此,在本实施例中,可以基于相同的预定步长调整滤波调整参数。
在另一些实施例中,第i次调整与第j次调整的预定步长不同;其中i和j整数。如此,在本实施例中,可以基于不同的预定步长调整滤波调整参数。
在一些实施例中,所述方法还包括:
获取第i-1次调整后的所述滤波调整参数;
获取基于第i-1次调整后的所述滤波调整参数所确定的第i-1次调整后的所述第三音频信号;
所述基于第i-1次调整后的所述滤波调整参数及预定步长,确定第i次调整后的所述滤波调整参数,包括:
基于第i-1次调整后的所述第三音频信号、所述第一音频信号及所述预定步长的乘积,与第i-1次调整后的所述滤波调整参数之和,确定第i次调整后的所述滤波调整参数;
其中,第i次调整后的所述滤波调整参数满足收敛条件;其中,所述收敛条件为第i次调整后的所述第二频域信号与所述第三频域信号的能量比值小于预定比值。
此处的第i-1次调整后的所述第三音频信号为:基于第i-1次调整后的滤波调整参数获得的第三音频信号。
此处的基于第i-1次调整后的所述第三音频信号、所述第一音频信号及所述预定步长的乘积,与第i-1次调整后的所述滤波调整参数之和,确定第i次调整后的所述滤波调整参数,包括:
基于第i-1次调整后的所述第三音频信号、所述第一音频信号及第i次调整对应的所述预定步长的乘积,获取第五参数;
基于第i-1次调整后的所述滤波调整参数与所述第五参数之和,确定第i次调整后的所述滤波调整参数。
示例性的,第i-1次调整对应的预定步长为μ;第i-1次调整后的第l帧的所述第三音频信号为e
在一个实施例中,第i次调整后的所述滤波调整参数满足收敛条件,包括:第i次调整后的所述第二频域信号与所述第三频域信号的能量比值小于预定比值。
示例性的,第i次调整后的所述滤波调整参数满足收敛条件的实现方式可以为以下之一收敛函数:
当然,在其它的实施例中,所述收敛条件也可以是其它的收敛函数,只需满足不需要再调整所述滤波调整参数即可,在此不作限制。在其它的实施例中,确定第i次调整后的滤波调整参数也可以是基于其它的梯度下降算法实现,在此不作限制。
示例性的,第i次调整后的所述滤波调整参数满足收敛条件,获取所述第i次调整后的所述滤波调整参数可以为需要调整的滤波调整参数;即可认为所述第i次调整后的所述滤波调整参数为第i+1次的滤波调整参数。
在另一些实施例中,所述方法还包括:
响应于第i次调整后的所述滤波调整参数不满足收敛条件,获取第i次调整后的所述滤波调整参数、及获取基于第i次调整后的所述第三音频信号、所述第一音频信号与所述预定步长的乘积,确定第i+1次调整后的所述滤波调整参数,
直至第j次调整后的所述滤波调整参数满足收敛条件后结束对所述滤波调整参数的调整;其中,所述j大于所述i的整数。
第i次调整后的所述滤波调整参数不满足收敛条件的实现方式可以为以下之一收敛函数:
如此,在本公开实施例中,可以逐步调整滤波调整参数,以使得模拟回声路径越来越接近真实的回声路径;从而提高获得的目标音频信号的精确度。
以下结合上述任意实施例提供一个具体示例:
如图6所示,本公开实施例提供一种音频信号处理方法,应用于电子设备,所述方法包括以下步骤:
步骤S301:获得分帧后的第一音频信号、第二音频信号及第三音频信号;
在一些实施例中,电子设备将所述第一音频信号进行分帧处理,以获得分帧后的所述第一音频信号;将所述第二音频信号进行分帧处理,以获得分帧后的所述第二音频信号;电子设备基于每一帧所述第一音频信号及滤波调整参数,获得每一帧所述估计回声信号;基于每一帧所述第二音频信号及对应的每一帧所述估计回声信号,获得每一帧所述第三音频信号。
在一些实施例中,第一音频信号为x(n);第二音频信号为d(n);获得第l帧的第一音频信号为x
其中,M为滤波器的长度;获得第l帧的第三音频信号为:
步骤S302:获得至少相邻两帧的所述第一音频信号的第一能量;
在一个实施例中,电子设备获得第l帧的第一能量为:
步骤S303:若至少相邻两帧的所述第一音频信号的第一能量大于能量阈值,获取第一相关参数及第二相关参数;
在一些实施例中,电子设备确定若至少相邻两帧的所述第一音频信号的第一能量大于能量阈值,确定所述第一音频信号与所述第二音频信号的第一相关参数,以及第二音频信号与第三音频信号的第二相关参数。
在一些实施例中,电子设备确定第l帧的第一能量
步骤S304:基于所述第一相关参数及所述第二相关参数,确定所述第一音频信号及所述第二音频信号之间相关性表征所述第二音频信号中是否存在所述目标音频信号;
在一些实施例中,电子设备确定若所述第一相关参数大于第一阈值参数,及所述第二相关参数小于第二阈值参数,确定所述第一音频信号及所述第二音频信号之间的相关性表征所述第二音频信号中不存在所述目标音频信号;或者,确定若所述第一相关参数小于第三阈值参数,及所述第二参数大于第四阈值参数,确定所述第一音频信号及所述第二音频信号之间的相关性表征所述第二音频信号中存在所述目标音频信号。
在一些实施例中,电子设备确定若
步骤S305:响应于所述第一音频信号及所述第二音频信号表征所述第二音频信号中不存在所述目标音频信号,基于预定步长调整滤波调整参数;
在一些实施例中,电子设备响应于所述第一音频信号及所述第二音频信号表征所述第二音频信号中不存在所述目标音频信号,基于第i-1次调整后的所述滤波调整参数及预定步长,确定第i次调整后的所述滤波调整参数;其中,所述i为大于0的整数;所述预定步长用于指示所述滤波调整参数每次调整的变化程度。
在一些实施例中,电子设备若确定
步骤S306:若第i次调整后的所述滤波调整参数满足收敛条件,确定出第i次调整后的所述滤波调整参数;
在一些实施例中,电子设备若确定出若
步骤S307:基于所述第一音频信号及调整后的所述滤波调整参数,确定调整后的所述估计回声信号;基于所述第二音频信号及调整后的所述回声路径,确定所述目标音频信号;
在一些实施例中,电子设备基于第一音频信号及第i次调整后的所述滤波调整参数,确定调整后的所述估计回声信号;并基于所述第二音频信号及调整后的所述回声路径,确定所述目标音频信号。
在一些实施例中,电子设备确定第i次调整的第l帧的所述估计回声信号
步骤S308:响应于所述第一音频信号及所述第二音频信号表征所述第二音频信号中存在所述目标音频信号,基于所述第三音频信号获得所述目标音频信号;
在一些实施例中,电子设备若确定
步骤S309:若至少相邻两帧的所述第一音频信号的第一能量小于或等于能量阈值,基于所述第二音频信号获得所述目标音频信号。
在一些实施例中,电子设备若确定第l帧的第一能量
在本公开实施例中,当检测到至少相邻两帧的第一音频信号的第一能量小于或等于能量阈值时,确定电子设备播放的第一音频信号接近于0,则第一音频信号的回声信号在第二音频信号中所占的比重也可以接近于0;如此,可以直接基于第二音频信号获得目标音频信号。如此在该场景下,无需调整滤波调整参数就可以获得比较精确的目标音频信号,从而可以大大降低电子设备的运算量及功耗。
或者,当检测到至少相邻两帧的第一音频信号的第一能量大于能量阈值时,确定电子设备播放的第一音频信号相对比较大,则需要基于第一音频信号及第二音频信号之间的相关性表征所述第二音频信号中是否存在所述目标音频信号。
当第一音频信号及第二音频信号之间的相关性表征所述第二音频信号中存在所述目标音频信号时,即第一音频信号与第二音频信号的第一相关参数小于第三阈值参数、及第二音频信号与第三音频信号的第二相关参数大于第四阈值参数;则确定出第一音频信号相对比较小、第一音频信号的回声信号在第二音频信号中所占比重也相对比较小。如此,可以确定该场景下的滤波调整参数指示模拟的回声路径,与真实的回声路径基本相同;则此时不需要调整滤波调整参数。如此,本公开实施例也可以降低电子设备的运算量及功耗。
当第一音频信号及第二音频信号之间的相关性表征所述第二音频信号中不存在所述目标音频信号时,即第一音频信号与第二音频信号的第一相关参数大于第一阈值参数,和/或第二音频信号与第三音频信号的第二相关参数小于第二阈值参数;则确定第一音频信号相对比较大、第一音频信号的回声信号占第二音频信号中的相对比重比较大,目标音频信号占第二音频信号的相对比重较小。如此,可以确定该场景下的滤波调整参数指示模拟的回声路径,与真实的回声路径相差比较大,则需要调整滤波调整参数,以使得调整后的滤波调整参数更接近第一音频信号经过的真实的回声路径;进而提高获得目标音频信号的精准性。
图7提供一示例性实施例示出的一种音频信号处理装置,应用于电子设备,所述装置包括:
获取模块41,用于获取第一音频信号及第二音频信号,其中,所述第二音频信号至少包括:所述电子设备播放所述第一音频信号所产生的回声信号;
确定模块42,用于确定所述第一音频信号及所述第二音频信号之间的相关性;
调整模块43,用于响应于所述相关性表征所述第二音频信号中不存在目标音频信号,调整滤波调整参数;
处理模块44,用于根据调整后的所述滤波调整参数对所述第二音频信号进行回声消除处理,得到所述目标音频信号。
在一些实施例中,所述确定模块42,用于基于所述第一音频信号及调整后的所述滤波调整参数,确定调整后的所述估计回声信号;
所述确定模块42,还用于基于所述第一音频信号及调整后的所述估计回声信号,确定所述目标音频信号。
在一些实施例中,所述获取模块41,用于获取所述第一音频信号的第一能量;
所述确定模块42,用于在所述第一能量大于能量阈值的情况下,确定所述第一音频信号及所述第二音频信号的之间的相关性。
在一些实施例中,所述确定模块42,用于基于所述第一音频信号及所述滤波调整参数,确定估计回声信号;
所述确定模块42,用于基于所述第二音频信号及所述估计回声信号,确定第三音频信号;
所述确定模块42,用于确定所述第一音频信号与所述第二音频信号的第一相关参数,以及确定所述第二音频信号及所述第三音频信号的第二相关参数。
在一些实施例中,所述相关性表征所述第二音频信号中不存在目标音频信号,包括:
所述第一相关参数大于第一阈值参数,及所述第二相关参数小于第二阈值参数。
在一些实施例中,所述调整模块43,用于响应于所述相关性表征所述第二音频信号中存在所述目标音频信号,维持所述滤波调整参数不变;
所述处理模块44,用于基于所述第三音频信号,确定所述目标音频信号。
在一些实施例中,所述相关性表征所述第二音频信号中存在所述目标音频信号,包括:
所述第一相关参数小于第三阈值参数,及所述第二参数大于第四阈值参数;
其中,所述第三阈值参数小于或等于所述第一阈值参数;所述第四阈值参数大于或等于所述第二阈值参数。
在一些实施例中,所述装置还包括:转换模块;其中,所述转换模块,用于以下至少之一:
将每一帧所述第一音频信号进行频域变换,转换为预定频点上的第一频域信号;
将每一帧所述第二音频信号进行频域变换,转换为预定频点上的第二频域信号;
将每一帧所述第三音频信号进行频域变换,转换为预定频点上的第三频域信号。
在一些实施例中,所述确定模块42,用于基于所述第一频域信号的平方与所述第二频域信号的乘积的平方,以及所述第一频域信号与第二频域信号的平方的乘积,获取所述第一相关参数;
和/或,
所述确定模块42,用于基于所述第二频域信号与所述第三频域信号的乘积的平方,以及所述第二频域信号与所述第三频域信号的平方的乘积,获取所述第二相关参数。
在一些实施例中,调整模块43,用于基于第i-1次调整后的所述滤波调整参数及预定步长,确定第i次调整后的所述滤波调整参数;其中,所述i为大于0的整数;所述预定步长用于指示所述滤波调整参数每次调整的变化程度。
在一些实施例中,所述获取模块41,用于获取第i-1次调整后的所述滤波调整参数;
所述获取模块41,用于获取基于第i-1次调整后的所述滤波调整参数所确定的第i-1次调整后的所述第三音频信号;
所述调整模块41,用于基于所述第i-1次调整后的所述第三音频信号、所述第一音频信号及所述预定步长的乘积,与第i-1次调整后的所述滤波调整参数之和,确定第i次调整后的所述滤波调整参数;
其中,第i次调整后的所述滤波调整参数满足收敛条件;其中,所述收敛条件为第i次调整后的所述第二频域信号与第三频域信号的能量比值小于预定比值。
在一些实施例中,所述装置还包括:
处理模块44,用于在所述第一能量小于或等于所述能量阈值的情况下,基于所述第二音频信号获取所述目标音频信号。
在一些实施例中,所述处理模块44,用于将所述第一音频信号进行分帧处理,以获得分帧后的所述第一音频信号;和/或,
所述处理模块44,用于将所述第二音频信号进行分帧处理,以获得分帧后的所述第二音频信号;
所述确定模块42,用于基于每一帧所述第一音频信号及所述滤波调整参数,获得每一帧所述估计回声信号;
所述确定模块42,用于基于每一帧所述第二音频信号及对应的每一帧所述估计回声信号,获得每一帧所述第三音频信号。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该装置的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开的实施例还提供了一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:用于运行所述可执行指令时,实现本公开任意实施例所述的音频信号处理方法。
所述存储器可包括各种类型的存储介质,该存储介质为非临时性计算机存储介质,在通信设备掉电之后能够继续记忆存储其上的信息。
所述处理器可以通过总线等与存储器连接,用于读取存储器上存储的可执行程序,例如,实现如图2、4至6所示的方法的至少其中之一。
本公开的实施例还提供了一种计算机可读存储介质,所述可读存储介质存储有可执行程序,其中,所述可执行程序被处理器执行时实现本公开任意实施例所述的音频信号处理方法。例如,实现如图2、4至6所示的方法的至少其中之一。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播电子设备,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
- 音频信号处理方法、装置、存储介质及电子设备
- 音频信号处理方法、装置、电子设备及存储介质