掌桥专利:专业的专利平台
掌桥专利
首页

音频的处理方法、装置、耳机及存储介质

文献发布时间:2023-06-19 18:37:28


音频的处理方法、装置、耳机及存储介质

技术领域

本公开涉及音频信号处理技术领域,尤其涉及一种音频的处理方法、装置、耳机及存储介质。

背景技术

用户佩戴半入耳式耳机时,由于没有胶圈耳塞,所处环境中的很多噪声会泄露进耳朵中,影响对耳机扬声器播放声音的听音体验。相关技术中,针对外界噪声,通常采用主动降噪算法进行降噪,但是半入耳式耳机由于不像入耳式耳机一样是封闭声腔,在设计降噪算法时难度较大,而且降噪性能稳定性较差,同时对耳机扬声器的性能要求也较高,对于低频性能不好的扬声器降噪性能较差,因此,外界噪声还是会影响对耳机扬声器播放声音的听音体验。

因此,如何实现半入耳式耳机的降噪效果是亟待解决的问题。

发明内容

为克服相关技术中存在的问题,本公开提供一种音频的处理方法、装置、耳机及存储介质。

根据本公开实施例的第一方面,提供一种音频的处理方法,应用于耳机,所述处理方法包括:

获取目标频率响应曲线,所述目标频率响应曲线为所述耳机的佩戴者的耳道接收到的频率响应曲线;

基于所述目标频率响应曲线,确定第一声音信号;其中,所述第一声音信号表示环境声音穿透耳机被所述佩戴者听到的声音;

基于所述目标频率响应曲线,确定第二声音信号;其中,所述第二声音信号表示所述佩戴者听到的扬声器所播放的声音;

根据所述第一声音信号确定第一声音能量值,其中,所述第一声音能量值为所述第一声音信号中所包含的每个频点的能量;

根据所述第二声音信号确定第二声音能量值,其中,所述第二声音能量值为所述第二声音信号中所包含的每个频点的能量;

根据所述第一声音能量值和所述第二声音能量值,确定待更新的滤波参数;

基于待更新的滤波参数对预设的滤波器进行参数调整,并采用调整参数后的滤波器对所述扬声器播放的声音信号进行处理。

在一示例性实施例中,所述基于所述目标频率响应曲线,确定第一声音信号,包括:

获取耳机周围的环境声音信号;

根据所述环境声音信号和预存的第一映射关系,确定所述第一声音信号;其中,所述第一映射关系用于表示目标频率响应曲线和第一声音传递路径的映射关系,所述第一声音传递路径表示所述耳机的前馈麦克风到耳道的声音传递路径。

在一示例性实施例中,所述基于所述目标频率响应曲线,确定第二声音信号包括:

获取耳机的扬声器播放的扬声器声音信号

根据所述扬声器声音信号和预存的第二映射关系,确定第二声音信号;其中,所述第二映射关系用于表示目标频响曲线和第二声音传递路径的映射关系,所述第二声音传递路径表示所述耳机的扬声器到耳道的声音传递路径。

在一示例性实施例中,所述获取目标频率响应曲线包括:

获取测试信号,其中,测试信号是扬声器发出的初始测试信号在佩戴者耳道内传播后被反馈麦克风所采集到的声音信号;

根据初始测试信号和测试信号确定所述目标频率响应曲线,其中,所述目标频率响应曲线用于表征用户佩戴的松紧程度和所述用户的耳道信息。

在一示例性实施例中,所述所述根据初始测试信号和测试信号确定所述目标频率响应曲线,包括:

根据所述初始测试信号确定第三初始声音能量值,所述第三初始声音能量值为所述初始测试信号所包含的每个频点的能量;

根据所述测试信号确定第三声音能量值,所述第三声音能量值为所述测试信号所包含的每个频点的能量;

根据所述第三声音能量值和所述第三初始声音能量值,确定所述目标频率响应曲线。

在一示例性实施例中,所述根据所述第三声音能量值和所述第三初始声音能量值,确定所述目标频率响应曲线,包括:

根据所述第三声音能量值和所述第三初始声音能量值,确定第一参考参数,所述第一参考参数为每个频点的所述第三声音能量值与所述第三初始声音能量值的交叉功率谱;

根据所述第三初始声音能量值,确定第二参考参数,所述第二参考参数为每个频点的所述第三初始声音能量值的自功率谱;

根据所述第一参考参数和所述第二参考参数,确定所述目标频率响应曲线。

在一示例性实施例中,所述根据所述第一参考参数和所述第二参考参数,确定所述目标频率响应曲线,包括:

将每个频点的所述第一参考参数与所述第二参考参数的比值,作为所述目标频率响应曲线的频响参数,并形成所述目标频率响应曲线。

在一示例性实施例中,所述根据所述第一声音能量值和所述第二声音能量值,确定待更新的滤波参数,包括:

所述第一声音能量值小于或等于所述第二声音能量值时,确定待更新的滤波参数。

在一示例性实施例中,所述获取环境声音信号包括:

获取环境时域信号,所述环境时域信号是环境声音在时域上的表达方式;

对所述环境时域信号进行时频变换,得到环境声音信号,其中,所述环境声音信号是环境声音在频域上的表达方式,环境声音信号包括多个频点。

在一示例性实施例中,所述获取耳机的扬声器播放的扬声器声音信号,包括:

获取扬声器时域信号,所述扬声器时域信号是扬声器声音在时域上的表达方式;

对所述扬声器时域信号进行时频变换,得到扬声器声音信号,其中,所述扬声器声音信号是扬声器声音在频域上的表达方式,扬声器声音信号包括多个频点。

根据本公开实施例的第二方面,提供一种音频的处理装置,应用于耳机,所述处理装置包括:

获取模块,被配置为获取目标频率响应曲线,所述目标频率响应曲线为所述耳机的佩戴者的耳道接收到的频率响应曲线;

第一确定模块,被配置为基于所述目标频率响应曲线,确定第一声音信号;其中,所述第一声音信号表示环境声音穿透耳机被所述佩戴者听到的声音;

第二确定模块,被配置为基于所述目标频率响应曲线,确定第二声音信号;其中,所述第二声音信号表示所述佩戴者听到的扬声器所播放的声音;

第三确定模块,被配置为根据所述第一声音信号确定第一声音能量值,其中,所述第一声音能量值为所述第一声音信号中所包含的每个频点的能量;

第四确定模块,被配置为根据所述第二声音信号确定第二声音能量值,其中,所述第二声音能量值为所述第二声音信号中所包含的每个频点的能量;

第五确定模块,被配置为根据所述第一声音能量值和所述第二声音能量值,确定待更新的滤波参数;

处理模块,被配置为基于待更新的滤波参数对预设的滤波器进行参数调整,并采用调整参数后的滤波器对所述扬声器播放的声音信号进行处理。

在一示例性实施例中,所述第一确定模块还被配置为:

获取耳机周围的环境声音信号;

根据所述环境声音信号和预存的第一映射关系,确定所述第一声音信号;其中,所述第一映射关系用于表示目标频率响应曲线和第一声音传递路径的映射关系,所述第一声音传递路径表示所述耳机的前馈麦克风到耳道的声音传递路径。

在一示例性实施例中,所述第二确定模块还被配置为:

获取耳机的扬声器播放的扬声器声音信号

根据所述扬声器声音信号和预存的第二映射关系,确定第二声音信号;其中,所述第二映射关系用于表示目标频响曲线和第二声音传递路径的映射关系,所述第二声音传递路径表示所述耳机的扬声器到耳道的声音传递路径。

在一示例性实施例中,所述获取模块还被配置为:

获取测试信号,其中,测试信号是扬声器发出的初始测试信号在佩戴者耳道内传播后被反馈麦克风所采集到的声音信号;

根据初始测试信号和测试信号确定所述目标频率响应曲线,其中,所述目标频率响应曲线用于表征用户佩戴的松紧程度和所述用户的耳道信息。

在一示例性实施例中,所述获取模块还被配置为:

根据所述初始测试信号确定第三初始声音能量值,所述第三初始声音能量值为所述初始测试信号所包含的每个频点的能量;

根据所述测试信号确定第三声音能量值,所述第三声音能量值为所述测试信号所包含的每个频点的能量;

根据所述第三声音能量值和所述第三初始声音能量值,确定所述目标频率响应曲线。

在一示例性实施例中,所述获取模块还被配置为:

根据所述第三声音能量值和所述第三初始声音能量值,确定第一参考参数,所述第一参考参数为每个频点的所述第三声音能量值与所述第三初始声音能量值的交叉功率谱;

根据所述第三初始声音能量值,确定第二参考参数,所述第二参考参数为每个频点的所述第三初始声音能量值的自功率谱;

根据所述第一参考参数和所述第二参考参数,确定所述目标频率响应曲线。

在一示例性实施例中,所述获取模块还被配置为:

将每个频点的所述第一参考参数与所述第二参考参数的比值,作为所述目标频率响应曲线的频响参数,并形成所述目标频率响应曲线。

在一示例性实施例中,所述第五确定模块还被配置为:

所述第一声音能量值小于或等于所述第二声音能量值时,确定待更新的滤波参数。

在一示例性实施例中,所述第一确定模块还被配置为:

获取环境时域信号,所述环境时域信号是环境声音在时域上的表达方式;

对所述环境时域信号进行时频变换,得到环境声音信号,其中,所述环境声音信号是环境声音在频域上的表达方式,环境声音信号包括多个频点。

在一示例性实施例中,所述第二确定模块还被配置为

获取扬声器时域信号,所述扬声器时域信号是扬声器声音在时域上的表达方式;

对所述扬声器时域信号进行时频变换,得到扬声器声音信号,其中,所述扬声器声音信号是扬声器声音在频域上的表达方式,扬声器声音信号包括多个频点。

根据本公开实施例的第三方面,提供一种耳机,所述耳机包括壳体和设置于所述壳体上的前馈麦克风、反馈麦克风、扬声器以及控制器,所述控制器分别与所述前馈麦克风、所述反馈麦克风和所述扬声器通信连接;

所述前馈麦克风,用于采集所述耳机周围的环境声音信号;

所述反馈麦克风,用于采集所述耳机佩戴者的耳道内的声音信号;

所述扬声器用于播放扬声器声音信号和初始测试信号;

所述控制器包括处理器和存储器,所述存储器存储有可被所述处理器执行的计算机程序指令,所述处理器被配置为调用所述计算机程序指令执行如本公开实施例的第一方面中所述的音频的处理方法。

根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器调用时,执行如本公开实施例的第一方面中所述的音频的处理方法。

采用本公开的上述方法,具有以下有益效果:本公开中的方法对耳机硬件结构要求不高,并且不要求复杂的降噪算法设计,利用心理声学掩蔽效应,让佩戴者听到的所述扬声器所播放的声音掩蔽环境声音穿透耳机被佩戴者听到的声音,从而达到佩戴者主观上听不到环境声音信号的效果,提升用户的听音体验。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种音频的处理方法的流程图;

图2是根据一示例性实施例示出的耳机的结构示意图;

图3是根据一示例性实施例示出的步骤S102中基于目标频率响应曲线,确定第一声音信号的方法流程图;

图4是根据一示例性实施例示出的步骤S103中基于目标频率响应曲线,确定第二声音信号的方法流程图;

图5是根据一示例性实施例示出的步骤S101中获取目标频率响应曲线的方法流程图;

图6是根据一示例性实施例示出的步骤S502中根据初始测试信号和测试信号确定目标频率响应曲线的方法流程图;

图7是根据一示例性实施例示出的步骤S603中根据第三声音能量值和第三初始声音能量值,确定目标频率响应曲线的方法流程图;

图8是根据一示例性实施例示出的一种音频的处理装置的框图;

图9是根据一示例性实施例示出的一种耳机装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本公开示例性的实施例中,提供一种音频的处理方法,应用于耳机,耳机包括半入耳式蓝牙耳机、半入耳式有线耳机等不具有封闭声腔的耳机。图1是根据一示例性实施例示出的一种音频的处理方法的流程图,如图1所示,音频的处理方法包括以下步骤:

步骤S101,获取目标频率响应曲线,目标频率响应曲线为耳机的佩戴者的耳道接收到的频率响应曲线;

步骤S102,基于目标频率响应曲线,确定第一声音信号;其中,第一声音信号表示环境声音穿透耳机被佩戴者听到的声音;

步骤S103,基于目标频率响应曲线,确定第二声音信号;其中,第二声音信号表示佩戴者听到的扬声器所播放的声音;

步骤S104,根据第一声音信号确定第一声音能量值,其中,第一声音能量值为第一声音信号中所包含的每个频点的能量;

步骤S105,根据第二声音信号确定第二声音能量值,其中,第二声音能量值为第二声音信号中所包含的每个频点的能量;

步骤S106,根据第一声音能量值和第二声音能量值,确定待更新的滤波参数;

步骤S107,基于待更新的滤波参数对预设的滤波器进行参数调整,并采用调整参数后的滤波器对扬声器播放的声音信号进行处理。

在本公开示例性的实施例中,为了实现耳机的降噪效果,提供一种音频的处理方法。在用户佩戴耳机时,获取目标频率响应曲线,目标频率响应曲线为耳机的佩戴者的耳道接收到的频率响应曲线,基于目标频率响应曲线,确定第一声音信号和第二声音信号,其中,第一声音信号表示环境声音穿透耳机被佩戴者听到的声音,第二声音信号表示佩戴者听到的扬声器所播放的声音,根据第一声音信号确定第一声音能量值,其中,第一声音能量值为第一声音信号中所包含的每个频点的能量,根据第二声音信号确定第二声音能量值,其中,第二声音能量值为第二声音信号中所包含的每个频点的能量,根据第一声音能量值和第二声音能量值,确定待更新的滤波参数,基于待更新的滤波参数对预设的滤波器进行参数调整,并采用调整参数后的滤波器对扬声器播放的声音信号进行处理对扬声器播放的声音信号进行处理后,使得第二声音能量值大于第一声音能量值,根据心理声学掩蔽效应,此时佩戴者听到的扬声器播放的声音信号就会掩蔽环境声音穿透耳机被佩戴者听到的声音信号,从而达到主观上听不到环境声音信号的效果,提升用户的听音体验。

本公开中音频的处理方法可以作为耳机的默认降噪模式,在用户每次佩戴耳机后自动触发,无需用户手动开启;也可以作为一种备选的降噪模式,在用户每次佩戴耳机后,在该耳机对应的耳机控制界面显示该降噪模式,需要用户手动选择开启,开启该降噪模式后执行本公开中音频的处理方法。

在步骤S101中,图2是根据一示例性实施例示出的耳机的结构示意图,如图2所示,耳机的声学元器件主要包括:前馈麦克风201、反馈麦克风202、扬声器203。其中,前馈麦克风201置于佩戴后的耳廓外部,用于监测耳机周围的环境声音信号;反馈麦克风202置于佩戴后的耳道内侧,并处于扬声器附近,用于实时监测耳道内的声音信号;扬声器203与音频播放源连接,用于播放音频播放源中的声音信号。

由于不同用户的耳道对声音信号的感知能力不同,并且当用户佩戴耳机时,不同用户佩戴的松紧程度不同,用户通过耳机所听到的声音信号也会不同,因此,用户每次佩戴耳机时,均需要确定目标频率响应曲线。目标频率响应曲线是由耳道信息和佩戴松紧程度等造成不同听觉感受的因素确定的。目标频率响应曲线用来表征在当前佩戴状态下,耳机的佩戴者的耳道接收到的频率响应曲线,即实际播放的声音信号与用户听到的声音信号之间的映射关系。

步骤S102,用户佩戴耳机时,由于半入耳式耳机不是封闭声腔且不同用户耳道信息不同,环境声音的一部分会穿透耳机进入佩戴者耳道内而被用户听到,一部分会保留在佩戴者的耳外,耳外的环境声音用户听不到。基于目标频率响应曲线,能够确定当前用户当前的佩戴状态,环境声音穿透耳机被用户听到的声音信号,即第一声音信号。

步骤S103,用户佩戴耳机时,如果与耳机相连接的电子设备播放音频信号,则音频播放源可以为电子设备中具有播放音频信号功能的应用程序,例如音乐软件或者视频软件等,音频播放源的音频信号会通过耳机的扬声器播放。由于半入耳式耳机不是封闭声腔且不同用户耳道信息不同,扬声器所播放的声音信号会有一部分传输至佩戴者的耳道内被佩戴者听到,一部分会扩散至佩戴者的耳道外,扩散至耳道外的扬声器声音信号用户听不到。基于目标频率响应曲线,能够确定当前用户当前的佩戴状态,佩戴者听到的扬声器所播放的声音信号,即第二声音信号。

步骤S104和步骤S105中,第一声音信号和第二声音信号均为频域信号,分别计算第一声音信号和第二声音信号中所包含的每个频点的能量,即为第一声音能量值和第二声音能量值。声音能量值的计算方式可以为任意能够反映声音信号在每个频点处的能量的方法。第一声音能量值为第一声音信号中所包含的每个频点的能量,因此第一声音能量值能都反映环境声音穿透耳机被佩戴者听到的声音在每个频点处的能量。第二声音能量值为第二声音信号中所包含的每个频点的能量,因此第二声音能量值能都反映佩戴者听到的扬声器所播放的声音在每个频点处的能量。

在步骤S106和步骤S107中,根据第一声音能量值和第二声音能量值之间的数值关系,能够确定佩戴者听到的环境声音和扬声器所播放的声音在每个频点处的关系。当在同一个频点处,第一声音能量值小于第二声音能量值时,说明佩戴者听到的扬声器所播放的声音大于听到的环境声音,根据心理声学掩蔽效应,在该频点处,佩戴者听到的扬声器所播放的声音能够掩蔽听到的环境声音,即佩戴者主观上听不到环境声音,因此无需更新该频点的滤波系数,无需对扬声器播放的该频点的声音信号进行处理。当在同一个频点处,第一声音能量值大于或等于第二声音能量值时,说明佩戴者听到的环境声音大于或等于听到的扬声器所播放的声音,根据心理声学掩蔽效应,在该频点处,佩戴者听到的环境声音能够掩蔽听到的扬声器所播放的声音,即佩戴者主观上听不到扬声器所播放的声音,因此确定待更新的滤波参数,基于待更新的滤波参数对预设的滤波器进行参数调整,并采用调整参数后的滤波器对扬声器播放的声音信号进行处理,以使增大扬声器所播放的声音的能量值。其中,预设的滤波器为能够增大扬声器播放的声音的增益的滤波器,调整预设滤波器的参数后,使用调整参数后的滤波器对扬声器播放的声音信号进行处理,能够使得佩戴者听到扬声器所播放的声音。

在本公开示例性的实施例中,用户佩戴耳机时,获取目标频率响应曲线,基于目标频率响应曲线,确定环境声音穿透耳机被佩戴者听到的第一声音信号和佩戴者听到的扬声器所播放的第二声音信号,根据第一声音信号确定第一声音能量值,根据第二声音信号确定第二声音能量值,根据第一声音能量值和第二声音能量值,确定待更新的滤波参数,基于待更新的滤波参数对预设的滤波器进行参数调整,并采用调整参数后的滤波器对扬声器播放的声音信号进行处理。对扬声器播放的声音信号进行处理后,使得第二声音能量值大于第一声音能量值,根据心理声学掩蔽效应,此时佩戴者听到的扬声器播放的声音信号就会掩蔽环境声音穿透耳机被佩戴者听到的声音信号,从而达到主观上听不到环境声音信号的效果,提升用户的听音体验。

在一示例性实施例中,图3是根据一示例性实施例示出的步骤S102中基于目标频率响应曲线,确定第一声音信号的方法流程图,如图3所示,包括以下步骤:

步骤S301,获取耳机周围的环境声音信号;

步骤S302,根据环境声音信号和预存的第一映射关系,确定第一声音信号;其中,第一映射关系用于表示目标频率响应曲线和第一声音传递路径的映射关系,第一声音传递路径表示耳机的前馈麦克风到耳道的声音传递路径。

在步骤S301中,通过耳机中的前馈麦克风能够获取耳机周围环境声音信号。获取环境声音信号时,基于预设采样时长,通过前馈麦克风获取环境时域信号,得到环境声音在时域上的表达方式。其中,预设采样时长可以根据实际需求自行设定,例如为8秒。获取环境时域信号后,通过傅里叶函数进行时频变换环境声音信号,环境声音信号为环境声音在频域上的表达方式,环境声音信号包括多个频点。

例如,环境时域信号记为s

其中,S

在步骤S302中,第一声音传递路径表示耳机的前馈麦克风到耳道的声音传递路径,由于前馈麦克风能够获取耳机周围环境声音信号,因此第一声音传递路径的映射关系表示环境声音信号传到耳道内的声音传播路径的映射关系。目标频率响应曲线能够反映在当前佩戴状态下,环境声音信号穿透耳机被佩戴者听到的声音信号占环境声音信号的比例。在耳机中预先存储第一映射关系,即不同频点处目标频率响应曲线和第一声音传递路径的映射关系,获取目标频率响应曲线后,根据第一映射关系,能够获取第一声音传递路径的映射关系,根据环境声音信号和第一声音传递路径的映射关系,即可确定第一声音信号。

在一示例中,频点k处的环境声音信号记为A

在一示例性实施例中,图4是根据一示例性实施例示出的步骤S103中基于目标频率响应曲线,确定第二声音信号的方法流程图,如图4所示,包括以下步骤:

步骤S401,获取耳机的扬声器播放的扬声器声音信号

步骤S402,根据扬声器声音信号和预存的第二映射关系,确定第二声音信号;其中,第二映射关系用于表示目标频响曲线和第二声音传递路径的映射关系,第二声音传递路径表示所述耳机的扬声器到耳道的声音传递路径。

在步骤S401中,通过耳机中的电信号采集模块,采集基于音频播放源所播放的扬声器声音信号。获取扬声器声音信号时,基于与环境时域信号相同的采样时长,通过电信号采集模块获取扬声器时域信号,得到扬声器所播放的声音在时域上的表达方式。获取扬声器时域信号后,通过傅里叶函数进行时频变换扬声器声音信号,扬声器声音信号为扬声器所播放的声音在频域上的表达方式,扬声器声音信号包括多个频点。

例如,扬声器时域信号记为s

其中,S

在步骤S402中,第二声音传递路径表示耳机的扬声器到耳道的声音传递路径,由于通过扬声器能够获取扬声器播放的扬声器声音信号,因此第二声音传递路径的映射关系表示扬声器声音信号传到耳道内的声音传播路径的映射关系。目标频率响应曲线能够反映在当前佩戴状态下,佩戴者所听到的扬声器声音信号占扬声器声音信号的比例。在耳机中预先存储第二映射关系,即不同频点处目标频率响应曲线和第二声音传递路径的映射关系,获取目标频率响应曲线后,根据第二映射关系,能够获取第二声音传递路径的映射关系,根据扬声器声音信号和第二声音传递路径的映射关系,即可确定第二声音信号。

在一示例中,频点k处的扬声器声音信号记为C

可以理解的是,当耳机佩戴较松时,耳机扬声器播放的扬声器声音信号扩散到耳外的声音信号会较多,佩戴者听到的第二声音信号较小,因此第二声音传递路径的映射关系较小;耳外的环境声音信号进入耳道内的声音信号也会较多,佩戴者听到的第一声音信号较大,因此第一声音传递路径的映射关系较大。因此,第一声音传递路径的映射关系和第二声音传递路径的映射关系为反向关系。

需要说明的是,步骤S302和步骤S402中耳机中预先存储的第一映射关系和第二映射关系均为预先通过实验数据获得,将耳机佩戴在实验室中的人工头上,确定当前佩戴状态下的目标频率响应曲线,在人工头中放置麦克风,通过人工头中的麦克风获取第一声音信号和第二声音信号,通过耳机的扬声器获得扬声器声音信号,通过耳机的前馈麦克风获取环境声音信号。计算不同频点处环境声音信号和第一声音信号之间的比例关系,确定为第一声音传递路径的映射关系,并根据第一声音传递路径的映射关系和目标频率响应曲线之间的对应关系形成第一映射关系。计算不同频点处扬声器声音信号和第二声音信号之间的比例关系,确定为第二声音传递路径的映射关系,并根据第二声音传递路径的映射关系和目标频率响应曲线之间的对应关系形成第二映射关系。可以理解的是,第一映射关系和第二映射关系也可以合并为一个映射关系,即不同频点处目标频率响应曲线对应的第一声音传递路径的映射关系和第一声音传递路径的映射关系。

在一示例性实施例中,图5是根据一示例性实施例示出的步骤S101中获取目标频率响应曲线的方法流程图,如图5所示,包括以下步骤:

步骤S501,获取测试信号,其中,测试信号是扬声器发出的初始测试信号在佩戴者耳道内传播后被反馈麦克风所采集到的声音信号;

步骤S502,根据初始测试信号和测试信号确定目标频率响应曲线,其中,目标频率响应曲线用于表征用户佩戴的松紧程度和用户的耳道信息。

初始测试信号为耳机的佩戴提示音,用户每次佩戴耳机时都会播放佩戴提示音。通过耳机中的电信号采集模块,采集扬声器所播放提示音生成的时域声音信号,将时域声音信号进行时频变换为形成初始测试信号。初始测试信号的采样时长为佩戴提示音的时长。佩戴者耳道内的测试信号通过耳机中的反馈麦克风获取,包括扬声器播放的初始测试信号和耳外进入的噪声信号。获取佩戴者耳道内的测试信号时,基于与初始测试信号相同的采样时长,通过反馈麦克风采集佩戴者耳道内的时域信号,将时域声音信号进行时频变换为形成测试信号。

例如,佩戴者耳道内的测试信号在时域下记为s

其中,m为时域下第m帧的时域信号,第

由于测试信号与用户佩戴耳机的松紧程度和用户的耳道信息相关,因此根据初始测试信号和测试信号确定目标频率响应曲线,能够反映当前用户在当前佩戴状态下的扬声器声音信号和环境声音信号的传递情况。

在一示例性实施例中,图6是根据一示例性实施例示出的步骤S502中根据初始测试信号和测试信号确定目标频率响应曲线的方法流程图,如图6所示,包括以下步骤:

步骤S601,根据初始测试信号确定第三初始声音能量值,第三初始声音能量值为初始测试信号所包含的每个频点的能量;

步骤S602,根据测试信号确定第三声音能量值,第三声音能量值为测试信号所包含的每个频点的能量;

步骤S603,根据第三声音能量值和第三初始声音能量值,确定目标频率响应曲线。

初始测试信号和测试信号均为频域下的声音信号,均包括多个频点,计算初始测试信号每个频点的能量,即为第三初始声音能量值,计算测试信号每个频点的能量,即为第三声音能量值。每个频点处声音能量值的计算方式可以是任一能够反映声音能量的方式。

在一示例性实施例中,图7是根据一示例性实施例示出的步骤S603中根据第三声音能量值和第三初始声音能量值,确定目标频率响应曲线的方法流程图,如图7所示,包括以下步骤:

步骤S701,根据第三声音能量值和第三初始声音能量值,确定第一参考参数,第一参考参数为每个频点的第三声音能量值与第三初始声音能量值的交叉功率谱;

步骤S702,根据第三初始声音能量值,确定第二参考参数,第二参考参数为每个频点的第三初始声音能量值的自功率谱;

步骤S703,根据第一参考参数和第二参考参数,确定目标频率响应曲线。

在步骤S701中,交叉功率谱可以表示两个声音信号之间的相关性,因此第一参考参数可以为第三声音能量值和第三初始声音能量值的交叉功率谱,通过计算各个频点处的第三声音能量值与第三初始声音能量值的交叉功率谱,确定第一参考参数。其中,第三声音能量值和第三初始声音能量值交叉功率谱为同一频点处第三声音能量值和第三初始声音能量值的乘积。

例如,将第k个频点的第三声音能量值记为A(k),将第k个频点的第三初始声音能量值记为B(k),将第一参考参数记为G

G

在步骤S702中,自功率谱可以表示声音信号的自相关性,因此第二参考参数可以为第三初始声音能量值的自功率谱,通过计算各个频点处的第三初始声音能量值的自功率谱,确定第二参考参数。其中,第三初始声音能量值自功率谱为每个频点处第三初始声音能量值的平方。

例如,将第k个频点的第三初始声音能量值记为A(k),将第二参考参数记为G

G

在步骤S703中,获得第一参考参数和第二参考参数后,根据第一参考参数和第二参考参数,确定目标频率响应曲线。目标频率响应曲线表示耳机佩戴相关的参数,在初始测试信号相同的情况下,不同佩戴状态下用户听到的测试信号不同,由于第一参考参数能够反映初始测试信号和耳道内的测试信号之间的相关性,第二参考参数能够反映初始测试信号的自相关性,因此,确定目标频率响应曲线时,可以将同一频点处的第一参考参数与第二参考参数的比值作为目标频率响应曲线上的该频点的频响参数,由每个频点的频响参数形成目标频率响应曲线。。例如,在频点k处,第一参考参数为G

由于每个用户的耳道信息以及佩戴方式不同,声学路径的频响也会不同,从而导致同样的初始测试信号不同用户听到的不同,本实施例中,在用户每次佩戴耳机后,通过初始测试信号实时准确地获得目标频率响应曲线,用以表征声学路径频响曲线,反映当前佩戴状态下初始测试信号和人耳实际听到测试信号之间的映射关系。

在一示例性实施例中,步骤S106中根据第一声音能量值和第二声音能量值,确定待更新的滤波参数,包括:第一声音能量值大于第二声音能量值时,确定待更新的滤波参数。

确定第一声音能量值和第二声音能量值后,根据对应频点处第一声音能量值和第二声音能量值的数值关系,确定待更新的滤波参数。在频点为k时,第一声音能量值记为S

本公开示例性的实施例中,用户佩戴耳机时,通过确定目标频率响应曲线,获知当前佩戴状态下初始声音信号和人耳实际听到声音信号之间的映射关系,基于特征参数,确定初始声音信号在佩戴者耳道内的声音信号对应的第一声能量信息,以及初始噪声信号在佩戴者耳道内的噪声信号对应的第二声能量信息,根据第一声能量信息和第二声能量信息的数值关系,当确定耳道内的声音信号会被耳道内的噪声信号掩蔽,通过调整初始声音信号,使得第一声能量信息大于第二声能量信息。本公开中的方法对耳机硬件结构要求不高,并且不要求复杂的降噪算法设计,利用心理声学掩蔽效应,让初始声音信号在用户耳道内的声音信号掩蔽初始噪声信号在耳道内的噪声信号,从而达到佩戴者主观上听不到噪声信号的效果,提升用户的听音体验。

本公开示例性的实施例中,提供一种音频的处理装置,应用于耳机。图8是根据一示例性实施例示出的一种音频的处理装置的框图,如图8所示,处理装置包括:

获取模块801,被配置为获取目标频率响应曲线,所述目标频率响应曲线为所述耳机的佩戴者的耳道接收到的频率响应曲线;

第一确定模块802,被配置为基于所述目标频率响应曲线,确定第一声音信号;其中,所述第一声音信号表示环境声音穿透耳机被所述佩戴者听到的声音;

第二确定模块803,被配置为基于所述目标频率响应曲线,确定第二声音信号;其中,所述第二声音信号表示所述佩戴者听到的扬声器所播放的声音;

第三确定模块804,被配置为根据所述第一声音信号确定第一声音能量值,其中,所述第一声音能量值为所述第一声音信号中所包含的每个频点的能量;

第四确定模块805,被配置为根据所述第二声音信号确定第二声音能量值,其中,所述第二声音能量值为所述第二声音信号中所包含的每个频点的能量;

第五确定模块806,被配置为根据所述第一声音能量值和所述第二声音能量值,确定待更新的滤波参数;

处理模块807,被配置为基于待更新的滤波参数对预设的滤波器进行参数调整,并采用调整参数后的滤波器对所述扬声器播放的声音信号进行处理。

在一示例性实施例中,所述第一确定模块802还被配置为:

获取耳机周围的环境声音信号;

根据所述环境声音信号和预存的第一映射关系,确定所述第一声音信号;其中,所述第一映射关系用于表示目标频率响应曲线和第一声音传递路径的映射关系,所述第一声音传递路径表示所述耳机的前馈麦克风到耳道的声音传递路径。

在一示例性实施例中,所述第二确定模块803还被配置为:

获取耳机的扬声器播放的扬声器声音信号

根据所述扬声器声音信号和预存的第二映射关系,确定第二声音信号;其中,所述第二映射关系用于表示目标频响曲线和第二声音传递路径的映射关系,所述第二声音传递路径表示所述耳机的扬声器到耳道的声音传递路径。

在一示例性实施例中,所述获取模块801还被配置为:

获取测试信号,其中,测试信号是扬声器发出的初始测试信号在佩戴者耳道内传播后被反馈麦克风所采集到的声音信号;

根据初始测试信号和测试信号确定所述目标频率响应曲线,其中,所述目标频率响应曲线用于表征用户佩戴的松紧程度和所述用户的耳道信息。

在一示例性实施例中,所述获取模块801还被配置为:

根据所述初始测试信号确定第三初始声音能量值,所述第三初始声音能量值为所述初始测试信号所包含的每个频点的能量;

根据所述测试信号确定第三声音能量值,所述第三声音能量值为所述测试信号所包含的每个频点的能量;

根据所述第三声音能量值和所述第三初始声音能量值,确定所述目标频率响应曲线。

在一示例性实施例中,所述获取模块801还被配置为:

根据所述第三声音能量值和所述第三初始声音能量值,确定第一参考参数,所述第一参考参数为每个频点的所述第三声音能量值与所述第三初始声音能量值的交叉功率谱;

根据所述第三初始声音能量值,确定第二参考参数,所述第二参考参数为每个频点的所述第三初始声音能量值的自功率谱;

根据所述第一参考参数和所述第二参考参数,确定所述目标频率响应曲线。

在一示例性实施例中,所述获取模块801还被配置为:

将每个频点的所述第一参考参数与所述第二参考参数的比值,作为所述目标频率响应曲线的频响参数,并形成所述目标频率响应曲线。

在一示例性实施例中,所述第五确定模块806还被配置为:

所述第一声音能量值小于或等于所述第二声音能量值时,确定待更新的滤波参数。

在一示例性实施例中,所述第一确定模块802还被配置为:

获取环境时域信号,所述环境时域信号是环境声音在时域上的表达方式;

对所述环境时域信号进行时频变换,得到环境声音信号,其中,所述环境声音信号是环境声音在频域上的表达方式,环境声音信号包括多个频点。

在一示例性实施例中,所述第二确定模块802还被配置为

获取扬声器时域信号,所述扬声器时域信号是扬声器声音在时域上的表达方式;

对所述扬声器时域信号进行时频变换,得到扬声器声音信号,其中,所述扬声器声音信号是扬声器声音在频域上的表达方式,扬声器声音信号包括多个频点。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

本公开示例性的实施例中,提供一种耳机,所述耳机包括壳体和设置于所述壳体上的前馈麦克风、反馈麦克风、扬声器以及控制器,所述控制器分别与所述前馈麦克风、所述反馈麦克风和所述扬声器通信连接;

所述前馈麦克风,用于采集所述耳机周围的环境声音信号;

所述反馈麦克风,用于采集所述耳机佩戴者的耳道内的声音信号;

所述扬声器用于播放扬声器声音信号和初始测试信号;

所述控制器包括处理器和存储器,所述存储器存储有可被所述处理器执行的计算机程序指令,所述处理器被配置为调用所述计算机程序指令执行如本公开中的音频的处理方法。

图9是根据一示例性实施例示出的一种耳机装置900的框图。

参照图9,装置900可以包括以下一个或多个组件:处理组件902,存储器904,电源组件906,多媒体组件908,音频组件910,输入/输出(I/O)的接口912,传感器组件914,以及通信组件916。

处理组件902通常控制装置900的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件902可以包括一个或多个模块,便于处理组件902和其他组件之间的交互。例如,处理组件902可以包括多媒体模块,以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在装置900的操作。这些数据的示例包括用于在装置900上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。

电源组件906为装置900的各种组件提供电源。电源组件906可以包括电源管理系统,一个或多个电源,及其他与为装置900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述装置900和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件908包括一个前置摄像头和/或后置摄像头。当装置900处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如,音频组件910包括一个麦克风(MIC),当装置900处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中,音频组件910还包括一个扬声器,用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器,用于为装置900提供各个方面的状态评估。例如,传感器组件914可以检测到装置900的打开/关闭状态,组件的相对定位,例如所述组件为装置900的显示器和小键盘,传感器组件914还可以检测装置900或装置900一个组件的位置改变,用户与装置900接触的存在或不存在,装置900方位或加速/减速和装置900的温度变化。传感器组件914可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件914还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件916被配置为便于装置900和其他设备之间有线或无线方式的通信。装置900可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件916还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。

在示例性实施例中,装置900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器904,上述指令可由装置900的处理器920执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器调用时,执行如本公开中所述的音频的处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。

应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

技术分类

06120115630825