掌桥专利:专业的专利平台
掌桥专利
首页

头戴音频播放设备

文献发布时间:2024-04-18 19:58:30


头戴音频播放设备

技术领域

本申请涉及电子技术领域,尤其涉及一种头戴音频播放设备。

背景技术

目前,头戴音频播放设备,例如,虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)、混合现实(Mixed Reality,MR)、扩展现实(Extended Reality,XR)等沉浸式设备,扬声器往往位于近耳处播放音频信号,这样可以保证播放的音频可以被设备使用者很好的感知的同时又避免了被周围的人听到。然而这样也会导致一些问题,例如,当用户在使用沉浸式设备时,设备播放的音频会掩盖掉现实世界的声音,影响用户与现实世界的信息获取和交互。尤其是对话场景,正常的语音交流音量在远距离时是会被沉浸式设备播放的音频掩蔽掉,导致使用者不能交流。由此可见,在现有技术中,在用户使用头戴音频播放设备过程中,头戴音频播放设备播放的音频对用户听取现实环境的音频信号的影响较大。

发明内容

本申请实施例提供一种头戴音频播放设备,能够减少在用户使用头戴音频播放设备过程中头戴音频播放设备播放的音频对用户听取现实环境的音频信号的影响。

本申请实施例提供了一种头戴音频播放设备,该头戴音频播放设备包括音频采集模块、增强模块和播放模块:

所述音频采集模块用于采集环境音频信号;

所述增强模块包括能量检测单元和增强处理单元,所述能量检测单元用于检测采集的第一环境音频信号的音频指标值,所述能量检测单元还用于检测音频内容中的第一音频信号的音频指标值,所述音频指标值包括声压级或者能量值;所述增强处理单元用于在所述第一音频信号的第一参数值小于或等于第一预设阈值的情况下,对所述第一环境音频信号进行放大处理,得到第二环境音频信号;其中,所述第一参数值根据所述第一环境音频信号的音频指标值和所述第一音频信号的音频指标值计算得到;

所述播放模块用于在所述第一参数值小于或等于所述第一预设阈值的情况下播放所述第一音频信号和所述第二环境音频信号。

本申请实施例中,头戴音频播放设备包括音频采集模块、增强模块和播放模块,所述增强模块包括能量检测单元和增强处理单元,所述能量检测单元用于检测采集的第一环境音频信号的音频指标值,所述能量检测单元还用于检测音频内容中的第一音频信号的音频指标值,所述音频指标值包括声压级或者能量值;所述增强处理单元用于在所述第一音频信号的第一参数值小于或等于第一预设阈值的情况下,对所述第一环境音频信号进行放大处理,得到第二环境音频信号;其中,所述第一参数值根据所述第一环境音频信号的音频指标值和所述第一音频信号的音频指标值计算得到;所述播放模块用于在所述第一参数值小于或等于所述第一预设阈值的情况下播放所述第一音频信号和所述第二环境音频信号,也即本申请实施例的头戴音频播放设备可以根据头戴音频播放设备所播放的音频内容的音频信号和采集的环境音频信号的音频指标值的差值来判断是否需要放大采集的环境音频信号,在确定需要放大采集的环境音频信号的情况下放大采集的环境音频信号,并通过播放模块播放音频内容的音频信号和放大后的环境音频信号,这样可以减少头戴音频播放设备播放的音频对用户获取现实环境的音频的影响,使得用户在使用头戴音频播放设备播放音频的过程中仍可以较为清晰地听到现实环境的音频信号。

附图说明

图1是本申请实施例提供的一种头戴音频播放设备的结构示意图之一;

图2是本申请实施例提供的一种头戴音频播放设备的结构示意图之二;

图3是本申请实施例提供的头戴音频播放设备进行掩蔽分析的流程图;

图4是本申请实施例提供的一种头戴音频播放设备的结构示意图之三;

图5是本申请实施例提供的一种头戴音频播放设备的结构示意图之四。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的头戴音频播放设备进行详细地说明。

参见图1,图1是本申请实施例提供的一种头戴音频播放设备的示意图,如图1所示,头戴音频播放设备1包括音频采集模块10、增强模块20和播放模块30,其中:

所述音频采集模块10用于采集环境音频信号;

所述增强模块20包括能量检测单元21和增强处理单元22,所述能量检测单元21用于检测采集的第一环境音频信号的音频指标值,所述能量检测单元21还用于检测音频内容中的第一音频信号的音频指标值,所述音频指标值包括声压级或者能量值;所述增强处理单元22用于在所述第一音频信号的第一参数值小于或等于第一预设阈值的情况下,对所述第一环境音频信号进行放大处理,得到第二环境音频信号;其中,所述第一参数值根据所述第一环境音频信号的音频指标值和所述第一音频信号的音频指标值计算得到;

所述播放模块30用于在所述第一参数值小于或等于所述第一预设阈值的情况下播放所述第一音频信号和所述第二环境音频信号。

上述头戴音频播放设备可以包括但不限于VR设备、AR设备、MR设备、XR设备等沉浸式设备,耳机,挂脖式音箱等。其中,上述耳机,例如,真无线立体声(True WirelessStereo,TWS)耳机。需要说明的是,本实施例为了便于理解,以下以上述头戴音频播放设备为沉浸式设备为例进行说明。

上述音频采集模块10用于采集环境音频信号,例如,上述音频采集模块1010可以包括麦克风阵列,用于采集环境中的音频信号。在一些示例中,上述音频采集模块10还可以包括前处理算法模块,用于对麦克风阵列采集的环境音频信号进行前处理或预处理,例如,对麦克风阵列采集的环境音频信号进行波束合成、降噪和回声消除等中的至少一项。在一些示例中,可以将麦克风阵列采集的环境音频信号和播放模块30的反馈信号共同输入上述前处理算法模块,以对麦克风阵列采集的环境音频信号进行前处理或预处理,得到相对干净的环境音频信号并输入至增强模块20。

上述音频指标值可以包括声压级或者能量值。上述能量检测单元21用于检测采集的第一环境音频信号的音频指标值,即检测第一环境音频信号的声压级或者能量值。其中,上述第一环境音频信号可以是上述音频采集模块10采集的任意环境音频信号。上述能量检测单元21还用于检测音频内容中的第一音频信号的音频指标值,即检测第一音频信号的声压级或者能量值。其中,上述音频内容可以是上述头戴音频播放设备需播放的任意音频内容,上述第一音频信号可以是上述音频内容的任意音频信号,例如,上述第一音频信号可以是上述音频内容的任意一帧或连续N帧音频信号,或者是上述音频内容的任意目标时间单位的音频信号等,其中,N为大于1的整数,上述目标时间单位可以根据实际需求进行合理设置,例如,10毫米、30毫米或1秒等。

在一些示例中,上述能量检测单元21可以包括第一能量检测单元和第二能量检测单元,第一能量检测单元用于检测音频内容的音频信号的音频指标值,第二能量检测单元用于检测采集的环境音频信号的音频指标值。

需要说明的是,上述第一环境音频信号和上述第一音频信号对应,例如,上述第一环境音频信号为当前采集的环境音频信号,上述第一音频信号为音频内容中当前待播放的音频信号。

上述第一参数值根据所述第一环境音频信号的音频指标值和所述第一音频信号的音频指标值计算得到,例如,上述第一参数值为所述第一环境音频信号的音频指标值和所述第一音频信号的音频指标值的差值或者差值的绝对值或者比值等。上述第一预设阈值可以是由用户预设的值,或者,可以是根据第一音频信号的音频指标值和预设偏置值确定的值,其中,上述预设偏置值可以根据用户的听力情况进行合理设置,示例性地,上述预设偏置值可以为3dB(分贝)。

上述增强处理单元22用于在所述第一音频信号的第一参数值小于或等于第一预设阈值的情况下,对所述第一环境音频信号进行放大处理,得到第二环境音频信号,也即第二环境音频信号为放大后的第一环境音频信号。示例性地,上述增强处理单元22可以采用预设增益值对第一环境音频信号进行放大处理,或者,上述增强处理单元22可以根据上述第一预设阈值与上述第一参数值的差值确定增益值,并基于确定的增益值对第一环境音频信号进行放大处理。需要说明的是,在所述第一音频信号的第一参数值大于第一预设阈值的情况下,上述增强处理单元22不对所述第一环境音频信号进行放大处理。

可以理解的是,对于所述第一音频信号的第一参数值小于或等于第一预设阈值的情况,认为当前环境音频信号会被头戴音频播放设备的音频内容的音频信号掩蔽,导致佩戴者无法听清,所以此时需要对环境音频信号进行放大;对于所述第一音频信号的第一参数值大于第一预设阈值的情况,认为环境音频信号不会被头戴音频播放设备的音频内容的音频信号掩蔽,所以此时不需要对环境音频信号进行放大处理。

在一些示例中,上述增强模块20可以包括控制器或处理器等,例如,微控制单元(Microcontroller Unit,MCU)。

上述播放模块30可以包括扬声器,用于在所述第一参数值小于或等于所述第一预设阈值的情况下播放所述第一音频信号和所述第二环境音频信号。在一些示例中,在所述第一参数值大于所述第一预设阈值的情况下,上述播放模块30可以仅播放第一音频信号,或者播放第一音频信号和未经放大处理的环境音频信号,即播放第一音频信号和第一环境音频信号。

本申请实施例提供的头戴音频播放设备可以根据头戴音频播放设备所播放的音频内容的音频信号和采集的环境音频信号的音频指标值的差值来判断是否需要放大采集的环境音频信号,在确定需要放大采集的环境音频信号的情况下放大采集的环境音频信号,并通过播放模块30播放音频内容的音频信号和放大后的环境音频信号,这样可以减少头戴音频播放设备播放的音频对用户获取现实环境的音频的影响,使得用户在使用头戴音频播放设备播放音频的过程中仍可以较为清晰地听取现实环境的音频。

可选地,在所述第一参数值大于所述第一预设阈值的情况下,所述播放模块30播放所述第一音频信号和所述第一环境音频信号。

本实施例中,在所述第一参数值大于所述第一预设阈值的情况下,所述播放模块30播放所述第一音频信号和所述第一环境音频信号,相比于直接听外部的环境音频信号,通过头戴音频播放设备播放环境音频信号可以减少因头戴音频播放设备对用户耳朵的掩蔽对环境音频信号的削弱作用,进而更有利于用户清晰地听取环境的音频信号。

可选地,在所述音频指标值为所述声压级的情况下,所述第一参数值为所述第一环境音频信号的声压级和所述第一音频信号的声压级之间的差值;

在所述音频指标值为所述能量值的情况下,所述第一参数值根据

在一实施方式中,所述音频指标值为所述声压级,所述第一参数值为所述第一环境音频信号的声压级和所述第一音频信号的声压级之间的差值。其中,上述第一环境音频信号的声压级等于20*log

本实施方式中,根据第一环境音频信号的声压级和所述第一音频信号的声压级之间的差值作来评估第一环境音频信号是否会被第一音频信号掩蔽,可以保证评估结果的准确性。

在另一实施方式中,所述音频指标值为所述能量值,所述第一参数值根据

在一些示例中,上述能量检测单元21可以采取时间平滑策略对音频信号进行能量检测,以提高输出能量的稳定性,避免能量的瞬时变化过大造成错误的掩蔽分析。

本实施方式根据第一环境音频信号的能量值和所述第一音频信号的能量值,采用

可选地,参见图2,所述增强模块20还包括运算单元23,所述运算单元23用于获取所述第一参数值,并判断所述第一参数值是否小于或等于所述第一预设阈值;

其中,若所述运算单元23判断所述第一参数值小于或等于所述第一预设阈值,则获取第一增益值,所述增强处理单元22根据所述第一增益值对所述第一环境音频信号进行放大处理。

示例性地,上述获取第一增益值,可以是由运算单元23计算得到第一增益值,或者,可以是由增强处理单元22读取第一增益值,例如,增强处理单元22从存储器读取预设的第一增益值。

需要说明的是,上述运算单元23也可以称为掩蔽分析模块。

本实施例中,增强处理单元22根据获取的第一增益值对所述第一环境音频信号进行放大处理,可以提高对所述第一环境音频信号进行放大处理控制的便捷性和准确性。

可选地,所述第一增益值由所述运算单元23根据所述第一预设阈值和所述第一参数值之间的差值确定。

在一些示例中,上述第一增益值可以基于如下公式计算得到:

g1=10

其中,g1表示第一增益值,THD1表示第一预设阈值,Re1表示第一参数值。

本实施例中第一增益值由所述运算单元23根据所述第一预设阈值和所述第一参数值之间的差值,这样基于第一增益值对第一环境信号进行放大处理,有利于保证放大后的环境音频信号不会被第一音频信号掩蔽,使得用户可以较为清晰地听取环境音频信号。

可选地,所述音频内容包括顺次播放的所述第一音频信号和第二音频信号;

所述能量检测单元21还用于检测所述第二音频信号的音频指标值,所述能量检测单元21还用于检测采集的第三环境音频信号的音频指标值,所述增强处理单元22还用于在所述第二音频信号的第二参数值小于或等于第二预设阈值的情况下,对所述第三环境音频信号进行放大处理,得到第四环境音频信号;所述第二参数值根据所述第三环境音频信号的音频指标值和所述第二音频信号的音频指标值计算得到;

其中,在所述第二参数值小于或等于所述第二预设阈值的情况下,所述播放模块30播放所述第二音频信号和所述第四环境音频信号;

在所述第二参数值大于所述第二预设阈值的情况下,所述播放模块30播放所述第二音频信号和所述第三环境音频信号。

上述第二音频信号的播放顺序位于第一音频信号之后,例如,上述第二音频信号为上述第一音频信号的下一帧音频信号。上述第三环境音频信号与上述第二音频信号对应,例如,上述第二音频信号为音频内容中当前待播放的音频信号,上述第三环境音频信号为当前采集的环境音频信号。

本实施例中,在所述第二音频信号的第二参数值小于或等于第二预设阈值的情况下,认为当前环境音频信号会被头戴音频播放设备的音频内容的音频信号掩蔽,导致佩戴者无法听清,因此,所述增强处理单元22对所述第三环境音频信号进行放大处理,且所述播放模块30播放第二音频信号和放大后的环境音频信号(即第四环境音频信号);在所述第二音频信号的第二参数值大于第二预设阈值的情况下,认为当前环境音频信号不会被头戴音频播放设备的音频内容的音频信号掩蔽,因此,所述增强处理单元22不对所述第三环境音频信号进行放大处理,且所述播放模块30播放第二音频信号和未被放大的环境音频信号(即第三环境音频信号),这样可以减少头戴音频播放设备播放的音频对用户获取现实环境的音频的影响,使得用户在使用头戴音频播放设备播放音频的过程中仍可以较为清晰地听取现实环境的音频。

可选地,在所述音频指标值为所述声压级的情况下,所述第二参数值为所述第三环境音频信号的声压级和所述第二音频信号的声压级之间的差值;

在所述音频指标值为所述能量值的情况下,所述第二参数值根据

需要说明的是,上述第二参数值的计算可以参见前述第一参数值的计算的相关说明,在此不做赘述。

可选地,所述能量检测单元获取的所述第一音频信号的音频指标值为所述声压级和所述能量值中的一种,所述能量检测单元获取的所述第二音频信号的音频指标值为所述声压级和所述能量值中的另一种。

本实施例中,能量检测单元可以具备检测音频信号的多种音频指标值的能力,也即上述能量检测单元具备检测音频信号的声压级和能量值的能力,这样可以根据当前的音频信号的特征选择更为合适的一种音频指标值进行检测,例如,在判断出当前的音频信号更合适采用声压级进行有分析的情况下,检测当前的音频信号的声压级,在判断出当前的音频信号更合适采用能量值进行有分析的情况下,检测当前的音频信号的能量值,这样有利于提高音频信号分析的灵活性和准确性。

同样地,所述能量检测单元获取的所述第一环境音频信号的音频指标值为所述声压级和所述能量值中的一种,所述能量检测单元获取的所述第三音频信号的音频指标值为所述声压级和所述能量值中的另一种。

可以理解的是,上述第一环境音频信号的音频指标值和上述第一音频信号的音频指标值应保持相同,上述第三环境音频信号的音频指标值和上述第二音频信号的音频指标值应保持相同。

可选地,根据所述增强模块20是否处于对所述第一环境音频信号进行放大的工作状态,设定所述第二预设阈值;

其中,在所述增强模块20未处于对所述第一环境音频信号进行放大的工作状态的情况下,设定所述第二预设阈值为第一预设值;

在所述增强模块20处于对所述第一环境音频信号进行放大的工作状态的情况下,设定所述第二预设阈值为第二预设值;所述第二预设值大于所述第一预设值。

示例性地,可以由增强模块20设定第二预设阈值,即增强模块20还用于设定第二预设阈值。例如,可以在所述增强模块20未处于对所述第一环境音频信号进行放大的工作状态的情况下,所述增强模块20的运算单元23设定所述第二预设阈值为第一预设值;在所述增强模块20处于对所述第一环境音频信号进行放大的工作状态的情况下,所述增强模块20的运算单元23设定所述第二预设阈值为第二预设值。需要说明的是,本申请实施例也可以是由其他模块设置第二预设阈值,例如,播放模块30。

上述增强模块20未处于对所述第一环境音频信号进行放大的工作状态,也即上述增强模块20未对第一环境音频信号进行放大,相应地,播放模块30播第一音频信号和第一环境音频信号。上述增强模块20处于对所述第一环境音频信号进行放大的工作状态,也即上述增强模块20对第一环境音频信号进行放大处理,得到放大后的环境音频信号,即第二环境音频信号,相应地,播放模块30播放第一音频信号和第二环境音频信号。

本申请实施例中,在所述增强模块20未处于对所述第三环境音频信号进行放大的工作状态的情况下,设定所述第二预设阈值为第一预设值;在所述增强模块20处于对所述第三环境音频信号进行放大的工作状态的情况下,设定所述第二预设阈值为第二预设值,由于所述第二预设值大于所述第一预设值,这样可以防止状态切换过于生硬,减少因根据音频信号的音频指标值计算的参数值在阈值附近波动而导致的工作状态的频繁切换,即在放大环境音频信号和不放大环境音频信号之间频繁切换,造成音频信号断续或者忽大忽小,影响增强效果。

可选地,根据所述播放模块30是否处于播放所述第二环境音频信号的状态,设定所述第二预设阈值;

其中,在所述播放模块30处于播放所述第一环境音频信号的状态的情况下,设定所述第二预设阈值为第一预设值;

在所述播放模块30处于播放所述第二环境音频信号的状态的情况下,设定所述第二预设阈值为第二预设值;所述第二预设值大于所述第一预设值。

示例性地,可以由增强模块20设定第二预设阈值,即增强模块20还用于设定第二预设阈值。例如,在所述播放模块30处于播放所述第一环境音频信号的状态的情况下,所述增强模块20的运算单元23设定所述第二预设阈值为第一预设值;在所述播放模块30处于播放所述第二环境音频信号的状态的情况下,所述增强模块20的运算单元23设定所述第二预设阈值为第二预设值;所述第二预设值大于所述第一预设值。需要说明的是,本申请实施例也可以是由其他模块设置第二预设阈值,例如,播放模块30。

具体地,播放模块30处于播放所述第一环境音频信号的状态,表明增强模块20未对第一环境音频信号进行放大处理;播放模块30处于播放所述第二环境音频信号的状态,表明增强模块20对第一环境音频信号进行了放大处理,得到放大后的环境音频信号,即第二环境音频信号。

本申请实施例中,在所述播放模块30处于播放所述第一环境音频信号的状态的情况下,设定所述第二预设阈值为第一预设值;在所述播放模块30处于播放所述第二环境音频信号的状态的情况下,设定所述第二预设阈值为第二预设值;由于所述第二预设值大于所述第一预设值,这样可以防止状态切换过于生硬,减少因根据音频信号的音频指标值计算的参数值在阈值附近波动而导致的工作状态的频繁切换,即在放大环境音频信号和不放大环境音频信号之间频繁切换,造成音频信号断续或者忽大忽小,影响增强效果。

可选地,在所述音频指标值为所述声压级的情况下,所述第一预设值为所述第二音频信号的声压级与预设偏置值之差,所述第二预设值为所述第二音频信号的声压级与预设偏置值之和;

在所述音频指标值为所述能量值的情况下,所述第一预设值为所述第二音频信号的第三参数值与预设偏置值之差,所述第二预设值为所述第二音频信号的第三参数值与预设偏置值之和,其中,所述第二音频信号的第三参数值为log

本实施例中,上述预设偏置值可以根据实际需求进行合理设置,例如,上述预设偏置值可以为3dB或4dB等。

示例性地,上述预设偏置值可以基于不同音频信号之间可被用户区分的最小声音强度差值确定,例如,若两个音频信号之间的声音强度至少相差XdB,用户可以区分这两个音频信号,则上述预设偏置值可以设为XdB。

具体地,上述第一预设值和第二预设值可以基于如下公式计算得到:

其中,Δ表示预设偏置值;THD_L1表示第一预设值;THD_H1表示第二预设值;在所述音频指标值为所述声压级的情况下,E1表示所述第二音频信号的声压级,在所述音频指标值为所述能量值的情况下,E1表示log

本实施例基于第二音频信号的声压级或能量值和预设偏置值确定用于对第二音频信号进行掩蔽分析的预设阈值(即第二预设阈值),这样有利于保证基于确定的预设阈值可以较为准确地评估第二音频信号对第三环境音频信号的掩蔽情况。

可选地,所述第一预设阈值根据所述第一音频信号的音频指标值和预设偏置值确定。

示例性地,若在播放第一音频信号之前不存在音频内容的音频信号处于播放状态,则在所述音频指标值为所述声压级的情况下,可以设置第一预设阈值为所述第一音频信号的声压级与预设偏置值的差值;在所述音频指标值为所述能量值的情况下,可以设置第一预设阈值为所述第一音频信号的第三参数值与预设偏置值的差值,其中,所述第一音频信号的第三参数值为log

若在播放第一音频信号之前已存在音频内容的音频信号处于播放状态,则可以根据所述增强模块20是否处于目标环境音频信号进行放大的工作状态,设定所述第一预设阈值,或者,可以根据所述播放模块30是否处于播放放大后的目标环境音频信号的状态,设定所述第二预设阈值,其中,上述目标环境音频信号为采集的环境音频信号中与位于第一音频信号之前播放的音频信号对应的环境音频信号。需要说明的是,在播放第一音频信号之前已存在音频内容的音频信号处于播放状态的情况下,第一预设阈值的具体设定方式可以参见上述第二预设阈值的设定方式,在此不做赘述。

本实施例中,第一预设阈值根据所述第一音频信号的音频指标值和预设偏置值确定,这样有利于保证基于确定的预设阈值可以较为准确地评估第一音频信号对第一环境音频信号的掩蔽情况。

可选地,所述头戴音频播放设备还包括调整模块,所述调整模块用于调整所述预设偏置值。

本实施例的头戴音频播放设备还包括调整模块,这样用户可以基于上述调整模块调整预设偏置值,例如,上述调整模块可以接收用户输入的偏置值,并将预设偏置值调整为用户输入的偏置值。

实际情况中,不同用户的听觉灵敏度可能不相同,因此,用户可以根据其听觉灵敏度,通过上述调整模块设置其对应的预设偏置值,这样便于满足不同用户的听觉需求。

以下结合图3对本实施例的掩蔽分析过程进行举例说明:

参见图3,本申请实施例的头戴音频播放设备进行掩蔽分析的过程包括如下步骤:

步骤301、加载环境语音帧和内容音频帧。

该步骤中,上述环境语音帧为音频采集模块采集的环境语音的音频信号帧。上述内容音频帧为头戴音频播放设备的内容音频的音频信号帧。其中,上述内容音频也可称为音频内容。

步骤302、计算Re。

示例性地,该步骤中,运算单元23计算环境语音帧和内容音频帧的声压级差Re。

步骤303、Re>THD?

示例性地,该步骤中,运算单元23判断Re是否大于预设阈值,其中,在Re小于或等于预设阈值的情况下,认为当前环境语音会被内容音频掩蔽,导致佩戴者无法听清,所以此时需要对环境语音帧进行放大,即执行步骤304;对于Re大于THD的情况,认为环境语音不会被内容音频掩蔽,所以此时不需要对环境语音帧进行放大,即执行步骤305。

需要说明的是,在当前播放处于放大状态的环境语音帧的情况下,设置上述THD为THD_H,在当前未播放处于放大状态的环境语音帧的情况下,设置上述THD为THD_L。其中,上述THD_H和THD_L基于如下公式计算:

其中,E表示内容音频帧的声压级,Δ表示预设偏置值,Δ可由用户根据个人灵敏度设置,一般情况下可设置为3dB。

步骤304、根据计算的g放大环境语音帧。

示例性地,在该步骤中,运算单元23可以基于公式g=10

步骤305、不放大环境语音帧。

步骤306、是否存在下一帧。

在该步骤中,在存在下一环境语音帧和内容音频帧的情况下,可以返回执行步骤301,并根据是否处于放大状态设置THD,否则可以结束流程。

步骤307、判断是否处于放大状态。

示例性地,在该步骤中,在当前环境语音帧处于放大状态的情况下,执行步骤309,否则执行步骤308。也即,在执行步骤303的情况下,设置THD=THD_H,在执行步骤304的情况下,设置THD=THD_L。

步骤308、设置THD=THD_L。

也即对下一环境语音帧和内容音频帧,采用THD=THD_L进行判断。

步骤309、设置THD=THD_H。

也即对下一环境语音帧和内容音频帧,采用THD=THD_H进行判断。

可选地,参见图4,所述头戴音频播放设备1还包括听力补偿模块40;

在所述第一参数值小于或等于所述第一预设阈值的情况下,所述听力补偿模块用于对所述第一音频信号和所述第二环境音频信号的第一频率单元进行放大处理,所述播放模块30播放所述第一频率单元经放大处理后的第一音频信号和第二环境音频信号,其中,所述第一频率单元为用户存在听力损伤的频率单元,所述频率单元包括频点或频带。

本实施例中,可以预先分别对用户进行听力测试,以得到用户的听力曲线,例如,分别测试用户的两个耳朵分别在500Hz、1kHz、2kHz、4kHz、6kHz、8kHz八个频点下的听力阈值,以得到用户两个耳朵各自的听力曲线,其中,每个耳朵的听力曲线由每个耳朵在500Hz、1kHz、2kHz、4kHz、6kHz、8kHz八个频点下的听力阈值形成。进而可以分别根据用户的听力曲线确定用户存在听力损失的频率单元,例如,将听力阈值大于或等于对应的参考阈值的频率单元确定为用户存在听力损失的频率单元。

需要说明的是,在频率单元为频点的情况下,可以将用户在各个频点下的听力阈值与对应的参考阈值进行比较,将听力阈值大于或等于对应的参考阈值的频点确定为用户存在听力损失的频点;在频率单元为频带的情况下,可以将用户在频带的中心频点下的听力阈值与对应的参考阈值进行比较,将听力阈值大于或等于对应的参考阈值的中心频点所属的频带确定为用户存在听力损失的频带。

本实施例中,在所述第一参数值小于或等于所述第一预设阈值的情况下,所述听力补偿模块对所述第一音频信号和所述第二环境音频信号的第一频率单元进行放大处理,例如,听力补偿模块可以采用目标增益值对所述第一音频信号和所述第二环境音频信号的第一频率单元进行放大处理,其中,上述目标增益值可以是预设的增益值,或者可以是根据用户的听力损失类型计算的增益值等;相应地,播放模块30播放第一频率单元经听力补偿模块放大处理后的第一音频信号和第二环境音频信号,这样可以实现对用户听力较弱的频率单元进行针对性补偿,使得用户可以更为清晰地听见受损频率单元的音频信号。

可选地,所述头戴音频播放设备还包括听力补偿模块,所述听力补偿模块用于:

根据用户的听力曲线确定用户的听力损失类型,其中,所述听力曲线包括所述用户对音频信号的不同频率单元的听力阈值,所述频率单元包括频点或频带;

根据所述听力损失类型确定增益计算公式;

根据所述增益计算公式计算第二频率单元对应的第二增益值,所述第二频率单元对应的听力阈值大于或等于参考阈值;

根据所述第二增益值对所述第二环境音频信号的第二频率单元进行放大处理;

所述播放模块30播放所述第一音频信号和所述第二频率单元经放大处理后的第二环境音频信号。

示例性地,听力曲线可由用户通过测听软件获取,表示的是用户对不同频率的听力阈值,例如,某用户左耳在500Hz、1kHz、2kHz、4kHz、6kHz、8kHz八个频点下的听力阈值为30dB,40dB,45dB,55dB,65dB,70dB。其中,频带的听力阈值可以是该频带所有频点的听力阈值的平均值,或者,该频带的中心频点的听力阈值等,本实施例对此不做限定。

上述听力损失类型可以包括但不限于高频陡降型、平坦型、低频型或蝶型等。对于不同的听损类型可以采取不同的处方公式,即增益计算公式,使补偿更具有针对性。一般来说,听力阈值在30dB以下时被认为是正常的,无需补偿;当听力阈值超过30dB时,证明听力有损,此时需要将对应频率的信号进行放大来让用户可以正常听见。处方公式,即增益计算公式,就是根据听力阈值来计算对应频带增益值的公式,包括线性处方公式和非线性处方公式,其中,非线性处方公式可以包括但不限于Fig6公式、NAL-NL2公式等,本实施例对此不做限定。

在基于听力损失类型确定增益计算公式之后,可以根据增益计算公式和听力曲线计算不同频率单元的增益值,并基于动态范围压缩方式,根据计算的增益值对所述第二环境音频信号的第二频率单元进行放大处理。其中,上述动态范围压缩方式可以是宽动态范围压缩方式,在频域对不同频带的音频信号应用不同的增益值。

需要说明的是,本实施例需要对用户的两个耳朵分别执行上述放大处理过程,以分别得到两个耳朵对应的放大处理后的第二环境音频信号。也即,分别确定两个耳朵的听力曲线,分别根据每个耳朵的听力曲线确定每个耳朵的听力类型;根据每个耳朵的听力类型确定每个耳朵对应的增益计算公式;根据每个耳朵对应的计算每个耳朵对应的第二频率单元对应的第二增益值;根据每个耳朵对应的第二频率单元对应的第二增益值,对第二环境音频信号中对应该耳朵的声道的环境音频信号的第二频率单元进行放大处理。

在一些可选的实施例中,参见图5,上述头戴音频播放设备还可以包括其他系统模块50,例如,在上述头戴音频播放设备为沉浸式设备的情况下,其他系统模块50可以包括显示模块、存储模块、通信模块等组成模块。

综上可知,本申请实施例提供的头戴音频播放设备可以对一定范围内的语音进行自适应语音增强,并通过播放模块30播放增强后的信号,可以让用户在设备内容呈现的同时听到现实环境中的语音,既保证了用户使用设备的连续性,也保证了用户与环境中其他人的正常对话能力。另外,可以增加听力补偿模块,对用户听力较弱的频率进行针对性补偿,起到助听效果。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

相关技术
  • 头戴式设备的控制方法、装置、头戴式设备及存储介质
  • 用于头戴显示设备的控制方法、装置及头戴显示设备
  • 一种鼓棒、终端设备和音频播放系统
  • 音频播放方法和头戴式显示设备
  • 音频播放电路以及头戴式显示设备
技术分类

06120116496434