掌桥专利:专业的专利平台
掌桥专利
首页

具有声音调整能力的系统、方法和非暂态电脑可读储存介质

文献发布时间:2024-04-18 19:52:40


具有声音调整能力的系统、方法和非暂态电脑可读储存介质

技术领域

本公开有关于音频信号的处理。更特别地是,本公开有关于具有声音调整能力的系统、调整声音的方法和非暂态电脑可读储存介质。

背景技术

虚拟现实(VR)是一种利用电脑模拟三维虚拟世界的技术,为使用者提供视觉、听觉、触觉等感官模拟。耳机通常整合在虚拟现实(VR)设备中,以提供身临其境的双耳音频效果。然而,不仅现实世界的声音被耳机阻挡,其他人也听不到耳机提供给使用者的声音,这使得使用者与使用者的同事或队友之间的沟通变得困难。

发明内容

本公开提供一种具有声音调整能力的系统。该系统包括头戴式装置、第一扬声器和至少一个处理器。第一个扬声器可以从头戴式装置上拆卸下来。至少一个处理器被配置为用以检测头戴式装置和第一扬声器的多个位置和多个方位以确定第一扬声器是否从头戴式装置分离。至少一个处理器还被配置为通过至少一个第一滤波器或至少一个第二滤波器来调变第一音频信号以生成滤波后第一音频信号。至少一个处理器使用至少一个第一滤波器以响应于第一扬声器耦合到头戴式装置,并使用至少一个第二滤波器来响应第一扬声器从头戴式装置分离。经滤波的第一音频信号被传输到第一扬声器以驱动第一扬声器。

在一些实施例中,该至少一处理器用于在一或多个频率上调整该第一音频信号来生成一声音,其中,与该第一扬声器根据未经滤波的音频信号生成的声音相比,由该第一扬声器根据该滤波后第一音频信号生成的该声音,在一使用者耳朵的入口处具有增强的频率响应。

在一些实施例中,该至少一第一滤波器包括一耳机效果滤波器,用于消除至少部分地由该头戴式装置和该第一扬声器的耦合一起时的一电路所引起的失真。

在一些实施例中,该至少一第二滤波器包括一扬声器效果滤波器,用于消除至少部分由该头戴式装置和该第一扬声器从该头戴式装置分离时的一电路所引起的失真。

在一些实施例中,该至少一个处理器被配置为根据该第一扬声器和该头戴式装置之间的一距离在该扬声器效果滤波器中选择用于该第一扬声器的系数。

在一些实施例中,更包括一储存器,其中响应于该第一扬声器耦合到该头戴式装置,该至少一个处理器被配置为用以获得由该第一扬声器基于一参考音频信号产生的声音的一回声的一实际频率响应,响应于该实际频率响应与储存在该储存器中的一理想频率响应的不同,该至少一处理器被配置为将该至少一第一滤波器的一位置补偿滤波器应用于该第一音频信号,其中该位置补偿滤波器被配置为用以渲染该回声使该回声具有与该理想频率响应实质相同的一调变后频率响应。

在一些实施例中,更包括可从该头戴式装置拆卸的一第二扬声器,其中响应于该第一扬声器和该第二扬声器分别和该头戴式装置的相对的一第一和一第二端子耦合,以及响应于该至少一处理器确定该滤波后第一音频信号为具有对应于该第二端的声道,该至少一处理器被配置为传输之前传输至该第二扬声器的一滤波后第二音频信号给该第一扬声器,并将该滤波后第一音频信号传输至该第二扬声器。

在一些实施例中,更包括可从该头戴式装置拆卸的一第二扬声器,其中响应于该第一扬声器和该第二扬声器从该头戴式装置拆卸并且分别位在一第一位置和一第二位置上,该头戴式装置实质上位于该第一位置和该第二位置之间,并且响应于该至少一个处理器确定该滤波后第一音频信号具有对应于该第二位置的声道,该至少一处理器用于将之前传输到该第二扬声器的一滤波后第二音频信号传输到该第一扬声器,并将该滤波后的第一音频信号传输到该第二扬声器。

在一些实施例中,至少一个第二滤波器包括一串扰消除滤波器和一头部相关传递函数(HRTF)滤波器。

在一些实施例中,至少一处理器被配置为根据该多个位置和该多个方位获得该串扰消除滤波器和该HRTF滤波器中的系数。

本公开提供一种调整声音的方法。该方法适用于包括头戴式装置和可从头戴式装置拆卸的第一扬声器系统,包括以下操作:检测头戴式装置和第一扬声器的多个位置和多个方位,且判断第一扬声器是否与头戴式装置分离;通过至少一个第一滤波器或至少一个第二滤波器来调变第一音频信号以生成滤波后第一音频信号,其中响应于第一扬声器耦合到头戴式耳机而使用至少一个第一滤波器,并且响应于第一扬声器与头戴式装置分离,使用至少一个第二滤波器;以及将滤波后的第一音频信号传送至第一扬声器以驱动第一扬声器。

在一些实施例中,调变该第一音频信号包括在一个或多个频率上调变该第一音频信号来生成一声音,其中,与该第一扬声器根据未经滤波的音频信号生成的声音相比,由该第一扬声器根据该滤波后第一音频信号生成的该声音,在一使用者耳朵的入口处具有增强的频率响应。

在一些实施例中,至少一个第一滤波器包括一耳机效果滤波器,用于消除至少部分地因为该头戴式装置和该第一扬声器彼此耦合的一电路所引起的失真。

在一些实施例中,至少一个第二滤波器包括一扬声器效果滤波器,用于消除至少部分因为该头戴式装置和从该头戴式装置分离的该第一扬声器的一电路所引起的失真。

在一些实施例中,根据该第一扬声器与该头戴式装置之间的一距离选择该扬声器效果滤波器中用于该第一扬声器的系数。

在一些实施例中,该系统还包括一储存器,其中调变该第一音频信号更包括:响应于该第一扬声器耦接至该头戴式装置,获得该第一扬声器根据一参考音频信号产生的声音的一回声的一实际频率响应;以及响应于该实际频率响应与储存在该储存器中的一理想频率响应间的不同,将该至少一第一滤波器的一位置补偿滤波器应用于该第一音频信号,其中该位置补偿滤波器被配置为用以渲染该回声,使得该回声具有与该理想频率响应实质相同的一调变后频率响应。

在一些实施例中,系统还包括可从该头戴式装置拆卸的一第二扬声器,其特征在于,该方法还包括:响应于该第一扬声器和该第二扬声器分别和该头戴式装置上相对的一第一和一第二端子耦合,以及响应于该滤波后第一音频信号具有对应该第二端子的的一声道,将之前传输至该第二扬声器的一滤波后第二音频信号传输至该第一扬声器,并将该滤波后第一音频信号传输至该第二扬声器。

在一些实施例中,该系统还包括可从该头戴式装置拆卸的一第二扬声器,其特征在于,该方法还包括:响应于该第一扬声器和该第二扬声器从该头戴式装置拆卸并且分别位在一第一位置和一第二位置上,该头戴式装置实质上位于该第一位置和该第二位置之间,并且响应于该滤波后第一音频信号具有对应于该第二位置的声道,将之前传输到该第二扬声器的一滤波后第二音频信号传输到该第一扬声器,并将该滤波后第一音频信号传输到该第二扬声器。

在一些实施例中,该至少一个第二滤波器包括一串扰消除滤波器和一头部相关传递函数(HRTF)滤波器。

本公开提供了一个非暂态性电脑可读取储存介质,储存用于控制系统的多个电脑可读取指令,该系统包括至少一个处理器、头戴式装置和可从头戴式装置拆卸的第一扬声器。当多个电脑可读取指令在由至少一个处理器执行时,至少一个处理器可执行:检测头戴式装置和第一扬声器的多个位置和多个方位以确定第一扬声器是否与头戴式装置分离;通过至少一个第一滤波器或至少一个第二滤波器来调变第一音频信号以生成滤波后第一音频信号,其中响应于第一扬声器耦合到头戴式耳机而使用至少一个第一滤波器,并且响应于第一扬声器与头戴式装置分离,使用至少一个第二滤波器;以及将滤波后第一音频信号传送至第一扬声器以驱动第一扬声器。

应当理解,前述一般描述和以下详细描述均仅是示例,并且旨在提供对所要求保护的本公开的进一步解释。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本发明的实施例,并与说明书一起用于说明本发明实施例的技术方案。

图1示出了根据本公开一实施例的具有声音调整能力的系统的示意性侧视图。

图2示出了根据本公开一实施例图1系统的简化功能区块图。

图3示出了根据本公开一实施例的调整声音的方法流程图。

图4示出了根据本公开一实施例的耳机配置戴在假人头上的频率响应示例图。

图5示出了根据本公开一实施例的自适应滤波器示例图。

图6示出了根据本公开一实施例的耳机配置戴在使用者头上的频率响应示例图。

图7示出了由图1的头戴式装置所提供的虚拟环境示例图。

图8示出了由图1的头戴式装置所提供的另一个虚拟环境示例图。

符号说明:

23:耳机效果滤波器

24:扬声器效果滤波器

25:位置补偿滤波器

26:串扰消除滤波器

27:头部相关传递函数滤波器

100:系统

110:头戴式装置

112:显示模组

114:第一端子

116:第二端子

120A:第一扬声器

120B:第二扬声器

130:控制元件

210:通讯接口

220:位置追踪电路

230:通信接口

240:位置追踪电路

250:音频输出电路

300:方法

S301-S310操作

410:假人头

420:实际频率响应

430:传感器

440:理想频率响应

510:自适应滤波器

610:使用者

620a、620b以及620c:实际频率响应

630:理想频率响应

640:理想位置

650a、650b以及650c:位置

700:虚拟环境

710:第一虚拟声源

720:第二虚拟声源

PA:第一位置

PB:第二位置

asA:第一音频信号

asB:第二音频信号

F_asA:滤波后第一音频信号

F_asB:滤波后第二音频信号

具体实施方式

以下将以图式及详细叙述清楚说明本申请的精神,任何所属技术领域中具有通常知识者在了解本申请的实施例后,当可由本申请所教示的技术,加以改变及修饰,其并不脱离本申请的精神与范围。

本文的用语只为描述特定实施例,而无意为本申请的限制。单数形式如“一”、“这”、“此”、“本”以及“该”,如本文所用,同样也包含多形式。

关于本文中所使用的『耦接』或『连接』,均可指二或多个元件或装置相互直接作实体接触,或是相互间接作实体接触,亦可指二或多个元件或装置相互操作或动作。

关于本文中所使用的『包含』、『包括』、『具有』、『含有』等等,均为开放性的用语,即意指包含但不限于。

关于本文中所使用的『及/或』,系包括所述事物的任一或全部组合。

关于本文中所使用的用词(terms),除有特别注明外,通常具有每个用词使用在此领域中、在本申请的内容中与特殊内容中的平常意义。某些用以描述本申请的用词将于下或在此说明书的别处讨论,以提供本领域技术人员在有关本申请的描述上额外的引导。

图1是根据本公开一实施例的具有声音调整能力的系统100的示意性侧视图。系统100包括头戴式装置110、第一扬声器120A、第二扬声器120B和包括至少一个处理器的控制元件130。在本实施例中,头戴式装置110为扩增现实(AR)装置及/或虚拟现实(VR)装置,其包括一显示模组112以投影虚拟物件在扩增现实(AR)应用程序中进入使用者的视野和/或在虚拟现实(VR)应用程序中为使用者提供身临其境的虚拟环境。在一些实施例中,头戴式装置110也可以通过耳机的头带部分来实现。

第一扬声器120A和第二扬声器120B分别和设置在头戴式装置110上相对面的第一端子114和第二端子116耦合,并且可从头戴式装置110拆卸。在第一扬声器120A和第二扬声器120B被耦合到头戴式装置110的情况下,第一扬声器120A和第二扬声器120B被配置在位于对应使用者的左右耳道入口的位置上。另一方面,当从头戴式装置110拆卸下第一扬声器120A和第二扬声器120B时,第一扬声器120A和第二扬声器120B可被操作为能够向佩戴头戴式装置110的使用者提供立体声的扬声器。

控制元件130被配置为向头戴式装置110提供视频信号以驱动显示模组112,以及调变第一音频信号asA和第二音频信号asB(如图2所示)。所述调变可以是对第一音频信号asA和第二音频信号asB应用滤波器,来生成滤波后的第一音频信号F_asA以及滤波后的第二音频信号和F_asB分别用于驱动第一扬声器120A和第二扬声器120B。其中上述的滤过波程可由控制元件130执行,将在后述的段落中详细描述。控制元件130可以是中央处理单元(central processing circuits,CPU)、数字信号处理器(digital signal processors,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或其他可编程逻辑元件。在一些实施例中,控制元件130可以包括一个或多个部件,其部分或全部结合到头戴式装置110中,也就是说,头戴式装置110可以是一体式具有足够计算能力的头戴式装置。

图2是根据本公开一实施例图1系统的简化功能区块图。头戴式装置110包含通讯接口210、位置追踪电路220及显示模组112。头戴式装置110通过通讯接口210与控制元件130通讯耦合以接收视频信号。位置追踪电路220用以产生位置信息及方位信息以供控制元件130处理,以使控制元件130可确定头戴式装置110在物理环境中的精确位置及方位。

第一扬声器120A和第二扬声器120B彼此相似,故以下仅详细说明第一扬声器120A的元件及连接关系。第一扬声器120A包括通信接口230、位置追踪电路2 40和音频输出电路250。通信接口230被配置为与控制元件130通信以从中接收滤波后的第一音频信号F_asA。在一些实施例中,通信接口230用于与头戴式装置110的通信接口210进行通信,以通过头戴式装置110间接接收滤波后的第一音频信号F_asA。位置追踪电路240用于产生位置信息以及方位信息,以由控制元件130处理此位置信息以及方位信息,以便控制元件130可以确定第一扬声器120A相对于头戴式装置110的位置和方位。音频输出电路250被配置为根据滤波后的第一音频信号F_asA产生声音。

在一些实施例中,通信接口210和230可以是有线或无线接口,例如蓝牙、ZigBee或以太网络。

在一些实施例中,位置追踪电路220和240可以包括多个光学传感器,被配置为感测由布置在物理环境中的多个基站(例如,灯塔)所发射的不可见光(例如,红外光)。

在一些实施例中,位置追踪电路220和240可以是适用于超宽带定位的射频(RF)收发器。例如,位置追踪电路220和240可以通过超宽带信号相互通信,从而可以通过飞时测距方法获得第一扬声器120A相对于头戴式装置110的位置和方位。

控制元件130用于接收第一音频信号asA和第二音频信号asB,其中第一音频信号asA和第二音频信号asB分别承载第一扬声器120A和第二扬声器120B的音频数据。控制元件130还被配置为根据第一扬声器120A和第二扬声器120B的连接状态(即,和头戴式装置110耦合或从头戴式装置110分离)对第一音频信号asA和第二音频信号asB应用一个或多个滤波器,以便以一个或多个频率改变第一音频信号asA和第二音频信号asB。这样的滤波器,包括但不限于,耳机效果滤波器(headphone effect filter)23、扬声器效果滤波器(loudspeaker effect filter)24、位置补偿滤波器(position compensation filter)25、串扰消除滤波器(crosstalk cancellation filter)26和头部相关传递函数(head-related transfer function filter,HRTF)滤波器27,它们可以被存储在可由控制元件130存取的存储器中。

图3是根据本公开一实施例的调整声音方法300的流程图。方法300特征的任意组合或本文描述的任何其他方法可以以指令来实现并储存在非暂时性电脑可读取介质中。当例如由图1的控制元件130的至少一个处理器执行时,指令可能会导致部分或全部这样的方法被执行。应理解的是,这里讨论的任何方法可以包括比流程图中所示的更多或更少的操作,并且这些操作可以适当地以任何顺序来执行。

在操作S301中,例如通过位置追踪电路220和240来获得头戴式装置110、第一扬声器120A和第二扬声器120B的位置信息和方位信息。在一些实施例中,一个或多个传感器,例如加速度计和陀螺仪,可以被并入系统100的这些设备中,以帮助提供方位信息。

在操作S302中,确定第一扬声器120A和第二扬声器120B是否物理地耦合到头戴式装置110。例如,控制元件130可以接收并处理位置信息和方位信息以确定第一扬声器120A和第二扬声器120B相对于头戴式装置110的位置。控制元件130可以根据第一扬声器120A与第二扬声器120B的连接状态,选择应用于第一音频信号asA与第二音频信号asB的滤波器。

如果第一扬声器120A和第二扬声器120B耦合到头戴式装置110以作为耳机操作时,则可以进行操作S303-S306,应用耳机效果滤波器23和位置补偿滤波器25中的至少一个对第一音频信号asA和第二音频信号asB进行处理。另一方面,如果第一扬声器120A和第二扬声器120B从头戴式装置110分离以作为扬声器操作时,则可以进行操作S307-S310,应用扬声器效果滤波器24、串扰消除滤波器26和HRTF滤波器27中的至少一个进行处理。

在操作S303中,耳机效果滤波器23被施加到第一音频信号asA和第二音频信号asB。耳机效果滤波器23被配置来减轻因为第一扬声器120A和第二扬声器120B与头戴式装置110耦接所产生的声音失真(以下称为“耳机配置”),其中失真至少部分地由耳机配置的电路所引起(即,用以将头戴式装置110、第一扬声器120A和第二扬声器120B彼此耦合的的电路)。

图4是根据本公开一实施例的耳机配置戴在假人头410上时的频率响应示例。图5是根据本公开一实施例的自适应滤波器510示例图。参考图4和图5来说明产生耳机效果滤波器23的示例性方法。首先,将耳机配置戴在假人头410上,并通过假人头410左耳道中的传感器430得到第一扬声器120A的实际频率响应420。接下来,将此实际频率响应420作为输入x(n)输入到自适应滤波器510,以调整自适应滤波器510的系数。当自适应滤波器510的输出

在一些实施例中,由耳机效果滤波器23滤波后的第一和第二音频信号asA和asB可以分别提供给第一和第二扬声器120A和120B,作为滤波后的第一和第二音频信号F_asA和F_asB,或者通过一或多个操作S304-S306对第一和第二音频信号asA和asB进一步处理。通过将实际频率响应420与理想频率响应440进行比较,可以确认,和根据未滤波的音频信号所生成的声音相比,根据耳机效果滤波器23滤波后的第一和第二音频信号asA和asB所产生的声音已经减轻了使用者的耳道入口处的失真。更特别的是,和根据未滤波的音频信号所生成的声音相比,根据耳机效果滤波器23滤波后的第一和第二音频信号sasA和asB所产生的声音具有增强的(即平坦的)频率响应。

在操作S304中,根据位置信息和方位信息来确定第一扬声器120A和第二扬声器120B是否耦合到头戴式装置110的正确端子。控制元件130可检查第一扬声器120A和第二扬声器120B的位置是否对应于滤波后的第一音频信号F_asA和滤波后的第二音频信号F_asA的声道。

例如,滤波后的第一音频信号F_asA可以对应于右声道,控制元件130可以检查第一扬声器120A是否耦接至第二端子116(例如,对应于右声道的右端子)。经滤波后的第二音频信号F_asB可对应于左声道,控制元件130可以检查第二扬声器120B是否耦合到第一端子114(例如,对应于左声道的左端子)。如果操作S304的确定结果为“是”,则省略操作305并且可以进行操作S306。如果操作S304的确定结果为“否”(例如,图4的耳机配置导致“否”结果),则可以进行操作S305。

在操作S305中,第一扬声器120A和第二扬声器120B所分别接收的滤波后的第一音频信号F_asA和滤波后的第二音频信号F_asB可以相互交换。控制元件130例如可将先前传送至第一扬声器120A的滤波后第一音频信号F_asA传送至第二扬声器120B,并将先前传送至第二扬声器120B的滤波后第二音频信号F_asB传送至第一扬声器120A。相应地,系统100允许使用者以任意方式将第一和第二扬声器120A和120B耦接到头戴式装置110而不会扭曲声音效果,实现耳机配置的快速组装以保持沉浸式体验。

操作S306中,可以对经过耳机效果滤波器23滤波的第一音频信号asA和第二音频信号asB进行位置补偿。图6是根据本公开一实施例的耳机配置戴在使用者610头上的频率响应示例图。参照图6来说明位置补偿的示例性方法。首先,控制元件130获得第一扬声器120A根据参考音频信号产生的声音回声的实际频率响应620a。这样的回声可以由第一扬声器120A的音频传感器(例如,麦克风)接收。接下来,如果实际频率响应620a与控制元件130可存取储存在存储器中的理想频率响应630显著不同,控制元件130可根据实际频率响应620a和理想频率响应630产生位置补偿滤波器25,其中位置补偿滤波器25被配置为在一个或多个频率上修改参考信号以使这种回声具有与理想频率响应630实质相同的修改后频率响应。位置补偿滤波器25中用于第一扬声器120A的系数可以通过使用类似于图5中讨论的自适应滤波器来生成,但本公开不限于此。在一些实施例中,位置补偿滤波器25可以由神经网络声成,通过将实际频率响应620a作为神经网络的输入来生成位置补偿滤波器25。

理想频率响应630可以看作是在对应于使用者耳道入口的理想位置640处获得的频率响应,并且实际频率响应620a和理想频率响应630之间的差异是因为第一扬声器120A的位置650a偏离了理想位置640。如图6所示,第一扬声器120A的不同位置650a、650b以及650c可能导致上述回声具有不同的实际频率响应620a、620b以及620c。因此,控制元件130可根据第一扬声器120A的当前位置适应性地调整位置补偿滤波器25中用于第一扬声器120A的系数。位置补偿滤波器25中用于第二扬声器120B的系数亦可以通过与第一扬声器120A相同的方式获得,因此省略相关说明。

由操作S303-S306处理后的第一和第二音频信号asA和asB,会分别由控制元件130输出来作为滤波后的第一和第二音频信号F_asA和F_asB。因此,使用者不需要在每次将第一和第二扬声器120A和120B连接回头戴式装置110时,将第一和第二扬声器120A和120B调整到绝对正确的位置,因为系统100可以根据使用者佩戴情况自动补偿音频。

再次参考图3。以下将详细描述从头戴式装置110分离后的第一扬声器120A和第二扬声器120B(以下称为“扬声器配置”)的滤波过程。

操作S307中,扬声器效果滤波器24被应用于第一音频信号asA和第二音频信号asB。扬声器效果滤波器24被配置为消除至少部分由扬声器配置的电路引起的失真(例如,包括分离头戴式装置110、第一扬声器120A和第二扬声器120B的电路)以获得平坦的频率响应。扬声器效果滤波器24中用于第一扬声器120A的系数可以通过示例性方法生成,该方法包括以下步骤:(1)将第一扬声器120A放置在非回声室中,(2)获得第一扬声器120A生成的声音的实际频率响应,以及(3)通过类似于参考图5所讨论的自适应滤波器,根据实际频率响应和储存在控制元件130可访问的存储器中的理想频率响应,由自适应滤波器获得用于第一扬声器120A的滤波器系数。

使用者与第一扬声器120A之间的不同距离可能导致不同的频率响应,并且可能需要不同级别的滤波。在一些实施例中,可以通过上述方法生成多组扬声器效果滤波器24的系数,并且控制元件130可以根据第一扬声器120A与头戴式装置110之间的距离选择其中一组系数作为扬声器效果滤波器中24用于第一扬声器120A的系数。扬声器效果滤波器24中用于第二扬声器120B的系数可以以类似的方式生成,因此相关描述被省略。

在一些实施例中,由扬声器效果滤波器24滤波的第一和第二音频信号asA和asB可以分别提供给第一和第二扬声器120A和120B,作为滤波后的第一和第二音频信号F_asA和F_asB,或者第一和第二音频信号F_asA和F_asB可以由操作S308-S310中的一个或多个进一步处理。

在操作S308中,确定第一扬声器120A和第二扬声器120B是否在与它们接收的滤波后第一音频信号F_asA和滤波后第二音频信号F_asB的声道相对应的位置上。图7示出了由图1的头戴式装置110所提供的虚拟环境700示意图,用于说明操作S308。当第一虚拟声源710处于物理环境中的第一位置PA时,滤波后第二音频信号F_asB可以具有对应于第一虚拟声源710的声道,该第一虚拟声源710被配置为被使用者听到。当第二虚拟声源720处于物理环境中的第二位置PB时,滤波后第一音频信号F_asA可以具有对应于第二虚拟声源720的声道,该第二虚拟声源720被配置为被使用者听到。头戴式装置110可大致位于第一位置PA与第二位置PB之间。在此情况下,控制元件130可检查第一扬声器120A是否对应(例如,接近)由滤波后的第一音频信号F_asA指定的第二位置PB,以及第二扬声器120B是否对应(例如,接近)滤波后的第二音频信号F_as B指定的第一位置PA。如果操作S308的确定结果为“是”,则省略操作S309并且可以进行操作S310。如果操作S308的确定结果为“否”(例如,图7的扬声器配置导致“否”结果),则可以进行操作S309。

在操作S309中,第一扬声器120A和第二扬声器120B所分别接收的滤波后第一音频信号F_asA和滤波后第二音频信号F_asB可以相互交换。图8示出了由图1的头戴式装置所提供的另一个虚拟环境示例图。如图8所示,具有对应于第二位置PB的声道的滤波后第一音频信号F_asA被传送至位于第二位置PB的第二扬声器120B而不是第一扬声器120A。具有对应于第一位置PA的声道的滤波后第二音频信号F_asB被传送到位于第一位置PA的第一扬声器120A而不是第二扬声器120B。

在操作S310中,串扰消除滤波器26和HRTF滤波器27被应用于由扬声器效果滤波器24滤波后的第一音频信号asA和第二音频信号asB。串扰消除滤波器26可以渲染第一扬声器120A和第二扬声器120B声音,就像它们处于耳机配置中以提供逼真的双耳声音。例如,在图8的情况下,第一扬声器120A在使用者的左侧,串扰消除滤波器26可以减少第一扬声器120A的声音中传递到使用者右耳的部分。HRTF滤波器27被配置为渲染第一扬声器120A和第二扬声器120B声音,就像它们是由对称地放置在头戴式装置110的两侧的第一扬声器120A和第二扬声器120B所产生的一样。

扬声器相对于使用者的位置和方位可能会影响声源到达听者两耳的时间差(interaural time difference,ITD)、耳间音强差(interaural level difference,ILD)和频率响应。因此,在一些实施例中,控制元件130可以藉由自适应滤波器根据头戴式装置110、第一扬声器120A和第二扬声器120B的位置和方位,获得串扰消除滤波器26和HRTF滤波器27的系数,类似于参考图5中的讨论。

由操作S307-S310处理的第一和第二音频信号asA和asB可以由控制元件130输出,分别作为滤波后第一和第二音频信号F_asA和F_asB。依此,系统100允许使用者将第一扬声器120A和第二扬声器120B放置在任意位置和方位,而不会使声音效果失真,实现扬声器配置的快速布置以保持身临其境的体验。此外,扬声器配置让使用者可以听到物理环境的声音,并可以将声音广播给其他人,有助于在各种情况下(例如,会议或游戏)提高沟通效率。

虽然本申请以实施例公开如上,然其并非用以限定本申请,本领域技术人员,在不脱离本申请的精神和范围内,当可作各种更改,因此本申请的保护范围当视后附的权利要求书为准。

技术分类

06120116333788