掌桥专利:专业的专利平台
掌桥专利
首页

音响再现方法、音响再现装置和程序

文献发布时间:2024-04-18 19:58:26


音响再现方法、音响再现装置和程序

技术领域

本公开涉及重现立体音响的音响再现方法、音响再现装置和程序。

背景技术

专利文献1公开了一种音响模拟装置,该音响模拟装置实时地确定声音的传播路径,并且根据传播路径进行反射、衍射和定位等音响效果的信号处理。

在先技术文献

专利文献

专利文献1:日本特开2005-208166号公报

发明内容

发明要解决的问题

然而,在立体音响的再现中,再现空间的音响参数的运算需要规定的处理负荷。特别是,在再现空间是复杂的空间构造、或者在由配置在再现空间内的障碍物引起的从声源到收听者的声音传播的路径中,重现声音的衍射需要较大的处理负荷。此外,若声源的位置、收听者的位置、再现空间的空间构造等发生变化,则需要根据变化后的声源的位置、收听者的位置、再现空间的空间构造来进行运算,因此需要较大的处理负荷。

因此,本公开提供了一种能够减少再现立体音响所需的处理负荷的音响再现方法等。

解决问题的手段

本公开的一个方式的音响再现方法为:取得空间信息,所述空间信息包括配置在虚拟空间内的构造物和声源,用于重现所述虚拟空间,确定所述虚拟空间内的收听者的收听位置,生成一个以上的虚拟声源,所述一个以上的虚拟声源用于在所述构造物配置在所述虚拟空间内的所述声源与所述收听位置之间的情况下重现由所述声源发出的声音的衍射,并且配置在从所述收听位置向所述构造物的一个以上的端部的一个以上的虚拟声源方向上的附近,所述一个以上的虚拟声源基于传播路径的长度来决定,所述传播路径是来自所述声源的声音到达所述收听者为止的期间的、避开所述构造物的传播路径,在所述决定中,决定如下三者中的至少一个,(i)所述收听者从所述一个以上的虚拟声源的方向能够听到的声音的声压等级、(ii)所述一个以上的虚拟声源的数量、以及(iii)从所述一个以上的虚拟声源发出的声音的频率特性。

此外,本公开的一个方式的音响再现装置,具备:取得部,取得空间信息,所述空间信息包括配置在虚拟空间内的构造物和声源,用于重现所述虚拟空间;确定部,确定所述虚拟空间内的收听者的收听位置;以及生成部,生成一个以上的虚拟声源,所述一个以上的虚拟声源用于在所述构造物配置在所述虚拟空间内的所述声源与所述收听位置之间的情况下重现由所述声源发出的声音的衍射,并且配置在从所述收听位置观察所述构造物的一个以上的端部的一个以上的虚拟声源方向上的附近,所述一个以上的虚拟声源基于传播路径的长度来调整,所述传播路径是来自所述声源的声音到达所述收听者为止的期间的、避开所述构造物的传播路径,在所述调整中,调整如下三者中的至少一个,(i)所述收听者从所述一个以上的虚拟声源的方向能够听到的声音的声压等级、(ii)所述一个以上的虚拟声源的数量、以及(iii)从所述一个以上的虚拟声源发出的声音的频率特性。

此外,这些概括性或具体的技术方案可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

发明的效果

本公开的音响再现方法等能够减少再现立体音响所需的处理负荷。

附图说明

图1是表示实施方式的音响再现系统的一例的图。

图2是用于说明在声源与收听者之间没有障碍物的情况下的处理的图。

图3是用于说明在声源与收听者之间有障碍物的情况下使收听者能听到声音的方法的图。

图4是用于说明在声源与收听者之间有障碍物的情况下生成虚拟声源的处理的第一例的图。

图5是用于说明在声源与收听者之间有障碍物的情况下生成虚拟声源的处理的第二例的图。

图6是用于说明在声源与收听者之间有障碍物的情况下生成虚拟声源的处理的第三例的图。

图7是表示从虚拟声源发出的声音的频率特性的调整处理的第一例的曲线图。

图8是表示从虚拟声源发出的声音的频率特性的调整处理的第二例的曲线图。

图9是用于说明在声源与收听者之间有障碍物的情况下生成虚拟声源的处理的第四例的图。

图10是用于说明障碍物的检测处理的第一例的图。

图11是用于说明障碍物的检测处理的第二例的图。

图12是表示音响再现装置的动作的一例的流程图。

具体实施方式

本公开的一个方式的音响再现方法为:取得空间信息,所述空间信息包括配置在虚拟空间内的构造物和声源,用于重现所述虚拟空间,确定所述虚拟空间内的收听者的收听位置,生成一个以上的虚拟声源,所述一个以上的虚拟声源用于在所述构造物配置在所述虚拟空间内的所述声源与所述收听位置之间的情况下重现由所述声源发出的声音的衍射,并且配置在从所述收听位置向所述构造物的一个以上的端部的一个以上的虚拟声源方向上的附近,所述一个以上的虚拟声源基于传播路径的长度来决定,所述传播路径是来自所述声源的声音到达所述收听者为止的期间的、避开所述构造物的传播路径,在所述决定中,决定如下三者中的至少一个,(i)所述收听者从所述一个以上的虚拟声源的方向能够听到的声音的声压等级、(ii)所述一个以上的虚拟声源的数量、以及(iii)从所述一个以上的虚拟声源发出的声音的频率特性。

由此,通过基于传播路径的长度生成决定了声压等级、生成的虚拟声源的数量以及频率特性的一个以上的虚拟声源,重现收听者在虚拟空间的声源与收听者之间配置有构造物的情况下能够听到的声音。因此,能够减少再现立体音响所需的处理负荷。

此外,也可以是,通过以所述传播路径的长度越长则声压等级越小的方式调整从所述一个以上的虚拟声源发出的声音的声压等级,由此来决定所述声压等级。

由此,能够以传播路径的长度越长则声音的声压等级越衰减的方式生成一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

此外,也可以是,通过以所述传播路径的长度越长则虚拟声源的位置越远离所述收听位置的方式调整所述一个以上的虚拟声源的位置,由此来决定所述声压等级。

由此,能够生成根据传播路径的长度来决定声压等级的一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

此外,也可以是,以所述传播路径的长度越长则虚拟声源的数量越多的方式,来决定所述一个以上的虚拟声源的数量。

由此,能够生成以传播路径的长度越长则在衍射的影响下声音越扩展的方式决定的一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

此外,也可以是,以所述传播路径的长度越长则高频带的声压等级与低频带的声压等级相比相对越小的方式,来决定所述频率特性。

由此,能够生成以重现出传播路径的长度越长则在衍射的影响下高频带的声压等级降低得越少的方式决定的一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

此外,也可以是,以所述传播路径的长度越长则要相对减小声压等级的高频带的带宽越大的方式,来调整所述频率特性。

由此,能够生成根据传播路径的长度决定了频率特性的一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

此外,也可以是,在形成有夹着所述构造物的两个传播路径的情况下,所述一个以上的虚拟声源配置在与所述两个传播路径对应的两个虚拟声源方向的各个虚拟声源方向上。

由此,由于配置与两个传播路径分别对应的一个以上的虚拟声源,所以能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

此外,也可以是,在仅在所述构造物的一侧形成有一个传播路径的情况下,所述一个以上的虚拟声源仅配置在与所述一个传播路径对应的一个虚拟声源方向上,所述一个以上的虚拟声源的数量是多个。

因此,由于在一个传播路径上配置多个虚拟声源,因此能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

此外,本公开的一个方式的音响再现装置,具备:取得部,取得空间信息,所述空间信息包括配置在虚拟空间内的构造物和声源,用于重现所述虚拟空间;确定部,确定所述虚拟空间内的收听者的收听位置;以及生成部,生成一个以上的虚拟声源,所述一个以上的虚拟声源用于在所述构造物配置在所述虚拟空间内的所述声源与所述收听位置之间的情况下重现由所述声源发出的声音的衍射,并且配置在从所述收听位置向所述构造物的一个以上的端部的一个以上的虚拟声源方向上的附近,所述一个以上的虚拟声源基于传播路径的长度来决定,所述传播路径是来自所述声源的声音到达所述收听者为止的期间的、避开所述构造物的传播路径,在所述决定中,决定如下三者中的至少一个,(i)所述收听者从所述一个以上的虚拟声源的方向能够听到的声音的声压等级、(ii)所述一个以上的虚拟声源的数量、以及(iii)从所述一个以上的虚拟声源发出的声音的频率特性。

由此,通过基于传播路径的长度生成决定了声压等级、生成的虚拟声源的数量以及频率特性的一个以上的虚拟声源,重现收听者在虚拟空间的声源与收听者之间配置有构造物的情况下能够听到的声音。因此,能够减少再现立体音响所需的处理负荷。

此外,这些概括性或具体的技术方案可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现,也可以通过系统、方法、集成电路、计算机程序以及记录介质的任意组合来实现。

以下,参照附图对实施方式进行说明。另外,以下说明的实施方式均表示本公开的一个具体例。即,以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置以及连接方式、步骤、步骤的顺序等是一例,并非旨在限定本公开。另外,以下的实施方式中的构成要素中的、在表示最上位概念的独立技术方案中没有记载的构成要素,为了实现本公开的课题而未必需要,但作为构成更优选的方式的构成要素而被说明。

(实施方式)

[1.结构]

首先,对本公开的系统结构进行说明。

图1是表示实施方式的音响再现系统的一例的图。

如图1所示,本实施方式的音响再现系统1例如具备音响再现装置100、终端200以及控制器300。这些构件例如可以通过专用的有线通信能够通信地相互连接,也可以通过无线通信能够通信地相互连接。这些构件可以能够直接通信地连接,也可以在其间经由规定的设备能够通信地连接。音响再现装置100再现虚拟空间内的音响,并且将该音响输出到终端200。音响再现装置100重现虚拟空间,并且再现使虚拟空间内的用户能够听到的音响。虚拟空间包括构造物、声源、以及收听者等。收听者是用户。这些构造物、声源以及收听者是虚拟的。音响再现装置100基于虚拟空间中的构造物的尺寸和位置、声源的位置以及收听者的位置,再现要使虚拟空间内的收听者能够听到的音响。终端200向用户输出所生成的音响,并且从控制器300取得控制器300从用户受理的输入。根据由终端200取得的输入,虚拟空间内的收听者的位置及姿势被变更。因此,音响再现装置100基于根据由终端200取得的输入而变更的虚拟空间内的收听者的位置及姿势,来变更要再现的音响。

首先,对音响再现装置100进行说明。

音响再现装置100具备取得部101、检测部102、生成部103、渲染部104和通信部105。音响再现装置100可以通过处理器使用存储器执行规定的程序来实现。即,音响再现装置100是计算机。

取得部101取得用于重现在虚拟空间内的音响的音响信息。取得部101可以经由网络从外部的存储装置取得音响信息,也可以从内部的存储装置取得音响信息。存储装置可以是读出记录在光盘、存储卡等记录介质中的信息的装置,也可以是内置HDD(Hard DiskDrive,硬盘驱动器)、SSD(Solid State Drive,固态硬盘)等记录介质,并读出记录在该记录介质中的信息的装置。外部的存储装置例如可以是经由因特网连接的服务器。此外,音响信息包括例如表示由声源发出的声音的声音流和表示虚拟空间的空间信息。

检测部102基于音响信息中包含的空间信息来检测虚拟空间内的障碍物。空间信息包括用于重现配置在虚拟空间中的构造物的网格信息、声源位置等。网格信息包括构造物的尺寸、形状、颜色等信息。构造物包括人工的构造物和自然的构造物。也就是说,构造物包括用于规定空间的任何虚拟物体。声源位置表示在构造物中再现(输出)声音的位置。检测部102基于由通信部105接收到的收听者信息,确定虚拟空间内的收听者的收听位置。检测部102是确定部的一例。检测部102基于构造物的尺寸、形状和位置、声源位置以及收听位置来判定在声源位置与收听位置之间是否配置有构造物。检测部102如果判定为在声源位置与收听位置之间配置有构造物,则将该构造物检测为障碍物。

在虚拟空间内的声源与收听位置之间配置有构造物的情况下,即,在由检测部102检测到障碍物情况下,生成部103生成配置在从收听位置到该构造物的一个以上的端部的一个以上的虚拟声源方向上的附近的一个以上的虚拟声源。虚拟声源方向是指通过收听位置和构造物的端部的直线延伸的方向。一个以上的虚拟声源是用于重现由声源发出的声音的衍射的声源。被检测为障碍物的构造物的一个以上的端部是指,从收听位置观察该构造物时的该构造物的规定方向上的端部。被检测为障碍物的构造物的一个以上的端部例如可以包括从收听位置观察该构造物时的该构造物的水平方向上的两端。或者,该构造物的一个以上的端部例如也可以仅包括从收听位置观察该构造物时的该构造物的水平方向上的一端。仅包括一端的情况可以是指如下情况:该构造物在水平方向上的该一端的相反侧的端配置在比收听者的视野的该相反侧的端更朝向相反侧。此外,仅包括一端的情况可以是指该构造物还配置在声源的上述相反侧的情况。

渲染部104根据由生成部103生成的一个以上的虚拟声源、收听者的收听位置和收听者的姿势,使用头部传递函数来生成输出用的声音流。另外,渲染部104生成表示收听者在收听者的姿势下从收听者的收听位置能够看到的视野的影像流。影像流是包含于该视野的虚拟空间内的构造物的影像。

通信部105通过与终端200之间进行通信,从而与终端200之间进行信息的收发。通信部105例如将输出用的声音流及影像流发送给终端200。另外,通信部105例如从终端200接收表示收听者的收听位置及收听者的姿势的收听者信息。

接着,对终端200进行说明。

终端200具备通信部201、控制部202、检测部203、输入受理部204、显示部205、以及声音输出部206。终端200例如可以是佩戴在用户头部的VR(Virtual Reality,虚拟现实)头戴式耳机,也可以是安装在用于佩戴在用户头部的佩戴设备上的智能手机等便携终端。

通信部201与音响再现装置100之间进行通信,从而与音响再现装置100之间进行信息的收发。通信部201例如将表示收听者的收听位置及收听者的姿势的收听者信息发送给音响再现装置100。此外,通信部105例如从音响再现装置100接收输出用的声音流及影像流。

控制部202将通信部201接收到的声音流及影像流中的声音流向声音输出部206输出,将影像流向显示部205输出。此外,控制部202还取得由检测部203检测到的用户头部的动作(即,头部的位置及姿势的变化)。此外,控制部202取得由输入受理部204受理的输入。输入是用于进行虚拟空间内的收听者的位置的移动及收听者的姿势的变更中的至少一方的输入。控制部202基于取得的用户的头部的动作和表示变更收听者的位置及姿势的输入,生成表示收听者的收听位置和收听者的姿势的收听者信息,并经由通信部201将收听者信息发送给音响再现装置100。控制部202取得头部的动作以及输入,基于取得的头部的动作以及输入,逐次(即以一定时间间隔)进行生成收听者信息的处理。一定时间间隔例如是小于1秒的时间。

检测部203逐次检测用户的头部的动作。检测部203检测用户的头部的位置及姿势的变化。检测部203例如包括加速度传感器以及角速度传感器。检测部203例如是IMU(Inertial Measurement Unit,惯性测量单元)。

输入受理部204从由用户操作的控制器300受理表示在虚拟空间内使收听者的位置移动或者使收听者的姿势变更的输入。输入受理部204可以通过与控制器300之间进行无线通信而受理来自控制器300的输入,也可以通过与控制器300之间进行有线通信而受理来自控制器300的输入。通信部201可以具有受理来自控制器300的输入的输入受理部204的功能。输入受理部204可以具有直接受理来自用户的输入的按钮、触摸传感器等。

显示部205显示由控制部202输出的影像流所示的影像(运动图像)。运动图像是由多个帧构成的影像。影像可以是静止图像。显示部205例如是液晶显示器、有机EL(ElectroLuminescence,电致发光)显示器等。

声音输出部206输出由控制部202输出的声音流所示的声音(包含音乐)。声音输出部206例如是扬声器等。

控制器300是受理来自用户的输入,并将所受理的输入发送给终端200的装置。如上所述,该输入是用于变更虚拟空间内的收听者的位置及姿势中的至少一个的输入。

接下来,说明由音响再现装置100进行的生成虚拟声源的处理的具体例。

图2是用于说明在声源与收听者之间没有障碍物的情况下的处理的图。图2的(a)是从上方观察虚拟空间内的声源与收听者的位置关系的俯视图。图2的(b)是三维地表示虚拟空间内的声源与收听者的位置关系的图。

音响再现装置100在声源301与收听者302之间没有障碍物的情况下,如图2所示,生成虚拟声源,使得从声源301的位置朝向收听者302输出声音。即,在这种情况下生成的虚拟声源与声源301相同。

图3是用于说明在声源与收听者之间有障碍物的情况下的收听者能够听到声音的方法的图。图3的(a)是从上方观察虚拟空间内的声源与收听者的位置关系的俯视图。图3的(b)是三维地表示虚拟空间内的声源与收听者的位置关系的图。

如图3所示,在声源301与收听者302之间有障碍物303的情况下,如图2所示,从声源301发出的声音难以直行传播到收听者302,因此设想收听者302能够听到绕过障碍物303的侧方的声音(衍射音)。因此,音响再现装置100需要重现衍射音。

图4是用于说明在声源与收听者之间有障碍物的情况下生成虚拟声源的处理的第一例的图。图4的(a)是从上方观察虚拟空间内的声源与收听者的位置关系的俯视图。图4的(b)是三维地表示虚拟空间内的声源与收听者的位置关系的图。

如图4所示,音响再现装置100的生成部103为了简单地重现衍射音,代替声源301,生成配置在从收听者302的收听位置起分别与障碍物303的两端对应的两个虚拟声源方向351、352上的附近的两个虚拟声源311、312。虚拟声源方向351是由通过收听者302和障碍物303的水平方向的一端303a的直线表示的方向。虚拟声源方向352是由通过收听者302和障碍物303的水平方向的另一端303b的直线表示的方向。障碍物303的水平方向上的一端303a和另一端303b与收听者302观察障碍物303时的水平方向上的端部相同。由于一端303a和另一端303b位于在配置有障碍物303的情况下声音发生衍射并传播的最短路径上,所以在下文中有时也称为衍射点。

在图4的(a)中,是在障碍物303的左侧传播的来自声源301的声音的最短的传播路径L11的长度与在障碍物303的右侧传播的来自声源301的声音的最短的传播路径L12的长度相等的例子。另外,传播路径L11、L12在图4的(a)中用粗虚线表示。更具体地说,传播路径L11上的从声源301到一端303a的长度与传播路径L12上的从声源301到另一端303b的长度相互相等,此外,传播路径L11上的从一端303a到收听者302的收听位置的长度与传播路径L12上的从另一端303b到收听者302的收听位置的长度相互相等。因此,生成的虚拟声源311、312配置在距收听者302的收听位置的距离相等的位置(即,虚线所示的圆上的位置)。由于传播路径L11和传播路径L12的长度相互相等,所以虚拟声源311、312的声压等级被决定为相互相等。另外,在传播路径L11与传播路径L12的长度互不相同的情况下,虚拟声源311、312的声压等级被决定为互不相同,例如,也可以基于传播路径的长度之比来决定虚拟声源311、312的声压等级。

图5是用于说明在声源与收听者之间有障碍物的情况下生成虚拟声源的处理的第二例的图。图5的(a)是从上方观察虚拟空间内的声源与收听者的位置关系的俯视图。图5的(b)是三维地表示虚拟空间内的声源与收听者的位置关系的图。

第二例中的障碍物303A与第一例的障碍物303相比,从收听者302朝向声源301的方向上的宽度(厚度)不同。障碍物303A的宽度D2比障碍物303的宽度D1长。

如图5所示,音响再现装置100的生成部103与第一例同样,为了简单地重现衍射音,代替声源301,生成配置在从收听者302的收听位置起分别与障碍物303A的两端对应的两个虚拟声源方向351、352上的附近的两个虚拟声源311a、312a。虚拟声源方向351是由通过收听者302和障碍物303A的水平方向的一端303Aa的直线表示的方向。虚拟声源方向352是由通过收听者302和障碍物303A的水平方向的另一端303Ab的直线表示的方向。在图5的(a)中,示出了在障碍物303A的左侧传播的来自声源301的声音的最短传播路径L21的长度与在障碍物303A的右侧传播的来自声源301的声音的最短传播路径L22的长度相等的例子。

另外,传播路径L22、L22在图5的(a)中用粗虚线表示。更具体而言,传播路径L21上的从声源301到一端303Aa的长度与传播路径L22上的从声源301到另一端303Ab的长度相互相等。此外,传播路径L21上的从一端303Aa到收听者302的收听位置的长度与传播路径L22上的从另一端303Ab到收听者302的收听位置的长度相互相等。因此,生成的虚拟声源311a、312a配置在距收听者302的收听位置的距离相等的位置(即,虚线所示的圆上的位置)。

另外,用虚线表示的圆是以从收听者302的收听位置到声源301的距离为半径的圆,但不限于此,也可以是以比从收听位置到声源301的距离长的距离为半径的圆,也可以是以比从收听位置到声源301的距离短的距离为半径的圆。由于传播路径L11和传播路径L12的长度相互相等,因此虚拟声源311a、312a的声压等级决定为相互相等。

另外,在传播路径L21与传播路径L22的长度互不相同的情况下,虚拟声源311、312的声压等级决定为互不相同,例如,也可以基于传播路径的长度之比来决定虚拟声源311a、312a的声压等级。

在此,障碍物303A的宽度D2比(图4所示的)第一例的障碍物303的宽度D1长,因此第二例中的传播路径L21比第一例中的传播路径L11长。因此,生成部103在各虚拟声源方向351、352上比第一例中的虚拟声源311、312的位置远离收听者302的收听位置的位置生成虚拟声源311a、312a。即,生成部103在有障碍物303的情况下的衍射点和有障碍物303A的情况下的衍射点相同的情况下,将收听者302从虚拟声源方向351、352能够听到的声音的声压等级决定为传播路径的长度越长则越小,其中,虚拟声源方向351、352由通过收听者302的收听位置和衍射点的直线表示。

例如,生成部103也可以将虚拟声源311a、312a的位置调整为传播路径的长度越长则离收听位置越远。由此,收听者302从由通过收听者302的收听位置和衍射点的直线表示的虚拟声源方向351、352能够听到的声音的声压等级决定为传播路径的长度越长则越小。这样,生成部103可以通过以收听者302的收听位置为基准调整到所生成的虚拟声源311a、312a的位置为止的距离,由此来调整收听者302能够听到的声音的声压等级。

此外,例如,生成部103可以调整从虚拟声源311a、312a发出的声音的声压等级,使得传播路径的长度越长则声压等级越小。例如,生成部103也可以通过将从虚拟声源311、312发出的声音的声压等级的增益乘以比L11/L21来决定从虚拟声源311a、312a发出的声音的声压等级的增益,其中,比L11/L21是将传播路径L11的长度除以传播路径L21的长度而得到的比。另外,生成部103也可以通过将从虚拟声源311、312发出的声音的声压等级的增益乘以比D1/D2来决定从虚拟声源311a、312a发出的声音的声压等级的增益,其中,比D1/D2是将障碍物303的宽度D1除以障碍物303A的宽度D2而得到的比。由此,收听者302从由通过收听者302的收听位置和衍射点的直线表示的虚拟声源方向351、352能够听到的声音的声压等级决定为传播路径的长度越长则越小。这样,生成部103可以通过调整从虚拟声源311a、312a发出的声音的声压等级来调整收听者302能够听到的声音的声压等级。

图6是用于说明在声源与收听者之间有障碍物的情况下生成虚拟声源的处理的第三例的图。图6的(a)是从上方观察虚拟空间内的声源与收听者的位置关系的俯视图。图6的(b)是三维地表示虚拟空间内的声源与收听者的位置关系的图。

第三例与第二例是相同的情景。即,在第三例中,障碍物303A的尺寸及位置与第二例相同,声源301及收听者302的收听位置也与第二例相同。

在第三例中,生成部103可以根据传播路径的长度来决定虚拟声源的数量。具体地说,生成部103也可以以传播路径的长度越长则虚拟声源的数量越多的方式生成多个虚拟声源311b和多个虚拟声源312b。生成部103在收敛于各虚拟声源方向351、352的附近的角度范围内的位置生成多个(在图6的例子中是3个)虚拟声源311b及多个(在图6的例子中是3个)虚拟声源312b。方向的附近的角度范围例如可以是从作为基准的方向±30度的角度范围,也可以是±45度的角度范围。另外,多个虚拟声源可以配置在收敛于成为基准的方向的附近的角度范围内的位置,也可以不配置在成为基准的方向上,也可以不配置成多个虚拟声源的分布范围包括成为基准的方向。

此外,配置成多个虚拟声源的分布范围包括成为基准的方向是指,多个虚拟声源配置为跨越成为基准的方向,并且多个虚拟声源配置成将多个虚拟声源彼此连结而成的一条以上的线段中的某一条与基准方向交叉。例如,在通过将传播路径L21的长度除以传播路径L11的长度而得的比L21/L11小于第一阈值的情况下,生成部103可以将虚拟声源的数量决定为一个。此外,在比L21/L11大于第一阈值并且小于等于比第一阈值大的第二阈值的情况下,生成部103可以将虚拟声源的数量决定为两个。另外,生成部103在比L21/L11大于第二阈值的情况下,也可以将虚拟声源的数量决定为3个。

此外,生成部103可以通过组合第二例和第三例来配置多个虚拟声源。生成部103也可以根据传播路径的长度,决定收听者从虚拟声源方向351、352能够听到的声音的声压等级以及生成的虚拟声源的数量这两者。

此外,生成部103还可以决定从生成的虚拟声源发出的声音的频率特性。即,生成部103在第二例基础上还可以根据传播路径的长度来决定声音的频率特性,在第三例基础上还可以根据传播路径的长度来决定声音的频率特性,在第二例和第三例的组合的基础上还可以根据传播路径的长度来决定声音的频率特性。另外,生成部103可以根据传播路径的长度来决定从第一例的虚拟声源311、312发出的声音的频率特性,而不进行第二例和第三例的处理。

图7是表示从虚拟声源发出的声音的频率特性的调整处理的第一例的曲线图。图8是表示从虚拟声源发出的声音的频率特性的调整处理的第二例的曲线图。

如图7所示,生成部103可以将从虚拟声源发出的声音的频率特性决定为:传播路径的长度越长,则高频带的声压等级与低频带的声压等级相比相对越小。生成部103也可以将频率特性决定为:使得传播路径的长度越长,则频率特性的高频带的声压等级越小。此外,生成部103也可以将频率特性决定为:使得传播路径的长度越长,则频率特性的低频带的声压等级越大。此外,生成部103也可以将频率特性决定为:使得传播路径的长度越长,则越减小频率特性的高频带的声压等级,并且越增大频率特性的低频带的声压等级。此外,如图8所示,生成部103也可以将频率特性决定为:传播路径的长度越长,要相对减小声压等级的高频带的带宽越大。

如上所述,在第一例至第三例中,说明了形成夹着障碍物的两个传播路径的情况下的虚拟声源的生成方法。在这种情况下,虚拟声源配置在与两个传播路径对应的两个虚拟声源方向351、352的各个虚拟声源方向上。

图9是用于说明在声源与收听者之间有障碍物的情况下生成虚拟声源的处理的第四例的图。图9的(a)是从上方观察虚拟空间内的声源与收听者的位置关系的俯视图。图9的(b)是三维地表示虚拟空间内的声源与收听者的位置关系的图。

第四例中的障碍物303B与第一例的障碍物303相比,不同点在于还具有配置在声源301及收听者302的一侧的壁状的第二部分303Bb。障碍物303B具有第一部分303Ba和第二部分303Bb,所述第一部分303Ba与配置在声源301及收听者302之间的障碍物303为相同结构、所述第二部分303Bb与第一部分303Ba连接而连续,并配置在声源301及收听者302的右侧。声源301及收听者302的右侧是第一部分303Ba的一侧。第二部分303Bb配置在与第一部分303Ba交叉的方向、即连结声源301及收听者302的直线的方向上。这样,由于第四例中的障碍物303B具有第二部分303Bb,因此来自声源301的声音被障碍物303B的第二部分303Bb遮断。因此,来自声源301的声音避开障碍物303B而传播的传播路径L11仅在障碍物303B的一侧形成一个。在这种情况下,生成部103以只配置在与一个传播路径L11对应的一个虚拟声源方向351上的方式生成多个虚拟声源311b。

另外,仅在障碍物的一侧形成一个传播路径的情况是指障碍物具有第一部分和第二部分的情况,所述第一部分配置在声源301及收听者302之间,所述第二部分与第一部分连接而连续并配置在声源301及收听者302的至少一方的一侧。

接着,对检测部102的障碍物的检测处理的具体例进行说明。

图10是用于说明障碍物的检测处理的第一例的图。图10是从上方观察虚拟空间内的声源与收听者的位置关系的俯视图。

图10示出了从上方观察时呈矩形形状的构造物363。即,构造物363在从上方观察时具有4点的角部363a~363d,并且构造物363具有连结4点的角部363a~363d的4个边。由于4点的角部363a~363d的位置由空间信息表示,因此检测部102判定连结声源361及收听者362的收听位置的线段364是否与构造物363的4个边中的某一个边交叉或者与4个角部363a~363d中的某一个角部相接。在检测部102判定为线段364与构造物363的4个边中的某一个边交叉或者与4个角部363a~363d中的某一个角部相接的情况下,检测部102将构造物363检测为障碍物。

另外,检测部102也可以将线段364与4个边交叉的点363e、363f中的、靠近收听者362的点363f所存在的边的两端的2点即角部363c、363d,作为衍射点来检测。或者,检测部102也可以检测分别连结收听者362的收听位置和4点的角部363a~363d的4个线段中的、最外侧的两个线段上的2点即角部363c、363d,作为衍射点来检测。

图11是用于说明障碍物的检测处理的第二例的图。图11是从上方观察虚拟空间内的声源与收听者的位置关系的俯视图。

图11中示出了从上方观察时为六边形的构造物373。即,构造物373在从上方观察时具有6点的角部373a~373f,构造物373具有连结6点的角部373a~373f的6个边。由于6点的角部373a~373f的位置由空间信息表示,所以检测部102判定连结声源371及收听者372的收听位置的线段374是否与构造物373的6个边中的某一个边交叉或者与6个角部373a~373f中的某一个角部相接。在检测部102判定为线段374与构造物373的6个边中的某一个边交叉或者与6个角部373a~373f中的某一个角部相接的情况下,检测部102将构造物373检测为障碍物。

另外,检测部102也可以将线段374与4个边交叉的点373g、373h中的、靠近收听者372的点373h所存在的边的两端的2点即角部373d、373e,作为衍射点来检测。或者,检测部102也可以将分别连结收听者372的收听位置和64点的角部373a~373f的6个线段中的、最外侧的两个线段上的2点即角部373c、373e,作为衍射点来检测。

另外,在图10和图11中,为了简化说明,使用连结多边形的障碍物的角部的边来检测障碍物,但用于检测障碍物的边不限于连结角部的边,也可以作为将障碍物的表面上设定的任意点连结的边。

[2.动作]

接下来,对音响再现装置100的动作,即,由音响再现装置100执行的音响再现方法进行说明。

图12是表示音响再现装置的动作的一例的流程图。

音响再现装置100取得空间信息(S11)。空间信息是用于重现虚拟空间的信息。虚拟空间包括配置在虚拟空间内的构造物和声源。

接着,音响再现装置100确定虚拟空间内的收听者的收听位置(S12)。

接下来,音响再现装置100生成一个以上的虚拟声源(S13)。在虚拟空间内的声源与收听位置之间配置有构造物的情况下,一个以上的虚拟声源配置在从收听位置到构造物的一个以上的端部的一个以上的虚拟声源方向上的附近。

接下来,音响再现装置100再现所生成的一个以上的虚拟声源,并且将所得到的声音流向终端200输出(S14)。

[3.效果等]

本实施方式的音响再现装置100取得用于重现虚拟空间的空间信息。虚拟空间包括配置在虚拟空间内的构造物和声源。接着,音响再现装置100确定虚拟空间内的收听者的收听位置。接下来,在虚拟空间内的声源与收听位置之间配置有构造物的情况下,音响再现装置100生成配置在从收听位置到构造物的一个以上的端部的一个以上的虚拟声源方向上的附近的一个以上的虚拟声源。一个以上的虚拟声源基于传播路径的长度来决定,所述传播路径是来自声源的声音到达收听者为止的期间的、避开构造物的传播路径,在上述决定中,决定如下三者中的至少一个,(i)收听者从一个以上的虚拟声源的方向能够听到的声音的声压等级、(ii)一个以上的虚拟声源的数量、以及(iii)从一个以上的虚拟声源发出的声音的频率特性。

由此,通过基于传播路径的长度生成决定了声压等级、生成的虚拟声源的数量以及频率特性的一个以上的虚拟声源,重现收听者在虚拟空间的声源与收听者之间配置有构造物的情况下能够听到的声音。因此,能够减少再现立体音响所需的处理负荷。

另外,在本实施方式的音响再现装置100中,通过以传播路径的长度越长则声压等级越小的方式调整从一个以上的虚拟声源发出的声音的声压等级,由此来决定声压等级。即,音响再现装置100能够以传播路径的长度越长则声音的声压等级越衰减的方式生成一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

此外,在本实施方式的音响再现装置100中,通过以传播路径的长度越长则虚拟声源的位置越远离收听位置的方式调整一个以上的虚拟声源的位置,由此来决定声压等级。即,音响再现装置100能够生成根据传播路径的长度来决定声压等级的一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

另外,在本实施方式的音响再现装置100中,以传播路径的长度越长则虚拟声源的数量越多的方式来决定一个以上的虚拟声源的数量。因此,能够生成以传播路径的长度越长则在衍射的影响下声音越产生扩展的方式决定的一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

并且,在本实施方式的音响再现装置100中,以传播路径的长度越长则高频带的声压等级与低频带的声压等级相比相对越小的方式,来决定频率特性。因此,能够生成以重现出传播路径的长度越长则在衍射的影响下高频带的声压等级降低得越少的方式决定的一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

此外,在本实施方式的音响再现装置100中,以传播路径的长度越长则要相对减小声压等级的高频带的带宽越大的方式,来调整频率特性。因此,能够生成以重现出传播路径的长度越长则在衍射的影响下高频带的声压等级进一步降低这样的减少的方式来决定的一个以上的虚拟声源。因此,能够减少再现立体音响所需的处理负荷,并且能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

另外,在本实施方式的音响再现装置100中,在形成有夹着构造物的两个传播路径的情况下,一个以上的虚拟声源配置在与两个传播路径对应的两个虚拟声源方向的各个虚拟声源方向上。由此,由于配置与两个传播路径分别对应的一个以上的虚拟声源,所以能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

另外,在本实施方式的音响再现装置100中,在仅在构造物的一侧形成有一个传播路径的情况下,一个以上的虚拟声源仅配置在与一个传播路径对应的一个虚拟声源方向上。此外,一个以上的虚拟声源的数量是多个。根据该结构,由于配置的多个虚拟声源是以在两个传播路径中的一个传播路径被遮断的情况下,声音因一个传播路径中产生的衍射影响而产生扩展的方式被决定的,所以,能够在代替声源而配置多个虚拟声源的前后,对收听者所能够听到的声音的印象造成较小的影响,再现适当的立体音响。

[4.变形例]

(1)在上述实施方式中,音响再现装置100根据传播路径的长度来调整生成的一个以上的虚拟声源。具体地,音响再现装置100调整收听者从一个以上的虚拟声源的方向能够听到的声音的声压等级、一个以上的虚拟声源的数量、以及从一个以上的虚拟声源发出的声音的频率特性中的至少一个(以下,称为虚拟声源的参数),但不限于此。音响再现装置100在存储器中预先存储将多个位置关系与对应于该多个位置关系而预先计算出的虚拟声源的参数建立对应而得的表等关系信息,所述多个位置关系分别表示预先设想的声源、构造物以及收听位置的关系。然后,音响再现装置100可以通过参照关系信息,来决定与对应于取得的收听位置的位置关系相关联的虚拟声源的参数。即,音响再现装置100可以不根据收听位置实时计算虚拟声源的参数,而是可以通过从存储器提取预先计算并决定出的虚拟声源的参数来确定虚拟声源的参数。由此,能够进一步减少用于生成虚拟声源的处理负荷。

(2)在上述实施方式中,终端200设为具备检测部203、输入受理部204、显示部205以及声音输出部206的结构,但不限于此,音响再现装置也可以设为具有与检测部203、输入受理部204、显示部205以及声音输出部206相同的功能的结构。

[其他实施方式等]

如上所述,基于上述实施方式对本公开进行了说明,但本公开当然不限定于上述实施方式。本公开还包括以下情况。

(1)上述实施方式中的各装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。在上述RAM或硬盘单元中记录有计算机程序。所述微处理器按照所述计算机程序进行动作,由此各装置实现其功能。这里,计算机程序是为了实现规定的功能而组合多个表示对计算机的指令的命令代码而构成的。

(2)构成上述实施方式中的各装置的构成要素的一部分或者全部可以由一个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上而制造的超多功能LSI,具体而言,是包括微处理器、ROM、RAM等而构成的计算机系统。在所述RAM中记录有计算机程序。所述微处理器按照所述计算机程序进行动作,由此,系统LSI实现其功能。

另外,构成上述各装置的构成要素的各部可以单独地被单芯片化,也可以包含一部分或全部地进行单芯片化。

另外,在此,设为系统LSI,但根据集成度的不同,有时也被称为IC、LSI、超级LSI、超大规模LSI。另外,集成电路化的方法不限于LSI,也可以通过专用电路或通用处理器来实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array,现场可编程门阵列)、能够重构LSI内部的电路单元的连接或设定的可重构处理器。

而且,如果因半导体技术的进步或派生的其他技术而出现置换LSI的集成电路化的技术,则当然也可以使用该技术进行功能块的集成化。也有可能应用生物技术等。

(3)构成上述各装置的构成要素的一部分或全部也可以由能够在各装置上装卸的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包含上述的超多功能LSI。微处理器按照计算机程序来动作,由此,所述IC卡或所述模块实现其功能。该IC卡或该模块也可以具有防篡改性。

(4)本公开也可以是上述所示的方法。另外,也可以是通过计算机实现这些方法的计算机程序,也可以是由所述计算机程序构成的数字信号。

另外,本公开也可以设为将所述计算机程序或所述数字信号记录于计算机可读取的记录介质、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等而得到的介质。另外,也可以是记录在这些记录介质中的所述数字信号。

另外,本公开也可以设为经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传送所述计算机程序或所述数字信号。

另外,本公开也可以是具备微处理器和存储器的计算机系统,所述存储器记录有上述计算机程序,所述微处理器按照所述计算机程序来动作。

另外,也可以通过将所述程序或所述数字信号记录在所述记录介质中并进行移送,或者将所述程序或所述数字信号经由所述网络等进行移送,从而利用独立的其他计算机系统来实施。

(5)也可以将上述实施方式及上述变形例分别组合。

产业上的可利用性

本公开能够利用于能够减少再现立体音响所需的处理负荷的音响再现方法、音响再现装置以及程序等。

附图标记说明

1音响再现系统

100音响再现装置

101取得部

102检测部

103生成部

104渲染部

105通信部

200终端

201通信部

202控制部

203检测部

204输入受理部

205显示部

206声音输出部

300控制器

301、361、371声源

302、362、372收听者

303、303A、303B障碍物

303Ba第一部分

303Bb第二部分

303a一端

303b另一端

311、311a、311b、312、312a、312b虚拟声源

363、373构造物

351、352虚拟声源方向

相关技术
  • 音响再现方法、计算机程序及音响再现装置
  • 音响再现方法、计算机程序及音响再现装置
技术分类

06120116487130