自适应分频的环绕声上混方法、装置、设备及存储介质

技术领域

本发明涉及音频处理技术领域，尤其涉及一种自适应分频的环绕声上混方法、装置、设备及存储介质。

背景技术

目前，诸如5.1.4、7.1.4等全景声扬声器配置已经逐步被大众了解与接受，并被广泛应用在音乐厅、电影院、家庭影院和汽车座舱等环境中。由于生活中绝大部分的音频都是双通道立体声，而全景声则需要多达10个、12个甚至更多的音频通道，需要使用算法将双通道立体声上混为更多通道的音频。

为了取得更好的听音效果，许多常规解码方法，如PSD、ADP估计法，再到目前主流的基于相干声与环境声的提取（PAE），基于心理声学的全新的panning规则的上混方法被依次提出。这些方法在细节处理上越来越精细，声像处理越来越准确，全景声效果也越来越好。但是，渐渐也有人发现，单纯地将环绕声信号去相关后，再由天空扬声器播放无法营造出舒适的3D氛围感。这就在一定程度上造成了天空扬声器的浪费，导致7.1.4配置的全景声和7.1配置的全景声在最终的3D氛围感上相差不大。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种自适应分频的环绕声上混方法、装置、设备及存储介质，旨在解决现有技术中天空扬声器营造的3D氛围感不佳的技术问题。

为实现上述目的，本发明提供了一种自适应分频的环绕声上混方法，所述方法包括以下步骤：

根据初始分频点构造低通滤波器与高通滤波器；

通过所述低通滤波器与高通滤波器将环绕声信号滤波，得到低频信号分量与高频信号分量；

将所述低频信号分量传输至环绕声扬声器播放，将所述高频信号分量传输至天空扬声器播放。

可选地，所述通过所述低通滤波器与高通滤波器将环绕声信号滤波，得到低频信号分量与高频信号分量，包括：

对所述环绕声信号按照预设采样频率采样，得到对应数量的采样点；

将连续的所述预设采样频率对应个数的采样点得到音频帧；

通过所述低通滤波器与高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量。

可选地，所述通过所述低通滤波器与高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量，包括：

根据当前分频点得到下一音频帧的分频点；

根据所述下一音频帧的分频点构造所述下一音频帧的分频点的低通滤波器与高通滤波器，并根据所述下一音频帧的分频点的低通滤波器与高通滤波器对所述环绕声信号帧滤波，得到所述环绕声信号帧的低频信号分量与高频信号分量。

可选地，所述根据当前分频点得到下一音频帧的分频点，包括：

根据所述低频信号分量与高频信号分量得到所述音频帧的低频分量能量与高频分量能量；

根据所述低频分量能量与高频分量能量得到高频与低频的能量比值；

根据所述能量比值，当前分频点，初始分频点及平滑系数得到下一音频帧的分频点。

可选地，所述通过所述低通滤波器与高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量，还包括：

根据所述下一音频帧的分频点匹配预设低通滤波器及高通滤波器；

在匹配失败时，根据所述预设低通滤波器及高通滤波器的频率与所述下一音频帧的分频点的频率得到频率差；

通过所述频率差最小的预设低通滤波器及高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量。

可选地，所述根据初始分频点构造低通滤波器与高通滤波器之前，还包括：

对当前播放音乐进行成分分析，得到频谱成分，其中，所述成分分析包括功率谱密度、自适应滤波算法、自适应动态规划、无监督算法或基于主环境提取方式中的任意一种；

根据所述频谱成分查询分频点对应关系，得到所述频谱成分对应的初始分频点。

可选地，所述环绕声扬声器包括左环绕扬声器、右环绕扬声器、左后方环绕扬声器及右后方环绕扬声器，所述天空扬声器包括左上前天空扬声器、右上前天空扬声器、左上后天空扬声器、右上后天空扬声器，所述将所述低频信号分量传输至环绕声扬声器播放，将所述高频信号分量传输至天空扬声器播放，包括：

获取所述环绕扬声器与天空扬声器的信号传输延迟时间；

将所述低频信号分量延时传输延迟时间后，分别传输至所述左环绕扬声器、右环绕扬声器、左后方环绕扬声器及右后方环绕扬声器进行播放；

将所述高频信号分量延时传输延迟时间后，分别传输至所述左上前天空扬声器、右上前天空扬声器、左上后天空扬声器、右上后天空扬声器进行播放。

此外，为实现上述目的，本发明还提出一种自适应分频的环绕声上混装置，所述自适应分频的环绕声上混装置包括：

滤波器构造模块，用于根据初始分频点构造低通滤波器与高通滤波器；

音频滤波模块，用于通过所述低通滤波器与高通滤波器将环绕声信号滤波，得到低频信号分量与高频信号分量；

音频输出模块，用于将所述低频信号分量传输至环绕声扬声器播放，将所述高频信号分量传输至天空扬声器播放。

此外，为实现上述目的，本发明还提出一种自适应分频的环绕声上混设备，所述自适应分频的环绕声上混设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自适应分频的环绕声上混程序，所述自适应分频的环绕声上混程序配置为实现如上文所述的自适应分频的环绕声上混方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有自适应分频的环绕声上混程序，所述自适应分频的环绕声上混程序被处理器执行时实现如上文所述的自适应分频的环绕声上混方法的步骤。

本发明通过根据初始分频点构造低通滤波器与高通滤波器；通过所述低通滤波器与高通滤波器将环绕声信号滤波，得到低频信号分量与高频信号分量；将所述低频信号分量传输至环绕声扬声器播放，将所述高频信号分量传输至天空扬声器播放，通过对不同音频的每一帧信号的能量分析，自适应地给出能量分频点进行滤波和信道分配，相对于单纯地将环绕声去相关的处理操作，本发明能最终营造出更好的3D氛围感。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的自适应分频的环绕声上混设备的结构示意图；

图2为本发明自适应分频的环绕声上混方法第一实施例的流程示意图；

图3为本发明自适应分频的环绕声上混方法第二实施例的流程示意图；

图4为本发明自适应分频的环绕声上混装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的自适应分频的环绕声上混设备结构示意图。

如图1所示，该自适应分频的环绕声上混设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对自适应分频的环绕声上混设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及自适应分频的环绕声上混程序。

在图1所示的自适应分频的环绕声上混设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明自适应分频的环绕声上混设备中的处理器1001、存储器1005可以设置在自适应分频的环绕声上混设备中，所述自适应分频的环绕声上混设备通过处理器1001调用存储器1005中存储的自适应分频的环绕声上混程序，并执行本发明实施例提供的自适应分频的环绕声上混方法。

本发明实施例提供了一种自适应分频的环绕声上混方法，参照图2，图2为本发明一种自适应分频的环绕声上混方法第一实施例的流程示意图。

本实施例中，所述自适应分频的环绕声上混方法包括以下步骤：

步骤S10：根据初始分频点构造低通滤波器与高通滤波器。

需要说明的是，本实施例的执行主体是自适应分频的环绕声上混设备，其中，该自适应分频的环绕声上混设备具有数据处理，数据通信及程序运行等功能，所述自适应分频的环绕声上混设备可以为集成控制器，控制计算机等设备，当然还可以为其他具备相似功能的设备，本实施例对此不做限制。

应当理解的是，在7.1.4的扬声器配置和各个扬声器的目标配置上，低音炮一般布置在地面上，四个天空扬声器布置在人头的上方，其余的扬声器则一般与人头平齐，分别布置在各个方位上。对于大多数双通道立体声上混算法而言，位于人头前方的三个扬声器用来制造人声和乐器声的声像，低音炮用来不成低音，其余所有的扬声器则用来播放环绕声，营造氛围感。

可以理解的是，所述初始分频点指的是在进行音频滤波时，用于开始执行滤波的初始频率基准，用于区分高频环绕声和低频环绕声，其中，分频点会根据音频的类型有关，不同的音频类型对应着不同的分频点，另外随着不断进行滤波，所述分频点可以发生改变，其改变幅度根据实际音频确定，本实施例对此不做限制。

在具体实现中，所述自适应分频的环绕声上混设备在创建低频滤波器和高频滤波器时，需要首先获取到预先设置的初始分频点，例如初始分频点为3000Hz，那么在实际处理时，频率低于3000Hz的音频会被归纳为低频环绕声，类似的，频率高于3000Hz的音频会被归纳为高频环绕声。当初始分频点确定好之后，能够根据所述初始分频点构造低通滤波器与高通滤波器，所述低通滤波器能够容许低于分频点频率的信号通过，限制高于分频点频率的信号通过，所述高通滤波器能够容许高于分频点频率的信号通过，限制低于分频点频率的信号通过，通过所述低通滤波器与所述高通滤波器能够将一个音频信号处理为一个低通信号和一个高通信号，便于对所述音频信号进行分析处理。

进一步地，在根据初始分频点构造低通滤波器与高通滤波器之前，还包括：

对当前播放音乐进行成分分析，得到频谱成分，其中，所述成分分析包括功率谱密度、自适应滤波算法、自适应动态规划、无监督算法或基于主环境提取方式中的任意一种；

根据所述频谱成分查询分频点对应关系，得到所述频谱成分对应的初始分频点。

需要说明的是，对于音乐音频，可以对其进行成分分析，将所述音乐音频划分为主要成分与环绕声成分，其中主要成分经过panning等处理手段交由前方三个扬声器播放，环绕声成分经过相关的处理交由余下的扬声器进行播放。

可以理解的是，对音乐音频进行成分分析时，能够根据所述音频的频率确定出音乐的音乐类型，同时，针对不同的音乐类型，能够预先设置音乐类型与分频点的对应关系，在所述音乐类型与分频点对应关系中，对于低音较重的音乐，分频点的频率相对较低，例如可以设置为500Hz-2000Hz之间，而对于高频较为丰富的音乐，分频点应在3000 Hz-6000 Hz之间。

在具体实现中，所述自适应分频的环绕声上混设备能够对当前播放的音频频率进行识别，一般的，将频率在500Hz-2000Hz的音频作为低频音频，频率在3000Hz-6000Hz的音频作为高频音频，为了能够对音频中的低频音频和高频音频进行分离，可以设置一个分频点，用来区分所述低频音频和高频音频。在扬声器播放音乐时，能够获取到当前扬声器的音频频谱，并对所述当前播放的音乐进行成分分析，进而得到当前播放音乐的频谱成分，在进行成分分析时，可以根据功率谱密度、自适应滤波算法、自适应动态规划、无监督算法或基于主环境提取方式中的任意一种来进行成分分析，得到频谱成分，并根据所述频谱成分创建分频点对应关系，每一种频谱成分可对应一个分频点，具体设置根据实际情况设定，本实施例对此不做限制，当在对当前播放音乐检测得到频谱成分后，能够查询所述分频点对应关系，进而确定出初始分频点。

步骤S20：通过所述低通滤波器与高通滤波器将环绕声信号滤波，得到低频信号分量与高频信号分量。

需要理解的是，所述低频信号分量与所述高频信号分量是根据已经创建好的两个滤波器对环绕声进行滤波得到的频率范围不同的环绕声音频分量。

在具体实现中，在根据初始分频点构造出低频滤波器与高频滤波器之后，能够根据所述低频滤波器与高频滤波器得到对应的低频信号分量与所述高频信号分量，若根据分频点为3000Hz构造出滤波器后，将所述环绕声中低于3000Hz的环绕声滤波为低频信号分量，将大于3000Hz的环绕声滤波为高频信号分量。

步骤S30：将所述低频信号分量传输至环绕声扬声器播放，将所述高频信号分量传输至天空扬声器播放。

应当理解的是，所述环绕声扬声器包括左环绕扬声器、右环绕扬声器、左后方环绕扬声器及右后方环绕扬声器，所述天空扬声器包括左上前天空扬声器、右上前天空扬声器、左上后天空扬声器、右上后天空扬声器。

在具体实现中，在得到低频信号分量与所述高频信号分量之后，能够从存储介质中读取到每个环绕扬声器对应的延迟时间，其中每个环绕扬声器由于安装的位置不同，因此所对应的延迟时间也有不同，因此本实施例对延时时间不做具体限制，根据实际情况进行合理设置。例如，可以将低频信号分量分别延时0、1.5、3、5 ms后，依次传输至左环绕扬声器、右环绕扬声器、左后方环绕扬声器及右后方环绕扬声器播放，将高频部分延时6、7、8、9ms后，依次给到左上前天空扬声器、右上前天空扬声器、左上后天空扬声器、右上后天空扬声器进行播放。

本实施例通过根据初始分频点构造低通滤波器与高通滤波器；通过所述低通滤波器与高通滤波器将环绕声信号滤波，得到低频信号分量与高频信号分量；将所述低频信号分量传输至环绕声扬声器播放，将所述高频信号分量传输至天空扬声器播放，通过对不同音频的每一帧信号的能量分析，自适应地给出能量分频点进行滤波和信道分配，相对于单纯地将环绕声去相关的处理操作，本发明能最终营造出更好的3D氛围感。

参考图3，图3为本发明一种自适应分频的环绕声上混方法第二实施例的流程示意图。

基于上述第一实施例，本实施例自适应分频的环绕声上混方法在所述步骤S20，包括：

步骤S201：对所述环绕声信号按照预设采样频率采样，得到对应数量的采样点；

步骤S202：将连续的所述预设采样频率对应个数的采样点得到音频帧；

步骤S203：通过所述低通滤波器与高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量。

需要说明的是，所述自适应分频的环绕声上混设备得到的音频信号

应当理解的是，对音频信号进行处理时，需要进行分帧处理，一般在一帧中设置采样点的个数为1024的整数倍，所述帧长的采样点为预设采样频率由所述采样点个数决定。

在具体实现中，所述自适应分配环绕声上混设备在获取到所述预设采样频率时，能够根据所述预设采样频率确定每一帧数据中的采样点的个数，并根据所述采样点对所述音频进行采样，得到音频帧，并将音频帧通过所述低通滤波器与高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量。以帧长为2048个采样点进行说明。当将一帧数据设置2048个采样点之后，每一帧数据可表示为

进一步地，所述通过所述低通滤波器与高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量，包括：

根据当前分频点得到下一音频帧的分频点；

根据所述下一音频帧的分频点构造所述下一音频帧的分频点的低通滤波器与高通滤波器，并根据所述下一音频帧的分频点的低通滤波器与高通滤波器对所述环绕声信号帧滤波，得到所述环绕声信号帧的低频信号分量与高频信号分量。

所述根据当前分频点得到下一音频帧的分频点，包括：

根据所述低频信号分量与高频信号分量得到所述音频帧的低频分量能量与高频分量能量；

根据所述低频分量能量与高频分量能量得到高频与低频的能量比值；

根据所述能量比值，当前分频点，初始分频点及平滑系数得到下一音频帧的分频点。

在具体实现中，所述自适应分配的环绕声上混设备首先会对初始分频点进行初始化，可以将初始化分频点理解为第0帧的分频点，在进行初始化时，可以将分频点初始化为3000Hz，即

其中，所述

进一步地，所述通过所述低通滤波器与高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量，还包括：

根据所述下一音频帧的分频点匹配预设低通滤波器及高通滤波器；

在匹配失败时，根据所述预设低通滤波器及高通滤波器的频率与所述下一音频帧的分频点的频率得到频率差；

通过所述频率差最小的预设低通滤波器及高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量。

在具体实现中，所述自适应分频的环绕声上混设备能够预设若干个低通滤波器与高通滤波器，所述若干个低通滤波器与高通滤波器均由不同的分频点，在求得第k+1帧的分频点

本实施例通过对音频帧采取多个采样点将音频信号离散化，并逐帧估计当前帧的分频点，通过当前帧的分频点确定低通滤波器与高通滤波器，通过所述低通滤波器与高通滤波器得到当前帧的低频信号分量与高频信号分量，能够将音频信号中高频信号分量传输至天空扬声器，低频信号分量传输至环绕扬声器，从而使的纯音的频率提高，增强3D氛围感。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有自适应分频的环绕声上混程序，所述自适应分频的环绕声上混程序被处理器执行时实现如上文所述的自适应分频的环绕声上混方法的步骤。

参照图4，图4为本发明自适应分频的环绕声上混装置第一实施例的结构框图。

如图4所示，本发明实施例提出的自适应分频的环绕声上混装置包括：

滤波器构造模块10，用于根据初始分频点构造低通滤波器与高通滤波器；

音频滤波模块20，用于通过所述低通滤波器与高通滤波器将环绕声信号滤波，得到低频信号分量与高频信号分量；

音频输出模块30，用于将所述低频信号分量传输至环绕声扬声器播放，将所述高频信号分量传输至天空扬声器播放。

本实施例通过根据初始分频点构造低通滤波器与高通滤波器；通过所述低通滤波器与高通滤波器将环绕声信号滤波，得到低频信号分量与高频信号分量；将所述低频信号分量传输至环绕声扬声器播放，将所述高频信号分量传输至天空扬声器播放，通过对不同音频的每一帧信号的能量分析，自适应地给出能量分频点进行滤波和信道分配，相对于单纯地将环绕声去相关的处理操作，本发明能最终营造出更好的3D氛围感。

在一实施例中，所述音频滤波模块20，还用于对所述环绕声信号按照预设采样频率采样，得到对应数量的采样点；将连续的所述预设采样频率对应个数的采样点得到音频帧；通过所述低通滤波器与高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量。

在一实施例中，所述音频滤波模块20，还用于根据当前分频点得到下一音频帧的分频点；根据所述下一音频帧的分频点构造所述下一音频帧的分频点的低通滤波器与高通滤波器，并根据所述下一音频帧的分频点的低通滤波器与高通滤波器对所述环绕声信号帧滤波，得到所述环绕声信号帧的低频信号分量与高频信号分量。

在一实施例中，所述音频滤波模块20，还用于根据所述低频信号分量与高频信号分量得到所述音频帧的低频分量能量与高频分量能量；根据所述低频分量能量与高频分量能量得到高频与低频的能量比值；根据所述能量比值，当前分频点，初始分频点及平滑系数得到下一音频帧的分频点。

在一实施例中，所述音频滤波模块20，还用于根据所述下一音频帧的分频点匹配预设低通滤波器及高通滤波器；在匹配失败时，根据所述预设低通滤波器及高通滤波器的频率与所述下一音频帧的分频点的频率得到频率差；通过所述频率差最小的预设低通滤波器及高通滤波器对所述音频帧滤波，得到低频信号分量与高频信号分量。

在一实施例中，所述滤波器构造模块10，还用于对当前播放音乐进行成分分析，得到频谱成分，其中，所述成分分析包括功率谱密度、自适应滤波算法、自适应动态规划、无监督算法或基于主环境提取方式中的任意一种；根据所述频谱成分查询分频点对应关系，得到所述频谱成分对应的初始分频点。

在一实施例中，所述音频输出模块30，还用于获取所述环绕扬声器与天空扬声器的信号传输延迟时间；将所述低频信号分量延时传输延迟时间后，分别传输至所述左环绕扬声器、右环绕扬声器、左后方环绕扬声器及右后方环绕扬声器进行播放；将所述高频信号分量延时传输延迟时间后，分别传输至所述左上前天空扬声器、右上前天空扬声器、左上后天空扬声器、右上后天空扬声器进行播放。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光 盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。