立体声上混方法、装置、设备及存储介质

技术领域

本发明涉及音频处理技术领域，尤其涉及一种立体声上混方法、装置、设备及存储介质。

背景技术

近20年的上混方法，例如基于相干声与环境声的提取（PAE），基于心理声学的全新的panning规则的上混方法被依次提出。这些方法在细节处理上越来越精细，声像处理越来越准确，全景声效果也越来越好。对于实时系统，由于算力的限制，被动环绕解码方法（Passive Surround Decoding Method，PSD）依旧是一种简单方便且高效的处理方法。但是在实际使用发现，PSD方法会将环绕声中的人声成分剔除过多，这会导致声像过于集中，3D氛围感一般。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种立体声上混的方法、装置、设备及存储介质，旨在解决现有技术立体声上混声像过于集中，3D氛围感一般的技术问题。

为实现上述目的，本发明提供了一种立体声上混方法，所述方法包括以下步骤：

获取立体声信号；

根据所述立体声信号和预设环绕解码方式确定主成分信号和第一环绕声信号；

根据所述立体声信号和预设均方误差方式确定第二环绕声信号；

发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至扬声器。

可选地，所述根据所述立体声信号和预设环绕解码方式确定主成分信号和第一环绕声信号，包括：

对所述立体声信号进行信号分离，确定左声道信号和右声道信号；

根据所述左声道信号和所述右声道信号进行主成分计算，得到主成分信号；

根据所述左声道信号和所述右声道信号进行差值计算，得到第一环绕声信号。

可选地，所述根据所述立体声信号和预设均方误差方式确定第二环绕声信号，包括：

根据所述立体声信号中的左声道信号确定参考信号；

根据所述立体声信号中的右声道信号确定期望信号；

根据预设滤波器长度、所述参考信号、所述期望信号以及预设均方误差方式确定第二环绕声信号。

可选地，所述根据预设滤波器长度、所述参考信号、所述期望信号以及预设均方误差方式确定第二环绕声信号，包括：

根据预设滤波器长度对权值向量进行初始化，得到初始化权值向量；

根据所述预设滤波器长度和所述参考信号确定参考信号向量；

根据所述参考信号向量、所述初始化权值向量、所述期望信号以及预设均方误差方式进行计算，确定第二环绕声信号。

可选地，所述根据所述参考信号向量、所述初始化权值向量、所述期望信号以及预设均方误差方式进行计算，确定第二环绕声信号，包括：

根据所述初始化权重向量、所述期望信号以及所述参考信号向量进行误差计算，确定误差信号；

根据所述误差信号、所述初始化权重向量、所述参考信号向量以及预设迭代步长进行权值更新，确定权重更新向量；

根据所述权值更新向量对所述误差信号进行更新，输出误差更新信号；

根据所述误差更新信号确定第二环绕声信号。

可选地，所述发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至扬声器，包括：

发送所述主成分信号至中心扬声器；

分别对所述第一环绕声信号和所述第二环绕声信号进行延时处理，得到所述第一环绕声信号对应的第一目标环绕声信号和所述第二环绕声信号对应的第二目标环绕声信号；

发送所述第一目标环绕声信号至天空扬声器，并发送所述第二目标环绕声信号至环绕扬声器。

可选地，所述发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至相应的扬声器之后，还包括：

根据所述立体声信号和滤波器确定混合信号；

发送所述混合信号至混响扬声器。

此外，为实现上述目的，本发明还提出一种立体声上混装置，所述立体声上混装置包括：

获取模块，用于获取立体声信号；

处理模块，用于根据所述立体声信号和预设环绕解码方式确定主成分信号和第一环绕声信号；

所述处理模块，还用于根据所述立体声信号和预设均方误差方式确定第二环绕声信号；

控制模块，用于发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至扬声器。

此外，为实现上述目的，本发明还提出一种立体声上混设备，所述立体声上混设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的立体声上混程序，所述立体声上混程序配置为实现如上文所述的立体声上混方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有立体声上混程序，所述立体声上混程序被处理器执行时实现如上文所述的立体声上混方法的步骤。

本发明一种立体声上混方法，通过获取立体声信号；根据所述立体声信号和预设环绕解码方式确定主成分信号和第一环绕声信号；根据所述立体声信号和预设均方误差方式确定第二环绕声信号；发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至扬声器。本发明通过使用预设环绕解码方式对立体声信号进行计算，以确定主成分信号和第一环绕声信号，引入预设均方误差方式，再次对立体声信号进行计算，以确定第二环绕声信号，最后发送主成分信号、第一环绕声信号以及第二环绕声信号至扬声器，解决了声像过于集中的问题，增加了扬声器中所包含的人声成分，营造了更好的3D氛围感，提升了用户的听觉感受。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的立体声上混设备的结构示意图；

图2为本发明立体声上混方法第一实施例的流程示意图；

图3为本发明立体声上混方法第二实施例的流程示意图；

图4为本发明立体声上混装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的立体声上混设备结构示意图。

如图1所示，该立体声上混设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对立体声上混设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及立体声上混程序。

在图1所示的立体声上混设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明立体声上混设备中的处理器1001、存储器1005可以设置在立体声上混设备中，所述立体声上混设备通过处理器1001调用存储器1005中存储的立体声上混程序，并执行本发明实施例提供的立体声上混方法。

本发明实施例提供了一种立体声上混方法，参照图2，图2为本发明一种立体声上混方法第一实施例的流程示意图。

本实施例中，所述立体声上混方法包括以下步骤：

步骤S10：获取立体声信号。

需要说明的是，本实施例的执行主体是立体声上混设备中的控制单元，其中，该立体声上混设备具有数据处理，数据通信及程序运行等功能，所述立体声上混设备可以为集成控制器，控制计算机等设备，当然还可以为其他具备相似功能的设备，本实施例对此不做限制。

可以理解的是，立体声信号指的是一种包含左声道和右声道的音频信号。

在具体实施中，由音频采集设备采集立体声信号，以获取立体声信号，音频采集设备包括但不限于麦克风、立体声麦克风等。

步骤S20：根据所述立体声信号和预设环绕解码方式确定主成分信号和第一环绕声信号。

可以理解的是，预设环绕解码方式指的是预先设定的音频信号解码方式，包括但不限于被动环绕解码方法（Passive Surround Decoding Method，PSD），主成分信号指的是左声道和右声道中相对较强的声音信号，第一环绕声信号指的通过预设环绕解码方式计算出的第一环绕声信号。

在具体实施中，在获取立体声信号后，通过预设环绕解码方式，对立体声信号进行计算，根据计算结果确定主成分信号和第一环绕信号。

需要说明的是，为了准确获取主成分信号和第一环绕信号，进一步地，所述根据所述立体声信号和预设环绕解码方式确定主成分信号和第一环绕声信号，包括：对所述立体声信号进行信号分离，确定左声道信号和右声道信号；根据所述左声道信号和所述右声道信号进行主成分计算，得到主成分信号；根据所述左声道信号和所述右声道信号进行差值计算，得到第一环绕声信号。

可以理解的是，左声道信号指的是立体声信号中来自左侧声道的声音信号，右声道信号指的是立体声信号中来自右侧声道的声音信号，主成分计算指的是通过预设环绕解码方式计算主成分信号的计算方式，差值计算指的是通过预设环绕解码方式计算第一环绕声信号的计算方式。

在具体实施中，对立体声信号进行信号分离处理，以获得左声道信号和右声道信号，通过预设解码方式，对左声道信号和右声道信号进行计算，确定主成分信号，具体的计算方式为：

需要说明的是，对于数字信号而言，无法用时间域上连续信号

可以理解的是，在计算第一环绕声信号时，通过计算左声道信号与右声道信号的差值来确定第一环绕声信号，具体的计算方式为：

步骤S30：根据所述立体声信号和预设均方误差方式确定第二环绕声信号。

可以理解的是，预设均方误差方式指的是预先设定的音频信号处理方式，包括但不限于最小均方误差法（Least Mean Square，LMS），第二环绕声指的是通过预设均方误差方式计算出的第二环绕声信号。

在具体实施中，在获取立体声信号后，通过预均方误差方式，对立体声信号进行计算，根据计算结果确定第二环绕信号。

步骤S40：发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至扬声器。

可以理解的是，扬声器包括但不限于中心扬声器、天空扬声器、环绕扬声器、混响扬声器等。

在具体实施中，在获取主成分信号、第一环绕声信号以及第二环绕声信号后，根据分配机制，把所有音频信号发送至对应的扬声器，以实现更好的3D氛围感。

需要说明的是，为了增大声像范围和提升3D氛围感，进一步地，所述发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至相应的扬声器之后，还包括：根据所述立体声信号和滤波器确定混合信号；发送所述混合信号至混响扬声器。

可以理解的是，滤波器指的是将输入信号和滤波器的输出信号进行混合的设备，滤波器包括但不限全通滤波器，混合信号指的是为了实现混响效果的混合音频信号。

在具体实施中，将立体声信号输入至滤波器中，滤波器通过特定的方式将立体声信号与滤波器输出的信号进行混合，以确定混合信号，再发送混合信号至混响扬声器，以实现混响效果，并增大声像范围和提升3D氛围感。

本实施例通过获取立体声信号；根据所述立体声信号和预设环绕解码方式确定主成分信号和第一环绕声信号；根据所述立体声信号和预设均方误差方式确定第二环绕声信号；发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至扬声器。本发明通过使用预设环绕解码方式对立体声信号进行计算，以确定主成分信号和第一环绕声信号，引入预设均方误差方式，再次对立体声信号进行计算，以确定第二环绕声信号，最后发送主成分信号、第一环绕声信号以及第二环绕声信号至扬声器，解决了声像过于集中的问题，增加了扬声器中所包含的人声成分，营造了更好的3D氛围感，提升了用户的听觉感受。

参考图3，图3为本发明一种立体声上混方法第二实施例的流程示意图。

基于上述第一实施例，本实施例立体声上混方法在所述步骤S30，包括：

步骤S301：根据所述立体声信号中的左声道信号确定参考信号。

可以理解的是，参考信号指的是用于比较和调整的理想信号，参考信号是预设均方误差方式中的固定变量之一，表示为

在具体实施中，根据左声道信号对参考信号进行赋值计算，具体的计算方式为：

步骤S302：根据所述立体声信号中的右声道信号确定期望信号。

可以理解的是，期望信号指的是期望输出的信号，期望信号是预设均方误差方式中的固定变量之一，表示为

在具体实施中，根据右声道信号对期望信号进行赋值计算，具体的计算方式为：

步骤S303：根据预设滤波器长度、所述参考信号、所述期望信号以及预设均方误差方式确定第二环绕声信号。

可以理解的是，预设滤波器长度指的是设定的滤波器长度，为一个可调节的长度，一般为2的次方，在本实施例，预设滤波器长度设定为128，也可设定为其他值，本实施例对此不加以限制。

在具体实施中，通过预设均方误差方式和预设滤波器长度对参考信号和期望信号进行计算，根据计算结果确定第二环绕声信号。

需要说明的是，为了通过预设滤波器长度确定第二环绕声信号，进一步地，所述根据预设滤波器长度、所述参考信号、所述期望信号以及预设均方误差方式确定第二环绕声信号，包括：根据预设滤波器长度对权值向量进行初始化，得到初始化权值向量；根据所述预设滤波器长度和所述参考信号确定参考信号向量；根据所述参考信号向量、所述初始化权值向量、所述期望信号以及预设均方误差方式进行计算，确定第二环绕声信号。

可以理解的是，权值向量指的是自适应滤波器中每个滤波器系数的权重，表示为

在具体实施中，根据预设滤波器长度对权值向量进行初始化计算，具体的计算方式为：

需要说明的是，为了准确获取第二环绕声信号，进一步地，所述根据所述参考信号向量、所述初始化权值向量、所述期望信号以及预设均方误差方式进行计算，确定第二环绕声信号，包括：根据所述初始化权重向量、所述期望信号以及所述参考信号向量进行误差计算，确定误差信号；根据所述误差信号、所述初始化权重向量、所述参考信号向量以及预设迭代步长进行权值更新，确定权重更新向量；根据所述权值更新向量对所述误差信号进行更新，输出误差更新信号；根据所述误差更新信号确定第二环绕声信号。

可以理解的是，误差计算指的是预设均方误差方式中的一种计算方式，误差信号指的是指期望输出信号和实际输出信号之间的差异，表示为：

在具体实施中，通过预设均方误差方式，对初始化权重向量、期望信号以及参考信号进行计算，具体的计算方式为：

需要说明的是，为了优化环绕声分配机制，进一步地，所述发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至扬声器，包括：发送所述主成分信号至中心扬声器；分别对所述第一环绕声信号和所述第二环绕声信号进行延时处理，得到所述第一环绕声信号对应的第一目标环绕声信号和所述第二环绕声信号对应的第二目标环绕声信号；发送所述第一目标环绕声信号至天空扬声器，并发送所述第二目标环绕声信号至环绕扬声器。

可以理解的是，扬声器包括但不限于中心扬声器、天空扬声器以及环绕扬声器等，延时处理指的是去除环绕声信息中的延时信息的操作，第一目标环绕声信号指的是第一环绕声信号去延时处理后的信号，第二目标环绕声信号指的是第二环绕声信号去延时处理后的信号。

在具体实施中，发送主成分信号到中心扬声器，对第一环绕声信号和第二环绕声信号进行延时处理，以确定第一目标环绕声信号和第二目标环绕声信号，再发送第一目标环绕声信号至天空扬声器，并发送第二目标环绕声信号至环绕扬声器，通过以上环绕声分配机制，使不同的音频信号在对应的扬声器播放，增大了声像范围，也提升了3D氛围感。

本实施例通过根据所述立体声信号中的左声道信号确定参考信号；根据所述立体声信号中的右声道信号确定期望信号；根据预设滤波器长度、所述参考信号、所述期望信号以及预设均方误差方式确定第二环绕声信号。通过预设均方误差方式，根据立体声信号中的左声道信号和右声道信号，确定参考信号和期望信号，最后根据预设滤波器长度、参考信号以及期望信号，确定第二环绕声信号，通过预设均方误差方式，获得了富含更多人声成分的环绕声成分，营造出了更好的3D氛围感。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有立体声上混程序，所述立体声上混程序被处理器执行时实现如上文所述的立体声上混方法的步骤。

参照图4，图4为本发明立体声上混装置第一实施例的结构框图。

如图4所示，本发明实施例提出的立体声上混装置包括：

获取模块10，用于获取立体声信号。

处理模块20，用于根据所述立体声信号和预设环绕解码方式确定主成分信号和第一环绕声信号。

所述处理模块20，还用于根据所述立体声信号和预设均方误差方式确定第二环绕声信号。

控制模块30，用于发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至扬声器。

本实施例通过获取立体声信号；根据所述立体声信号和预设环绕解码方式确定主成分信号和第一环绕声信号；根据所述立体声信号和预设均方误差方式确定第二环绕声信号；发送所述主成分信号、所述第一环绕声信号以及所述第二环绕声信号至扬声器。本发明通过使用预设环绕解码方式对立体声信号进行计算，以确定主成分信号和第一环绕声信号，引入预设均方误差方式，再次对立体声信号进行计算，以确定第二环绕声信号，最后发送主成分信号、第一环绕声信号以及第二环绕声信号至扬声器，解决了声像过于集中的问题，增加了扬声器中所包含的人声成分，营造了更好的3D氛围感，提升了用户的听觉感受。

在一实施例中，所述处理模块20，还用于对所述立体声信号进行信号分离，确定左声道信号和右声道信号；

根据所述左声道信号和所述右声道信号进行主成分计算，得到主成分信号；

根据所述左声道信号和所述右声道信号进行差值计算，得到第一环绕声信号。

在一实施例中，所述处理模块20，还用于根据所述立体声信号中的左声道信号确定参考信号；

根据所述立体声信号中的右声道信号确定期望信号；

根据预设滤波器长度、所述参考信号、所述期望信号以及预设均方误差方式确定第二环绕声信号。

在一实施例中，所述处理模块20，还用于根据预设滤波器长度对权值向量进行初始化，得到初始化权值向量；

根据所述预设滤波器长度和所述参考信号确定参考信号向量；

根据所述参考信号向量、所述初始化权值向量、所述期望信号以及预设均方误差方式进行计算，确定第二环绕声信号。

在一实施例中，所述处理模块20，还用于根据所述初始化权重向量、所述期望信号以及所述参考信号向量进行误差计算，确定误差信号；

根据所述误差信号、所述初始化权重向量、所述参考信号向量以及预设迭代步长进行权值更新，确定权重更新向量；

根据所述权值更新向量对所述误差信号进行更新，输出误差更新信号；

根据所述误差更新信号确定第二环绕声信号。

在一实施例中，所述控制模块30，还用于发送所述主成分信号至中心扬声器；

分别对所述第一环绕声信号和所述第二环绕声信号进行延时处理，得到所述第一环绕声信号对应的第一目标环绕声信号和所述第二环绕声信号对应的第二目标环绕声信号；

发送所述第一目标环绕声信号至天空扬声器，并发送所述第二目标环绕声信号至环绕扬声器。

在一实施例中，所述控制模块30，还用于根据所述立体声信号和滤波器确定混合信号；

发送所述混合信号至混响扬声器。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read Only Memory，ROM）/RAM、磁碟、光 盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。