掌桥专利:专业的专利平台
掌桥专利
首页

一种音频编码方法、装置、电子设备及存储介质

文献发布时间:2024-04-18 19:54:45


一种音频编码方法、装置、电子设备及存储介质

技术领域

本申请涉及领域音频处理技术领域,尤其涉及一种音频编码方法、装置、电子设备和存储介质。

背景技术

随着多媒体技术的发展,对音频信号的要求越来越高,现有二维音频算法(2dimension mid-side,2D M/S)虽然可以有效地降低多声道间的数据冗余,但在多种不同音频场景下,现有算法在传输数据过程中增大了传输成本,造成数据的浪费。

发明内容

本申请提供一种音频编码方法、装置、电子设备、计算机可读存储介质及计算机程序产品,以解决在多声道音频传输过程中,对传输和存储介质造成浪费等问题。本申请的技术方案如下:

第一方面,本申请实施例提供一种音频编码方法,由编码器执行,所述方法包括:对声道序列进行分组,得到多个声道组,每个所述声道组包括所述声道序列中连续的若干个声道,相邻的所述声道组间存在一个或多个相同的声道;对所述声道序列中各声道的音频信号按帧进行频域转换,得到各声道每帧的频域系数;根据各声道的所述频域系数,从变换矩阵集中确定所述声道组对应的频带集中各频带的目标变换矩阵;基于各频带的所述目标变换矩阵,对所述声道组内声道的频域系数进行同频带去相关处理,得到所述声道组的编码信息;基于所述声道组的编码信息得到编码码流,并将所述编码码流发给解码器进行解码。

第二方面,本申请实施例提供一种音频解码方法,由解码器执行,所述方法包括:接收编码器发送的编码码流,所述编码码流中包括多个声道组的编码信息,所述声道组由声道序列按序分组得到,每个所述声道组包括所述声道序列中连续的若干个声道,相邻的所述声道组间存在一个或多个相同的声道;对所述多个声道组按序进行解码,针对解码到的当前声道组,根据所述当前声道组的编码信息,确定所述当前声道组对应的频带集中各频带的目标解码矩阵;基于所述当前声道组在各频带上的目标解码矩阵,对所述当前声道组的编码信息,得到所述当前声道组的解码频域系数;根据所述多个声道组的解码频域系数,获取所述声道序列中各声道的解码音频信号。

第三方面,本申请实施例提供一种音频编码装置,包括:声道分组模块,被配置为执行对所述声道序列进行分组,得到多个声道组,每个所述声道组包括所述声道序列中连续的若干个声道,相邻的所述声道组间存在一个或多个相同的声道;频域处理模块,被配置为执行对声道序列中各声道的音频信号按帧进行频域转换,得到各声道每帧的频域系数;矩阵确定模块,被配置为执行根据各声道的所述频域系数,从变换矩阵集中确定所述声道组对应的频带集中各频带的目标变换矩阵;编码模块,被配置为执行基于各频带的所述目标变换矩阵,对所述声道组内声道的频域系数进行同频带去相关处理,得到所述声道组的编码信息;发送模块,被配置为执行基于所述声道组的编码信息得到编码码流,并将所述编码码流发给解码器进行解码。

第四方面,本申请实施例提供一种音频解码装置,包括接收模块,被配置为执行接收编码器发送的编码码流,所述编码码流中包括多个声道组的编码信息,所述声道组由声道序列按序分组得到,每个所述声道组包括所述声道序列中连续的若干个声道,相邻的所述声道组间存在一个或多个相同的声道;矩阵确定模块,被配置为执行对所述多个声道组按序进行解码,针对解码到的当前声道组,根据所述当前声道组的编码信息,确定所述当前声道组对应的频带集中各频带的目标解码矩阵;解码模块,被配置为执行基于所述当前声道组在各频带上的目标解码矩阵,对所述当前声道组的编码信息,得到所述当前声道组的解码频域系数,并根据所述多个声道组的解码频域系数,获取所述声道序列中各声道的解码音频信号。

第五方面,本申请实施例提供一种编码器,包括处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为实现本申请实施例第一方面所述方法的步骤。

第六方面,本申请实施例提供一种解码器,包括处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为实现本申请实施例第二方面所述方法的步骤。

第七方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本申请实施例第一方面所述方法的步骤。

第八方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本申请实施例第二方面所述方法的步骤。

第九方面,本申请实施例提供一种编码器,该装置包括处理器和接口电路,该接口电路用于接收代码指令并传输至该处理器,该处理器用于运行所述代码指令以使该装置执行上述第一方面所述的方法。

第十方面,本申请实施例提供一种解码器,该装置包括处理器和接口电路,该接口电路用于接收代码指令并传输至该处理器,该处理器用于运行所述代码指令以使该装置执行上述第二方面所述的方法。

第十一方面,本申请实施例提供一种编解码系统,该系统包括第三方面所述的编码装置以及第四方面所述的解码装置,或者,该系统包括第五方面所述的编码器以及第六方面所述的解码器,或者,该系统包括第七方面所述的编码器以及第八方面所述的编码装置,或者,该系统包括第九方面所述的编码器以及第十方面所述的解码器。

第十二方面,本发明实施例提供一种计算机可读存储介质,用于储存为上述编码器所用的指令,当所述指令被执行时,使所述编码器执行上述第一方面所述的方法。

第十三方面,本发明实施例提供一种可读存储介质,用于储存为上述解码器所用的指令,当所述指令被执行时,使所述解码器执行上述第二方面所述的方法。

第十四方面,本申请还提供一种包括计算机程序的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法。

第十五方面,本申请还提供一种包括计算机程序的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第二方面所述的方法。

第十六方面,本申请提供一种芯片系统,该芯片系统包括至少一个处理器和接口,用于支持网络设备实现第一方面所涉及的功能,例如,确定或处理上述方法中所涉及的数据和信息中的至少一种。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存网络设备必要的计算机程序和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。

第十七方面,本申请提供一种芯片系统,该芯片系统包括至少一个处理器和接口,用于支持终端设备实现第二方面所涉及的功能,例如,确定或处理上述方法中所涉及的数据和信息中的至少一种。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存终端设备必要的计算机程序和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。

第十八方面,本申请提供一种计算机程序,当其在计算机上运行时,使得计算机执行上述第一方面所述的方法。

第十九方面,本申请提供一种计算机程序,当其在计算机上运行时,使得计算机执行上述第二方面所述的方法。

本申请的实施例提供的技术方案至少带来以下有益效果:编码器通过对声道信号进行频带划分和分组,得到频域系数,基于各声道的频域系数可以确定声道组对应的各频带的目标变换矩阵。进一步根据目标变换矩阵对声道的频域系数进行去相关处理,得到声道组的编码信息,基于编码信息得到编码码流进而发送给解码器进行解码。本申请实施例中,通过目标变换矩阵对声道组内每个频带上的频域系数进行编码处理,进而可以实现对多个声道的音频信号的压缩,而且可以降低多声道之间的冗余,减少了编码器的负担,降低了传输和存储成本。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释申请的原理。

图1是根据一示例性实施例示出的一种音频编码方法的流程图。

图2是根据另一示例性实施例示出的一种音频编码方法的流程图。

图3是根据一示例性实施例示出的互相关矩阵示意图。

图4是根据另一示例性实施例示出的一种音频编码方法的流程图。

图5是根据另一示例性实施例示出的一种音频编码方法的流程图。

图6是根据一示例性实施例示出的一种音频编码方法的示意图。

图7是根据一示例性实施例示出的一种音频解码方法的流程图。

图8是根据另一示例性实施例示出的一种音频解码方法的流程图。

图9是根据一示例性实施例示出的一种音频解码方法的示意图。

图10是根据另一示例性实施例示出的一种音频编码方法的流程图。

图11是根据一示例性实施例示出的一种音频编码装置的框图。

图12是根据一示例性实施例示出的一种音频解码装置的框图。

图13是根据一示例性实施例示出的一种音频处理装置的框图。

图14是根据一示例性实施例示出的另一种音频处理芯片的框图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开实施例。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”出于简洁和便于理解的目的,本文在表征大小关系时,所使用的术语为“大于”或“小于”、“高于”或“低于”。但对于本领域技术人员来说,可以理解:术语“大于”也涵盖了“大于等于”的含义,“小于”也涵盖了“小于等于”的含义;术语“高于”涵盖了“高于等于”的含义,“低于”也涵盖了“低于等于”的含义。

本申请实施例公开的一种音频编/解码方法,可以适用于各种通信系统,例如,例如:第三代(3th Generation,3G)通用移动通信系统(Universal MobileTelecommunications System,UMTS)长期演进(Long Term Evolution,LTE)系统、第五代(5th Generation,5G)移动通信系统、5G新空口(New Radio,NR)系统,第六代(5thGeneration,6G)移动通信系统或者其他未来的新型移动通信系统等。本申请实施例公开的一种音频编/解码方法,还可以适用于流媒体传输系统,OTT(Over The Top)媒体传输系统。

图1是本申请实施例提供的一种音频编码方法的流程示意图。该音频编码方法可以由编码器执行。如图1所示,该方法可以包括但不限于如下步骤:

S101,对声道序列进行分组,得到多个声道组,每个声道组包括声道序列中连续的若干个声道,相邻的声道组间存在一个或多个相同的声道。

可选地,编码器可以将声道序列中的M个声道进行分组,得到多个声道组。在一种实施方式中,每个声道组中包含声道序列中连续的若干个声道,例如可以包括连续的3个声道,本申请实施例中,相邻的声道组间存在一个或多个相同的声道。可以理解的是,相邻的声道组分别为第一声道组和第二声道组。其中,第一声道组和第二声道组分别包括声道序列中的连续三个声道,第一声道组和第二声道组中包括两个相同的声道。示例性说明,将声道序列中5个声道,划分为声道组1、声道组2和声道组3。其中,声道组1包括声道1、声道2和声道3;声道组2包括声道2、声道3和声道4;声道组3包括声道3、声道4和声道5。

S102,对声道序列中各声道的音频信号按帧进行频域转换,得到各声道每帧的频域系数。

本申请实施例中,编码器将声道序列中各声道的音频信号分成多个固定长度的帧,对每个帧进行改进型离散余弦变换(Modified Discrete Cosine Transform,MDCT),从而得到每个帧的频域表示。基于每个帧的频域表示,可以从频域表示提取出每帧的MDCT系数,作为每帧的频域系数。

在一种实施方式中,本申请实施例的声道序列中包含M个声道。

在一种实施方式中,各声道的每帧音频数据可以包括2N个采样点,采样率为f

S103,根据各声道的频域系数,从变换矩阵集中确定声道组对应的频带集中各频带的目标变换矩阵。

在一种实施方式中,可以预先根据心理声学频带划分方法,对频带进行划分,得到一个频带集合,其中频带集合中可以包括多个划分后的频带,例如,频带集合中可以包括b个划分后的频带,其中,b为大于或者等于1的整数。频带集合中的每个频带具有不同的频率范围,相邻的频带的频率范围为连续的。

在一种实施方式中,在对声道进行每帧MDCT变换后,将每个频域系数的采样点顺序与频率分辨率相乘,确定每个频域系数的频率值。

在一种实施方式中,任一频域系数的频率值的计算公式如下所示:

f=n*f

其中,n表示任一频域系数对应第n采样点,n的取值为1~N,N为采样点数量,通过公式(1)可以得到频域系数对应的频率值f。

进一步地,将频域系数的频率值与每个频带的频率范围相比较,得到频域系数所在的频率范围,以确定每个频带中的频域系数。

在一种实施方式中,根据声道间在同频带上的频域系数,计算不同声道间在同频带上的互相关系数。也就是说,频带集合中的每个频带,均可以基于声道间在同频带上的频域系数,获取该频带对应的两两声道间的互相关系数。

进一步地,针对频带集合中任意一个频带b,可以基于声道组所包括的声道,从频带b对应的两两声道间的互相关系数中,确定声道组内两两声道间在频带b上的互相关系数。进一步地,基于声道组内两两声道间在频带b上的互相关系数,从变换矩阵集中确定声道组对应的在频带b上的目标变换矩阵。可以理解的是,频带集合包括B个频带,可以获取到声道组在每个频带上的目标变换矩阵。

S104,基于各频带的目标变换矩阵,对声道组内声道的频域系数进行同频带去相关处理,得到声道组的编码信息。

在一种实施方式中,变换矩阵集中包括多个变换矩阵,每个变换矩阵可以对应一种去相关模式。可选地,变换矩阵集中可以包括M0、M1、M2、M3和M4。变换矩阵的具体取值如下所示:

在一种实施方式中,可以声道组在各频带上的目标变换矩阵,确定声道组在各频带上的去相关模式。在不同频带对应的目标变换矩阵不同的情况下,不同频带对应的去相关模式也不同。在不同频带对应的目标变换矩阵相同的情况下,则不同频带对应的去相关模式也相同。例如,频带1的目标变换矩阵为M1,频带2的目标变换矩阵为M2,频带3的目标变换矩阵为M1,则频带1与频带3的去相关模式相同,但是频带1和频带3,与频带2的去相关模式不同。

在一种实施方式中,对声道组内声道的频域系数进行频带区分,得到每个频带上的频域系数,基于同频带对应的目标变换矩阵,对声道组内声道的同频带上的频域系数进行去相关处理,进而得到声道组编码信息。

例如,定义声道组中包括的连续的三个声道,该连续的三个声道可以标记为声道L、声道C和声道R。针对频带集合中任意一个频带b,可以确定声道组在频带b上的的目标变换矩阵为M4。可以由声道L、声道C和声道R在频带b频带上的频域系数,组成频域系数矩阵,由该声道组在频带b上的频域系数矩阵与频带b对应的目标变换矩阵M4进行矩阵运算,得到声道组在频带b上的第一编码信息,也就是说,通过频带b对应的目标变换矩阵M4,对声道组内声道L、声道C和声道R在频带b上的频域系数进行去相关处理,得到声道组在频带b上的编码信息,可以对声道组内声道组声道L、声道C和声道R进行同频去相关处理,以降低同频干扰以及减少冗余和传输成本。

可以理解的是,可以通过各频带对应的目标变换矩阵,对声道组在各频带上的频域系数进行去相关处理,得到声道组在每个频带上的编码信息。在获取到各频带对应的编码信息后,可以根据各频带上的编码信息,得到声道组在全频带上的编码信息。可以理解的是,声道组的编码信息中包括该声道组在所有频带上的编码信息。

S105,基于声道组的编码信息得到编码码流,并将编码码流发给解码器进行解码。

在一种实施方式中,可以将声道组的编码信息按照二进制进行编码,得到一个二进制的编码码流。也就是说,将每个声道的编码信息转化为二进制码,并将所有声道组的二进制码连接起来,形成编码码流。进一步地,将编码码流发送到解码器进行解码,以恢复原始声道信号。

需要说明的是,为了使得解码器可以实现解码,还需要发送声道组在各频带上的目标变换矩阵。可选地,各频带的目标变换矩阵可以与声道的编码信息一同写入编码码流中发送,也可以单独与编码码流同步发送给解码器。

在本申请实施例提供的音频编码方法,编码器通过对声道信号进行频带划分和分组,得到频域系数,基于各声道的频域系数可以确定声道组对应的各频带的目标变换矩阵。进一步根据目标变换矩阵对声道的频域系数进行去相关处理,得到声道组的编码信息,基于编码信息得到编码码流进而发送给解码器进行解码。本申请实施例中,通过目标变换矩阵对声道组内每个频带上的频域系数进行编码处理,进而可以实现对多个声道的音频信号的压缩,而且可以降低多声道之间的冗余,减少了编码器的负担,降低了传输和存储成本。

图2是本申请实施例提供的一种音频编码方法的流程示意图。该音频编码方法可以由编码器执行。如图2所示,该方法可以包括但不限于如下步骤:

S201,对声道序列进行分组,得到多个声道组,每个声道组包括声道序列中连续的若干个声道,相邻的声道组间存在一个或多个相同的声道。

在本申请实施例中,S201的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S202,对声道序列中各声道的音频信号按帧进行频域转换,得到各声道每帧的频域系数。

在本申请实施例中,S202的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S203,根据各声道的频域系数,确定各频带对应的声道间的第一互相关矩阵。

在一种实施方式中,根据任一声道的频域系数,确定任一声道在各频带上的能量值,根据各声道在各频带的能量值,确定各频带对应的第一互相关矩阵。

可选地,可以根据任一声道的频域系数,计算声道的均方根能量RMS,确定任一声道在各频带上的能量值。RMS的计算公式如下所示:

其中,c表示声道索引值,其取值为1到M,M为输入声道数;b为频带索引值;X

需要说明的是,频点个数可以根据频带的宽度和频带对应的频率分辨率计算得到。

通常情况下,每个声道的数据长度相同,则根据相同的频带划分方法不同声道间同频带内的数据长度也都相同,因此同频带内的频点个数是相同的,即N

在一种实施方式中,在获取到各声道在各频带的能量值后,获取声道序列中两两声道在任一频带b上的能量比值,进一步地,根据声道间在任一频带b上的能量比值,确定两两声道间在任一频带b的互相关系数。

可选地,通过获取声道序列中两两声道在任一频带b上的能量比值Q,其中,计算能量比值Q的公式如下所示:

其中,c表示声道索引值,其取值为1到M,M为输入声道数;b为频带划分数;c

在一种实施方式中,可以通过能量比值Q,进行能量判别,基于能量判别结果,确定声道间在任一频带b的互相关系数。若任一频带b上的能量比值小于或者等于第一设定阈值,确定两两声道间在任一频带b的互相关系数为零;若任一频带b上的能量比值大于或者等于第二设定阈值,确定两两声道间在任一频带b的互相关系数为零。其中,第一设定阈值小于第二设定阈值。

若任一频带b上的能量比值处于第一设定阈值和第二设定阈值之间,即该能量比值大于第一设定阈值且小于第二设定阈值,根据两两声道在任一频带b上的频域系数,确定两两声道在任一频带b的互相关系数。

也就是说,若任一频带b上两两声道的能量比值Q过大或过小,则将该两两声道的互相关系数即为0;若任一频带b上两两声道的能量比值Q处于(0.5,2)之间,则进一步计算该两两声道的互相关系数。

可选地,可以根据Q的大小确定互相关系数。其中,计算互相关系数的公式如下所示:

其中,[x,y]表示声道的索引值;b表示频带索引值;N

进一步地,基于两两声道在任一频带b的互相关系数,可以得到任一频带b对应的第一互相关矩阵。例如,声道序列中包含M个声道,可以得到如下所示的第一互相关矩阵:

其中,第一互相关矩阵的第1行和第1列均对应声道1,第2行和第2列均对应声道2,依次类推,第M行和第M列均对应声道M。其中,

需要说明的是,频带集合中每个频带可以按照上述方式确定一个对应的第一互相关矩阵,若频带集合中包括b个频带,则具有b个第一互相关矩阵。

S204,从各频带的第一互相关矩阵中分别确定声道组的第二互相关矩阵,第二相关矩阵包括声道组内声道之间的互相关系数。

在一种实施方式中,可以根据如上所示的M*M的第一互相关矩阵,基于声道组内声道,从第一互相关矩阵中,提取声道组对应的第二互相关矩阵。可选地,确定声道组内声道的声道索引,根据该声道索引从第一互相关矩阵中,提取声道组的第二互相关矩阵。可选地,声道组内包括三个声道,可以基于声道组所包括的两两声道间的互相关系数,从第一互相关矩阵中确定声道组对应的第二互相关矩阵,该第二互相相关矩为为3*3的矩阵。

示例性说明,声道序列中包括5个声道,声道按序排列为声道1、声道2、声道3、声道4和声道5,声道组中包含的三个声道,其中,声道组1可以包括声道1、声道2和声道3,声道组2可以包括声道2、声道3和声道4;声道组3包括声道3、声道4和声道5。其中第一互相关矩阵为5*5的矩阵,可以如图3所示。针对声道组2,可以从第一互相关矩阵中截取第2行至第4行,与第2列至第4列相交部分的矩阵元素作为声道组2的第二互相关矩阵。例如,声道组2的第二互相关矩阵可以如图3所示为第一互相关矩阵中虚框内的部分,即声道组2的第二互相关矩阵如下所示:

需要说明的是,声道组在每个频带上均有一个第二互相关矩阵。

S205,基于声道组在各频带上的第二互相关矩阵,从变换矩阵集中确定声道组在各频带上的目标变换矩阵。

在一种实施方式中,针对任一频带b,若任一频带b上的第二互相关矩阵包括的两两声道之间的互相关系数,满足选用变换矩阵集中指定变换矩阵的条件,则选取指定变换矩阵作为任一频带b的目标变换矩阵;

若任一频带b上的第二互相关矩阵包括的两两声道之间的互相关系数,未满足条件,则根据两两声道之间的最大互相关系数,从变换矩阵集中,选取除指定变换矩阵之外的变换矩阵,作为任一频带b的目标变换矩阵。

可选地,可以设定互相关系数阈值,根据互相关系数阈值从变换矩阵集中确定声道组的目标变换矩阵。声道组在各频带上的第二互相关矩阵,包含了声道组内两两声道间的互相关系数。若两两声道之间的互相关系数大于设定阈值,则选取指定变换矩阵作为任一频带b的目标变换矩阵;若两两声道之间的互相关系数未能均大于阈值,则根据两两声道之间的最大互相关系数,从变换矩阵集中,选取除指定变换矩阵之外的变换矩阵,作为任一频带b的目标变换矩阵。

例如,变换矩阵集可以包括M0、M1、M2、M3和M4。其中指定变换矩阵可以为M4,若三个声道的互相关系数均大于阈值,则确定目标变换矩阵为M4;若三个声道中互相关系数的最大值大于阈值,则根据最大值确定目标变换矩阵。

S206,基于各频带的目标变换矩阵,对声道组内声道的频域系数进行同频带去相关处理,得到声道组的编码信息。

在本申请实施例中,S206的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S207,基于声道组的编码信息得到编码码流,并将编码码流发给解码器进行解码。

在本申请实施例中,S207的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

本申请实施例中,通过目标变换矩阵对声道组内每个频带上的频域系数进行编码处理,进而可以实现对多个声道的音频信号的压缩,而且可以降低多声道之间的冗余,减少了编码器的负担,降低了传输和存储成本。

图4是本申请实施例提供的一种音频编码方法的流程示意图。该音频编码方法可以由编码器执行。如图4所示,该方法可以包括但不限于如下步骤:

S401,对声道序列进行分组,得到多个声道组,每个声道组包括声道序列中连续的若干个声道,相邻的声道组间存在一个或多个相同的声道。

在本申请实施例中,S401的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S402,对声道序列中各声道的音频信号按帧进行频域转换,得到各声道每帧的频域系数。

在本申请实施例中,S402的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S403,根据各声道的频域系数,确定各频带对应的声道间的第一互相关矩阵。

在本申请实施例中,S403的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S404,对各频带的第一互相关矩阵进行归一化处理,并根据声道组内所包括的声道,从各频带的归一化第一互相关矩阵中,提取声道组对应的各频带的第二互相关矩阵。

在一种实施方式中,对声道间各频带的第一互相关矩阵进行归一化处理,得到各频带的归一化第一互相关矩阵,以从各频带的归一化第一互相关矩阵中,提取声道组对应的各频带的第二互相关矩阵。可以理解的是,第二互相关矩阵为归一化的矩阵。

在一种实施方式中,确定第一互相关矩阵中的任一矩阵元素所关联的声道标识。进一步地,根据所关联的声道标识,可以确定任一矩阵元素对应的归一化矩阵元素。其中任一矩阵元素为两个声道间的互相关系数,任一矩阵元素所在行对应的声道标识,可以为任一矩阵元素所关联的一个声道标识,任一矩阵元素所在行对应的声道标识,可以为任一矩阵元素所关联的另一个声道标识。

示例性说明,以频带b对应的第一互相关矩阵中的任一矩阵元素Corr

任一矩阵元素Corr

进一步地,根据任一矩阵元素和归一化矩阵元素,得到任一矩阵元素的归一化结果。可选地,任一矩阵元素对应的归一化公式如下所示:

其中,b表示频带索引值;

需要说明的是,由于互相关系数矩阵沿对角线对称位置数值相等,因此不必计算对角线左下方互相关系数,可以用互相关系数矩阵对角线右上方的元素进行归一化计算。在进行上述计算时,若分母部分大于0,则继续进行归一化计算,若分母部分小于0,则对应位置的互相关系数置为0。其中,对角线是从左上角到右下角的对角线。

S405,基于任一频带b上的第二互相关矩阵,确定声道组内两两声道间在任一频带b上的互相关系数。

在一种实施方式中,由于第二互相关矩阵中的元素为声道组内两两声道间在任一频带b上的互相关系数,则基于第二互相关矩阵可以确定声道组内两两声道间在任一频带b上的互相关系数。

S406,根据声道组内两两声道间在任一频带b上的互相关系数,从变换矩阵集中确定声道组在任一频带b上的目标变换矩阵。

在一种实施方式中,可以设定声道组内两两声道间在任一频带b上的互相关系数的阈值为Thr,通过比较声道组内两两声道间的互相关系数与阈值的大小,根据预设条件,确定目标变换矩阵。

可选地,若两两声道之间的互相关系数满足选用变换矩阵集中指定变换矩阵的条件,也就是声道组内两两声道之间的互相关系数的值均大于Thr,则选取指定变换矩阵M4作为任一频带b的目标变换矩阵。

例如,[L,C,R]为声道组内的三个声道,若声道L与声道C之间的互相关系数、声道L与声道R之间的互相关系数,以及声道C与声道R之间的互相关系数,均大于Thr,则选取指定变换矩阵M4作为任一频带b的目标变换矩阵。

可选地,若任一频带b上两两声道之间的互相关系数未满足条件,则根据两两声道之间的最大互相关系数,选取除指定变换矩阵之外的变换矩阵,作为任一频带b的目标变换矩阵。

也就是说,从声道L与声道C之间的互相关系数、声道L与声道R之间的互相关系数,以及声道C与声道R之间的互相关系数这三个互相关系数中选取最大互相关系数,若最大互相关系数大于Thr,则从除指定变换矩阵之外的变换矩阵中,选取任一频带b的目标变换矩阵。例如,指定变换矩阵为M4,则根据最大互相关系数,从M0至M3中选取一个目标变换矩阵。

可选地,在该最大互相关系数大于Thr的情况下,则根据公式(6)选择目标变换矩阵:

例如,若任一频带b上的声道组内两两声道间的最大互相关系数为声道L与声道C之间的互相关系数,则选取M1作为目标变换矩阵;若任一频带b上的声道组内两两声道间的最大互相关系数为声道L与声道R之间的互相关系数,则选取M2作为目标变换矩阵;若任一频带b上的声道组内两两声道间的最大互相关系数为声道C与声道R之间的互相关系数,则选取M3作为目标变换矩阵。

S407,基于各频带的目标变换矩阵,对声道组内声道的频域系数进行同频带去相关处理,得到声道组的编码信息。

在本申请实施例中,S407的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S408,基于声道组的编码信息得到编码码流,并将编码码流发给解码器进行解码。

在本申请实施例中,S408的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

本申请实施例中,通过目标变换矩阵对声道组内每个频带上的频域系数进行编码处理,进而可以实现对多个声道的音频信号的压缩,而且可以降低多声道之间的冗余,减少了编码器的负担,降低了传输和存储成本。

图5是本申请实施例提供的一种音频编码方法的流程示意图。该音频编码方法可以由编码器执行。如图5所示,该方法可以包括但不限于如下步骤:

S501,对声道序列进行分组,得到多个声道组,每个声道组包括声道序列中连续的若干个声道,相邻的声道组间存在一个或多个重叠的声道。

在本申请实施例中,S501的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S502,对声道序列中各声道的音频信号按帧进行频域转换,得到各声道每帧的频域系数。

在本申请实施例中,S502的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S503,根据各声道的频域系数,从变换矩阵集中确定声道组对应的频带集中各频带的目标变换矩阵。

在本申请实施例中,S503的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

S504,获取声道组内声道在任一频带b上的频域系数,并根据任一频带b上的频域系数和任一频带b对应的目标变换矩阵,得到声道组在任一频带b上的第一编码信息。

在一种实施方式中,针对首个声道组,首个声道组包括声道1、声道2和声道3,基于首个声道组内声道在任一频带b上的频域系数,并根据任一频带b上的频域系数和任一频带b对应的目标变换矩阵,得到首个声道组在任一频带b上的第一编码信息,第一编码信息包括首个声道组的中心信息M

需要说明的是,针对除首个声道组之外的每个剩余声道组,基于剩余声道组内声道在任一频带b上的频域系数,并根据任一频带b上的频域系数和任一频带b对应的目标变换矩阵,得到剩余声道组在任一频带b上的第一编码信息,第一编码信息包括剩余声道组的第一信息T

可以理解的是,首个声道组的第一编码信息完整包含中心信息、侧信息和第一信息,剩余声道组的第一编码信息可以仅包括第一信息。

计算声道编码信息的公式如下所示:

[L C R]*M=[M S T](7)

其中,[L,C,R]为声道组内的三个声道;M为根据频域系数确定的目标变换矩阵;[MST]为声道组的编码信息。

需要说明的是,在进行去相关计算时,第一个去相关编码单元完整输出编码信息[MST],其余编码单元只输出第一信息[T]。

S505,根据声道组的各频带上的第一编码信息,得到声道组的第二编码信息。

在一种实施方式中,可以根据声道组在各频带上的第一编码信息确定声道组的目标变换矩阵,基于目标变换矩阵确定声道组在各频带上的去相关模式,也就是声道组的第二编码信息。

可以理解的是,在不同频带对应的目标变换矩阵不同的情况下,不同频带对应的去相关模式也不同。在不同频带对应的目标变换矩阵相同的情况下,则不同频带对应的去相关模式也相同。

S506,基于第二编码信息和各频带对应的目标变换矩阵,得到声道组的编码信息。

在一种实施方式中,可以通过各频带对应的目标变换矩阵,根据第二编码信息对声道组在各频带上的频域系数进行去相关处理,得到声道组在每个频带上的编码信息。在获取到各频带对应的编码信息后,可以根据各频带上的编码信息,得到声道组在全频带上的编码信息。可以理解的是,声道组的编码信息中包括该声道组在所有频带上的编码信息。

S507,基于声道组的编码信息得到编码码流,并将编码码流发给解码器进行解码。

在本申请实施例中,S507的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

本申请实施例中,通过目标变换矩阵对声道组内每个频带上的频域系数进行编码处理,进而可以实现对多个声道的音频信号的压缩,而且可以降低多声道之间的冗余,减少了编码器的负担,降低了传输和存储成本。

如图6所示为本申请实施例的一种可能的编码流程图,对每个声道中的音频信号进行MDCT变换,得到各声道每帧的MDCT系数(频域系数),然后将声道信号输入分带处理单元进行频带划分,得到各频带上的频域系数,进而通过能量计算单语,计算声道在各频带上的能量值,将能量值输入到互相关计算单元,得到各频带上声道间的互相关系数,以得到声道间在各频带上的第一互相关矩阵。可以理解的是每个声道组对应一个去相关单元,将声道组内的三个声道的频域系数、各频带的第一互相关矩阵输入到去相关单元中,由去相关单元对声道组进行同频去相关处理,得到该声道的编码信息。如图6所示,将首个声道组中的声道1、声道2和声道3的频域系数的分带结果,和各频带的第一互相关矩阵输入到去相关单元1中,由去相关单元1进行同频去相关处理,输出声道组1的编码信息,声道组1的编码信息包括中心信息M

本申请实施例中,通过目标变换矩阵对声道组内每个频带上的频域系数进行编码处理,进而可以实现对多个声道的音频信号的压缩,而且可以降低多声道之间的冗余,减少了编码器的负担,降低了传输和存储成本。

图7是本申请实施例提供的一种音频解码方法的流程示意图。该音频解码方法可以由解码器执行。如图7所示,该方法可以包括但不限于如下步骤:

S701,接收编码器发送的编码码流,编码码流中包括多个声道组的编码信息。

本申请实施例中,声道组由声道序列按序分组得到,每个声道组包括声道序列中连续的若干个声道,相邻的声道组间存在一个或多个相同的声道。

本申请实施例中,解码器接收编码器发送的编码码流,从编码码流中读取多个声道组的编码信息对输入的声道信号进行逆变换,以得到原始声道信号。

参见上述实施例中的记载,编码器侧可以对声道序列中的M个声道进行分组,得到多个声道组。每个声道组中包含声道序列中连续的3个声道,相邻的声道组间存在一个或多个相同的声道。关于编码器对声道组进行编码的过程,具体过程可参见上述实施例,这里不再赘述。

S702,对多个声道组按序进行解码,针对解码到的当前声道组,根据当前声道组的编码信息,确定当前声道组对应的频带集中各频带的目标解码矩阵。

在一种实施方式中,可以从编码信息中获取声道组在全频带的第二编码信息,该第二编码信息包括各频带的第一编码信息,以及各频带对应的目标变换矩阵。针对频带集合中的任一频带b,根据任一频带b的目标变换矩阵,通过查询变换矩阵与解码矩阵之间的对应关系,获取当前声道组在任一频带b上的目标解码矩阵。

需要说明的是,变换矩阵与解码矩阵的一一对应,在一种实施方式中,解码矩阵可以包括以下矩阵:

例如,变换矩阵M

S703,基于当前声道组在各频带上的目标解码矩阵,对当前声道组的编码信息,得到当前声道组的解码频域系数。

在一种实施方式中,当前声道组的编码信息包括声道组在全频带的第二编码信息,该第二编码信息中包括该声道组在各频带的第一编码信息。

针对频带集合中任一频带b,基于该任一频带b对应的目标解码矩阵,对该任一频带b的第一编码信息进行解码,得到当前声道组在任一频带b上的第一解码频域系数。进一步地,基于各频带上的第一解码频域系数,可以得到声道组在全频带上的解码频域系数。

S704,根据多个声道组的解码频域系数,获取声道序列中各声道的解码音频信号。

在一种实施方式中,可以根据多个声道组的解码频域系数,对声道组的信号进行频域到时域的转换。可选地,使用反向MDCT变换,可以基于解码频域系数,将声道的频域信号转换为时域信号,进而得到各声道的解码音频信号。

在本申请实施例提供的音频解码方法,解码器接收编码器发送的编码码流,并从中获取每个声道组的编码信息。按照多个声道组的顺序通过解码单元对编码信息进行解码,以得到每个声道组的解码频域系数,并对每个声道组的解码频域系数进行频域-时域转换,得到每个声道解码音频信号。解码器在解码过程中,采用与编码器侧类似的分频解码,可以实现对多声道音频信号的恢复,由于编码器进行了压缩,使得多声道信号更便于传输,节省了传输空间。

图8是本申请实施例提供的一种音频解码方法的流程示意图。该音频解码方法可以由解码器执行。如图8所示,该方法可以包括但不限于如下步骤:

S801,从首个声道组的编码信息中,获取首个声道组在任一频带b上的第一编码信息。

在一种实施方式中,每个声道组中包含3个连续的声道,其中首个声道组中包含声道1、声道2和声道3。可选地,从编码码流中可以获取到首个声道组的编码信息,该首个声道组的编码信息中包括首个声道组在各频带上的第一编码信息,第一编码信息至少包括首个声道组的中心信息M

S802,基于首个声道组在各频带上的目标解码矩阵,对首个声道组在各频带上的第一编码信息进行解码,得到首个声道组在任一频带b上的第一解码频域系数。

S803,根据首个声道组在各频带上的第一解码频域系数,得到首个声道组的第二解码频域系数,其中第二解码频域系数为三路输出。

在一种实施方式中,解码器从首个声道组对应的编码信息中,可以获取到首个声道组在任一频带b上的目标变换矩阵。可选地,预先建立变换矩阵与解码矩阵的对应关系,进一步地,基于任一频带b上的目标变换矩阵可以确定首个声道组在任一频带b上的目标解码矩阵。

基于在任一频带b上的目标解码矩阵,对任一频带b上的第一编码信息进行逆变换,得到首个声道组在任一频带b上的第一解码频域系数。

在一种实施方式中,针对频带集合中任一频带b,基于该任一频带b对应的目标解码矩阵,对该任一频带b的第一编码信息进行解码,得到首个声道组在任一频带b上的第一解码频域系数。可以理解的是,首个声道组的第一编码信息包括M

进一步地,基于各频带上的第一解码频域系数,可以得到首个声道组在全频带上的解码频域系数,其中,首个声道组在全频带上的解码频域系数包括三路输出

在一种实施方式中,首个声道组的解码公式如下所示:

其中,[M

S804,确定与当前声道组相邻且连续的若干个已解码声道组,为当前声道组对应的上混声道组。

在一种实施方式中,在当前声道组为多个声道组中的除首个声道组之外的声道组的情况下,可以确定与当前声道组相邻且连续的若干个已解码声道组,作为当前声道组对应的上混声道组进行解码运算。可选地,若干个已解码声道组中包含2个声道组。

示例性说明,若当前声道组为声道组2时,对应的上混声道组包括声道组1后两路输出的解码频域系数;若当前声道组为声道组3时,对应的上混声道组包括声道组1最后一路输出的解码频域系数和声道组2输出的一路解码频域系数;若当前声道组为声道组4,对应的上混声道组包括声道组2输出的一路解码频域系数和声道组3输出的一路解码频域系数。

S805,从编码信息中获取当前声道组在任一频带b上的第一编码信息。

基于编码器侧的编码过程可知,从声道组2开始后面的每个声道组的输出为一路输出。解码器可以从当前声道组的编码信息中,获取当前声道组在任一频带b上的第一编码信息,该第一编码信息为前声道组在任一频带b上的第一信息T

S806,获取上混声道组在各频带上的解码频域系数。

在一种实施方式中,从解码器接收到的编码信息中,可以确定当前上混声道组在各频带上的目标变换矩阵,基于目标变换矩阵确定上混声道组的目标解码矩阵。解码器对目标解码矩阵进行逆变换,可以得到上混声道组在各频带上的解码频域系数。

S807,根据任一频带b对应的目标解码矩阵和任一频带b上的解码频域系数对任一频带b上的第一编码信息进行解码,得到任一频带b上的第一解码频域系数。

在一种实施方式中,解码器从编码信息中,获取当前声道组在各频带上的目标变换矩阵,进而基于目标变换矩阵可以确定当前声道组在各频带上的目标解码矩阵。

针对频带集合中任一频带b,基于任一频带b的目标解码矩阵,对任一频带b上的第一编码信息T

可以理解的是,当前声道组的第一编码信息包括第一信息T

S808,根据当前声道组的各频带上的第一解码频域系数,得到当前声道组的解码频域系数,其中当前声道组的解码频域系数为一路输出。

进一步地,基于各频带上的第一解码频域系数,可以得到首个声道组在全频带上的解码频域系数,其中,首个声道组在全频带上的解码频域系数包括三路输出

在一种实施方式中,当前声道组i的解码公式如下所示:

其中,

需要说明的是,由于当前声道组使用不同的编码模式,且解码单元只输出一路解码频域系数,因此只需要T

/>

其中,*代表无意义。

S809,根据多个声道组的解码频域系数,获取声道序列中各声道的解码音频信号。

在本申请实施例中,S809的实现方式可以分别采用本申请各实施例中的任一种方式实现,在此并不对此作出限定,也不再赘述。

如图9解码流程图所示,解码端解码需按照解码单元依次进行解码,上混解码单元1为第一个上混解码单元,将第一编码信息[M

本申请实施例中,解码器在解码过程中,采用与编码器侧类似的分频解码,可以实现对多声道音频信号的恢复,由于编码器进行了压缩,使得多声道信号更便于传输,节省了传输空间。

图10是本申请实施例提供的一种音频编码方法的流程示意图。如图10所示,该方法可以包括但不限于如下步骤:

S1001,对声道序列进行分组,得到多个声道组,每个声道组包括声道序列中连续的若干个声道,相邻的声道组间存在一个或多个重叠的声道。

S1002,对声道序列中各声道的音频信号按帧进行频域转换,得到各声道每帧的候选频域系数。

S1003,根据各声道的频域系数,确定各频带对应的声道间的第一互相关矩阵。

S1004,从各频带的第一互相关矩阵中分别确定声道组的第二互相关矩阵,第二相关矩阵包括声道组内声道之间的互相关系数。

S1005,基于声道组在各频带上的第二互相关矩阵,从变换矩阵集中确定声道组在各频带上的目标变换矩阵。

S1006,获取声道组内声道在任一频带b上的频域系数,并根据任一频带b上的频域系数和任一频带b对应的目标变换矩阵,得到声道组在任一频带b上的第一编码信息。

S1007,根据声道组的各频带上的第一编码信息,得到声道组的第二编码信息。

S1008,基于第二编码信息和各频带对应的目标变换矩阵,得到声道组的编码信息。

S1009,基于声道组的编码信息得到编码码流,并将编码码流发给解码器进行解码。

S1010,接收编码器发送的编码码流。

S1011,对多个声道组按序进行解码,针对解码到的当前声道组。

S1012,从编码信息中获取各频带的目标变换矩阵。

S1013,根据任一频带b的目标变换矩阵,查询变换矩阵与解码矩阵之间的映射关系,获取当前声道组在任一频带b上的目标解码矩阵。

S1014,基于当前声道组在各频带上的目标解码矩阵,对当前声道组的编码信息,得到当前声道组的解码频域系数。

S1015,根据多个声道组的解码频域系数,获取声道序列中各声道的解码音频信号。

本申请实施例中,通过目标变换矩阵对声道组内每个频带上的频域系数进行编码处理,进而可以实现对多个声道的音频信号的压缩,而且可以降低多声道之间的冗余,减少了编码器的负担,降低了传输和存储成本。解码器在解码过过程中,采用与编码器侧类似的分频解码,可以实现对多声道音频信号的恢复。

图11是是根据一示例性实施例示出的一种音频编码装置的框图。参照图11,本申请实施例的音频编码装置1100,包括:声道分组模块1101,频域转换模块1102,矩阵确定模块1103,编码模块1104和发送模块1105。

声道分组模块1101被配置为执行对声道序列进行分组,得到多个声道组,每个声道组包括声道序列中连续的若干个声道,相邻的声道组间存在一个或多个相同的声道。

频域处理模块1102被配置为执行对声道序列中各声道的音频信号按帧进行频域转换,得到各声道每帧的频域系数。

矩阵确定模块1103被配置为执行根据各声道的频域系数,从变换矩阵集中确定声道组对应的频带集中各频带的目标变换矩阵。

编码模块1104被配置为执行基于各频带的目标变换矩阵,对声道组内声道的频域系数进行同频带去相关处理,得到声道组的编码信息。

发送模块1105被配置为执行基于声道组的编码信息得到编码码流,并将编码码流发给解码器进行解码。

在本申请的一个实施例中,矩阵确定模块1103,还被配置为执行:根据各声道的频域系数,确定各频带对应的声道间的第一互相关矩阵;从各频带的第一互相关矩阵中分别确定声道组的第二互相关矩阵,第二相关矩阵包括声道组内声道之间的互相关系数;基于声道组在各频带上的第二互相关矩阵,从变换矩阵集中确定声道组在各频带上的目标变换矩阵。

在本申请的一个实施例中,编码模块1104,还被配置为执行:获取声道组内声道在任一频带b上的频域系数,并根据任一频带b上的频域系数和任一频带b对应的目标变换矩阵,得到声道组在任一频带b上的第一编码信息;根据声道组的各频带上的第一编码信息,得到声道组的第二编码信息;基于第二编码信息和各频带对应的目标变换矩阵,得到声道组的编码信息。

在本申请的一个实施例中,矩阵确定模块1103,还被配置为执行:基于任一频带b上的第二互相关矩阵,确定声道组内两两声道间在任一频带b上的互相关系数;根据声道组内两两声道间在任一频带b上的互相关系数,从变换矩阵集中确定声道组在任一频带b上的目标变换矩阵。

在本申请的一个实施例中,矩阵确定模块1103,还被配置为执行:若两两声道之间的互相关系数满足选用变换矩阵集中指定变换矩阵的条件,则选取指定变换矩阵作为任一频带b的目标变换矩阵;若两两声道之间的互相关系数未满足条件,则根据两两声道之间的最大互相关系数,从变换矩阵集中,选取除指定变换矩阵之外的变换矩阵,作为任一频带b的目标变换矩阵。

在本申请的一个实施例中,矩阵确定模块1103,还被配置为执行:根据任一声道的频域系数,确定任一声道在各频带上的能量值;根据各声道在各频带的能量值,确定各频带对应的第一互相关矩阵。

在本申请的一个实施例中,矩阵确定模块1103,还被配置为执行:获取声道序列中两两声道在任一频带b上的能量比值;若任一频带b上的能量比值小于或者等于第一设定阈值,或者,若任一频带b上的能量比值大于或者等于第二设定阈值,确定两两声道间在任一频带b的互相关系数为零;其中,第一设定阈值小于第二设定阈值,若能量比值处于第一设定阈值与第二设定阈值之间,根据两两声道在任一频带b的频域系数,确定两两声道在任一频带b的互相关系数;基于两两声道在任一频带b的互相关系数,得到任一频带b对应的第一互相关矩阵。

在本申请的一个实施例中,矩阵确定模块1103,还被配置为执行:对各频带的第一互相关矩阵进行归一化处理,并根据声道组内所包括的声道,从各频带的归一化第一互相关矩阵中,提取声道组对应的各频带的第二互相关矩阵。

在本申请的一个实施例中,矩阵确定模块1103,还被配置为执行:确定第一互相关矩阵中的任一矩阵元素所关联的声道标识;根据所关联的声道标识,确定任一矩阵元素对应的归一化矩阵元素;根据任一矩阵元素和归一化矩阵元素,得到任一矩阵元素的归一化结果。

在本申请的一个实施例中,编码模块1104,还被配置为执行:针对首个声道组,基于首个声道组内声道在任一频带b上的频域系数,并根据任一频带b上的频域系数和任一频带b对应的目标变换矩阵,得到首个声道组在任一频带b上的第一编码信息,第一编码信息包括首个声道组的中心信息、侧信息和第一信息;针对除首个声道组之外的每个剩余声道组,基于剩余声道组内声道在任一频带b上的频域系数,并根据任一频带b上的频域系数和任一频带b对应的目标变换矩阵,得到剩余声道组在任一频带b上的第一编码信息,第一编码信息包括剩余声道组的第一信息。

在本申请的一个实施例中,声道分组模块1101,还被配置为执行:确定相邻的声道组包括第一声道组和第二声道组,其中,第一声道组和第二声道组分别包括声道序列中的连续三个声道,第一声道组和第二声道组中包括两个相同的声道。

本申请实施例中,通过目标变换矩阵对声道组内每个频带上的频域系数进行编码处理,进而可以实现对多个声道的音频信号的压缩,而且可以降低多声道之间的冗余,减少了编码器的负担,降低了传输和存储成本。

图12是是根据一示例性实施例示出的一种音频解码装置的框图。参照图11,本申请实施例的音频解码装置1200,包括:接收模块1201,矩阵确定模块1202,解码模块1203。

接收模块1201被配置为执行接收编码器发送的编码码流,编码码流中包括多个声道组的编码信息,声道组由声道序列按序分组得到,每个声道组包括声道序列中连续的若干个声道,相邻的声道组间存在一个或多个相同的声道。

矩阵确定模块1202被配置为执行对多个声道组按序进行解码,针对解码到的当前声道组,根据当前声道组的编码信息,确定当前声道组对应的频带集中各频带的目标解码矩阵。

解码模块1203被配置为执行基于当前声道组在各频带上的目标解码矩阵,对当前声道组的编码信息,得到当前声道组的解码频域系数,并根据多个声道组的解码频域系数,获取声道序列中各声道的解码音频信号。

在本申请的一个实施例中,矩阵确定模块1202,还被配置为执行:从编码信息中获取各频带的目标变换矩阵;根据任一频带b的目标变换矩阵,查询变换矩阵与解码矩阵之间的映射关系,获取当前声道组在任一频带b上的目标解码矩阵。

在本申请的一个实施例中,解码模块1203,还被配置为执行:从首个声道组的编码信息中,获取首个声道组在任一频带b上的第一编码信息;基于首个声道组在任一频带b上的目标解码矩阵,对首个声道组在任一频带b上的第一编码信息进行解码,得到首个声道组在任一频带b上的第一解码频域系数;根据首个声道组在各频带上的第一解码频域系数,得到首个声道组的解码频域系数,其中,首个声道组的第一解码频域系数和解码频域系数包括三路输出。

在本申请的一个实施例中,解码模块1203,还被配置为执行:首个声道组在任一频带b上的第一编码信息,至少包括任一频带b上的中心信息、侧信息和第一信息。

在本申请的一个实施例中,解码模块1203,还被配置为执行:确定与当前声道组相邻且连续的若干个已解码声道组,为当前声道组对应的上混声道组;从编码信息中获取当前声道组在任一频带b上的第一编码信息;获取上混声道组在各频带上的解码频域系数;根据任一频带b对应的目标解码矩阵和任一频带b上的解码频域系数,对任一频带b上的第一编码信息进行解码,得到任一频带b上的第一解码频域系数;根据当前声道组的各频带上的第一解码频域系数,得到当前声道组的解码频域系数,当前声道组的解码频域系数包括一路输出。

在本申请的一个实施例中,解码模块1203,还被配置为执行:当前声道组在任一频带b上的第一编码信息包括所述当前声道组在所述任一频带b上的第一信息。

在本申请实施例中,解码器在解码过程中,采用与编码器侧类似的分频解码,可以实现对多声道音频信号的恢复,由于编码器进行了压缩,使得多声道信号更便于传输,节省了传输空间。

图13是本申请实施例提供的另一种音频处理装置1300的结构示意图。音频处理装置1300可以是编码器,也可以是解码器,也可以是支持编码器实现上述方法的芯片、芯片系统、或处理器等,还可以是支持解码器实现上述方法的芯片、芯片系统、或处理器等。该装置可用于实现上述方法实施例中描述的方法,具体可以参见上述方法实施例中的说明。

音频处理装置1300可以包括一个或多个处理器1301。处理器1301可以是通用处理器或者专用处理器等。例如可以是基带处理器或中央处理器。基带处理器可以用于对通信协议以及通信数据进行处理,中央处理器可以用于对音频处理装置(如,基站、基带芯片,解码器、解码器芯片,DU或CU等)进行控制,执行计算机程序,处理计算机程序的数据。

可选的,音频处理装置1300中还可以包括一个或多个存储器1302,其上可以存有计算机程序1304,处理器1301执行所述计算机程序1304,以使得音频处理装置1300执行上述方法实施例中描述的方法。可选的,所述存储器1302中还可以存储有数据。音频处理装置1300和存储器1302可以单独设置,也可以集成在一起。

可选的,音频处理装置1300还可以包括收发器1305、天线1306。收发器1305可以称为收发单元、收发机、或收发电路等,用于实现收发功能。收发器1305可以包括接收器和发送器,接收器可以称为接收机或接收电路等,用于实现接收功能;发送器可以称为发送机或发送电路等,用于实现发送功能。

可选的,音频处理装置1300中还可以包括一个或多个接口电路1307。接口电路1307用于接收代码指令并传输至处理器1301。处理器1301运行所述代码指令以使音频处理装置1300执行上述方法实施例中描述的方法。

在一种实现方式中,处理器1301中可以包括用于实现接收和发送功能的收发器。例如该收发器可以是收发电路,或者是接口,或者是接口电路。用于实现接收和发送功能的收发电路、接口或接口电路可以是分开的,也可以集成在一起。上述收发电路、接口或接口电路可以用于代码/数据的读写,或者,上述收发电路、接口或接口电路可以用于信号的传输或传递。

在一种实现方式中,处理器1301可以存有计算机程序1303,计算机程序1303在处理器1301上运行,可使得音频处理装置1300执行上述方法实施例中描述的方法。计算机程序1303可能固化在处理器1301中,该种情况下,处理器1301可能由硬件实现。

在一种实现方式中,音频处理装置1300可以包括电路,所述电路可以实现前述方法实施例中发送或接收或者通信的功能。本申请中描述的处理器和收发器可实现在集成电路(integrated circuit,IC)、模拟IC、射频集成电路RFIC、混合信号IC、专用集成电路(application specific integrated circuit,ASIC)、印刷电路板(printed circuitboard,PCB)、电子设备等上。该处理器和收发器也可以用各种IC工艺技术来制造,例如互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)、N型金属氧化物半导体(nMetal-oxide-semiconductor,NMOS)、P型金属氧化物半导体(positive channelmetal oxide semiconductor,PMOS)、双极结型晶体管(bipolar junction transistor,BJT)、双极CMOS(BiCMOS)、硅锗(SiGe)、砷化镓(GaAs)等。

以上实施例描述中的音频处理装置可以是编码器或者解码器,但本申请中描述的音频处理装置的范围并不限于此,而且音频处理装置的结构可以不受图13的限制。音频处理装置可以是独立的设备或者可以是较大设备的一部分。例如所述音频处理装置可以是:

(1)独立的集成电路IC,或芯片,或,芯片系统或子系统;

(2)具有一个或多个IC的集合,可选的,该IC集合也可以包括用于存储数据,计算机程序的存储部件;

(3)ASIC,例如调制解调器(Modem);

(4)可嵌入在其他设备内的模块;

(5)接收机、解码器、智能解码器、蜂窝电话、无线设备、手持机、移动单元、车载设备、编码器、云设备、人工智能设备等等;

(6)其他等等。

对于音频处理装置可以是芯片或芯片系统的情况,可参见图14所示的芯片的结构示意图。图14所示的芯片包括处理器1401和接口1402。其中,处理器1401的数量可以是一个或多个,接口1402的数量可以是多个。

可选的,芯片还包括存储器1403,存储器1403用于存储必要的计算机程序和数据。

在一些实现中,该芯片可以用于实现上述本申请实施例中解码器的功能。

在一些实现中,该芯片可以用于实现上述本申请实施例中编码器的功能。

本领域技术人员还可以了解到本申请实施例列出的各种说明性逻辑块(illustrative logical block)和步骤(step)可以通过电子硬件、电脑软件,或两者的结合进行实现。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本申请实施例保护的范围。

本申请实施例还提供一种音频处理系统,该系统包括前述图13实施例中作为编码器的音频处理装置和作为解码器的音频处理装置,或者,该系统包括前述图14实施例中作为编码器的音频处理装置和作为编码器的音频处理装置。

本申请还提供一种可读存储介质,其上存储有指令,该指令被计算机执行时实现上述任一方法实施例的功能。

本申请还提供一种计算机程序产品,该计算机程序产品被计算机执行时实现上述任一方法实施例的功能。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序。在计算机上加载和执行所述计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,高密度数字视频光盘(digital video disc,DVD))、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。

本领域普通技术人员可以理解:本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围,也表示先后顺序。

本申请中的至少一个还可以描述为一个或多个,多个可以是两个、三个、四个或者更多个,本申请不做限制。在本申请实施例中,对于一种技术特征,通过“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”等区分该种技术特征中的技术特征,该“第一”、“第二”、“第三”、“A”、“B”、“C”和“D”描述的技术特征间无先后顺序或者大小顺序。

本申请中各表所示的对应关系可以被配置,也可以是预定义的。各表中的信息的取值仅仅是举例,可以配置为其他值,本申请并不限定。在配置信息与各参数的对应关系时,并不一定要求必须配置各表中示意出的所有对应关系。例如,本申请中的表格中,某些行示出的对应关系也可以不配置。又例如,可以基于上述表格做适当的变形调整,例如,拆分,合并等等。上述各表中标题示出参数的名称也可以采用音频处理装置可理解的其他名称,其参数的取值或表示方式也可以音频处理装置可理解的其他取值或表示方式。上述各表在实现时,也可以采用其他的数据结构,例如可以采用数组、队列、容器、栈、线性表、指针、链表、树、图、结构体、类、堆、散列表或哈希表等。

本申请中的预定义可以理解为定义、预先定义、存储、预存储、预协商、预配置、固化、或预烧制。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

技术分类

06120116380470