掌桥专利:专业的专利平台
掌桥专利
首页

声像校准方法和装置

文献发布时间:2023-06-19 18:34:06


声像校准方法和装置

技术领域

本申请涉及终端技术领域,尤其涉及一种声像校准方法和装置。

背景技术

随着互联网的普及和发展,人们对于终端设备的功能需求也越发多样化。例如,用户对于终端设备的声音重放要求越来越高。

通常情况下,终端设备中可以包括至少两个播放器件,使得终端设备可以利用该至少两个播放器件实现声音的重放。

然而,该至少两个播放器件重放的音频所对应的声像偏离中心位置,导致音频重放效果较差。例如,当终端设备播放任一视频时,该视频的声像位于终端设备的中心位置,而用户基于接听到的音频信号可以指示声像位于终端设备的左下角或其他偏离中心的位置。

发明内容

本申请实施例提供一种声像校准方法和装置,使得终端设备可以基于用户针对于启动声像校准的控件的触发操作对声像进行校准,将声像调整至靠近终端设备的中心位置处,并提高音频重放效果,并实现声场的扩展。

第一方面,本申请实施例提供一种声像校准方法,应用于终端设备,终端设备中包括:第一播放器件以及第二播放器件,方法包括:终端设备显示第一界面;其中,第一界面中包括用于播放目标视频的第一控件;终端设备接收针对第一控件的第一操作;响应于第一操作,终端设备显示第二界面,且终端设备利用第一播放器件输出第一目标音频信号,以及利用第二播放器件输出第二目标音频信号;其中,第一目标音频信号以及第二目标音频信号播放时声像处于第一位置;第二界面中包括:用于启动声像校准的第二控件;终端设备接收针对第二控件的第二操作;响应于第二操作,终端设备利用第一播放器件输出第三目标音频信号,以及利用第二播放器件输出第四目标音频信号;其中,第三目标音频信号以及第四目标音频信号播放时声像处于第二位置;第二位置与终端设备的中心位置之间的距离小于第一位置与中心位置之间的距离。这样,使得终端设备可以基于用户针对于启动声像校准的控件的触发操作对声像进行校准,将声像调整至靠近终端设备的中心位置处,并提高音频重放效果,并实现声场的扩展。

在一种可能的实现方式中,响应于第二操作,终端设备利用第一播放器件输出第三目标音频信号,以及利用第二播放器件输出第四目标音频信号,包括:响应于第二操作,终端设备对第一播放器件的第一频响进行矫正,得到第三频响,以及对第二播放器件的第二频响进行矫正得到第四频响;其中,在第三频响中预设频段对应的幅值满足预设幅值范围,并且在第四频响中预设频段对应的幅值满足预设幅值范围;终端设备利用第三频响输出第三目标音频信号,以及利用第四频响输出第四目标音频信号。这样,终端设备可以通过对预设频段内的频响进行矫正,使得频响矫正后的扬声器可以输出更符合用户需求的音频信号。

在一种可能的实现方式中,终端设备对第一播放器件的第一频响进行矫正,得到第三频响,以及对第二播放器件的第二频响进行矫正得到第四频响,包括:终端设备获取第一频响对应的第一频响补偿函数以及第二频响对应的第二频响补偿函数;终端设备利用第一频响补偿函数对预设频段内的第一频响进行矫正,得到第三频响,以及利用第二频响补偿函数对预设频段内的第二频响进行矫正,得到第四频响。这样,终端设备可以利用频响补偿函数对频响进行矫正,使得播放器件的频响的幅值平坦化,并且多个播放器件的频响趋势接近,从而解决频响不一致带来的声像偏离中心的问题。

在一种可能的实现方式中,预设频段为全频段中大于目标截止频率的频段;或者,预设频段为第一频段以及第二频段之间的相同频段;其中,第一频段为对双耳声压差ILD的变化率满足第一目标范围时对应的频段;第二频段为声压水平SPL的变化率满足第二目标范围时对应的频段。这样,终端设备可以通过对预设频段内的频响的处理,减少算法的复杂度;并且使得频响矫正后的扬声器可以输出更符合用户需求的音频信号。

在一种可能的实现方式中,预设频段为全频段中大于目标截止频率的频段,包括:在第一播放器件或第二播放器件中包括目标器件的情况下,预设频段为全频段中大于目标截止频率的频段,目标截止频率为目标器件的截止频率;或者,预设频段为第一频段以及第二频段之间的相同频段,包括:在第一播放器件或第二播放器件中不包括目标器件的情况下,预设频段为第一频段以及第二频段之间的相同频段。

在一种可能的实现方式中,终端设备利用第三频响输出第三目标音频信号,以及利用第四频响输出第四目标音频信号,包括:终端设备利用第三频响输出第五目标音频信号,以及利用第四频响输出第六目标音频信号;在目标频段中,终端设备利用第三频响获取第一扫频信号对应的第一回播信号,以及利用第四频响获取第一扫频信号对应的第二回播信号;其中,目标频段为第三频响以及第四频响之间相似度大于预设阈值的频段;第一扫频信号的幅值相同,且第一扫频信号的频段满足目标频段;终端设备基于第一回播信号以及第二回播信号之间的差异,对第五目标音频信号和/或第六目标音频信号进行处理,得到第三目标音频信号以及第四目标音频信号。这样,终端设备可以利用第一回播信号以及第二回播信号之间的差异,对第五目标音频信号和/或第六目标音频信号进行处理,实现对于声像的垂直方向的调整。

在一种可能的实现方式中,终端设备基于第一回播信号以及第二回播信号之间的差异,对第五目标音频信号和/或第六目标音频信号进行处理,得到第三目标音频信号以及第四目标音频信号,包括:终端设备基于第一回播信号以及第二回播信号之间的差异,对第五目标音频信号和/或第六目标音频信号进行处理,得到第七目标音频信号以及第八目标音频信号;终端设备利用目标头相关传输函数HRTF中的第一HRTF对第七目标音频信号进行处理,得到第三目标音频信号,以及利用HRTF中的第二HRTF对第八目标音频信号进行处理,得到第四目标音频信号。这样,终端设备可以利用基于HRTF的虚拟扬声器方法模拟一对虚拟扬声器,使得该一对虚拟扬声器输出音频信号时,声像可以位于终端设备的中心点位置,实现声场宽度的扩展,进而实现对于声像的水平调整。

在一种可能的实现方式中,第二界面中还包括:用于调整声场的进度条,进度条中的任一位置对应于一组HRTF,方法还包括:终端设备接收滑动用于调整声场的进度条的第三操作;终端设备利用目标头相关传输函数HRTF中的第一HRTF对第七目标音频信号进行处理,得到第三目标音频信号,以及利用HRTF中的第二HRTF对第八目标音频信号进行处理,得到第四目标音频信号,包括:响应于第三操作,终端设备获取第三操作所在位置处对应的目标HRTF,并利用目标HRTF中的第一HRTF对第七目标音频信号进行处理,得到第三目标音频信号,以及利用HRTF中的第二HRTF对第八目标音频信号进行处理,得到第四目标音频信号。这样,终端设备可以为用户提供声场调整方式,提高用户重放视频的体验感。

在一种可能的实现方式中,终端设备利用目标头相关传输函数HRTF中的第一HRTF对第七目标音频信号进行处理,得到第三目标音频信号,以及利用HRTF中的第二HRTF对第八目标音频信号进行处理,得到第四目标音频信号,包括:终端设备利用第一HRTF对第七目标音频信号进行处理,得到第九目标音频信号,以及利用第二HRTF对第八目标音频信号进行处理,得到第十目标音频信号;终端设备利用目标滤波参数对第九目标音频信号进行音色处理,得到第三目标音频信号,以及利用目标滤波参数对第十目标音频信号进行音色处理,得到第四目标音频信号。这样,由于音频信号经过扬声器矫正、以及虚拟扬声器的渲染可能会带来音色的改变,因此终端设备可以通过目标滤波参数对音色进行调整,改善音频的音色,进而提高音频的音质。

在一种可能的实现方式中,用于调整音色的控件,方法还包括:终端设备接收针对用于调整音色的控件的第四操作;响应于第四操作,终端设备显示第三界面;其中,第三界面中包括:用于选择音色多个音色控件,任一音色控件对应于一组滤波参数;终端设备接收针对多个音色控件中的目标音色控件的第五操作;响应于第五操作,终端设备利用目标音色控件对应的目标滤波参数对第九目标音频信号进行音色处理,得到第三目标音频信号,以及利用目标滤波参数对第十目标音频信号进行音色处理,得到第四目标音频信号。这样,终端设备可以为用户提供音色调整方式,提高用户重放视频的体验感。

在一种可能的实现方式中,终端设备利用目标滤波参数对第九目标音频信号进行音色处理,得到第三目标音频信号,以及利用目标滤波参数对第十目标音频信号进行音色处理,得到第四目标音频信号,包括:终端设备利用目标滤波参数对第九目标音频信号进行音色处理,得到第十一目标音频信号,以及利用目标滤波参数对第十目标音频信号进行音色处理,得到第十二目标音频信号;终端设备基于第一播放器件对应的初始音频信号和第二播放器件对应的初始音频信号之间的增益变化,以及第十一目标音频信号和第十二目标音频信号之间的增益变化,对第十一目标音频信号进行音量调整,得到第三目标音频信号;并且,终端设备基于第一播放器件对应的初始音频信号和第二播放器件对应的初始音频信号之间的增益变化,以及第十一目标音频信号和第十二目标音频信号之间的增益变化,对第十二目标音频信号进行音量调整,得到第四目标音频信号。这样,终端设备可以实现对于音频信号的音量调整,使得输出的双声道的音频信号的音量更符合用户的体验。

第二方面,本申请实施例提供一种声像校准装置,终端设备中包括:第一播放器件以及第二播放器件,显示单元,用于第一界面;其中,第一界面中包括用于播放目标视频的第一控件;处理单元,用于接收针对第一控件的第一操作;响应于第一操作,显示单元,用于第二界面,且处理单元,还用于利用第一播放器件输出第一目标音频信号,以及利用第二播放器件输出第二目标音频信号;其中,第一目标音频信号以及第二目标音频信号播放时声像处于第一位置;第二界面中包括:用于启动声像校准的第二控件;处理单元,还用于接收针对第二控件的第二操作;响应于第二操作,处理单元,还用于利用第一播放器件输出第三目标音频信号,以及利用第二播放器件输出第四目标音频信号;其中,第三目标音频信号以及第四目标音频信号播放时声像处于第二位置;第二位置与终端设备的中心位置之间的距离小于第一位置与中心位置之间的距离。

在一种可能的实现方式中,响应于第二操作,处理单元,还用于对第一播放器件的第一频响进行矫正,得到第三频响,以及对第二播放器件的第二频响进行矫正得到第四频响;其中,在第三频响中预设频段对应的幅值满足预设幅值范围,并且在第四频响中预设频段对应的幅值满足预设幅值范围;处理单元,还用于利用第三频响输出第三目标音频信号,以及利用第四频响输出第四目标音频信号。

在一种可能的实现方式中,处理单元,还用于获取第一频响对应的第一频响补偿函数以及第二频响对应的第二频响补偿函数;处理单元,还用于利用第一频响补偿函数对预设频段内的第一频响进行矫正,得到第三频响,以及利用第二频响补偿函数对预设频段内的第二频响进行矫正,得到第四频响。

在一种可能的实现方式中,预设频段为全频段中大于目标截止频率的频段;或者,预设频段为第一频段以及第二频段之间的相同频段;其中,第一频段为对双耳声压差ILD的变化率满足第一目标范围时对应的频段;第二频段为声压水平SPL的变化率满足第二目标范围时对应的频段。

在一种可能的实现方式中,预设频段为全频段中大于目标截止频率的频段,包括:在第一播放器件或第二播放器件中包括目标器件的情况下,预设频段为全频段中大于目标截止频率的频段,目标截止频率为目标器件的截止频率;或者,预设频段为第一频段以及第二频段之间的相同频段,包括:在第一播放器件或第二播放器件中不包括目标器件的情况下,预设频段为第一频段以及第二频段之间的相同频段。

在一种可能的实现方式中,处理单元,还用于利用第三频响输出第五目标音频信号,以及利用第四频响输出第六目标音频信号;在目标频段中,处理单元,还用于利用第三频响获取第一扫频信号对应的第一回播信号,以及利用第四频响获取第一扫频信号对应的第二回播信号;其中,目标频段为第三频响以及第四频响之间相似度大于预设阈值的频段;第一扫频信号的幅值相同,且第一扫频信号的频段满足目标频段;处理单元,还用于基于第一回播信号以及第二回播信号之间的差异,对第五目标音频信号和/或第六目标音频信号进行处理,得到第三目标音频信号以及第四目标音频信号。

在一种可能的实现方式中,处理单元,还用于基于第一回播信号以及第二回播信号之间的差异,对第五目标音频信号和/或第六目标音频信号进行处理,得到第七目标音频信号以及第八目标音频信号;处理单元,还用于利用目标头相关传输函数HRTF中的第一HRTF对第七目标音频信号进行处理,得到第三目标音频信号,以及利用HRTF中的第二HRTF对第八目标音频信号进行处理,得到第四目标音频信号。

在一种可能的实现方式中,第二界面中还包括:用于调整声场的进度条,进度条中的任一位置对应于一组HRTF,处理单元,还用于接收滑动用于调整声场的进度条的第三操作;响应于第三操作,处理单元,还用于获取第三操作所在位置处对应的目标HRTF,并利用目标HRTF中的第一HRTF对第七目标音频信号进行处理,得到第三目标音频信号,以及利用HRTF中的第二HRTF对第八目标音频信号进行处理,得到第四目标音频信号。

在一种可能的实现方式中,处理单元,还用于利用第一HRTF对第七目标音频信号进行处理,得到第九目标音频信号,以及利用第二HRTF对第八目标音频信号进行处理,得到第十目标音频信号;处理单元,还用于利用目标滤波参数对第九目标音频信号进行音色处理,得到第三目标音频信号,以及利用目标滤波参数对第十目标音频信号进行音色处理,得到第四目标音频信号。

在一种可能的实现方式中,用于调整音色的控件,处理单元,还用于接收针对用于调整音色的控件的第四操作;响应于第四操作,显示单元,用于第三界面;其中,第三界面中包括:用于选择音色多个音色控件,任一音色控件对应于一组滤波参数;处理单元,还用于接收针对多个音色控件中的目标音色控件的第五操作;响应于第五操作,处理单元,还用于利用目标音色控件对应的目标滤波参数对第九目标音频信号进行音色处理,得到第三目标音频信号,以及利用目标滤波参数对第十目标音频信号进行音色处理,得到第四目标音频信号。

在一种可能的实现方式中,处理单元,还用于利用目标滤波参数对第九目标音频信号进行音色处理,得到第十一目标音频信号,以及利用目标滤波参数对第十目标音频信号进行音色处理,得到第十二目标音频信号;处理单元,还用于基于第一播放器件对应的初始音频信号和第二播放器件对应的初始音频信号之间的增益变化,以及第十一目标音频信号和第十二目标音频信号之间的增益变化,对第十一目标音频信号进行音量调整,得到第三目标音频信号;并且,处理单元,还用于基于第一播放器件对应的初始音频信号和第二播放器件对应的初始音频信号之间的增益变化,以及第十一目标音频信号和第十二目标音频信号之间的增益变化,对第十二目标音频信号进行音量调整,得到第四目标音频信号。

第三方面,本申请实施例提供一种终端设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时,使得终端设备执行如第一方面或第一方面的任一种实现方式中描述的声像校准方法。

第四方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令被执行时,使得计算机执行如第一方面或第一方面的任一种实现方式中描述的声像校准方法。

第五方面,一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面或第一方面的任一种实现方式中描述的声像校准方法。

应当理解的是,本申请的第二方面至第五方面与本申请的第一方面的技术方案相对应,各方面及对应的可行实施方式所取得的有益效果相似,不再赘述。

附图说明

图1为本申请实施例提供的一种场景示意图;

图2为本申请实施例提供的一种终端设备中播放器件的设置方式示意图;

图3为本申请实施例提供的一种终端设备的硬件结构示意图;

图4为本申请实施例提供的一种声像校准方法的流程示意图;

图5为本申请实施例提供的一种启动声像校准的界面示意图;

图6为本申请实施例提供的一种声像垂直调整的界面示意图;

图7为本申请实施例提供的一种声场调整的界面示意图;

图8为本申请实施例提供的一种串扰消除的原理示意图;

图9为本申请实施例提供的一种音色调整的界面示意图;

图10为本申请实施例提供一种基于心理和生理的频响矫正的流程示意图;

图11为本申请实施例提供的一种播放器件的频响校准模型的示意图;

图12为本申请实施例提供的一种频率与ILD的关系示意图;

图13为本申请实施例提供的一种频域与声压水平的关系示意图;

图14为本申请实施例提供的一种声像校准装置的结构示意图;

图15为本申请实施例提供的另一种终端设备的硬件结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一值和第二值仅仅是为了区分不同的值,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是,本申请中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a、b和c,其中a,b,c可以是单个,也可以是多个。

下面对本申请实施例中所描述的词汇进行说明。可以理解,该说明是为更加清楚的解释本申请实施例,并不必然构成对本申请实施例的限定。

(1)频率响应

频率响应也可以称为频响,是用来描述仪器对于不同频率的信号的处理能力的差异。通常情况下可以通过频响曲线确定仪器的频响,在频响曲线中横轴可以为频率(Hz),纵轴可以为响度(或声压级、或幅值等)(dB),可以理解为频响曲线可以表征声音在任一频率上最大的响度。

(2)声像

声像可以理解为声源在声场中的发声位置,或也可以理解为声音的方向。例如,终端设备可以基于播放器件的发声,确定声像位置,例如当终端设备确定第一播放器件的响度大于第二播放器件的响度时,则终端设备可以确定声像所在位置可以靠近第一播放器件。其中,声场可以理解为媒介中有声波存在的区域。

示例性的,图1为本申请实施例提供的一种场景示意图。在图1对应的实施例中,以终端设备为手机为例进行示例说明,该示例并不构成对本申请实施例的限定。

当终端设备利用至少两个播放器件外放任一视频时,终端设备可以显示如图1所示的界面。如图1所示,该界面中可以包括:视频100、视频的拍摄信息、用于退出视频观看的控件、界面右上角用于查看视频的更多信息的控件、暂停控件、用于指示视频进度的进度条、用于切换横竖屏的控件、视频100对应的缩略图、以及其他视频对应的缩率图等。其中,该视频100中可以包括:正在说话的目标101以及正在说话的目标102,且目标101以及目标102可以位于终端设备的中心位置处。

终端设备中可以包括至少两个播放器件,该播放器件可以为:扬声器和/或受话器。其中,该至少两个播放器件可以非对称设置、和/或该至少两个播放器件的类型可以不同。

示例性的,图2为本申请实施例提供的一种终端设备中播放器件的设置方式示意图。

如图2中的a所示的终端设备,该终端设备可以设置两个类型不同的播放器件,且该两个播放器件对称设置。例如,终端设备的顶端中间位置处可以设置受话器,该终端设备的底端中间位置处可以设置扬声器。由于两个播放器件的类型不同,使得该两个播放器件播放音频时,声像可以偏离终端设备的中心位置处,例如声像可以靠近扬声器或其他位置。

如图2中的b所示的终端设备,该终端设备可以设置两个类型相同的播放器件,且该两个播放器件非对称设置。例如,终端设备的顶端中间位置处可以设置扬声器1,该终端设备的底端靠左位置处可以设置扬声器2。由于两个播放器件处于非对称设置,使得该两个播放器件播放音频时,声像偏离终端设备的中心位置处,例如声像可以靠近扬声器2或其他位置。

可能的实现方式中,终端设备中的两个播放器件非对称位置的方式可以不限于图2中的b所示的描述。例如,终端设备的顶端靠右位置处可以设置扬声器1,且该终端设备的底端靠中间位置处可以设置扬声器2;或者,终端设备的顶端靠右位置处可以设置扬声器1,且该终端设备的底端靠左位置处可以设置扬声器2等,本申请实施例中对此不做限定。

可能的实现方式,终端设备也可以设置两个类型不同的播放器件,且该两个播放器件非对称设置,在此场景中声像也可以偏离终端设备的中心位置。

如图2中的c所示的终端设备,该终端设备可以为折叠屏手机,该终端设备可以设置两个类型相同(或类型不同)的播放器件,且该两个播放器件非对称设置。例如,终端设备左半屏的顶端中间位置处可以设置扬声器1,该终端设备左半屏的底端靠左位置处可以设置扬声器2;或者,终端设备左半屏的顶端中间位置处可以设置受话器,该终端设备左半屏的底端靠左位置处可以设置扬声器2。在此场景中声像可以靠近扬声器2或其他位置。

可以理解的是,终端设备中的两个播放器件非对称位置的方式可以不限于图2中的b所示的描述。并且,当终端设备为折叠屏手机时,该两个播放器件的位置也可以不限于设置在终端设备的左半屏,本申请实施例中对此不做限定。

可以理解的是,当终端设备中包括多个播放器件时,该多个播放器件的类型也可以不同,该多个播放器件的设置方式也可以为对称或者非对称,本申请实施例中对此不做限定。

基于图2中的描述,由于终端设备中至少两个播放器件的类型以及该至少两个播放器件的非对称设置,使得终端设备利用该至少两个播放器重放视频时,声像偏离终端设备的中心位置,造成音画分离以及声场窄的问题。

如图1所示,当终端设备重放视频100时,终端设备底端播放器件输出的音频信号的响度可以大于终端设备顶端的播放器件输出的音频信号的响度,使得声像靠近终端设备的底端,偏离终端设备的中心位置,而此时视频100画面中目标100以及目标102仍旧位于该中心位置处,造成音画分离的问题。

有鉴于此,本申请实施例提供一种声像校准方法,终端设备显示第一界面;其中,第一界面中包括用于播放目标视频的第一控件;当终端设备接收针对第一控件的第一操作时,终端设备显示第二界面,且终端设备利用第一播放器件输出第一目标音频信号,以及利用第二播放器件输出第二目标音频信号。该第一目标音频信号以及第二目标音频信号指示目标视频的声像处于第一位置,且该第一位置可以偏离终端设备的中心位置处。进一步的,当终端设备接收针对用于启动声像校准的第二控件的第二操作时,终端设备对声像进行校正,并利用第一播放器件输出第三目标音频信号,以及利用第二播放器件输出第四目标音频信号。该第一目标音频信号以及第二目标音频信号指示目标视频的声像处于第二位置;相比于第一位置,第二位置靠近终端设备的中心位置,进而提高音频重放效果,并实现声场的扩展。

可以理解的是,本申请实施例提供的声像校准方法,不仅可以用于如图1所示的终端设备外放视频的场景中,也可以应用于终端设备在任一应用中外放视频的场景中等,本申请实施例中对声像校准方法的应用场景不做限定。

可以理解的是,上述终端设备也可以称为终端,(terminal)、用户设备(userequipment,UE)、移动台(mobile station,MS)、移动终端(mobile terminal,MT)等。终端设备可以为拥有至少两个播放器件的手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不做限定。

因此,为了能够更好地理解本申请实施例,下面对本申请实施例的终端设备的结构进行介绍。示例性的,图3为本申请实施例提供的一种终端设备的结构示意图。

终端设备可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,指示器192,摄像头193,以及显示屏194等。

可以理解的是,本申请实施例示意的结构并不构成对终端设备的具体限定。在本申请另一些实施例中,终端设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。处理器110中还可以设置存储器,用于存储指令和数据。

USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为终端设备充电,也可以用于终端设备与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他终端设备,例如AR设备等。

充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。电源管理模块141用于连接充电管理模块140与处理器110。

终端设备的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。

移动通信模块150可以提供应用在终端设备上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。

无线通信模块160可以提供应用在终端设备上的包括无线局域网(wirelesslocalarea networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM)等无线通信的解决方案。

终端设备通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。

显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,终端设备可以包括1个或N个显示屏194,N为大于1的正整数。

终端设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。

摄像头193用于捕获静态图像或视频。在一些实施例中,终端设备可以包括1个或N个摄像头193,N为大于1的正整数。

外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展终端设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。

终端设备可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音频播放或录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号,终端设备中包括至少一个扬声器170A。终端设备可以通过扬声器170A收听音乐,或收听免提通话。受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当终端设备接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。

本申请实施例中,终端设备可以设置多个播放器件,该播放器件可以包括:扬声器170A和/或受话器170B。在终端设备播放视频的场景中,至少一个扬声器170A和/或至少一个受话器170B同时播放音频信号。

耳机接口170D用于连接有线耳机。麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。本申请实施例中,终端设备可以基于麦克风170C接收用于唤醒终端设备的声音信号,并将声音信号转换为可以进行后续处理的电信号,如本申请实施例中描述的声纹数据,该终端设备可以拥有至少一个麦克风170C。

传感器模块180可以包括下述一种或多种传感器,例如:压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,或骨传导传感器等(图3中未示出)。

按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备可以接收按键输入,产生与终端设备的用户设置以及功能控制有关的键信号输入。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。

终端设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构等,在此不再赘述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以独立实现,也可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。

示例性的,图4为本申请实施例提供的一种声像校准方法的流程示意图。如图4所示,该声像校准方法可以包括如下步骤:

S401、当终端设备接收到针对目标控件的操作时,终端设备根据播放器件的类型,对第一播放器件的频响以及第二播放器件的频响进行矫正,得到频响矫正后的第一播放器的第一目标频响以及频响矫正后的第二播放器的第二目标频响。

本申请实施例中,该目标控件可以为用于启动声像校准的控件,该目标控件可以设置在用于播放视频的界面中。

本申请实施例中,第一播放器件以及第二播放器件均可以为终端设备中的扬声器(或受话器)。例如,该第一播放器件以及第二播放器件均为终端设备中的扬声器;或者,该第一播放器件可以为终端设备中的任一扬声器且第二播放器件可以为终端设备中的任一受话器;或者,该第一播放器件可以为终端设备中的任一受话器且第二播放器件可以为终端设备中的任一扬声器等,本申请实施例中对第一播放器件以及第二播放器件的种类不做具体限定。

可以理解的是,在终端设备外放视频时,该第一播放器件以及第二播放器件可以分别播放不同声道下的音频。例如,该第一播放器件播放的音频信号可以为左声道音频信号(或右声道音频信号),该第二播放器件播放的音频信号可以为右声道音频信号(或左声道音频信号),本申请实施例中对此不做限定。

示例性的,图5为本申请实施例提供的一种启动声像校准的界面示意图。在图5对应的实施例中,以终端设备为手机为例进行示例说明,该示例并不构成对本申请实施例的限定。

当终端设备接收到用户打开任一视频的操作时,终端设备可以显示如图5中的a所示的界面,该界面中可以包括:用于播放视频的控件501、用于指示视频信息的信息、用于退出视频播放的控件、用于查看视频更多信息的控件、用于分享视频的控件、用于收藏视频的控件、用于编辑视频的控件、用于删除视频的控件、用于查看更多功能的控件等。

在如图5中的a所示的界面中,当终端设备接收到用户针对用于播放视频的控件501的触发操作时,终端设备可以显示如图5中的b所示的界面。如图5中的b所示的界面,该界面中可以包括:用于启动声像校准的控件502,该用于启动声像校准的控件502处于关闭状态,该界面中显示的其他内容可以参见图1对应的实施例中的描述,在此不再赘述。

在如图5中的b所示的界面中,当终端设备接收到用户针对用于启动声像校准的控件502的触发操作时,终端设备可以启动声像校准流程,使得终端设备执行S402-S406所示的步骤。

可能的实现方式中,终端设备也可以在设置中提供用于在播放视频时自动启动声像校准的开关。在该用于在播放视频时自动启动声像校准的开关为开启的情况下,当终端设备接收到用户在图5中的a所示的界面中针对用于播放视频的控件501的触发操作时,终端设备可以默认启动声像校准流程,使得终端设备执行S402-S406所示的步骤。

可以理解的是,本申请实施例中对在外放视频时启动声像校准的方式不做具体限定。

可以理解的是,由于播放器件之间的频响差异体现在,播放器件对于不同频率的音频信号的重放差异上,进而影响声像的位置,因此终端设备可以通过对播放器件的频响矫正,使得播放器件的频响的幅值平坦化,并且多个播放器件的频响趋势接近,从而解决频响不一致带来的声像偏离中心的问题。

基于此,终端设备可以通过频响矫正将声像的位置从原来偏向某一扬声器,逐渐靠近到两个扬声器中间的位置。进一步的,由于频响矫正时产生的误差以及扬声器的器件限制,使得声像仍偏离中心位置,因此终端设备可以进一步的基于S403-S406所示的步骤,对声像进行进一步的调整。

S402,终端设备利用第一目标频响对第一音频信号进行音频处理,得到频响矫正后输出的第一音频信号,利用第二目标音频对第二音频信号进行音频处理,得到频响矫正后输出的第二音频信号。

其中,该第一音频信号(或称为第一播放器件对应的初始音频信号)可以为终端设备对第一播放器件进行频响校正前,需要输入到第一播放器件进行播放的音频信号,或也可以理解为原始的单声道音频信号;该第二音频信号(或称为第二播放器件对应的初始音频信号)可以为终端设备对第二播放器件进行频响校正前,需要输入到第二播放器件进行播放的音频信号,或也可以理解为另一原始的单声道音频信号。

示例性的,终端设备可以对第一目标频响以及第一音频信号进行卷积处理,得到频响矫正后输出的第一音频信号(或称为第五目标音频信号),并且对第二目标频响以及第二音频信号进行卷积处理,得到频响矫正后输出的第二音频信号(或称为第六目标音频信号)。

S403、终端设备根据偏移控制因子对频响矫正后输出的第一音频信号以及频响矫正后输出的第二音频信号进行调整,得到声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号。

其中,该偏移控制因子用于指示频响矫正后输出的第一音频信号以及频响矫正后输出的第二音频信号之间的频响差异。

一种实现中,终端设备可以在目标频段上确定偏移控制因子,并在目标频段上对频响矫正后输出的第一音频信号以及频响矫正后输出的第二音频信号进行调整,得到声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号。

示例性的,终端设备可以获取第一目标频响以及第二目标频响之间,频响接近的目标频段[k1,k2],该目标频段[k1,k2]之间的频点个数可以为N。其中,该频响接近的目标频段可以为第一目标频响以及第二目标频响之间相似度大于预设阈值时对应的频段。

终端设备将等响扫频信号(或称为第一扫频信号)分别输入到第一播放器件以及第二播放器件中,得到第一回播信号Y

终端设备根据第一回播信号以及第二回播信号之间的频响差异确定偏移控制因子α:

进一步的,当终端设备确定Y

另一种实现中,终端设备可以将全频段划分成M个子带,并分别在每个子带上确定偏移控制因子,得到M个偏移控制因子;进而利用M个偏移控制因子,对全频段的频响矫正后输出的第一音频信号以及全频段的频响矫正后输出的第二音频信号进行调整,得到声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号。

示例性的,终端设备将全频段扫频信号(或称为第二扫频信号)分别输入到第一播放器件以及第二播放器件中,得到第三回播信号Y

终端设备将第三回播信号划分为M个子信号,得到第三回播信号对应的M个子信号;并且,将第四回播信号划分为M个子信号,得到第四回播信号对应的M个子信号。

终端设备可以对第三回播信号对应的M个子信号以及第四回播信号对应的M个子信号中的任一对子信号的频响差异进行控制。可以理解的是,终端设备可以得到M个子信号对,该M个子信号对中的任一对子信号可以为:第三回播信号对应的M个子信号中的第i个子信号,以及第四回播信号对应的M个子信号中的第i个子信号。

可以理解的是,基于该第三回播信号对应的M个子信号中的第i个子信号Y

其中,[k3,k4]可以为该第i个子信号Y

可以理解的是,终端设备可以得到M个偏移控制因子,并基于该M个偏移控制因子分别对应的M个子信号对中的音频信号进行处理,并将M个处理结果按照频率拼接成全频段信号,得到声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号。

基于此,终端设备可以基于偏移控制因子,实现对于声像的垂直方向的调整,使得声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号共同指示的方向在垂直方向上靠近两个播放器件中间。

S404、终端设备利用基于头相关传输函数(head related transfer function,HRTF)的虚拟扬声器方法或串扰消除方法,对声像垂直调整后的第一音频信号进行音频处理,得到声像水平调整后的第一音频信号;并且对声像垂直调整后的第二音频信号进行音频处理,以及声像水平调整后的第二音频信号。

本申请实施例中,终端设备可以判断处于横屏状态或者处于竖屏状态,在终端设备处于竖屏状态时,终端设备利用基于HRTF的虚拟扬声器对声像垂直调整后的第一音频信号(或称为第七目标音频信号)以及声像垂直调整后的第二音频信号进行处理(或称为第八目标音频信号);或者,在终端设备处于横屏状态下,终端设备利用串扰消除的方法对声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号进行处理。

一种实现中,在终端设备处于竖屏状态下,终端设备基于HRTF的虚拟扬声器方法对声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号进行处理。

终端设备中可以预先存储多对HRTF值,该HRTF值通常按照左、右虚拟扬声器成对设置。例如,多对HRTF值中可以包括,多个左虚拟扬声器的HRTF值以及任一左虚拟扬声器的HRTF值对应的右虚拟扬声器的HRTF值。

示例性的,图6为本申请实施例提供的一种声像垂直调整的界面示意图。如图6所示的界面,该界面中的声像601可以理解为经过S403所示的步骤中声像垂直调整后的声像,该声像602可以理解为中心点位置处的目标声像。

示例性的,终端设备可以为中心点位置设置一对预设的左、右虚拟扬声器的HRTF值,或理解为终端设备为中心点位置创建虚拟扬声器1以及虚拟扬声器2,使得该虚拟扬声器1以及虚拟扬声器2播放的音频信号时声像位置可以为该声像602所在位置。

进一步的,以第一播放器件为靠近用户左侧的播放器件且第二播放器件为靠近用户右侧的播放器件为例进行示例说明。例如,终端设备利用左虚拟扬声器对应的HRTF值对声像垂直调整后的第一音频信号进行卷积处理,得到声像水平调整后的第一音频信号(或称为第九目标音频信号),以及利用右虚拟扬声器对应的HRTF值对声像垂直调整后的第二音频信号进行卷积处理,得到声像水平调整后的第二音频信号(或称为第十目标音频信号)。

可以理解的是,终端设备可以利用基于HRTF的虚拟扬声器方法模拟一对虚拟扬声器,使得该一对虚拟扬声器输出音频信号时,声像可以位于终端设备的中心点位置,实现声场宽度的扩展,进而实现对于声像的水平调整。

可能的实现方式中,终端设备中也可以为中心点位置设置多对左、右虚拟扬声器的HRTF值,该多对左、右虚拟扬声器的HRTF值可以对应于不同的方位角(或也可以理解为对应于不同的声场、或终端设备中显示的不同的声场标识);进一步的,终端设备可以基于用户对于声场的需求,匹配一对合适的左、右虚拟扬声器的HRTF值。

示例性的,图7为本申请实施例提供的一种声场调整的界面示意图。

终端设备显示如图7中的a所示的界面,该界面中可以包括用于调整声场的进度条701,该界面中显示的其他内容可以与图5中的b所示的界面中类似,在此不再赘述。其中,该用于调整声场的进度条701的周围可以显示声场标识,例如该声场标识显示为0;该不同数值的声场标识可以用于指示不同声场对应的左、右虚拟扬声器的HRTF值。

在如图7中的a所示的界面中,当终端设备接收到用户滑动该用于调整声场的进度条701的操作,使得声场标识显示为1时,终端设备可以利用声场标识显示为1时所对应的左虚拟扬声器的HRTF值,对声像垂直调整后的第一音频信号进行卷积处理,得到声像水平调整后的第一音频信号,以及利用声场标识显示为1时所对应的右虚拟扬声器的HRTF值,对声像垂直调整后的第二音频信号进行卷积处理,得到声像水平调整后的第二音频信号。

可以理解的是,当该声场标识显示为0时,终端设备可以获取声场标识为0对应的左、右虚拟扬声器的HRTF值;当该声场标识显示为1时,终端设备则可以获取声场标识为1对应的左、右虚拟扬声器的HRTF值。可以理解的是,声场标识显示的数值越大,则用户可以感知的声音范围可以越广。

可能的实现方式中,终端设备也可以在横屏状态下基于HRTF的虚拟扬声器方法对声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号进行处理;并且,终端设备也可以在横屏状态下基于图7对应的实施例实现声场的调整,本申请实施例中对此不做限定。

另一种实现中,在终端设备处于横屏状态下,终端设备利用串扰消除的方法对声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号进行处理。

示例性的,以第一播放器件为靠近用户左耳的左扬声器以及第二播放器件为靠近用户右耳的右扬声器为例进行说明。串扰消除可以理解为将左扬声器传播到右耳的音频信号,以及从右扬声器传播到左耳的音频信号消除,实现声场的扩展。

示例性的,图8为本申请实施例提供的一种串扰消除的原理示意图。如图8所示,左扬声器不仅可以经过H

因此,为了使得到达用户双耳接收到的音频信号均为理想的音频信号,终端设备可以为左扬声器以及右扬声器设置串扰消除矩阵C,该串扰消除矩阵C可以用于消除干扰的音频信号。进一步的,在串扰消除后输入到用户双耳的实际信号I可以为:

其中,矩阵H可以理解为左扬声器以及右扬声器发出的音频信号分别传递到双耳的声学传递函数。

具体的,终端设备可以利用串扰消除矩阵,对声像垂直调整后的第一音频信号以及声像垂直调整后的第二音频信号分别进行串扰消除,得到声像水平调整后的第一音频信号以及声像水平调整后的第二音频信号。

可以理解的是,终端设备也可以基于串扰消除以及至少一对HRTF值,实现图7对应的实施例中的声场调整,本申请实施例中对此不做限定。

可以理解的是,终端设备可以基于串扰消除实现声场的扩展,使得声像在水平方向上朝向中心位置处平移。可能的实现方式中,终端设备也可以基于其他方式实现声场的扩展,本申请实施例中对此不做限定。

S405、终端设备对声像水平调整后的第一音频信号以及声像水平调整后的第二音频信号进行音色调整,得到音色调整后的第一音频信号以及音色调整后的第二音频信号。

一种实现中,终端设备中可以预设一个用于调节音色的滤波器,例如终端设备可以将该声像水平调整后的第一音频信号以及声像水平调整后的第二音频信号输入到滤波器中,得到音色调整后的第一音频信号(或称为第十一目标音频信号)以及音色调整后的第二音频信号(或称为第十二目标音频信号)。

其中,该滤波器可以包括:峰值滤波器、搁架滤波器、高通滤波器、或低通滤波器等。可以理解的是,不同的滤波器可以对应于不同的滤波参数,例如该滤波参数可以包括:增益、中心频率、以及Q值等。

另一种实现中,终端设备中预设多组典型的音色与滤波参数之间的对应关系,使得终端设备可以根据用户对于音色的需求,选择不同的滤波器。

示例性的,图9为本申请实施例提供的一种音色调整的界面示意图。

终端设备显示如图9中的a所示的界面,该界面中可以包括:用于音色调整的控件901,该界面中显示的其他内容可以与图7中的a所示的界面类似,在此不再赘述。

如图9中的a所示的界面,当终端设备接收到用户针对用于音色调整的控件901的触发操作时,终端设备可以显示如图9中的b所示的界面。如图9中的b所示的界面,该界面中可以包括:多个典型的音色控件,例如:用于指示音色未进行调整的原声控件902、流行音色控件、乡村音色控件、古典音色控件903、摇滚音色控件、电子音色控件、以及金属音色控件等。

在如图9中的b所示的界面中,当终端设备接收到用户针对古典音色控件903的触发操作时,终端设备可以利用古典音色对应的滤波参数,对声像水平调整后的第一音频信号以及声像水平调整后的第二音频信号进行滤波处理,得到音色调整后的第一音频信号以及音色调整后的第二音频信号。

可以理解的是,由于音频信号经过扬声器矫正、以及虚拟扬声器的渲染可能会带来音色的改变,因此终端设备可以通过对音色的调整,改善音频的音色,进而提高音频的音质。

S406、终端设备利用音色调整后的第一音频信号、音色调整后的第二音频信号、第一音频信号以及第二音频信号,对音色调整后的第一音频信号以及音色调整后的第二音频信号进行音量调整,得到第一音频信号对应的第三音频信号以及第二音频信号对应的第四音频信号。

其中,该第三音频信号或也可以称为第三目标音频信号,该第四音频信号或也可以称为第四目标音频信号。

示例性的,当第一音频信号为x

其中,β可以为平滑系数,P可以为第一音频信号或第二音频信号的频点。

类似的,终端设备基于音色调整后的第一音频信号z

终端设备可以基于E

进一步的,终端设备可以利用δ分别对音色调整后的第一音频信号z

可以理解的是,由于终端设备经过S401-S406所示的步骤中的一系列处理,使得音色调整后的第一音频信号以及音色调整后的第二音频信号之间存在增益的差异,因此可以根据任一音频信号的平滑能量,对该任一音频信号的音量进行调整,使得输出的双声道的音频信号的音量更符合用户的体验。

可以理解的是,当用户未开启用于启动声像校准的控件502的情况下,终端设备基于第一播放器件以及第二播放器件播放的音频信号可以指示声像偏离终端设备的中心位置。而当用户开启该用于启动声像校准的控件502的情况下,终端设备可以基于图4对应的实施例对声像进行调整,使得声像可以靠近终端设备的中心位置。

可以理解的是,终端设备可以基于S401、S403、S404、S405以及S406所示的步骤中的一种或多种方法,改善外放视频时声像的位置,本申请实施例中对此不做限定。

基于此,终端设备可以通过扬声器矫正、声像平移控制以及声像水平控制,将声像调整至靠近终端设备的中心位置,进而提高用户观看视频的体验感。

可能的实现方式中,在图4对应的实施例的基础上,S401所示的步骤中终端设备对第一播放器件的频响以及第二播放器件的频响进行矫正的方法可以参见图10对应的实施例。

示例性的,图10为本申请实施例提供一种基于心理和生理的频响矫正的流程示意图。在图10对应的实施例中,以第一播放器件为左扬声器,第二播放器件为右扬声器,第一音频信号为左声道音频信号,第二音频信号为右声道音频信号为例进行示例说明,该示例并不够成对本申请实施例的限定。

如图10所示,频响矫正方法可以包括如下步骤:

S1001、终端设备获取第一播放器件对应的第一频响补偿曲线,以及第二播放器件对应的第二频响补偿曲线。

其中,该频响补偿曲线用于将播放器件的频响曲线调整成趋近平直的曲线。

示例性的,图11为本申请实施例提供的一种播放器件的频响校准模型的示意图。如图11所示,左扬声器可以为靠近用户左耳的扬声器,右扬声器可以为靠近用户右耳的扬声器。

示例性的,左扬声器播放左声道音频信号x

用户左耳接收到的信号y

其中,H

左声道音频信号x

y

y

可以理解的是,在对左扬声器的频响H

y

公式(9)可以转换为:

y

进一步的,将左扬声器的频响H

E

可以理解的是,为了使得校准后的左扬声器的频响曲线趋近于一条平滑的曲线,因此可以估计E

E

类似的,也可以获取右扬声器的频响H

S1002、终端设备判断是否存在受话器。

其中,当终端设备确定存在受话器(或理解为终端设备中包括扬声器以及受话器)端设备可以执行S1003-S1004所示的步骤;或者,当终端设备确定不存在受话器(或理解为终端设备中包括扬声器以及扬声器)时,终端设备可以执行S1005-S1006所示的步骤。

可以理解的是,通常情况下相比于扬声器,受话器不能重放低频信号,因此在对受话器进行频响矫正时,可以对受话器频响中的中高频的频响进行矫正,进而减少矫正的复杂度。其中,该中高频的频响可以为受话器频响中的大于截止频率的频响。

可能的实现方式中,终端设备也可以不执行S1002所示的步骤,基于S1003-S1005所示的步骤基于声场偏移截止频率进行频响校准,或基于S1006-S1007所示的步骤基于心理和生理进行频响校准;或者,终端设备也可以不执行S1002所示的步骤,基于S1003-S1005所示的步骤基于声场偏移截止频率进行频响校准,以及基于S1006-S1007所示的步骤基于心理和生理进行频响校准共同进行频响校准,本申请实施例中对此不做限定。

S1003、终端设备获取声场偏移截止频率。

其中,该声场偏移截止频率(或也可以称为截止频率、或目标截止频率)可以为k0,该声场偏移截止频率可以为预设的。例如,该声场偏移截止频率可以为受话器的截止频率。

可以理解的是,由于受话器对小于该声场截止频率的低频信号的重放能力较差,因此在如图2中的a所示的受话器设置在终端设备的顶端中间位置,扬声器设置在终端设备底端左下角位置的情况下,声像将会偏向于左下角扬声器。

S1004、终端设备对声场偏移截止频率以上的频带所对应的频响进行矫正,得到第三目标频响以及第四目标频响。

可以理解的是,终端设备可以估算大于声场偏移截止频率的频段(该大于声场偏移截止频率的频段也可以称为预设频段)处的补偿函数。例如,当用于指示第一播放器件的频响的系统函数为E

当用于指示第二播放器件的频响的频域的系统函数为E

进一步的,终端设备利用S1004中得到的第一播放器件的第一频响补偿函数E

S1005、终端设备利用均衡器(equalizer,EQ)对第三目标音频以及第四目标频响进行调整,得到第一目标频响以及第二目标频响。

其中,该EQ可以实现将第三目标频响中幅值较高的数据调整至与其他频率处的幅值相近,得到第一目标频响,以及将第四目标频响中幅值较高的数据调整至与其他频率处的幅值相近,得到第二目标频响。

可以理解的是,终端设备可以通过对声场偏移截止频率k0以上的播放器件的频响矫正,减少算法的复杂度。

S1006、终端设备获取第一频段以及第二频段。

本申请实施例中,第一频段可以理解为不同非对称播放器件的布局对双耳声压差构成影响的频段,或也可以为理解为对用户生理层面上构成影响的频段。示例性的,可以获取全频段中的常用频段,例如1000Hz-8000Hz,并在该常用频段中获取ILD的变化率满足一定范围(或大于一定阈值)时所对应频段。例如,该第一频段可以为[k1

示例性的,图12为本申请实施例提供的一种频率与双耳声压差(interaurallevel difference,ILD)的关系示意图。图12中不同的线条可以用于指示左右扬声器之间处于不同距离时,对双耳声压构成的影响。可以理解的是,对双耳声压差构成较大影响的频段可以为[2000Hz,5000Hz]等范围。

第二频段可以为理解为人耳对响度最为敏感的频段,或也可以理解为对用户心理层面上构成影响的频段。示例性的,可以获取全频段中的常用频段,例如1000Hz-8000Hz,并在该常用频段中获取声压水平(sound pressure level,SPL)的变化率满足一定范围(或大于一定阈值)时所对应频段。该第二频段可以为[k2

示例性的,图13为本申请实施例提供的一种频域与SPL的关系示意图。如图13所示,对人耳最为敏感的频段可以为[4000Hz,8000Hz]等范围。

进一步的,预设频段[k

[k

例如,该预设频段可以为[4000Hz,5000Hz]等范围,本申请实施例对预设频段的取值不做具体限定。

S1007、终端设备对预设频段内的频响进行调整,得到第一目标频响以及第二目标频响。

可以理解的是,当用于指示第一播放器件的频响的系统函数为E

当用于指示第如图播放器件的频响的系统函数为E

进一步的,终端设备利用S1007中得到的第一播放器件的第一频响补偿函数E

可以理解的是,在预设频段内,第一目标频响对应的幅值满足预设幅值范围且第二目标频响对应的幅值满足预设幅值范围。其中,该预设幅值范围可以为:[-1/1000dB-1/1000dB],或也可以为[-1/100dB-1/100dB]等范围,本申请实施例中对此不做限定。

可以理解的是,终端设备可以通过对预设频段处的播放器件的频响矫正,减少算法的复杂度,进而频响矫正过程中引入的杂音失真,并且使得矫正处理后的频响更符合用户对于扬声器的使用习惯。

基于此,终端设备可以根据播放器件的类型对播放器件的频响进行不同的处理,使得频响矫正后的扬声器可以输出更符合用户需求的音频信号。

可以理解的是,本申请实施例描述的界面仅作为一种示例,并不能构成对本申请实施例的限定。

上面结合图3-图13,对本申请实施例提供的方法进行了说明,下面对本申请实施例提供的执行上述方法的装置进行描述。如图14所示,图14为本申请实施例提供的一种声像校准装置的结构示意图,该声像校准装置可以是本申请实施例中的终端设备,也可以是终端设备内的芯片或芯片系统。

如图14所示,声像校准装置1400可以用于通信设备、电路、硬件组件或者芯片中,该声像校准装置包括:显示单元1401、以及处理单元1402。其中,显示单元1401用于支持声像校准装置1400执行的显示的步骤;处理单元1402用于支持声像校准装置1400执行信息处理的步骤。

具体的,本申请实施例提供一种声像校准装置1400,终端设备中包括:第一播放器件以及第二播放器件,显示单元1401,用于第一界面;其中,第一界面中包括用于播放目标视频的第一控件;处理单元1402,用于接收针对第一控件的第一操作;响应于第一操作,显示单元1401,用于第二界面,且处理单元1402,还用于利用第一播放器件输出第一目标音频信号,以及利用第二播放器件输出第二目标音频信号;其中,第一目标音频信号以及第二目标音频信号播放时声像处于第一位置;第二界面中包括:用于启动声像校准的第二控件;处理单元1402,还用于接收针对第二控件的第二操作;响应于第二操作,处理单元1402,还用于利用第一播放器件输出第三目标音频信号,以及利用第二播放器件输出第四目标音频信号;其中,第三目标音频信号以及第四目标音频信号播放时声像处于第二位置;第二位置与终端设备的中心位置之间的距离小于第一位置与中心位置之间的距离。

可能的实现方式中,该声像校准装置1400中也可以包括通信单元1403。具体的,通信单元用于支持声像校准装置1400执行数据的发送以及数据的接收的步骤。其中,该通信单元1403可以是输入或者输出接口、管脚或者电路等。

可能的实施例中,声像校准装置还可以包括:存储单元1404。处理单元1402、存储单元1404通过线路相连。存储单元1404可以包括一个或者多个存储器,存储器可以是一个或者多个设备、电路中用于存储程序或者数据的器件。存储单元1404可以独立存在,通过通信线路与声像校准装置具有的处理单元1402相连。存储单元1404也可以和处理单元1402集成在一起。

存储单元1404可以存储终端设备中的方法的计算机执行指令,以使处理单元1402执行上述实施例中的方法。存储单元1404可以是寄存器、缓存或者RAM等,存储单元1404可以和处理单元1402集成在一起。存储单元1404可以是只读存储器(read-only memory,ROM)或者可存储静态信息和指令的其他类型的静态存储设备,存储单元1404可以与处理单元1402相独立。

图15为本申请实施例提供的另一种终端设备的硬件结构示意图,如图15所示,该终端设备包括处理器1501,通信线路1504以及至少一个通信接口(图15中示例性的以通信接口1503为例进行说明)。

处理器1501可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。

通信线路1504可包括在上述组件之间传送信息的电路。

通信接口1503,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线局域网(wireless local area networks,WLAN)等。

可能的,该终端设备还可以包括存储器1502。

存储器1502可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路1504与处理器相连接。存储器也可以和处理器集成在一起。

其中,存储器1502用于存储执行本申请方案的计算机执行指令,并由处理器1501来控制执行。处理器1501用于执行存储器1502中存储的计算机执行指令,从而实现本申请实施例所提供的方法。

可能的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。

在具体实现中,作为一种实施例,处理器1501可以包括一个或多个CPU,例如图15中的CPU0和CPU1。

在具体实现中,作为一种实施例,终端设备可以包括多个处理器,例如图15中的处理器1501和处理器1505。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包括一个或多个可用介质集成的服务器、数据中心等数据存储设备。例如,可用介质可以包括磁性介质(例如,软盘、硬盘或磁带)、光介质(例如,数字通用光盘(digital versatile disc,DVD))、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。

本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

作为一种可能的设计,计算机可读介质可以包括紧凑型光盘只读储存器(compactdisc read-only memory,CD-ROM)、RAM、ROM、EEPROM或其它光盘存储器;计算机可读介质可以包括磁盘存储器或其它磁盘存储设备。而且,任何连接线也可以被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,DSL或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD),激光盘,光盘,数字通用光盘(digital versatile disc,DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。

上述的组合也应包括在计算机可读介质的范围内。以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

相关技术
  • 一种纠偏光电校准装置、校准系统以及校准方法
  • 声像定位装置、声像定位系统、声像定位方法、程序及集成电路
  • 声像定位装置、声像定位系统、声像定位方法、程序及集成电路
技术分类

06120115609995