一种控制方法及电子设备
文献发布时间:2023-06-19 11:35:49
技术领域
本申请涉及音频播放技术领域,尤其涉及一种控制方法及电子设备。
背景技术
随着技术的发展,音频播放产品越来越多。而各产品的音频播放音效多数是固定的,因此,存在播放音效效果单一的情况。
发明内容
有鉴于此,本申请提供一种控制方法及电子设备,如下:
一种控制方法,包括:
在声音输出设备按照第一声音文档进行声音信号输出的情况下,获得所述声音输出设备输出的声音信号对应的第二声音文档;
对所述第一声音文档和所述第二声音文档进行频谱分析,以得到分析结果;
在所述分析结果表征所述第一声音文档和所述第二声音文档不满足声音相似条件的情况下,对所述声音输出设备的声音输出参数进行调整,以使得所述第一声音文档和所述第二声音文档满足所述声音相似条件。
上述方法,优选的,在所述声音输出设备按照第一声音文档进行声音信号输出之前,所述方法还包括:
获得所述声音输出设备所在电子设备的设备姿态信息;
根据所述设备姿态信息,设置所述声音输出设备的初始的声音输出参数,其中,所述初始的声音输出参数与所述设备姿态信息相对应,以使得所述声音输出设备根据所述初始的声音输出参数按照第一声音文档进行声音信号输出。
上述方法,优选的,对所述第一声音文档和所述第二声音文档进行频谱分析,以得到分析结果,包括:
获得所述第一声音文档中在每个声音频率点上对应的第一声音幅度值;
获得所述第二声音文档中在每个所述声音频率点上对应的第二声音幅度值;
根据所述第一声音幅度值和所述第二声音幅度值,获得分析结果,所述分析结果表征所述第一声音文档和所述第二声音文档之间的还原度。
上述方法,优选的,根据所述第一声音幅度值和所述第二声音幅度值,获得分析结果,包括:
根据所述第一声音幅度值和所述第二声音幅度值,获得同一所述声音频率点上的第一幅度差值;
根据所述声音频率点上的第一幅度差值,获得差值方差,所述差值方差表征所述第一声音文档和所述第二声音文档之间的还原度;
其中,在所述差值方差小于或等于第一方差阈值的情况下,所述第二声音文档相对所述第一声音文档的还原度满足声音相似条件,在所述差值方差大于所述第一方差阈值的情况下,所述第二声音文档相对所述第一声音文档的还原度不满足所述声音相似条件。
上述方法,优选的,对所述声音输出设备的声音输出参数进行调整,包括:
获得所述第一声音文档在多个频带上对应的第三声音幅度值,所述频带通过对所述第一声音文档对应的频谱进行频带划分所得到,所述频带包含多个声音频率点;
获得所述第二声音文档中在多个所述频带上对应的第四声音幅度值;
获得所述频带上对应的所述第三声音幅度值与所述第四声音幅度值之间的第二幅度差值;
根据所述第二幅度差值与频带幅度基准值,获得所述频带上对应的参数调整值;所述频带幅度基准值通过对所有所述频带上对应的第二幅度差值求平均所获得;
根据所述参数调整值,对所述声音输出设备在所述频带上对应的声音输出参数进行调整。
上述方法,优选的,在根据所述参数调整值,对所述声音输出设备在所述频带上对应的声音输出参数进行调整之前,所述方法还包括:
获得所述声音输出设备的当前用户对应的声音播放类型,并根据所述声音播放类型,确定所述多个频带中的至少一个目标频带;
其中,根据所述参数调整值,对所述声音输出设备在所述频带上对应的声音输出参数进行调整,包括:
根据所述目标频带对应的参数调整值,对所述声音输出设备在所述目标频带上对应的声音输出参数进行调整。
上述方法,优选的,所述目标频带根据所述当前用户在所述声音输出设备上对应的历史声音文档获得,且所述目标频带通过对所述历史声音文档中所包含的频带上的声音能量分布状态进行分析得到。
上述方法,优选的,所述声音输出设备所在的电子设备上还具有通信模块,所述通信模块用于将声音文档传输给与所述电子设备相连接的其他设备;
其中,所述方法还包括:
在所述其他设备向所述电子设备所配置的任一应用传输声音文档的过程中,获得通过所述通信模块向其他设备所传输的第三声音文档;
获得所述第三声音文档和所述第二声音文档之间的信号损耗值,所述信号损耗值表征所述第三声音文档和所述第二声音文档之间的相似度;
在所述信号损耗值小于或等于损耗阈值的情况下,对所述声音输出设备的声音输出参数进行调整。
上述方法,优选的,所述声音输出设备所在的电子设备上还具有声音采集设备;其中,所述获得所述声音输出设备输出的声音信号对应的第二声音文档,包括:
利用声音采集设备采集所述声音输出设备输出的声音信号,以得到相应的第二声音文档;
其中,在所述电子设备上的任一应用向所述其他设备传输声音文档的过程中,获得通过所述声音采集设备进行声音信号采集所得到的第四声音文档;
获得所述第四声音文档对应的声音信号参数,所述声音信号参数表征所述第四声音文档的信号能量;
在所述声音信号参数满足增益控制条件的情况下,对所述声音采集设备的采集增益值进行调整,以使得所述声音采集设备以调整后的增益值采集声音信号。
一种电子设备,包括:
声音输出设备;
处理器,用于:在所述声音输出设备按照第一声音文档进行声音信号输出的情况下,获得所述声音输出设备输出的声音信号对应的第二声音文档;对所述第一声音文档和所述第二声音文档进行频谱分析,以得到分析结果;在所述分析结果表征所述第一声音文档和所述第二声音文档不满足声音相似条件的情况下,对所述声音输出设备的声音输出参数进行调整,以使得所述第一声音文档和所述第二声音文档满足所述声音相似条件。
由上述方案可知,本申请提供的一种控制方法及电子设备中,通过将声音输出设备所输出的声音信号的原始声音文档和输出后进行信号采集所获得的声音文档进行分析,来得到表征两个声音文档是否满足声音相似条件的分析结果,基于此,在两个声音文档不满足声音相似条件的情况下通过调整声音输出设备输出声音信号的声音输出参数来使得两个声音文档满足声音相似条件,由此,不管是什么类型或来源的声音文档均可以通过声音输出参数的调整使得声音输出设备为用户提供贴近原始声音文档的声音播放效果,从而避免电子设备中对任何声音信号只能实现单一的播放音效效果的缺陷。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种控制方法的流程图;
图2-图3分别为本申请实施例的应用示例图;
图4为本申请实施例一提供的一种控制方法的另一流程图;
图5为本申请实施例一提供的一种控制方法的部分流程图;
图6-图7分别为本申请实施例的另一应用示例图;
图8为本申请实施例一提供的一种控制方法的另一部分流程图;
图9为本申请实施例的另一应用示例图;
图10为本申请实施例一提供的一种控制方法的另一部分流程图;
图11为本申请实施例的另一应用示例图;
图12-图13分别为本申请实施例一提供的一种控制方法的另一部分流程图;
图14为本申请实施例二提供的一种控制装置的结构示意图;
图15为本申请实施例三提供的一种电子设备的结构示意图;
图16-图21分别为本申请适用于PC的示例图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参考图1,为本申请实施例一提供的一种控制方法的实现流程图,该方法可以适用于至少包含有声音输出设备或者至少连接有声音输出部件的电子设备中,如手机、pad、笔记本、计算机或服务器等设备。本实施例中的技术方案主要用于解决电子设备中对声音信号的播放音效效果单一的缺陷。
具体的,本实施例中的方法可以包含如下步骤:
步骤101:声音输出设备按照第一声音文档进行声音信号输出。
其中,声音输出设备可以为喇叭等扬声器设备。第一声音文档为待输出的声音信号的音频数据,如**的音频数据**.mp3。在电子设备将第一声音文档传输到声音输出设备之后,声音输出设备对第一声音文档进行解码播放,以输出第一声音文档对应的声音信号,如图2中所示。
具体的,声音输出设备在进行声音信号输出时是在相应的声音输出参数的控制下进行声音文档的解码以及声音信号的输出的,不同的声音输出参数下能够实现不同的声音播放效果。
步骤102:在声音输出设备按照第一声音文档进行声音信号输出的情况下,获得声音输出设备输出的声音信号对应的第二声音文档。
其中,第二声音文档为对声音输出设备输出的声音信号进行音频处理后所得到的数据。
具体实现中,本实施例中的电子设备上还具有声音采集设备,如麦克风等,用于采集所在周边的声音信号并生成相应的声音文档。基于此,本实施例中在声音输出部件按照第一声音文档进行声音信号输出的情况下,通过声音采集设备采集声音输出部件所输出的声音信号,通过音频编码等处理将采集到的声音信号生成相应的第二声音文档,如图3中所示。
步骤103:对第一声音文档和第二声音文档进行频谱分析,以得到分析结果。
其中,分析结果为第一声音文档的频谱数据和第二声音文档的频谱数据经过比对所得到的结果,该分析结果表征第一声音文档和第二声音文档是否满足声音相似条件。
具体实现中,声音相似条件为声音文档在频谱数据上相似度到达相似阈值的条件,或者,也可以理解为:声音文档在频谱数据向还原度到达相应还原阈值的条件。在本实施例中,声音相似条件被满足具体为:第一声音文档和第二声音文档的相似度到达相似阈值,或者说是,第二声音文档相对于第一声音文档的还原度达到还原阈值。
基于此,在分析结果表征第一声音文档和第二声音文档满足声音相似条件的情况下,能够确定声音输出设备在当前的声音输出参数的控制下进行声音信号输出时,对声音信号的还原度较高,使得用户收听到的声音信号更为贴近第一声音文档的声音播放效果,即保真率更高;在分析结果表征第一声音文档和第二声音文档不满足声音相似条件的情况下,能够确定声音输出设备在当前的声音输出参数的控制下进行声音信号输出时对声音信号的还原度较低,使得用户收听到的声音信号与第一声音文档原本的声音播放效果之间的差异较大,即保真率较低。
步骤104:判断分析结果是否表征第一声音文档和第二声音文档满足声音相似条件,在分析结果表征第一声音文档和第二声音文档不满足声音相似条件的情况下,执行步骤105。
其中,在分析结果表征第一声音文档和第二声音文档不满足声音相似条件的情况下,能够确定声音输出设备在当前的声音输出参数的控制下进行声音信号输出时对声音信号的还原度较低,使得用户收听到的声音信号与第一声音文档原本的声音播放效果之间差异较大,为此,为了提高声音文档的声音播放效果的保真率,执行步骤105,以使得用户收听到的声音信号与第一声音文档原本的声音播放效果之间的差异缩小,基于此实现方案,声音输出设备不管输出何种应用需要播放的声音文档何种频谱类型的声音文档均可以使得用户收听到的声音信号与声音文档原本的声音播放效果之间的差异较小。
步骤105:对声音输出设备的声音输出参数进行调整,以使得第一声音文档和第二声音文档满足声音相似条件。
基于此,本实施例中通过对声音输出设备的声音输出参数进行调整,使得声音输出设备所输出的声音信号的声音播放效果发生变化,而所获得到的第二声音文档也会发生变化,在经过一次或多次声音输出参数的调整之后,最终使得第一声音文档和声音输出设备所输出的声音信号对应的第二声音文档能够满足声音相似条件,由此使得用户收听到的声音信号与第一声音文档原本的声音播放效果之间的差异较小。
具体实现中,声音输出参数可以包含有均衡器EQ(Equalizer)中的参数,如低频、中频和高频上信号的放大参数等,由此,通过调整EQ参数,使得声音输出设备对声音信号的声音播放效果发生改变。
由上述方案可知,本申请实施例一提供的一种控制方法中,通过将声音输出设备所输出的声音信号的原始声音文档和输出后进行信号采集所获得的声音文档进行分析,来得到表征两个声音文档是否满足声音相似条件的分析结果,基于此,在两个声音文档不满足声音相似条件的情况下通过调整声音输出设备输出声音信号的声音输出参数来使得两个声音文档满足声音相似条件,由此,不管是什么类型或来源的声音文档均可以通过声音输出参数的调整使得声音输出设备为用户提供贴近原始声音文档的声音播放效果,从而避免电子设备中对任何声音信号只能实现单一的播放音效效果的缺陷。
在一种实现方式中,步骤101在声音输出设备按照第一声音文档进行声音信号输出之前,本实施例中的方法还可以包含以下步骤,如图4中所示:
步骤106:获得声音输出设备所在电子设备的设备姿态信息。
其中,电子设备的设备姿态信息可以包含有电子设备在3个自由度或6个自由度上的状态信息,以表征电子设备的当前设备姿态。
具体的,本实施例中可以通过设置在电子设备上的传感器来获得电子设备在相应传感器维度上的传感信息,从而获得到电子设备在多个自由度上的状态信息,由此得到电子设备的设备姿态信息。
其中,传感器可以通过G-sensor和/或陀螺仪等传感芯片实现。
步骤107:根据设备姿态信息,设置声音输出设备的初始的声音输出参数。
其中,初始的声音输出参数与设备姿态信息相对应,以使得声音输出设备根据初始的声音输出参数按照第一声音文档进行声音信号输出。
基于此,电子设备的当前设备姿态不同,相应对声音输出设备所设置的初始的声音输出参数也不同,从而使得电子设备在不同的设备姿态下,声音输出设备能够按照与当前设备姿态相对应的声音输出参数进行声音信号的输出,以使得用户在电子设备处于不同的设备姿态的情况下均可以体验到相应的声音播放效果,进而改善用户收听体验。
例如,在笔记本的键盘所在C面相对于显示屏所在的B面旋转到不同的角度时,为笔记本的喇叭设置不同的初始的EQ参数,由此,在笔记本处于不同的使用模式时,笔记本的喇叭能够为用户提供不同的声音播放效果。
在一种实现方式中,步骤103中在对第一声音文档和第二声音文档进行频谱分析,以得到分析结果时,具体可以通过以下流程实现,如图5中所示:
步骤501:获得第一声音文档中在每个声音频率点上对应的第一声音幅度值。
其中,本实施例中可以首先对第一声音文档进行频谱分析,以分析出第一声音文档中所包含的声音频率点,基于此,再识别出在每个声音频率点上分别对应的声音幅度值,即第一声音幅度值。
例如,在第一声音文档中包含有100个声音频率点,如图6中所示,在每个声音频率点上分别对应于一个声音幅度值,不同的声音频率点上对应的声音幅度值可以相同也可以不同。
步骤502:获得第二声音文档中在每个声音频率点上对应的第二声音幅度值。
其中,本实施例中可以首先对第二声音文档进行频谱分析,以分析出第二声音文档中所包含的声音频率点,基于此,再识别出在每个声音频率点上分别对应的声音幅度值,即第二声音幅度值。
需要说明的是,第二声音文档和第一声音文档由于对应于同一声音信号,即第一声音文档被声音输出设备解码输出的声音信号被采集后生成第二声音文档,由此,第二声音文档中的声音频率点和第一声音文档中的声音频率点是相对应的,只是在声音幅度值上可能相同或不同。
例如,在第二声音文档中包含有100个声音频率点,如图7中所示,在每个声音频率点上分别对应于一个声音幅度值,不同的声音频率点上对应的声音幅度值可以相同也可以不同。而相对于第一声音文档,第二声音文档和第一声音文档之间存在声音幅度值相同的声音频率点,也可能存在声音幅度值不同的声音频率点。
步骤503:根据第一声音幅度值和第二声音幅度值,获得分析结果。
其中,分析结果表征第一声音文档和第二声音文档之间的还原度。
具体的,本实施例中将第一声音文档和第二声音文档中对应于同一声音频率点的第一声音幅度值和第二声音幅度值进行比对,所得到的比对结果能够表征对应于同一声音频率点上的第一声音幅度值和第二声音幅度值之间的差异,进而根据比对结果能够获得到表征第一声音文档和第二声音文档之间的还原度,即第二声音文档相对于第一声音文档的还原程度。
需要说明的是,本实施例中的声音幅度值可以为声音响度值或者声压级数值。其中的声音响度值也可以理解为声音的音量,即人耳感受到的声音强弱的大小值,其计量单位是宋;其中的声压级数值可以以SPL(sound pressure level)表示,其计量单位是分贝,即dB。其中,声音响度值和声压级数值之间可以通过相应换算公式相互转换。例如,1宋表示声压级为40dB,频率为800Hz,且来自听者正前方的平面波形的强度。
具体实现中,步骤503中在根据第一声音幅度值和第二声音幅度值,获得分析结果时,具体可以通过以下方式实现:
根据声音频率点上的第一幅度差值,获得差值方差。
具体的,本实施例中可以先将对应于同一声音频率点的第一声音幅度值和第二声音幅度值进行差值计算,以得到第一幅度差值,例如,将对应于同一声音频率点的第一声音幅度值减去第二声音幅度值,由此得到每个声音频率点上的第一幅度差值,之后再基于这些声音频率点上的第一幅度差值计算出在这多个声音频率点上的标准偏差,即可得到本实施例中的差值方差。
其中,差值方差表征第一声音文档和第二声音文档之间的还原度。在差值方差小于或等于第一方差阈值的情况下,第二声音文档相对第一声音文档的还原度满足声音相似条件,在差值方差大于第一方差阈值的情况下,第二声音文档相对第一声音文档的还原度不满足声音相似条件。
基于此,在差值方差大于第一方差阈值的情况下,对声音输出设备的声音输出参数如EQ等进行调整,以使得差值方差降低到第一方差阈值或以下,由此使得第一声音文档和第二声音文档之间的还原度达到还原阈值,此时,用户收听到的声音信号与原始声音文档原本的声音播放效果之间的差异较小。
在一种实现方式中,步骤105中在对声音输出设备的声音输出参数进行调整时,具体可以通过以下流程实现,如图8中所示:
步骤801:获得第一声音文档在多个频带上对应的第三声音幅度值。
其中,第一声音文档中的频带通过对第一声音文档对应的频谱进行频带划分所得到,每个频带中分别包含多个声音频率点,基于此,每个频带上对应的第三声音幅度值包含有该频带中所包含的每个声音频率点上的声音幅度值,如声音响度值或声压级数值等。
具体实现中,本实施例中根据1/3倍频程对第一声音文档中的声音频率点进行频带划分,以得到第一声音文档中的多个频带。
步骤802:获得第二声音文档中在多个频带上对应的第四声音幅度值。
其中,第二声音文档中的频带通过对第二声音文档对应的频谱进行频带划分所得到,每个频带中分别包含多个声音频率点,基于此,每个频带上对应的第四声音幅度值包含有该频带中所包含的每个声音频率点上的声音幅度值,如声音响度值或声压级数值等。
具体实现中,本实施例中根据1/3倍频程对第二声音文档中的声音频率点进行频带划分,以得到第二声音文档中的多个频带。由此,第二声音文档中的频带与第一声音文档中的频带一一对应,如图9中所示。
步骤803:获得频带上对应的第三声音幅度值与第四声音幅度值之间的第二幅度差值。
其中,本实施例中将对应于同一频带上且对应于同一声音频率点上的第三声音幅度值和第四声音幅度值进行差值计算,以得到第二幅度差值,由此得到每个频带中所包含的每个声音频率点上的幅度差值。
步骤804:根据第二幅度差值与频带幅度基准值,获得频带上对应的参数调整值。
其中,频带幅度基准值通过对所有频带上对应的第二幅度差值求平均所获得。例如,本实施例中将经过频带划分所得到的10个频带上每个声音频率点上的幅度差值求平均,将得到的差值平均值作为频带幅度基准值。可见,频带幅度基准值是由第一声音文档和第二声音文档在相对应的声音频率点上的声音幅度值之间的差值决定的,在第一声音文档和/或第二声音文档在任意声音频率点上的声音幅度值不同时,相应频带幅度基准值也会发生变化。
在另一种实现方式中,频带幅度基准值也可以通过对所有频带上每个声音频率点上的第三声音幅度值和第四声音幅度值分别求平均后再获得两个平均值的差值,将该差值作为频带幅度基准值。这种实现方式与前文中实现方式有所不同,但所实现的原理相同,所形成的不同的技术方案均在本申请的保护范围内。
需要说明的是,本实施例中可以直接针对所有频带上所有声音频率点上对应的第三声音幅度值和第四声音幅度值进行处理得到频带幅度基准值,如前文中所述,或者,本实施例中可以先分别针对每个频带上所包含的声音频率点上对应的第三声音幅度值和第四声音幅度值进行处理,即分别对每个频带上所包含的声音频率点上对应的第三声音幅度值和第四声音幅度值分别求平均后在求平均值的差值,或者分别对每个频带上所包含的声音频率点上对应的第三声音幅度值和第四声音幅度值先求差值再求平均值,由此得到每个频带上对应的差值平均值(也可以称为平均值的差值),再对所得到的每个频带上对应的差值平均值求平均,得到频带幅度基准值。
具体的,步骤804中对处于同一频带上的声音频率点对应的第二幅度差值先求平均,再将得到的平均差值与频带幅度基准值进行差值计算,以得到该频带上对应的参数调整值。
例如,针对10个频带中的每个频带,分别获取每个频带上各个声音频率点的声音幅度值的差值的平均值,在将每个频带上所得到的差值的平均值与频带幅度基准值进行差值计算,由此得到每个频带上对应的参数调整值,可以为正数、负数或0。
步骤805:根据参数调整值,对声音输出设备在频带上对应的声音输出参数进行调整。
具体实现中,本实施例中将参数调整值叠加到声音输出设备在相应频带上对应的声音输出参数上,由此,基于参数调整值为正数、负数或0的几种情况,本实施例中对声音输出设备进行声音输出参数调整时,是以当前的声音输出参数为基准进行调高、调低或保持不变的调整方式。
需要说明的是,本实施例中所获得到的参数调整值是对应于相应的频带的,因此,本实施例中对声音输出设备的声音输出参数进行调整时,是分别以声音文档所划分出来的每个频带为单位进行单独调整的,每个频带的参数调整值可能不同,相应的声音输出设备在不同的频带上的声音输出参数的调整方式可能不同。例如,本实施例中对声音输出设备在两个频带上对EQ的调整值是不同的,在A频带上将EQ参数值上调a值,在B频带上将EQ参数值下调b值。
基于以上实现,在步骤805根据参数调整值对声音输出设备在频带上对应的声音输出参数进行调整之前,本实施例中的方法还可以包含以下步骤,如图10中所示:
步骤806:获得声音输出设备的当前用户对应的声音播放类型,并根据声音播放类型,确定多个频带中的至少一个目标频带。
其中,声音播放类型可以根据当前用户使用声音输出设备声音信号播放的历史声音文档获得。具体的,本实施例中首先根据当前用户的用户名等登录电子设备或声音输出设备的用户标识对声音输出设备的历史声音文档进行筛选,以得到当前用户所对应的历史声音文档,再对当前用户对应的历史声音文档进行声音播放类型的分析。
具体的,本实施例中可以通过对当前用户在声音输出设备上对应的历史声音文档进行频谱分析,进而获得到当前用户所播放过的历史声音文档中所涉及的频带,以这写涉及的频带对历史声音文档进行声音播放类型的确定。具体实现中,本实施例中可以通过对历史声音文档中所包含的频带上的声音能量分布状态进行分析得到目标频带。例如,将声音能量分布占比较高的高音频带确定为目标频带,或,将声音能量分布占比较高的低音频带确定为目标频带,或者,将音能量分布占比较高的高音频带和中音频带确定为目标频带等等。
例如,历史声音文档中高音频带所占的能力分布较多的情况下,如当前用户常听高音音乐,确定当前用户对应的声音播放类型为高音播放类型;历史声音文档中中音频带所占的能力分布较多的情况下,确定当前用户对应的声音播放类型为中音播放类型;历史声音文档中低音频带所占的能力分布较多的情况下,确定当前用户对应的声音播放类型为低音播放类型,等等。由此,根据当前用户所对应的声音播放类型,筛选出第一声音文档所包含的频带中的一个或多个目标频带,如高音频带或低音频带等。
基于此,步骤805中在根据参数调整值,对声音输出设备在频带上对应的声音输出参数进行调整时,具体可以为:
根据目标频带对应的参数调整值,对声音输出设备在目标频带上对应的声音输出参数进行调整。
也就是说,本实施例中可以选择对声音输出设备上第一声音文档中所包含的所有频带上对应的声音输出参数均进行调整,如前文中所述;或者,本实施例中可以只针对声音输出设备上第一声音文档中所包含的频带中当前用户所关注的目标频带上对应的声音输出参数进行调整,而不是声音输出设备上第一声音文档中所包含的所有频带上对应的声音输出参数均进行调整。
例如,本实施例中对声音输出设备中在第一声音文档所包含的10个频带上的EQ参数值均按照每个频带各自对应的参数调整值进行调整;或者,本实施例中在确定高音频带为目标频带之后,只对声音输出设备中在第一声音文档所包含的高音频带上的EQ参数值均按照该高音频带对应的参数调整值进行调整,对于其他频带上的EQ参数值不再进行调整。由此,本实施例中不仅能够对不同的声音文档实现更好的声音播放效果,还能够针对用户提供更合适用户的声音播放效果。
在一种实现方式中,声音输出设备所在的电子设备上还具有通信模块,通信模块用于将声音文档传输给与电子设备相连接的其他设备。以电子设备为手机为例,手机上通过配置的天线或WiFi模块将采集声音信号所生成的声音文档传输给与手机能够进行语音通信的其他手机上,如图11中所示。
基于此,本实施例中的方法还可以包含如下步骤,如图12中所示:
步骤108:在其他设备向电子设备所配置的任一应用传输声音文档的过程中,获得通过通信模块向其他设备所传输的第三声音文档。
其中,第三声音文档为电子设备向其他设备传输的声音信号对应的声音文档,该第三声音文档在传输到其他设备之后,由其他设备上的声音输出设备进行播放,提供给其他设备的用户进行收听。
步骤109:获得第三声音文档和第二声音文档之间的信号损耗值。
其中,信号损耗值表征第三声音文档和第二声音文档之间的相似度。
需要说明的是,第一声音文档为电子设备通过声音输出设备进行声音信号输出所依据的原始声音文档,在经过声音输出设备的输出后,被电子设备中的声音采集设备采集到相应的声音信号,而第二声音文档为电子设备通过声音采集设备对声音信号进行采集后所生成的声音文档。该声音采集设备所采集到的声音信号,不仅可以包含有前文中所所提到的声音输出设备对第一声音文档进行解密所输出的声音信号,还可以包含声音采集设备所在的周边环境中的其他声音信号,如电子设备的用户讲话声音、电子设备周边的音乐声音等。这些声音信号被电子设备上的声音采集设备采集到并生成第二声音文档,该第二声音文档为电子设备向其他设备传输的原始声音文档。而在经过电子设备的处理如通信模块的编解码后,电子设备实际上其他设备传输的声音文档可能发生变化,记为第三声音文档。
基于此,本实施例中对第三声音文档和第二声音文档进行频谱分析,进而得到在频谱数据上第三声音文档相对于第二声音文档的信号损耗值,该信号损耗值表征第三声音文档相对于第二声音文档的相似程度。
其中,在信号损耗值大于损耗阈值的情况下,表征第三声音文档与第二声音文档之间的相似程度较低,也就是说,第三声音文档中并不包含第二声音文档中的声音能量,如可能不包含第二声音文档中所包含的多数声音频率点上的声音响度值,即声音输出设备在当前的声音输出参数下不会对电子设备与其他设备之间的通信引起回音;而在信号损耗值小于或等于损耗阈值的情况下,表征第三声音文档与第二声音文档之间的相似程度较高,也就是说,第三声音文档中很可能包含第二声音文档中的声音能量,如可能包含第二声音文档中所包含的多数声音频率点上的声音响度值,即声音采集设备将其他设备传输给电子设备的声音信号进行采集并由通信模块重新将生成的声音文档传输回了其他设备,其他设备一侧会接收到其曾经发给电子设备的声音文档,也就是说,声音输出设备在当前的声音输出参数下会对电子设备与其他设备之间的通信引起回音。
其中,这里的损耗阈值可以根据需求设置。
步骤110:判断信号损耗值是否小于或等于损耗阈值,在信号损耗值小于或等于损耗阈值的情况下,执行步骤111。
步骤111:对声音输出设备的声音输出参数进行调整,以使得第三声音文档和第二声音文档之间的信号损耗值大于损耗阈值,实现电子设备与其他设备的语音通信过程中的回音消除。
具体的,本实施例中可以降低声音输出设备的输出音量,从而使得第三声音文档和第二声音文档之间的信号损耗值大于损耗阈值。例如,本实施例中将声音输出设备的输出音量降低指定的目标值,这个指定的目标值与损耗阈值相关。
进一步的,本实施例中在将声音输出设备的输出音量降低第三目标值之前,还可以先获得声音输出设备的输出音量与指定的目标值的差值,之后在差值大于或等于音量最低限值的情况下,再执行步骤:将声音输出设备的输出音量降低第三目标值。也就是说,只有在声音输出设备的输出音量不会被降低到音量最低限值的情况下,才对输出音量降低处理,避免回音。
在一种实现方式中,声音输出设备所在的电子设备上还具有声音采集设备;其中,步骤102中在获得声音输出设备输出的声音信号对应的第二声音文档时,可以通过以下方式实现:
利用声音采集设备采集声音输出设备输出的声音信号,以得到相应的第二声音文档;
基于此,在电子设备上的任一应用向其他设备传输声音文档的过程中,本实施例中的方法还可以包含如下步骤,如图13中所示:
步骤112:获得通过声音采集设备进行声音信号采集所得到的第四声音文档。
在一种实现方式中,电子设备上通常设置一个声音采集设备,如只设置一个麦克风,此时第四声音文档实际上也可以理解为第二声音文档,均为声音采集设备对周边环境中的声音信号进行采集所得到的声音文档。
在另一种实现中,在电子设备中可以设置多个声音采集设备,其中一个声音采集设备用于对声音输出设备按照第一声音文档所输出的声音信号进行采集并生成第二声音文档,另一个声音采集设备用于获得第四声音文档。
步骤113:获得第四声音文档对应的声音信号参数。
其中,声音信号参数表征第四声音文档的信号能量,如声音的信号电平值等。本实施例中可以通过对第四声音文档的信号电平进行解析,以得到第四声音文档的声音信号参数。
步骤114:判断声音信号参数是否满足增益控制条件,在声音信号参数满足增益控制条件的情况下,执行步骤115。
具体的,本实施例中可以对声音信号参数中的信号电平进行大小判断,进而得到声音信号参数是否满足增益控制条件的判断结果。
步骤115:对声音采集设备的采集增益值进行调整,以使得声音采集设备以调整后的增益值采集声音信号。
其中,在声音信号参数满足增益控制条件的情况下,表明在声音采集设备的采集增益值下声音采集设备对声音信号进行采集所得到的声音文档在传输给其他设备时可能会有声音偏小、回音或存在噪声等情况,因此,本实施例中可以对声音采集设备的采集增益值进行调高或调低,以使得声音采集设备以调整后的增益值采集声音信号,由此避免声音偏小、回音或噪声等问题。
需要说明的是,本实施例中对声音采集设备的增益调整适用于电子设备上通过任一应用向其他设备传输声音文档的使用场景中,因此,能够为用户提供更加完美的通话体验。
具体的,增益控制条件可以包括:声音信号参数中的信号电平大于参考电平,或者,声音信号参数中的信号电平小于参考电平,或者,声音信号参数中的信号电平与参考电平之间的差值小于或等于冗余值。其中,参考电平可以为-22dBFS(dB Full Scale),具体可以根据需求设置。也就是说,本实施例中将第四声音文档中的信号电平与-22dBFS进行比较,通过比较结果对声音采集设备如麦克风的增益值进行调整,如提高或调低等,从而使得信号电平始终处于-22dBFS左右,从而确保近端的发送音量最优。
例如,在声音信号参数中的信号电平大于参考电平的情况下,将声音采集设备的增益值降低第一目标值,第一目标值与声音信号参数中的信号电平与参考电平之间的差值相关;而在声音信号参数中的信号电平小于参考电平的情况下,将声音采集设备的增益值升高第二目标值,第二目标值与声音信号参数中的信号电平与参考电平之间的差值相关。
进一步的,本实施例中在将声音采集设备的增益值降低第一目标值之前,可以先获得声音采集设备的增益值减去第一目标值得到的第一差值,在第一差值大于或等于增益最低限值的情况下,再执行步骤:将声音采集设备的增益值降低第一目标值。也就是说,只有在声音采集设备的增益值不会被降低到增益最低限值的情况下,才对增益值降低处理。
参考图14,为本申请实施例二提供的一种控制装置的结构示意图,该装置可以配置在至少包含有声音输出设备或者至少连接有声音输出部件的电子设备中,如手机、pad、笔记本、计算机或服务器等设备。本实施例中的技术方案主要用于解决电子设备中对声音信号的播放音效效果单一的缺陷。
具体的,本实施例中的装置可以包括以下单元:
文档获得单元1401,用于在声音输出设备按照第一声音文档进行声音信号输出的情况下,获得声音输出设备输出的声音信号对应的第二声音文档;
频谱分析单元1402,用于对第一声音文档和第二声音文档进行频谱分析,以得到分析结果;在分析结果表征第一声音文档和第二声音文档不满足声音相似条件的情况下,触发参数调整单元1403。
参数调整单元1403,用于对声音输出设备的声音输出参数进行调整,以使得第一声音文档和第二声音文档满足声音相似条件。
由上述方案可知,本申请实施例二提供的一种控制装置中,通过将声音输出设备所输出的声音信号的原始声音文档和输出后进行信号采集所获得的声音文档进行分析,来得到表征两个声音文档是否满足声音相似条件的分析结果,基于此,在两个声音文档不满足声音相似条件的情况下通过调整声音输出设备输出声音信号的声音输出参数来使得两个声音文档满足声音相似条件,由此,不管是什么类型或来源的声音文档均可以通过声音输出参数的调整使得声音输出设备为用户提供贴近原始声音文档的声音播放效果,从而避免电子设备中对任何声音信号只能实现单一的播放音效效果的缺陷。
在一种实现方式中,在声音输出设备按照第一声音文档进行声音信号输出之前,参数调整单元1403还用于:获得声音输出设备所在电子设备的设备姿态信息;根据设备姿态信息,设置声音输出设备的初始的声音输出参数,其中,初始的声音输出参数与设备姿态信息相对应,以使得声音输出设备根据初始的声音输出参数按照第一声音文档进行声音信号输出。
在一种实现方式中,频谱分析单元1402具体用于:获得第一声音文档中在每个声音频率点上对应的第一声音幅度值;获得第二声音文档中在每个声音频率点上对应的第二声音幅度值;根据第一声音幅度值和第二声音幅度值,获得分析结果,分析结果表征第一声音文档和第二声音文档之间的还原度。
可选的,频谱分析单元1402在根据第一声音幅度值和第二声音幅度值,获得分析结果时,具体用于:根据第一声音幅度值和第二声音幅度值,获得同一声音频率点上的第一幅度差值;根据声音频率点上的第一幅度差值,获得差值方差,差值方差表征第一声音文档和第二声音文档之间的还原度;其中,在差值方差小于或等于第一方差阈值的情况下,第二声音文档相对第一声音文档的还原度满足声音相似条件,在差值方差大于第一方差阈值的情况下,第二声音文档相对第一声音文档的还原度不满足声音相似条件。
在一种实现方式中,参数调整单元1403具体用于:获得第一声音文档在多个频带上对应的第三声音幅度值,频带通过对第一声音文档对应的频谱进行频带划分所得到,频带包含多个声音频率点;获得第二声音文档中在多个频带上对应的第四声音幅度值;获得频带上对应的第三声音幅度值与第四声音幅度值之间的第二幅度差值;根据第二幅度差值与频带幅度基准值,获得频带上对应的参数调整值;频带幅度基准值通过对所有频带上对应的第二幅度差值求平均所获得;根据参数调整值,对声音输出设备在频带上对应的声音输出参数进行调整。
进一步的,参数调整单元1403在根据参数调整值,对声音输出设备在频带上对应的声音输出参数进行调整之前,还用于:获得声音输出设备的当前用户对应的声音播放类型,并根据声音播放类型,确定多个频带中的至少一个目标频带;
基于此,参数调整单元1403在根据参数调整值,对声音输出设备在频带上对应的声音输出参数进行调整时,具体用于:根据目标频带对应的参数调整值,对声音输出设备在目标频带上对应的声音输出参数进行调整。
具体的,目标频带根据当前用户在声音输出设备上对应的历史声音文档获得,且目标频带通过对历史声音文档中所包含的频带上的声音能量分布状态进行分析得到。
在一种实现方式中,声音输出设备所在的电子设备上还具有通信模块,通信模块用于将声音文档传输给与电子设备相连接的其他设备;
其中,参数调整单元1403还用于:在其他设备向电子设备所配置的任一应用传输声音文档的过程中,获得通过通信模块向其他设备所传输的第三声音文档;获得第三声音文档和第二声音文档之间的信号损耗值,信号损耗值表征第三声音文档和第二声音文档之间的相似度;在信号损耗值小于或等于损耗阈值的情况下,对声音输出设备的声音输出参数进行调整。
在一种实现方式中,声音输出设备所在的电子设备上还具有声音采集设备;其中,文档获得单元1401具体用于:利用声音采集设备采集声音输出设备输出的声音信号,以得到相应的第二声音文档;
其中,参数调整单元1403还用于:在电子设备上的任一应用向其他设备传输声音文档的过程中,获得通过声音采集设备进行声音信号采集所得到的第四声音文档;获得第四声音文档对应的声音信号参数,声音信号参数表征第四声音文档的信号能量;在声音信号参数满足增益控制条件的情况下,对声音采集设备的采集增益值进行调整,以使得声音采集设备以调整后的增益值采集声音信号。
需要说明的是,本实施例中各单元的具体实现可以参考前文中的相应内容,此处不再详述。
参考图15,为本申请实施例三提供的一种电子设备的结构示意图,该电子设备可以为至少包含有声音输出设备或者至少连接有声音输出部件的电子设备中,如手机、pad、笔记本、计算机或服务器等设备。本实施例中的技术方案主要用于解决电子设备中对声音信号的播放音效效果单一的缺陷。
具体的,本实施例中的电子设备可以包含以下结构:
声音输出设备1501;
处理器1502,用于:在声音输出设备1501按照第一声音文档进行声音信号输出的情况下,获得声音输出设备1501输出的声音信号对应的第二声音文档;对第一声音文档和第二声音文档进行频谱分析,以得到分析结果;在分析结果表征第一声音文档和第二声音文档不满足声音相似条件的情况下,对声音输出设备1501的声音输出参数进行调整,以使得第一声音文档和第二声音文档满足声音相似条件。
由上述方案可知,本申请实施例三提供的一种电子设备中,通过将声音输出设备所输出的声音信号的原始声音文档和输出后进行信号采集所获得的声音文档进行分析,来得到表征两个声音文档是否满足声音相似条件的分析结果,基于此,在两个声音文档不满足声音相似条件的情况下通过调整声音输出设备输出声音信号的声音输出参数来使得两个声音文档满足声音相似条件,由此,不管是什么类型或来源的声音文档均可以通过声音输出参数的调整使得声音输出设备为用户提供贴近原始声音文档的声音播放效果,从而避免电子设备中对任何声音信号只能实现单一的播放音效效果的缺陷。
以远程办公场景中的电脑音频通话为例,对本申请的技术方案进行举例说明:
首先,本申请的发明人在使用电脑进行音频通话的过程中,发现:远程办公和音视频交流已然是必然趋势,每个人的电脑中基本都安装多个音频通话软件,但是每款音频软件都有自己的默认设置,例如,个人计算机PC(Personal Computer)用一套参数配合所有音频软件,结果会出现有的软件表现好,有的表现不好。手动去调高麦克风增益,还会导致出现回声问题,不能给客户最优的体验。
基于以上缺陷,本申请的发明人提出了一种自动优化多种音频软件通话质量的方案,在本方案中基于音频软件与PC之间的交互,PC主动检测音频软件的发送电平,并自动调整音频驱动中的所需要的最佳状态,进而实现所有音频软件的远端参与者均有最优体验。核心方案在于:监测PC中麦克风信号传送到音频软件audio引擎的状态,设置麦克风到合适增益从而使得数字参考点DRP(Digital Reference Point)达到-22dBFS。同时PC主动检测喇叭的接收信号,如果和近端语音相似度达到一定程度时,可以确定音频软件带来回音,动态调整调节麦克风前级增益和喇叭系统音量,优化回声消除性能。
具体如下:
1)麦克风增益主动调整流程图(这里的麦克风为近端PC上的麦克风)
当不同的音频软件工作时,如果操作系统下的麦克风默认增益不同,会有如下问题:
(1)如果增益过低导致远端参与者听到近端的声音偏小;
(2)如果增益过高会导致远端参与者听到的声音破音;
如果远端听到破音,回音消除算法AEC(Acoustic Echo Cancellation)将不能保证正常工作,可能使远端参与者听到回声;
如果增益过高,噪声评价算法NR(noise rating number)将不能保证正常工作,可能导致远端参与者听到噪声;
基于以上影响,本申请的技术方案将在音频软件启动并加入会议后,如图16中所示,上层软件要求音频编解码器CODEC实时反馈,由此在有声音输入之后,麦克风Mic采集声音,即发送方向输出信号,并对声音做快速傅里叶变换FFT(fast Fourier transform)分析并计算电平x,之后,将电平x与-22dBFS比较,上层软件调节OSGC增益值,确保DRP始终处于-22dBFS,从而确保近端的发送音量最优。具体的,在电平x大于-22dBFS的情况下,确定远端会存在破音或噪音的情况,此时将22减去x得到目标值y,在OSGC减去y所得到的值小于某个阈值的情况下,不做处理,结束当前流程,如果OSGC减去y所得到的值大于或等于某个阈值的情况下,将OSGC减去y,实现增益OSGC的调整,再继续进行实时监测;在电平x小于-22dBFS的情况下,确定远端可能听不清近端的声音,此时,将OSGC升高y的值,再继续进行实时监测;在电平x等于-22dBFS的情况下,需要进行OSGC的调整,结束当前流程。
2)回声性能主动调整流程图
当不同的音频软件工作时,由于audio引擎或远端设备的差异,回声消除功能迥异,如图17中所示,在加入会议且远端单讲模式下,上层软件要求音频编解码器实时反馈发送方向输出信号电平,Mic采集声音后,和音频解码器反馈的接受方向电平做损耗,例如,对声音做FFT分析并计算电平损耗x,如果损耗低于某一设定值,可以确定音频软件或近端设备带来回音,本申请的技术方案可以通过调节喇叭系统音量直至不低于某个阈值,优化回声消除性能,实现动态AEC的功能。
具体的,在电平损耗x小于(55+(22+24))dBFS的情况下,可以确定远端听到回声,此时,可以将57减去x后再除以57所得到的目标值y,基于此,在喇叭音量降低y后小于某个阈值情况下,不进行调整,结束当前流程,只有在喇叭音量降低y后大于或等于某个阈值情况下,才将喇叭音量降低y的值,再继续进行实时监测。
另外,本申请的发明人还发现:当前产品的播放音效大多数是固定的,不论产品形态变化,还是客户使用场景变化,均使用一套固定的参数。杜比音效会预设几种参数让客户自行选择,但是大部分客户并不会使用此功能,仍等同于一组固定参数。无论哪种形式,都不能匹配客户最佳的体验。
有鉴于此,本申请的发明人还提出一套基于sensor检测产品形态,根据产品形态的变化匹配不同的初始预设音效参数。并在实际使用中应用响度频谱来动态调整喇叭音效的方案,适用于音频播放场景。参考图18和图19中的流程图,核心点包含以下两点:
1、基于sensor检测产品形态变化,并匹配不同的初始预设音频参数。
如产品为形态可变产品,可通过系统内的sensor在启动主机加载默认音效之后进行当前形态的判断,sensor可为G-sensor或陀螺仪等各种sensor,检测出形态变化即可。同时匹配并加载最适合这个形态的初始预设音频参数,之后音效设定生效后,播放设备播放声音,之后通过麦克风录制声音之后,进行倍频程频谱分析。
2、应用响度频谱或声压级频谱来动态调整喇叭音效的方案。
不论哪种形态,每个客户的音乐喜好不同,初始预设参数为通用参数,对于客户的实际喜好并非最优,故在客户端可应用响度频谱来动态调整喇叭音效。
以下阐述应用响度频谱来动态调整喇叭音效的方案:
将播放声音的原始响度频谱作为基准,同时使用麦克风采集播放设备播放出来的声音,并获得到SPL
此方案中使用到2个实现方式,如下:
1)还原度得分计算:将实际录制的声音文档进行响度谱分析,并与原始响度谱进行差值计算,并计算所有频段差值的标准偏差,标准偏差越小,说明该设备的还原度越好,还原度得分小于0.7分,则不需要进行音效调整,大于0.7分,需要进行音效调优。如图20中的music list所示,产品P2还原度得分小于0.7,不需要进行音效调优,P1和P3的还原度大于0.7,需要进一步调优。
2)音效动态调优算法计算:将实际播放设备的声音频谱与原始频谱在所有频带上进行差值计算,取差值平均值作为baseline,同时将差值与baseline进行运算,获得每个频带需要调整的声压数值,如图21中所示,上面第一条曲线是声音的原始谱图,第三条曲线为设备实际播放声音的谱图,还原度得分为4.61分,说明还原效果很差,中间的第二条曲线为EQ优化后的谱图,还原度得分接近0.7受限于播放设备的有效频率范围,低频段(<300Hz)的EQ还原度得分会略差一些。最后,保存调优的EQ到操作系统OS(operation system)。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
- 显示装置、电子设备、显示装置的控制方法以及电子设备的控制方法
- 电子设备、服务器、通信系统、显示控制方法、数据通信方法、电子设备的控制方法以及程序