特效处理方法及装置

技术领域

本申请属于扩展现实技术领域，尤其涉及一种特效处理方法及装置。

背景技术

扩展现实是指通过将真实与虚拟相结合，打造可人机交互的虚拟环境。扩展现实是虚拟现实、增强现实和混合现实的统称。如何提升用户的视觉体验，是本领域技术人员亟待解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种特效处理方法及装置，在播放音频的过程中输出适配的视觉特效，从而提升用户的视觉体验。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请提供一种特效处理方法，应用于扩展现实设备，所述特效处理方法包括：

预加载待播放的音频数据；

将所述音频数据分割为多个音频片段；

确定出每个音频片段的特征参数和所述音频数据的特征参数，所述音频片段的特征参数包括振幅均值和振幅方差，所述音频数据的特征参数包括振幅最大值、振幅最小值、振幅均值和振幅方差；

根据所述音频数据的特征参数确定出所述音频数据的基础分数；

针对每个音频片段，根据所述音频片段的特征参数和所述音频数据的特征参数确定出所述音频片段的得分率，其中，所述音频片段的得分率与所述音频片段的特征参数和所述音频数据的特征参数之间的差值呈正相关关系；

针对每个音频片段，根据所述音频片段的得分率和所述基础分数确定出所述音频片段的分数；

在播放所述音频数据的过程中，根据正在播放的音频片段的分数展示对应的视觉特效。

可选的，所述根据所述音频数据的特征参数确定出所述音频数据的基础分数，包括：

根据所述音频数据的振幅均值确定出第一基础分数；

根据所述音频数据的振幅方差确定出第二基础分数；

根据所述第一基础分数、所述第二基础分数以及预设的权重确定出基础分数。

可选的，所述根据所述音频片段的特征参数和所述音频数据的特征参数确定出所述音频片段的得分率，包括：

按照公式

对所述音频片段的初始得分率进行归一化处理，得到所述音频片段的得分率；

其中，ScoreRate′为所述音频片段的初始得分率，var为所述音频片段的振幅方差，var

可选的，所述根据所述音频片段的特征参数和所述音频数据的特征参数确定出所述音频片段的得分率，包括：

按照公式

对所述音频片段的初始得分率进行归一化处理，得到所述音频片段的得分率；

其中，ScoreRate′为所述音频片段的初始得分率，ave为所述音频片段的振幅均值，ave

可选的，所述根据所述音频片段的得分率和所述基础分数确定出所述音频片段的分数，包括：

按照公式Score＝BaseScore+ScoreRate*(BaseScore+HighScore)计算所述音频片段的分数；

其中，Score为所述音频片段的分数，BaseScore为所述基础分数，ScoreRate为所述音频片段的得分率，HighScore为高潮标识对应的分数。

第二方面，本申请提供一种特效处理装置，应用于扩展现实设备，所述特效处理装置包括：

预加载模块，用于预加载待播放的音频数据；

数据分割模块，用于将所述音频数据分割为多个音频片段；

特征参数确定模块，用于确定出每个音频片段的特征参数和所述音频数据的特征参数，所述音频片段的特征参数包括振幅均值和振幅方差，所述音频数据的特征参数包括振幅最大值、振幅最小值、振幅均值和振幅方差；

基础分数确定模块，用于根据所述音频数据的特征参数确定出所述音频数据的基础分数；

得分率确定模块，用于针对每个音频片段，根据所述音频片段的特征参数和所述音频数据的特征参数确定出所述音频片段的得分率，其中，所述音频片段的得分率与所述音频片段的特征参数和所述音频数据的特征参数之间的差值呈正相关关系；

音频片段分数确定模块，用于针对每个音频片段，根据所述音频片段的得分率和所述基础分数确定出所述音频片段的分数；

特效处理模块，用于在播放所述音频数据的过程中，根据正在播放的音频片段的分数展示对应的视觉特效。

可选的，所述基础分数确定模块包括：

第一基础分数确定单元，用于根据所述音频数据的振幅均值确定出第一基础分数，根据所述音频数据的振幅方差确定出第二基础分数，根据所述第一基础分数、所述第二基础分数以及预设的权重确定出基础分数。

可选的，所述得分率确定模块包括：

第一得分率确定单元，用于按照公式

其中，ScoreRate′为所述音频片段的初始得分率，var为所述音频片段的振幅方差，var

可选的，所述得分率确定模块包括：

第二得分率确定单元，用于按照公式

其中，ScoreRate′为所述音频片段的初始得分率，ave为所述音频片段的振幅均值，ave

可选的，所述音频片段分数确定模块包括：

第一音频片段确定单元，用于按照以下公式计算所述音频片段的分数；

Score＝BaseScore+ScoreRate*(BaseScore+HighScore)

其中，Score为所述音频片段的分数，BaseScore为所述基础分数，ScoreRate为所述音频片段的得分率，HighScore为高潮标识对应的分数。

由此可见，本申请的有益效果为：

本申请公开的特效处理方法和装置，扩展现实设备预加载待播放的音频数据，将音频数据分割为多个音频片段，分别确定每个音频片段的分数，其中，音频片段的分数是根据音频数据的基础分数以及音频片段的得分率确定出的，在播放音频数据的过程中，根据正在播放的音频片段的分数展示对应的视觉特效，为用户提供更丰富的显示内容，提升用户的视觉体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请公开的一种特效处理方法的流程图；

图2为本申请公开的一种特效处理装置的结构示意图。

具体实施方式

本申请公开一种特效处理方法及装置，在播放音频的过程中输出适配的视觉特效，从而提升用户的视觉体验。

首先对本申请中的术语进行解释：

VR：Virtual Reality，虚拟现实；

AR：Augmented Reality，增强现实；

MX：Mixed Reality，混合现实；

XR：Extended Reality，扩展现实；

PCM：Pulse Code Modulation，脉冲编码调制。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，图1为本申请公开的一种特效处理方法的流程图。该方法应用于扩展现实设备，其中，扩展现实设备可以为虚拟现实设备、增强现实设备或者混合现实设备。该方法包括：

S11：预加载待播放的音频数据。

在播放音乐之前，扩展现实设备将音频数据预加载到内存中。其中，扩展现实设备预加载的音频数据可以为PCM格式。

实施中，扩展现实设备将音频文件转换为PCM格式的音频数据，再将PCM格式的音频数据预加载至内存。音频文件的格式包括但不限于：mp3、ogg、avi、wmv、rmvb和wav。

S12：将音频数据分割为多个音频片段。

实施中，可以采用多种方案将音频数据分割为多个音频片段。

第一种方案：按照等时长的规则将音频数据分割为指定数量的音频片段。

第二种方案：将音频数据分割为指定数量的音频片段；比较各音频片段的特征参数，如果相邻音频片段的特征参数满足预设的相似性条件，则将其合并为一个音频片段。其中，预设的相似性条件可以为：特征参数的差值在预设范围内。

例如：将音频数据分割为5个音频片段，编号依次为1、2、3、4和5。假如编号为1和2的两个音频片段的特征参数满足预设的相似性条件，编号为2和3的两个音频片段的特征参数满足预设的相似性条件，编号为3和4的两个音频片段的特征参数不满足预设的相似性条件，编号为4和5的两个音频片段的特征参数不满足预设的相似性条件，那么将编号为1、2和3的三个音频片段合并为一个音频片段，编号为4和5的两个音频片段不变，共得到3个音频片段。

S13：确定出每个音频片段的特征参数和音频数据的特征参数。

其中，音频片段的特征参数包括振幅均值和振幅方差，音频数据的特征参数包括振幅最大值、振幅最小值、振幅均值和振幅方差。

音频数据的特征参数可以理解为全局特征参数，各音频片段的特征参数可以理解为局部特征参数。音频数据的振幅均值能够表征音乐的类型。音频数据的振幅方差能够表征音乐的激烈程度。

S14：根据音频数据的特征参数确定出音频数据的基础分数。

第一种方案：

根据音频数据的振幅均值确定出音频数据的基础分数。

实施中，预先构建振幅均值与基础分数的对应关系，根据音频数据的振幅均值和前述对应关系确定出音频数据的基础分数。在第一种方案中，音频数据的基础分数能够表征音乐的类型，从另一个角度来说，音频数据的基础分数主要由音乐的类型决定。

音乐的类型主要根据音乐的频率和音乐的节拍确定。音乐的类型代表音乐节奏的激烈程度。例如，音乐的类型包括：轻柔类型、平缓类型、轻快类型、快速类型、激烈类型。当然，这仅是对音乐的类型的一个举例，音乐的类型并不限定于此。

第二种方案：

根据音频数据的振幅方差确定出音频数据的基础分数。

实施中，预先构建振幅方差与基础分数的对应关系，根据音频数据的振幅方差和前述对应关系确定出音频数据的基础分数。在第二种方案中，音频数据的基础分数能够表征音乐的激烈程度，从另一个角度来说，音频数据的基础分数主要由音乐的激烈程度决定。

第三种方案：

根据音频数据的振幅均值确定出第一基础分数；根据音频数据的振幅方差确定出第二基础分数；根据第一基础分数、第二基础分数以及预设的权重确定出基础分数。

实施中，预先构建振幅均值与基础分数的对应关系，预先构建振幅方差与基础分数的对应关系，根据音频数据的振幅均值和前述第一个对应关系确定出音频数据的第一基础分数，根据音频数据的振幅方差和前述第二个对应关系确定出音频数据的第二基础分数，之后按照以下公式确定出音频数据的基础分数。

BaseScore＝Score

其中，BaseScore为音频数据的基础分数，Score

在第三种方案中，根据音频数据的振幅均值和振幅方差确定音频数据的基础分数，也就是，音频数据的基础分数能够表征音乐的类型和激烈程度。

S15：针对每个音频片段，根据音频片段的特征参数和音频数据的特征参数确定出音频片段的得分率。

其中，音频片段的得分率与该音频片段的特征参数和音频数据的特征参数之间的差值呈正相关关系。也就是说，音频片段的特征参数和音频数据的特征参数之间的差值越大，该音频片段的得分率越大，相应的，音频片段的特征参数和音频数据的特征参数之间的差值越小，该音频片段的得分率越小。

第一种方案：

按照公式

对音频片段的初始得分率进行归一化处理，得到音频片段的得分率。

其中，ScoreRate′为音频片段的初始得分率，var为音频片段的振幅方差，var

第二种方案：

按照公式

对音频片段的初始得分率进行归一化处理，得到音频片段的得分率；

其中，ScoreRate′为音频片段的初始得分率，ave为音频片段的振幅均值，ave

在以上公开的确定音频片段的得分率的两个方案中，计算出音频片段的初始得分率后，对初始得分率进行归一化处理是指将初始得分率归一化到(0,1)范围内。

可以理解的，如果音频片段的类型或者激烈程度与音频整体的类型或激烈程度存在较大差异，那么该音频片段的得分率较高，后续确定出的得分也较高，这使得扩展现实设备在播放该音频片段过程中展示的视觉特效与在播放其他音频片段过程中展示的视觉特效形成较大差异。

S16：针对每个音频片段，根据音频片段的得分率和音频数据的基础分数确定出音频片段的分数。

第一种方案：按照公式Score＝BaseScore+ScoreRate*BaseScore计算音频片段的分数。

其中，Score为音频片段的分数，BaseScore为音频数据的基础分数，ScoreRate为音频片段的得分率。

第二种方案：按照公式Score＝BaseScore+ScoreRate*(BaseScore+HighScore)计算音频片段的分数。

其中，Score为音频片段的分数，BaseScore为音频数据的基础分数，ScoreRate为音频片段的得分率，HighScore为高潮标识对应的分数。

这里对HighScore进行说明。

针对每个音频片段，判断该音频片段是否为高潮片段，并为该音频片段设置高潮标识。例如，如果音频片段为高潮片段，那么为该音频片段设置的高潮标识的值为第一数据(例如为1)，对应的分数为第一数值(例如为100)，如果音频片段不是高潮片段，那么为该音频片段设置的高潮标识的值为第二数值(例如为0)，对应的分数为第二数值(例如为0)。

在确定音频片段的分数的第二个方案中，将音频片段是否为高潮片段作为其中一个考虑因素，使得扩展现实设备在播放该高潮片段过程中展示的视觉特效与在播放其他非高潮片段过程中展示的视觉特效形成较大差异。

S17：在播放音频数据的过程中，根据正在播放的音频片段的分数展示对应的视觉特效。

实施中，预先构建音频片段的分数与视觉特效之间的对应关系。扩展现实设备在播放音频数据的过程中，基于前述对应关系确定与当前正在播放的音频片段的分数对应的视觉特效，向用户展示该视觉特效。

需要说明的是，扩展现实设备在播放音频片段之前，已经确定出该音频片段的分数。

本申请中的视觉特效包括但不限于烟花特效、灯光特效。

其中，按照特效参数可以将烟花特效和灯光特效进一步划分为多种特效。例如，按照烟花颜色和烟花释放频率中的一个或多个，将烟花特效进一步划分为多种特效。例如，按照灯光颜色和灯光闪烁频率中的一个或多个，将灯光特效进一步划分为多种特效。

可选的，在前述音频片段的分数与视觉特效之间的对应关系中，音频片段的分数相差越大，对应的视觉特效的差别越大。

可选的，在前述音频片段的分数与视觉特效之间的对应关系中，音频片段的分数越大，对应的视觉特效的视觉效果越突出。例如，第一分数大于第二分数，第一分数对应的烟花特效与第二分数对应的烟花特效相比，包含的烟花颜色更多，烟花释放频率更高，呈现出更突出的视觉效果。

本申请公开的特效处理方法，扩展现实设备预加载待播放的音频数据，将音频数据分割为多个音频片段，分别确定每个音频片段的分数，其中，音频片段的分数是根据音频数据的基础分数以及音频片段的得分率确定出的，在播放音频数据的过程中，根据正在播放的音频片段的分数展示对应的视觉特效，为用户提供更丰富的显示内容，提升用户的视觉体验。

本申请上述公开了应用于扩展现实设备的特效处理方法，相应的，本申请还公开应用于扩展现实设备的特效处理装置，说明书中关于两者的描述可以相互参考。

参见图2，图2为本申请公开的特效处理装置的结构示意图。

特效处理装置包括预加载模块201、数据分割模块202、特征参数确定模块203、基础分数确定模块204、得分率确定模块205、音频片段分数确定模块206和特效处理模块207。

其中：

预加载模块201，用于预加载待播放的音频数据。

数据分割模块202，用于将音频数据分割为多个音频片段。

特征参数确定模块203，用于确定出每个音频片段的特征参数和音频数据的特征参数。音频片段的特征参数包括振幅均值和振幅方差，音频数据的特征参数包括振幅最大值、振幅最小值、振幅均值和振幅方差。

基础分数确定模块204，用于根据音频数据的特征参数确定出音频数据的基础分数。

得分率确定模块205，用于针对每个音频片段，根据音频片段的特征参数和音频数据的特征参数确定出音频片段的得分率。其中，音频片段的得分率与音频片段的特征参数和音频数据的特征参数之间的差值呈正相关关系。

音频片段分数确定模块206，用于针对每个音频片段，根据音频片段的得分率和基础分数确定出音频片段的分数。

特效处理模块207，用于在播放音频数据的过程中，根据正在播放的音频片段的分数展示对应的视觉特效。

实施中，预先构建音频片段的分数与视觉特效之间的对应关系。扩展现实设备在播放音频数据的过程中，基于前述对应关系确定与当前正在播放的音频片段的分数对应的视觉特效，向用户展示该视觉特效。

需要说明的是，扩展现实设备在播放音频片段之前，已经确定出该音频片段的分数。

本申请中的视觉特效包括但不限于烟花特效、灯光特效。

其中，按照特效参数可以将烟花特效和灯光特效进一步划分为多种特效。例如，按照烟花颜色和烟花释放频率中的一个或多个，将烟花特效进一步划分为多种特效。例如，按照灯光颜色和灯光闪烁频率中的一个或多个，将灯光特效进一步划分为多种特效。

可选的，在前述音频片段的分数与视觉特效之间的对应关系中，音频片段的分数相差越大，对应的视觉特效的差别越大。

可选的，在前述音频片段的分数与视觉特效之间的对应关系中，音频片段的分数越大，对应的视觉特效的视觉效果越突出。例如，第一分数大于第二分数，第一分数对应的烟花特效与第二分数对应的烟花特效相比，包含的烟花颜色更多，烟花释放频率更高，呈现出更突出的视觉效果。

本申请公开的特效处理装置，预加载待播放的音频数据，将音频数据分割为多个音频片段，分别确定每个音频片段的分数，其中，音频片段的分数是根据音频数据的基础分数以及音频片段的得分率确定出的，在播放音频数据的过程中，根据正在播放的音频片段的分数展示对应的视觉特效，为用户提供更丰富的显示内容，提升用户的视觉体验。

可选的，基础分数确定模块204包括：

第一基础分数确定单元，用于根据音频数据的振幅均值确定出第一基础分数，根据音频数据的振幅方差确定出第二基础分数，根据第一基础分数、第二基础分数以及预设的权重确定出基础分数。

可选的，基础分数确定模块204包括：

第二基础分数确定单元，用于根据音频数据的振幅均值确定出音频数据的基础分数。

可选的，基础分数确定模块204包括：

第三基础分数确定单元，用于根据音频数据的振幅方差确定出音频数据的基础分数。

可选的，得分率确定模块205包括：

第一得分率确定单元，用于按照公式

其中，ScoreRate′为音频片段的初始得分率，var为音频片段的振幅方差，var

可选的，得分率确定模块205包括：

第二得分率确定单元，用于按照公式

其中，ScoreRate′为音频片段的初始得分率，ave为音频片段的振幅均值，ave

可选的，音频片段分数确定模块206包括：

第一音频片段确定单元，用于按照以下公式计算音频片段的分数；

Score＝BaseScore+ScoreRate*(BaseScore+HighScore)

其中，Score为音频片段的分数，BaseScore为基础分数，ScoreRate为音频片段的得分率，HighScore为高潮标识对应的分数。

可选的，音频片段分数确定模块206包括：

第二音频片段确定单元，用于按照以下公式计算音频片段的分数；

Score＝BaseScore+ScoreRate*BaseScore

其中，Score为音频片段的分数，BaseScore为音频数据的基础分数，ScoreRate为音频片段的得分率。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的特效处理装置而言，由于其与实施例公开的特效处理方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。