3D全息舞蹈音乐场景的生成方法、系统及车辆

技术领域

本发明涉及车载影音领域，具体提供一种3D全息舞蹈音乐场景的生成方法、系统及车辆。

背景技术

汽车作为常见的交通工具，用户对汽车的使用时间日渐增长。因此，提升用户在汽车座舱内的驾驶体验的也愈发重要。

通常情况下，用户在驾驶过程中、或用户在座舱内休息时，会采用播放音乐的方式愉悦心情，让其忙碌的身心得到放松。然而在现有技术中，车载影音领域通常采用传统的影音播放形式，如音乐播放、电台等。汽车座舱内的音乐通常只有单一的听觉场景，难以给用户以沉浸式体验以及身心放松。

如何提升用户在座舱内的沉浸式音乐体验，成为了智能汽车车载影音领域亟待解决的问题。

相应地，本领域需要一种新的3D全息舞蹈音乐场景的生成方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，提供一种3D全息舞蹈音乐场景的生成方法、系统及车辆，以解决或至少部分地解决驾驶设备座舱内的音乐难以给用户以沉浸式体验的技术问题。

在第一方面，本发明提供一种3D全息舞蹈音乐场景的生成方法，应用于驾驶设备座舱，包括：获取座舱内音频信息，所述音频信息包括当前时刻播放音频的音频信息或待播放音频的音频信息；基于所述音频信息获取对应的音频节拍；基于所述音频信息和/或音频节拍获取匹配的3D舞者信息；基于所述3D舞者信息，建立3D舞者全息模型；基于所述音频节拍和所述3D舞者全息模型，合成3D舞蹈动作数据；基于所述3D舞蹈动作数据与所述音频信息，在座舱空间内生成3D全息舞蹈音乐场景。

在上述方法的一个技术方案中，获取座舱内音频信息包括：获取所述当前时刻播放音频或待播放音频的内容、类型、分类、作者、歌名中至少一种信息。

在上述方法的一个技术方案中，基于所述音频信息获取对应的音频节拍包括：基于所述音频信息，获取对应的数字音频数据；基于节拍分析算法模型对所述数字音频数据进行分析，获取音频节拍。

在上述方法的一个技术方案中，基于所述音频信息获取对应的音频节拍包括：将历史已获取的音频节拍形成音频节拍数据库；基于所述音频信息，在所述音频节拍数据库中进行匹配，获取对应的音频节拍。

在上述方法的一个技术方案中，在云端和/或本地设置有3D舞者信息库，所述基于所述音频信息和/或音频节拍获取匹配的3D舞者信息包括：将所述音频信息和/或音频节拍发送到所述3D舞者信息库，从所述3D舞者信息库中获取匹配的3D舞者信息；和/或，基于所述音频信息和/或音频节拍获取匹配的3D舞者信息时，基于用户的偏好或预设的选择规则进行选择性的获取。

在上述方法的一个技术方案中，基于所述3D舞蹈动作播放数据与所述音频信息，在座舱空间内生成3D全息舞蹈音乐场景包括：基于所述3D舞蹈动作数据生成3D舞蹈视频；基于所述音频信息播放相应的音频，且播放所述音频时通过全息投影设备同步播放所述3D舞蹈视频，以在座舱空间内生成3D全息舞蹈音乐场景。

在第二方面，本发明提供一种3D全息舞蹈音乐场景的生成系统，应用于驾驶设备座舱，包括：信息获取模块、音频节拍分析模块、舞者信息获取模块、全息模型建立模块、舞蹈动作数据合成模块、以及音乐场景生成模块；所述信息获取模块被配置为获取座舱内音频信息，所述音频信息包括当前时刻播放音频的音频信息或待播放音频的音频信息；所述音频节拍分析模块被配置为基于所述音频信息获取对应的音频节拍；所述舞者信息获取模块被配置为基于所述音频信息和/或音频节拍获取匹配的3D舞者信息；所述全息模型建立模块被配置为基于所述3D舞者信息，建立3D舞者全息模型；所述舞蹈动作数据合成模块被配置为基于所述音频节拍和所述3D舞者全息模型，合成3D舞蹈动作播放数据；所述音乐场景生成模块被配置为基于所述3D舞蹈动作数据与所述音频信息，在座舱空间内生成3D全息舞蹈音乐场景。

在第三方面，提供一种电子设备，该电子设备包括处理器和存储器，所述存储器适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述3D全息舞蹈音乐场景的生成方法的技术方案中任一项技术方案所述的3D全息舞蹈音乐场景的生成方法。

在第四方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述3D全息舞蹈音乐场景的生成方法的技术方案中任一项技术方案所述的3D全息舞蹈音乐场景的生成方法。

在第五方面，提供一种车辆，包括车辆本体、上述的3D全息舞蹈音乐场景的生成系统和/或上述的电子设备。

本发明上述一个或多个技术方案，至少具有如下一种或多种

有益效果：

在实施本发明的技术方案中，能够在车内播放音乐或待播放音乐时，通过对音频节拍的识别，匹配并生成3D舞者全息模型，自动跟随音乐的节奏在座舱内起舞，在座舱空间内生成全息3D舞蹈音乐场景，提升车内沉浸式体验，使得驾驶员和乘客在车内在视觉和听觉得到良好的体验，让身心得到放松。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：

图1是本发明的一个实施例的3D全息舞蹈音乐场景的生成方法的主要步骤流程图；

图2是本发明的3D全息舞蹈音乐场景的生成方法对应于基于音频信息获取对应的音频节拍的详细步骤流程图；

图3是本发明的一个实施例基于所述3D舞蹈动作播放数据与所述音频信息，在座舱空间内生成3D全息舞蹈音乐场景的详细步骤流程图；

图4是根据本发明的一个实施例的3D全息舞蹈音乐场景的生成系统的主要结构框图。

图5是用于执行本发明的3D全息舞蹈音乐场景的生成方法的电子设备的主要结构框图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

本发明提供一种3D全息舞蹈音乐场景的生成方法，应用于驾驶设备座舱。

参阅附图1，图1是根据本发明的一个实施例的3D全息舞蹈音乐场景的生成方法的主要步骤流程示意图。如图1所示，本发明实施例中的3D全息舞蹈音乐场景的生成方法主要包括下列步骤S101-步骤S106。

步骤S101，获取座舱内音频信息，所述音频信息包括当前时刻播放音频的音频信息或待播放音频的音频信息。

一个实施方式中，获取座舱内音频信息包括：获取所述当前时刻播放音频或待播放音频的内容、类型、分类、作者、歌名中至少一种信息。

步骤S102，基于所述音频信息获取对应的音频节拍。

一个实施方式中，请参阅附图2，图2是本发明的3D全息舞蹈音乐场景的生成方法对应于基于音频信息获取对应的音频节拍的详细步骤流程图。

如图2所示，基于所述音频信息获取对应的音频节拍主要包括下列步骤S201-步骤S202。

步骤S201，基于所述音频信息，获取对应的数字音频数据。

在本实施例中，所述数字音频数据采用PCM(Pulse Code Modulation，脉冲编码调制)音频数据，是由模拟信号经过采样、量化、编码转换成的标准数字音频数据。具体地，可以将当前时刻播放音频或待播放音频的内容直接转换为对应的数字音频数据，也可以基于内容、类型、分类、作者、歌名中的一种或多种信息，通过大数据检索获取对应的数字音频数据。

步骤S202，基于节拍分析算法模型对所述数字音频数据进行分析，获取音频节拍。

示例性地，基于节拍分析算法模型对所述数字音频数据进行分析，获取音频节拍，包括：将所述PCM音频数据输入节拍分析算法模型；提取所述PCM音频数据的时域信号，并将所述时域信号转化为频域信号；基于所述节拍分析算法模型，对所述频域信号进行加窗后，分析每个窗口内是否存在节拍点，具体地，通过将每个窗口内频域信号的能量值与预设的能量阈值进行比对，若能量值落入所述能量阈值的范围内，则认为存在节拍点；获取所述频域信号的全部节拍点，并将所述节拍点对应于所述时域信号的时间轴，输出为音频节拍。

在本发明的其他实施例中，除采用示例的节拍分析算法模型之外，还可以采用其他节拍分析算法模型获取音频节拍；也可通过神经网络算法等对所述数字音频数据进行分析，达到获取音频节拍的效果即可。

一个实施方式中，基于所述音频信息获取对应的音频节拍包括：将历史已获取的音频节拍形成音频节拍数据库；基于所述音频信息，在所述音频节拍数据库中进行匹配，获取对应的音频节拍。可以达到节约算力，提高效率的效果，通过对音频信息进行检索，获取所述音频节拍数据库中已有的对应的音频节拍，无需再基于节拍分析算法模型进行重复的分析。

对于不同内容、类型、分类、作者、歌名的音频，甚至同一歌曲的不同变奏均能获取其对应的音频节拍，以便后续获取匹配的3D舞者信息，建立3D舞者全息模型。

步骤S103，基于所述音频信息和/或音频节拍获取匹配的3D舞者信息。

一个实施方式中，在云端和/或本地设置有3D舞者信息库，所述基于所述音频信息和/或音频节拍获取匹配的3D舞者信息包括：

将所述音频信息和/或音频节拍发送到所述3D舞者信息库，从所述3D舞者信息库中获取匹配的3D舞者信息；

和/或，基于所述音频信息和/或音频节拍获取匹配的3D舞者信息时，基于用户的偏好或预设的选择规则进行选择性的获取。

示例性地，从所述3D舞者信息库中获取匹配的3D舞者信息时，可分别获取3D舞者的各部分肢体的信息以及服装信息，也可获取预设的成组的3D舞者信息。用户也可根据需要预先自行创建3D舞者，并将其3D舞者信息纳入所述3D舞者信息库中以便获取。

步骤S104，基于所述3D舞者信息，建立3D舞者全息模型。示例性地，所述3D舞者全息模型为用于全息显示的所述3D舞者的动画角色，以便用户从座舱内任意方向均能观察到所述3D舞者的动画角色。

步骤S105，基于所述音频节拍和所述3D舞者全息模型，合成3D舞蹈动作数据。为后续生成3D全息舞蹈音乐场景时，所述3D舞者全息模型随音频节拍舞动提供基础。

步骤S106，基于所述3D舞蹈动作数据与所述音频信息，在座舱空间内生成3D全息舞蹈音乐场景。

一个实施例中，请参阅附图3，图3是本发明的一个实施例基于所述3D舞蹈动作播放数据与所述音频信息，在座舱空间内生成3D全息舞蹈音乐场景的详细步骤流程图。

如图3所示，基于所述3D舞蹈动作播放数据与所述音频信息，在座舱空间内生成3D全息舞蹈音乐场景，主要包括下列步骤S301-步骤S302。

步骤S301，基于所述3D舞蹈动作数据生成3D舞蹈视频；

步骤S302，基于所述音频信息播放相应的音频，且播放所述音频时通过全息投影设备同步播放所述3D舞蹈视频，以在座舱空间内生成3D全息舞蹈音乐场景。

一个实施例中，所述全息投影设备可以设置在驾驶设备的中控台左右两侧。

基于上述步骤S101-步骤S106，能够在车内播放音乐或待播放音乐时，通过对音频节拍的识别，匹配并生成3D舞者全息模型，自动跟随音乐的节奏在座舱内起舞，在座舱空间内生成全息3D舞蹈音乐场景，提升车内沉浸式体验，使得驾驶员和乘客在车内在视觉和听觉得到良好的体验，让身心得到放松。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

进一步地，本发明还提供了一种3D全息舞蹈音乐场景的生成系统。

参阅附图4，图4是根据本发明的一个实施例的3D全息舞蹈音乐场景的生成系统的主要结构框图。

如图4所示，本发明实施例中的3D全息舞蹈音乐场景的生成系统主要包括信息获取模块41、音频节拍分析模块42、舞者信息获取模块44、全息模型建立模块44、舞蹈动作数据合成模块45、以及音乐场景生成模块46。在一些实施例中，信息获取模块41、音频节拍分析模块42、舞者信息获取模块44、全息模型建立模块44、舞蹈动作数据合成模块45、以及音乐场景生成模块46中的一个或多个可以合并在一起成为一个模块。

在一些实施例中，所述信息获取模块41可以被配置为获取座舱内音频信息，所述音频信息包括当前时刻播放音频的音频信息或待播放音频的音频信息。所述音频节拍分析模块42可以被配置为基于所述音频信息获取对应的音频节拍；所述舞者信息获取模块44可以被配置为基于所述音频信息和/或音频节拍获取匹配的3D舞者信息。所述全息模型建立模块44可以被配置为基于所述3D舞者信息，建立3D舞者全息模型。所述舞蹈动作数据合成模块45可以被配置为基于所述音频节拍和所述3D舞者全息模型，合成3D舞蹈动作播放数据。所述音乐场景生成模块46可以被配置为基于所述3D舞蹈动作数据与所述音频信息，在座舱空间内生成3D全息舞蹈音乐场景。

在一个实施方式中，具体实现功能的描述可以参见步骤S101至步骤S106所述。

上述3D全息舞蹈音乐场景的生成系统以用于执行图1所示的3D全息舞蹈音乐场景的生成方法实施例，两者的技术原理、所解决的技术问题及产生的技术效果相似，本技术领域技术人员可以清楚地了解到，为了描述的方便和简洁，3D全息舞蹈音乐场景的生成系统的具体工作过程及有关说明，可以参考3D全息舞蹈音乐场景的生成方法的实施例所描述的内容，此处不再赘述。

应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。

本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

进一步地，本发明还提供了一种电子设备。请参阅附图5，图5是用于执行本发明的3D全息舞蹈音乐场景的生成方法的电子设备的主要结构框图。

如图5所示，在根据本发明的一个电子设备实施例中，电子设备包括处理器501和存储器502，存储器502可以被配置成存储执行上述方法实施例的3D全息舞蹈音乐场景的生成方法的程序代码503，处理器501可以被配置成用于执行存储器502中的程序代码503，该程序代码503包括但不限于执行上述方法实施例的3D全息舞蹈音乐场景的生成方法的程序代码503。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

示例性地，处理器501可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器502可以是电子设备500的内部存储单元，例如，是电子设备500的硬盘或内存；存储器502也可以是电子设备500的外部存储设备，例如，在电子设备500上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，存储器502还可以既包括电子设备500的内部存储单元也包括外部存储设备。存储器502用于存储计算机程序以及电子设备500所需的其它程序和数据，存储器502还可以用于暂时地存储已经输出或者将要输出的数据。

在一些可能的实施方式中，电子设备500可以包括多个处理器501和存储器502。而执行上述方法实施例的3D全息舞蹈音乐场景的生成方法的程序代码503可以被分割成多段子程序，每段子程序分别可以由处理器501加载并运行以执行上述方法实施例的3D全息舞蹈音乐场景的生成方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储器502中，每个处理器501可以被配置成用于执行一个或多个存储器502中的程序，以共同实现上述方法实施例的3D全息舞蹈音乐场景的生成方法，即每个处理器501分别执行上述方法实施例的3D全息舞蹈音乐场景的生成方法的不同步骤，来共同实现上述方法实施例的3D全息舞蹈音乐场景的生成方法。

上述多个处理器501可以是部署于同一个设备上的处理器，例如上述电子设备可以是由多个处理器组成的高性能设备，上述多个处理器501可以是该高性能设备上配置的处理器。此外，上述多个处理器501也可以是部署于不同设备上的处理器，例如上述电子设备可以是服务器集群，上述多个处理器501可以是服务器集群中不同服务器上的处理器。

电子设备500可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备500可以包括但不仅限于处理器501和存储器502。本领域技术人员可以理解，图5仅仅是电子设备500的示例，并不构成对电子设备500的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。

进一步地，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的3D全息舞蹈音乐场景的生成方法的程序，该程序可以由处理器加载并运行以实现上述3D全息舞蹈音乐场景的生成方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

进一步地，本发明还提供了一种车辆，包括车辆本体、上述的3D全息舞蹈音乐场景的生成系统和/或上述的电子设备。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域技术人员可以意识到，结合本发明中实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。