多媒体数据方法、装置、电子设备及计算机存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种多媒体数据方法、装置、电子设备及计算机存储介质。

背景技术

随着科学技术的发展，人们的社交和娱乐方式也越来越多样化。例如通过短视频应用进行社交和娱乐。现有的短视频应用在使用过程中，用户可以作为发布者创作并发布音视频数据(例如，短视频)。此外，还可以作为观看者，观看发布的音视频数据，并可以对音视频数据发布文字弹幕，这样在下次播放音视频数据时可以同时展示用户发布的文字弹幕，使用户间可以进行互动，但是这种互动方式存在着互动性较低、用户使用功能单一等问题。

发明内容

有鉴于此，本发明实施例提供一种多媒体数据处理方案，以解决上述部分或全部问题。

根据本发明实施例的第一方面，提供了一种多媒体数据处理方法，包括：在多媒体数据的播放过程中，接收到用于指示录制语音弹幕的录制触发操作；根据所述录制触发操作，使用录制音轨进行语音录制；根据语音录制结果生成针对播放的所述多媒体数据的语音弹幕。

根据本发明实施例的第二方面，提供了一种多媒体数据处理方法，包括获取针对多媒体数据发布的上屏语音弹幕及所述上屏语音弹幕的播放时间信息；在所述多媒体数据播放的过程中，若确定所述多媒体数据播放至所述上屏语音弹幕的播放时间信息指示的播放起始时间，则同步播放所述多媒体数据和所述上屏语音弹幕。

根据本发明实施例的第三方面，提供了一种多媒体数据处理方法，包括：在多媒体数据直播过程中，根据直播主和/或观看者的选择操作，从与所述多媒体数据对应的语音弹幕中确定待播放的语音弹幕；在所述多媒体数据的直播界面播放所述待播放的语音弹幕并获取直播主演唱的音频数据，根据所述音频数据和所述待播放的语音弹幕生成直播视频流。

根据本发明实施例的第四方面，提供了一种多媒体数据处理装置，包括：接收模块，用于在多媒体数据的播放过程中，接收到用于指示录制语音弹幕的录制触发操作；录制模块，用于根据所述录制触发操作，使用录制音轨进行语音录制；生成模块，用于根据语音录制结果生成针对播放的所述多媒体数据的语音弹幕。

根据本发明实施例的第五方面，提供了一种多媒体数据处理装置，包括：获取模块，用于获取针对多媒体数据发布的上屏语音弹幕及所述上屏语音弹幕的播放时间信息；播放模块，用于在所述多媒体数据播放的过程中，若确定所述多媒体数据播放至所述上屏语音弹幕的播放时间信息指示的播放起始时间，则同步播放所述多媒体数据和所述上屏语音弹幕。

根据本发明实施例的第六方面，提供了一种多媒体数据处理装置，包括：确定模块，用于在多媒体数据直播过程中，根据直播主和/或观看者的选择操作，从与所述多媒体数据对应的语音弹幕中确定待播放的语音弹幕；直播模块，用于在所述多媒体数据的直播界面播放所述待播放的语音弹幕。

根据本发明实施例的第七方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面、第二方面或第三方面所述的多媒体数据处理方法对应的操作。

根据本发明实施例的第八方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面、第二方面或第三方面所述的多媒体数据处理方法。

根据本发明实施例提供的多媒体数据处理方案，在多媒体数据播放过程中，可以接收到录制触发操作，并根据录制触发操作进行语音录制，并根据语音录制结果生成针对多媒体数据的语音弹幕，以此提升弹幕的形式，使交互方式更加丰富，解决现有技术中只能发布文字弹幕，交互方式不够丰富，不够直观的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1a为根据本发明实施例一的一种多媒体数据处理方法的步骤流程图；

图1b为根据本发明实施例一的一种使用场景的界面变化示意图；

图2a为根据本发明实施例二的一种多媒体数据处理方法的步骤流程图；

图2b为根据本发明实施例二的一种使用场景中进行人声对齐的界面示意图；

图2c为根据本发明实施例二的一种使用场景中在评论区展示语音弹幕的界面示意图；

图2d为根据本发明实施例二的一种使用场景中预览语音弹幕的界面示意图；

图2e为根据本发明实施例二的一种使用场景中多媒体数据的播放界面的区域分布示意图；

图2f为根据本发明实施例二的一种使用场景中语音弹幕录制和预览的界面变化示意图；

图3a为根据本发明实施例三的一种多媒体数据处理方法的步骤流程图；

图3b为根据本发明实施例三的一种使用场景中确定并播放上屏语音弹幕的界面变化示意图；

图3c为根据本发明实施例三的一种使用场景中对上屏语音弹幕的操作界面示意图；

图3d为根据本发明使用场景中多媒体数据处理方法的数据交互示意图；

图4a为根据本发明实施例四的多媒体数据处理方法的步骤流程图；

图4b为根据本发明实施例四的一种直播端和播放端交互的示意图；

图5为根据本发明实施例五的一种多媒体数据处理装置的结构框图；

图6为根据本发明实施例六的一种多媒体数据处理装置的结构框图；

图7为根据本发明实施例七的一种多媒体数据处理装置的结构框图；

图8为根据本发明实施例八的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

实施例一

参照图1a，示出了根据本发明实施例一的一种多媒体数据处理方法的步骤流程图。

在本实施例中，以该多媒体数据处理方法配置在终端设备为例，对多媒体数据处理方法进行说明。当然，在其他实施例中，该多媒体数据处理方法可以配置在服务端(服务端包括服务器或云端)，并仅通过终端设备进行图像和音频的播放、以及接收用户的操作。

本实施例的多媒体数据处理方法包括以下步骤：

步骤S102：在多媒体数据的播放过程中，接收到用于指示录制语音弹幕的录制触发操作。

多媒体数据可以通过播放界面进行播放，以供用户观看。如图1b中界面1所示，在多媒体数据的播放界面中，可以显示有供用户发送语音弹幕的“发弹幕选项”。用户操作(例如点击或长按)“发弹幕选项”时，接收到录制触发操作，该录制触发操作表示用户希望录制一条语音，作为语音弹幕发布。这样扩展了用户间交互的形式，出来传统的文字弹幕之外，还可以通过语音弹幕进行交互。

其中，多媒体数据可以是作为底板的音视频数据，例如，用户A发布的演唱歌曲A的音视频数据，或者用户A直播演唱歌曲A的直播数据。

在一种情况中，多媒体数据的播放即为对音视频数据的播放(该播放可以是录播播放也可以是直播播放)。

在另一种情况中，多媒体数据的播放包括播放所述多媒体数据和对应于所述多媒体数据的上屏语音弹幕。此情况中，可以采用多轨方式进行音频播放。其中，上屏语音弹幕即为在多媒体数据的播放界面中展示的语音弹幕，例如，上屏语音弹幕可以是用户B演唱歌曲A中歌曲片段的音频数据。

步骤S104：根据所述录制触发操作，使用录制音轨进行语音录制。

在接收到录制触发操作之后，可以在播放的多媒体数据的音轨之外，再创建一个录制音轨，使用该录制音轨进行语音录制，直至用户停止录制触发操作。后续可以根据语音录制获得的音频内容生成对应的语音弹幕，以使用户间可以通过不同于文字弹幕的方式进行交互，提升交互性。

例如，在一具体使用场景中，如图1b所示，以用户C通过终端设备观看多媒体数据为例进行说明，图1b的界面1中示出了多媒体数据的播放界面，在播放界面中可以播放多媒体数据并显示“发弹幕选项”。

当用户C触发播放界面中的“发弹幕选项”时，接收到录制触发操作，并显示图1b中界面2所示界面，界面中显示录音的动态弹窗，同时创建录制音轨，以通过其录制用户C的语音。录制的语音可以是用户C演唱作为底板的音视频数据中歌曲A的歌曲片段的语音。

当用户停止对“发弹幕选项”的触发时，停止对用户C的语音的录制。这样就可以获得语音录制结果，语音录制结果中除了包括音频内容外，还包括录制起始时间和时长信息等，该录制起始时间用于指示进行语音录制时的多媒体数据的播放进度，时长信息用于指示音频内容的总时长。

例如，用户C录制的语音录制结果的录制起始时间是多媒体数据中第1分22秒，时长信息为12秒，则表示其中的音频内容对应于多媒体数据从第1分22秒起之后的12秒的内容。

步骤S106：根据语音录制结果生成针对播放的所述多媒体数据的语音弹幕。

本领域技术人员可以采用任何适当的方式生成语音弹幕，本实施例对此不作限制。例如，直接将语音录制结果作为语音弹幕，或者，对语音录制结果进行人声对齐处理、调音处理等后，将处理后的音频内容作为语音弹幕等。

后续，可以将针对多媒体数据的语音弹幕与该多媒体数据进行任意组合，从而生成新的多媒体数据，这样不仅可以是多人共同创作，提升用户间的交互性，而且使得多媒体数据的生产效率更高。

此外，生成的语音弹幕可以在评论区进行显示，如图1b中界面3中所示。

通过本实施例，在多媒体数据播放过程中，可以接收到录制触发操作，并根据录制触发操作进行语音录制，并根据语音录制结果生成针对多媒体数据的语音弹幕，以此提升弹幕的形式，使交互方式更加丰富，解决现有技术中只能发布文字弹幕，交互方式不够丰富，不够直观的问题。

本实施例的多媒体数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。

实施例二

参照图2，示出了根据本发明实施例二的一种多媒体数据处理方法的步骤流程图。

本实施例的多媒体数据处理方法包括以下步骤：

步骤S202：在多媒体数据的播放过程中，接收到用于指示录制语音弹幕的录制触发操作。

本步骤可以采用实施例一中步骤S102所述的实现方式，故在此不再赘述。

需要说明的是，在本实施例中，所述多媒体数据的播放包括播放所述多媒体数据和对应于所述多媒体数据的上屏语音弹幕。

即在多媒体数据的播放界面中，不仅播放作为底板的音视频数据，还可以同步播放至少一个上屏语音弹幕(该上屏语音弹幕可以是音视频数据的发布者选择的语音弹幕或者点赞数最高的语音弹幕)。

例如，用户A发布了一个演唱歌曲A的音视频数据，该音视频数据即为作为底板的音视频数据。用户B针对该音视频数据发布了一个演唱歌曲A中第1分～第1分15秒的歌曲片段的音频数据作为语音弹幕。在用户B发布该语音弹幕后，用户A选择了该语音弹幕作为上屏语音弹幕。在用户C观看多媒体数据时，多媒体数据的播放界面不仅播放该多媒体数据(即用户A发布的音视频数据)而且会通过多轨播放方式在第1分～第1分15秒的时间段内播放用户B发布的语音弹幕。这样多媒体数据的发布者可以通过选择语音弹幕与作为底板的音视频数据组合从而形成新的作品，作品更加丰富。

用户C可以通过触发多媒体数据的播放界面中显示的“发弹幕选项”，以指示进行语音录制。用户C可以在任何时机触发“发弹幕选项”，以进行语音弹幕录制。或者，在检测到多媒体数据播放到高潮部分时，自动产生并获取录制触发操作，提示用户C录制语音弹幕，从而使得后续可以将语音弹幕与多媒体数据结合，实现高潮合唱。

步骤S204：根据所述录制触发操作，使用录制音轨进行语音录制。

该步骤可以采用实施例一中的步骤S104实现。

或者，在一具体实现中，在播放多媒体数据的过程中，若通过多轨播放的方式播放该多媒体数据和至少一个上屏语音弹幕，则可以同时再增加一个录制音轨，以通过录制音轨录制用户的声音，以便后续可以将录制的用户的声音添加到播放的多媒体数据中，从而形成新的作品。

步骤S206：根据语音录制结果生成针对播放的所述多媒体数据的语音弹幕。

在一具体实现中，步骤S206包括以下子步骤：

子步骤S2061：根据进行语音录制相对于所述多媒体数据播放的录制起始时间，确定待生成的语音弹幕的播放时间信息。

在本实施例中，语音录制相对多媒体数据播放的录制起始时间即为开始录制时多媒体数据的播放进度指示的时间。

播放时间信息包括播放起始时间和播放终止时间。

在一种可行方式中，播放起始时间可以为录制起始时间，播放终止时间可以根据播放起始时间和时长信息确定。

在另一种可行方式中，播放起始时间可以根据下述方式确定：

如图2b所示，在多媒体数据的播放界面展示人声对齐界面，通过人声对齐界面接收用户的人声调整操作，根据人声调整操作对录制起始时间进行调整并获取播放起始时间。

通过展示人声对齐界面，可以使用户根据需要手动对语音弹幕的播放起始时间进行调整，从而使在播放语音弹幕时语音弹幕中的人声与多媒体数据中对应的人声可以很好地同步，以保证合唱的效果。

在一具体实现中，人声调整操作可以是对人声对齐界面中“向前调整录制起始时间选项”或“向后调整录制起始时间选项”的触发操作。

子步骤S2062：根据所述播放时间信息和语音录制的音频内容，生成所述语音弹幕。

在一种可行方式中，可以直接将语音录制的音频内容作为语音弹幕的内容，生成该语音弹幕。

在另一种可行方式中，为了提升语音弹幕的质量，使其与多媒体数据的匹配性更好，子步骤S2062可以实现为：根据所述播放时间信息和语音录制的音频内容，生成候选语音弹幕；对从所述播放时间信息指示的起始时间起至播放结束时间对应的部分多媒体数据和所述候选语音弹幕的音频内容分别进行内容识别；若根据识别结果确定所述部分多媒体数据与所述候选语音弹幕匹配，则将匹配的所述候选语音弹幕确定为最终的语音弹幕。

本领域技术人员可以采用任何适当的能够对音频数据或音视频数据进行识别的算法对候选语音弹幕和该部分多媒体数据进行内容识别，本实施例对此不作限制。

例如，采用语音识别算法对候选语音弹幕和部分多媒体数据进行识别，以识别出候选语音弹幕中的人声的内容和部分多媒体数据中人声的内容，进而确定两者是否匹配。若两者匹配，则表示该候选语音弹幕与对应的部分多媒体数据的匹配性好，也即候选语音弹幕的质量满足需求，进而可以将其作为确定为最终的语音弹幕。

可选地，在生成语音弹幕后，为了方便语音弹幕的发布者查看语音弹幕的效果，所述方法还包括以下步骤：

步骤S208：在所述多媒体数据播放至所述播放时间信息指示的播放起始时间时，同步播放所述多媒体数据和所述语音弹幕，以供预览所述语音弹幕与所述多媒体数据合奏。

在一种实现方式中，在生成语音弹幕后，显示如图2c所示的多媒体数据的播放界面，将语音弹幕在评论区展示，并展示预览选项。若弹幕的发布者触发该预览选项，则接收到预览触发操作，根据该预览触发操作，将多媒体数据的播放进度调整到播放时间信息指示的播放起始时间，并同步播放该多媒体数据和语音弹幕，这样语音弹幕的发布者就可以预览语音弹幕与多媒体数据的效果，从而可以更加直观地查看播放效果。

具体地，所述同步播放所述多媒体数据和所述语音弹幕可以实现为：使用多个音轨同步播放所述多媒体数据和所述语音弹幕，并在所述多媒体数据的播放界面展示所述语音弹幕对应的可视化对象，语音弹幕预览状态时的界面如图2d所示。

为了便于用户观看，在多媒体数据的播放界面中预先设定了多个弹道(需要说明的是弹道仅是对播放界面的虚拟划分)，以通过弹道显示语音弹幕的可视化对象，供用户可以直观地查看到语音弹幕的播放，并可以方便地对语音弹幕进行操作。

在播放语音弹幕的过程中，语音弹幕对应的可视化对象可以在播放界面中移动，以动态展示语音弹幕的播放进度，直至语音弹幕播放完成后，其对应的可视化对象从语音弹幕移出播放界面的边界。

需要说明的是，在另一种实现方式中，在生成语音弹幕后，可以直接显示图2d中所示的预览语音弹幕的界面，并自动将多媒体数据的播放进度调整到播放时间信息指示的播放起始时间，并同步播放该多媒体数据和语音弹幕，以供弹幕的发布者预览语音弹幕与多媒体数据的合奏效果。

可选地，为了便于用户之间的交互，使其他用户能够更加方便地查看语音弹幕，所述方法还包括：

步骤S210：将所述语音弹幕发布到与所述多媒体数据对应的评论区。

在一具体实现中，用户发布的语音弹幕可以在多媒体数据对应的评论区展示，展示语音弹幕的评论区可以如图2c所示。评论区除了展示与多媒体数据对应的语音弹幕之外，还可以展示文字弹幕，以及针对语音弹幕或文字弹幕的评论信息等。

用户可以在评论区查看所有针对该多媒体数据的评论(评论包括但不限于语音弹幕、文字弹幕、静态图像和动态图像等)，如果用户是某一语音弹幕的发布者，则该语音弹幕的展示处对应有预览选项。

为了进一步提升互动性，用户可以在评论区针对展示的语音弹幕、文字弹幕等进行点赞操作、评论操作等。

可选地，所述方法还包括：

步骤S212：根据用户对与所述多媒体数据对应的语音弹幕的选择操作，确定用户选择的语音弹幕。

用户可以是语音弹幕的发布者、多媒体数据的发布者和多媒体数据的观看者中至少之一。也就是说，针对某一多媒体数据，任何用户均可以根据需要选择适当的语音弹幕与其组合，形成自己需要的以多媒体数据为核心的，新的多媒体数据。

例如，针对多媒体数据A，与其对应的语音弹幕为语音弹幕A～D，用户A分别对语音弹幕A和B进行了选择，则用户选择的语音弹幕为语音弹幕A和B。

需要说明的是，多媒体数据的发布者选择的语音弹幕可以作为上屏语音弹幕，这样除了多媒体数据的发布者可以在多媒体数据的播放界面看到这些语音弹幕与多媒体数据组合并播放的效果，而且其他观看者也可以看到该效果。

语音弹幕的发布者和多媒体数据的观看者选择的语音弹幕可以作为上屏语音弹幕，也可以不作为上屏语音弹幕。若不作为上屏语音弹幕，那么，仅有选择这些语音弹幕的用户和该用户分享的用户能够查看这些语音弹幕与多媒体数据组合并播放的效果。

步骤S214：使用用户选择的语音弹幕与所述多媒体数据组合，以形成组合多媒体数据，并在所述多媒体数据的播放界面，使用多个音轨播放所述组合多媒体数据。

在一具体实现中，使用用户选择的语音弹幕与所述多媒体数据组合，以形成组合多媒体数据可以实现为：建立用户选择的语音弹幕与多媒体数据之间的组合关联关系，通过该组合关联关系指示在播放多媒体数据的过程中播放用户选择的语音弹幕。这样只需要将语音弹幕和多媒体数据合成为一个文件，只要保存组合关联关系就可以保证能够正确播放组合多媒体数据。

当然，在其他实现方式中，也可以直接将语音弹幕和多媒体数据直接合成，本实施例对此不作限制。

在播放组合多媒体数据时，使用多个音轨进行播放，其中一个音轨用于播放多媒体数据中的音频，剩余的音轨可以用于一一对应地播放被选择的语音弹幕(被选择的语音弹幕为一个或一个以上)，从而实现多声道合奏。

可选地，所述方法还包括：

步骤S216：获取针对所述组合多媒体数据的分享请求，根据所述分享请求，生成并发送与所述组合多媒体数据对应的分享信息。

在用户根据自身需求使用语音弹幕和多媒体数据形成组合多媒体数据后，可以将组合多媒体数据进行保存和/或发布，以便后续查看，和/或分享给其他用户查看。

在发布时，可以将组合多媒体数据发布到对应的多媒体数据的评论区中，以供其他用户观看和/或下载。或者，在发布时，可以根据组合多媒体数据生成分享消息，并将分享消息发送给一个或一个以上的用户，以供其通过分享消息观看和/或下载组合多媒体数据。

在一种具体实现中，分享消息中可以包括组合多媒体数据对应的组合关联关系，该组合关联关系可以指示其中涉及的语音弹幕以及多媒体数据。当然，分享消息也可以包括其他信息，本实施例对此不作限制。

可选地，所述方法还包括：

步骤S218：获取针对所述组合多媒体数据的下载请求，根据所述下载请求，获取对应的多媒体文件，其中，所述多媒体文件为使用用户选择的所述语音弹幕与所述多媒体数据生成的。

在形成组合多媒体数据之后，用户还可以通过点击或长按等操作指示下载组合多媒体数据。此时，获取到组合多媒体数据的下载请求，并根据下载请求获取到与组合多媒体数据对应的多媒体文件。

该多媒体文件为使用组合多媒体数据涉及的语音弹幕和多媒体数据生成的文件。需要说明的是，生成多媒体文件的过程可以由所述方法的执行主体执行，也可以由其他设备执行。

例如，若所述方法的执行主体为终端设备，则多媒体文件可以由终端设备在本地生成，也可以将下载请求发送到服务端，由服务端生成。

本领域技术人员可以采用任何适当的方式生成多媒体文件，例如，将语音弹幕与多媒体数据进行合成等。下面结合一具体的多人合唱应用的使用场景，对多媒体数据处理方法的实现过程进行说明如下：

如图2e所示，多人合唱应用的多媒体数据的播放界面包括用于展示弹幕的弹幕区、用于展示发布作为底板的音视频数据的发布者的作者信息区和用于展示对播放的多媒体数据进行操作的互动区。

在互动区展示有至少一个操作选项，不同的用户角色看到的互动区展示的操作选项可能不同，例如，用户角色是音视频数据的发布者，则操作选项包括但不限于点赞选项、评论选项、转发选项、合唱选项、独唱选项和发弹幕选项。若用户角色是音视频数据的观看者，则操作选项包括但不限于点赞选项、评论选项、转发选项、发弹幕选项。

下面以观看者视角对观看者创建语音弹幕的过程进行说明如下：

如图2f中界面1所示，观看者可以在多媒体数据的播放界面中按住发弹幕选项，此时显示图2f中界面2所示界面，可以录制观看者的语音，当观看者松开发弹幕选项时，语音录制结束，可以根据录制的语音生成语音弹幕。

生成的语音弹幕可以在评论区展示，如图2f中界面3所示。观看者可以在评论区选择自己发布的语音弹幕，并进行预览。预览状态的界面如图2f中界面4所示，此时，观看者生成的语音弹幕可以在多媒体数据的播放界面中的弹幕区展示，并被同步播放。

此外，当观看者发布的语音弹幕被点赞或评论时，可以在通知界面展示通知消息，以供用户点击该通知消息，从而跳转到评论区，以供用户查看。

除此之外，观看者在观看多媒体数据播放的过程中，也可以选择至少一个语音弹幕，利用该语音弹幕与多媒体数据组合形成组合多媒体数据，并将该组合多媒体数据保存在自己的主页和/或发布到多媒体数据的评论区。

需要说明的是，前述的可被选择的语音弹幕、可被下载的多媒体数据等均是用户开放授权的语音弹幕和多媒体数据。语音弹幕的发布者和多媒体数据的发布者可以根据需要调整其授权。

通过本实施例，在多媒体数据播放过程中，可以接收到录制触发操作，并根据录制触发操作进行语音录制，并根据语音录制结果生成针对多媒体数据的语音弹幕，以此提升弹幕的形式，使交互方式更加丰富，解决现有技术中只能发布文字弹幕，交互方式不够丰富，不够直观的问题。

此外，可以将用户发布的语音弹幕在评论区中展示，供其他用户浏览，而且可以将语音弹幕与多媒体数据进行组合，从而生成新的多媒体数据，丰富了多媒体数据的创作形式，而且提高了多媒体数据的生产效率。

本实施例的多媒体数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。

实施例三

参照图3a，示出了根据本发明实施例三的一种多媒体数据处理方法的步骤流程示意图。

本实施例的多媒体数据处理方法包括以下步骤：

步骤S302：获取针对多媒体数据发布的上屏语音弹幕及所述上屏语音弹幕的播放时间信息。

在本实施例中，多媒体数据包括作为底板的音视频数据。

在一种可行方式中，步骤S302可以实现为：获取针对评论区展示的语音弹幕的选择操作；根据所述选择操作，获取针对多媒体数据发布的上屏语音弹幕及所述上屏语音弹幕的播放时间信息。

音视频数据的发布者可以在评论区查看所有的语音弹幕，并选择一个或一个以上的语音弹幕作为上屏语音弹幕，以使这些上屏语音弹幕在多媒体数据的播放界面播放，从而使被选择的上屏语音弹幕与多媒体数据组合，形成以音视频数据为核心的新的多媒体数据。这样就可以使发布者通过组合不同的语音弹幕，形成以音视频数据为核心的，多种不同的多媒体数据，实现多用户共同创作作品，提升了用户之间的交互性，而且提升了新作品的生产效率。

需要说明的是，获取的上屏语音弹幕可以为多个。例如，在本实施例中，某一时刻，与作为底板的音视频数据组合的上屏语音弹幕的数量最多为4个，当然，在其他实施例中，该数量可以根据需要任意调整，本实施例对此不作限制。

或者，在另一种可行方式中，除了可以根据音视频数据的发布者的选择确定上屏语音弹幕，将其展示在多媒体数据的播放界面外，还可以将通过内容识别的方式，自动确定上屏语音弹幕，实现对语音弹幕和多媒体数据的自动组合。

例如，步骤302可以实现为：获取观看所述多媒体数据的用户在所述多媒体数据的评论区发布的、针对所述多媒体数据的多条语音弹幕；确定所述多条语音弹幕分别对应的播放时间信息；若所述多条播放语音弹幕中，存在语音弹幕的音频内容与所述多媒体数据中自所述播放时间信息指示的播放起始时间到播放结束时间的内容相匹配的语音弹幕；则将所述相匹配的语音弹幕确定为所述上屏语音弹幕，并获取确定所述上屏语音弹幕的播放时间信息。

其中，确定是否存在语音弹幕的音频内容与所述多媒体数据中自所述播放时间信息指示的播放起始时间到播放结束时间的内容相匹配的语音弹幕，可以通过对各语音弹幕进行内容识别的方式。

例如，音视频数据为用户A演唱歌曲A的音视频。针对语音弹幕A，其播放时间信息指示的播放起始时间为1分22秒，播放结束时间为1分35秒。通过对语音弹幕进行内容识别，确定该语音弹幕中的内容是否与音视频数据中1分22秒到1分35秒的内容匹配(即语音弹幕演唱的歌曲片段是否为歌曲A的该时间段的片段)，若是，则表示两者匹配，反之，则表示两者不匹配。

若匹配，则将该语音弹幕作为上屏语音弹幕，可以在多媒体数据的播放界面中展示。若不匹配，则可以不动作，对下一语音弹幕进行识别。

通过这种方式，可以自动对语音弹幕进行识别，并确定合适的上屏语音弹幕。

或者，在另一种可行方式中，步骤S302可以实现为：获取各语音弹幕的被点赞次数，根据所述被点赞次数确定所述上屏语音弹幕以及所述上屏语音弹幕的播放时间信息。

例如，针对某一时刻或某一时间段，若音视频数据的发布者未选择上屏语音弹幕，则可以选择播放时间信息与该时刻或时间段匹配的、点赞数最高的语音弹幕，作为上屏语音弹幕(也可以称为热门弹幕)。

步骤S304：在所述多媒体数据播放的过程中，若确定所述多媒体数据播放至所述上屏语音弹幕的播放时间信息指示的播放起始时间，则同步播放所述多媒体数据和所述上屏语音弹幕。

在获取到上屏语音弹幕及其播放时间后，在多媒体数据的播放界面播放多媒体数据的过程中，如果到达播放起始时间，则在播放多媒体数据的同时，同步播放该上屏语音弹幕，这样就使得观看者看到的多媒体数据是多媒体数据与语音弹幕结合的新的多媒体数据，使得观看效果更好。

下面，以多人合唱应用为例，对该方法的实现过程进行说明如下：

用户A可以在多人合唱应用中发布一个多媒体数据(例如为用户A演唱歌曲A的音视频数据)，此时，多媒体数据中包括作为底板的音视频数据。该多媒体数据的播放界面如图3b中界面1所示。

其他用户在观看该多媒体数据时，可以针对其发送弹幕(弹幕包括语音弹幕和/或文字弹幕)，这些弹幕将显示在其对应的评论区中。

发布语音弹幕的方式可以采用前述实施例一或二中所述的实现方式，故在此不再赘述。

发布多媒体数据的用户A作为发布者，可以通过操作多媒体数据的播放界面中设置的用于触发评论区的“评论选项”，触发显示如图3b中界面2所示的评论区。在评论区中展示所有与多媒体数据有关语音弹幕和/或文字弹幕。

用户A可以选择评论区中的至少一个语音弹幕，以使被选择的语音弹幕作为上屏语音弹幕，在多媒体数据的播放界面中显示并播放。

在发布者选择上屏语音弹幕后，显示图3b中界面3所示界面，该界面中上屏语音弹幕对应的可视化对象在界面中展示，同时同步播放多媒体数据和选择的上屏语音弹幕，这样使得被选择的上屏语音弹幕和原有的多媒体数据可以组合成为新的多媒体数据。

观看该新的多媒体数据的非发布者的观看者可以根据需要对播放界面中显示的语音弹幕对应的可视化对象进行操作。其中，观看者的操作包括但不限于点赞操作、静音操作和评论操作等。

观看该新的多媒体数据的发布者也可以通过点击上屏语音弹幕呼出操作界面(如图3c所示界面)，以根据需要对播放界面中的显示的上屏语音弹幕进行操作。例如，进行点赞操作、静音操作、评论操作和取消选择操作等。

除此之外，音视频数据的发布者还可以对音视频数据进行其他操作，如禁止语音弹幕上屏操作等。

通过本实施例，在获取到语音弹幕和语音弹幕的播放时间信息后，可以在播放多媒体数据的过程中，根据播放时间信息的指示，适当地播放语音弹幕，从而实现利用语音弹幕和多媒体数据进行组合，形成新的多媒体数据的目的。这样使得用户之间可以通过语音弹幕进行交互，而且可以更加容易地组合形成新的作品，提升多媒体数据的生产效率。

本实施例的多媒体数据处理方法可以由任意适当的具有数据处理能力的电子设备执行，包括但不限于：服务器、移动终端(如平板电脑、手机等)和PC机等。

使用场景

如图3d所示，在本使用场景中，从多个终端设备、及服务端之间进行数据交互的角度，对该多媒体数据处理方法的实现过程说明如下：

用户A通过终端设备A将多媒体数据发送至服务端，服务端一方面存储该多媒体数据，一方面可以将多媒体数据发送至用户B的终端设备B。

用户B通过终端设备B播放多媒体数据。当终端设备B接收到录制触发操作时，可以执行实施例一或二的过程，进行语音录制，并根据语音录制结果生成语音弹幕。一方面，该语音弹幕可以在用户B的终端设备B上进行预览，另一方面，该语音弹幕可以发送至服务端。服务端存储该语音弹幕并将其发送至至多个用户的终端设备，包括但不限于用户A的终端设备A。

用户A的终端设备A的评论区中可以展示所有针对多媒体数据的语音弹幕，用户A可以从这些语音弹幕中选择至少一个作为上屏语音弹幕，一方面，该上屏语音弹幕在终端设备A上的多媒体数据的播放界面中同步播放；另一方面，终端设备A将上屏语音弹幕的信息发送至服务端，由服务端将其发送至终端设备B，在终端设备B的多媒体数据的播放界面中，也可以同步播放该上屏语音弹幕。

也即，用户B通过其终端设备针对用户A的多媒体数据发布语音弹幕，该语音弹幕经服务端传输给终端设备A且被用户A选择后，再通过服务端将用户A选择用户B的语音弹幕作为上屏语音弹幕的信息分发给多个终端设备，使得这些终端设备在播放用户A的多媒体数据时，可以同时播放用户B的语音弹幕。

当然，在其他使用场景中，终端设备A和终端设备B直接可以省略服务端而直接进行通信。

实施例四

参照图4a，示出了根据本发明实施例四的一种多媒体数据处理方法的步骤示意图。

在本实施例中，结合一个具体的直播场景对多媒体数据处理方法进行说明。

本实施例的多媒体数据处理方法包括：

步骤S402：在多媒体数据直播过程中，根据直播主和/或观看者的选择操作，从与所述多媒体数据对应的语音弹幕中确定待播放的语音弹幕。

以直播主直播唱歌的场景为例，观看者可以通过发送语音弹幕的方式实现与直播主的歌曲合唱。直播唱歌时，直播界面中可以展示观看者发送的语音弹幕的可视化对象。直播主通过对可视化对象进行播放操作可以播放对应的语音弹幕，以供直播主收听。

一种情况中，如果直播主希望和某个或某几个语音弹幕合唱，则针对直播界面中需要的语音弹幕进行选择操作，此种情况下将所述直播主的选择操作指示的语音弹幕，确定为所述待播放的语音弹幕。

或者，另一种情况中，如果观看者希望直播主与某个或某几个语音弹幕合唱，则可以对播放端的播放界面中展示的语音弹幕的可视化对象进行选择操作。在多媒体数据直播过程中，基于根据所述观看者的选择操作指示的语音弹幕确定的语音弹幕的被选择数，确定所述待播放的语音弹幕。

例如，直播主可以在直播过程中开放观众投票功能，并设置一个投票时间段，观看者可以在该时间段内对语音弹幕进行投票、打赏等操作(这些操作均可视为选择操作)，在投票时间段结束后，根据语音弹幕的被选择数，确定所述待播放的语音弹幕。例如，被选择数最高的语音弹幕为待播放的语音弹幕。其中，确定的语音弹幕的数量可以根据需要设置，并不限于1个，其也可以为一个以上。

步骤S404：在所述多媒体数据的直播界面播放所述待播放的语音弹幕并获取直播主演唱的音频数据，根据所述音频数据和所述待播放的语音弹幕生成直播视频流。

在确定待播放的语音弹幕后，可以在直播界面播放该语音弹幕，同时采集直播主演唱的音频数据，这样就可以实现直播主与语音弹幕合唱。

在本实施例中，生成的直播视频流中可以包括音频数据和待播放的语音弹幕，这样在播放端播放直播视频流，观看者就可以观看直播主与待播放的语音弹幕合唱的效果。

或者，为了确保直播效果，减少传输数据，直播视频流中也可以仅包括音频数据和待播放的语音弹幕的播放时间信息。此种情况下，播放端在播放直播视频流的同时可以根据播放时间信息控制对本地的待播放的语音弹幕的播放，从而观看直播主与待播放的语音弹幕合唱的效果。

下面结合直播端与播放端的数据交互过程(如图4b所示)对直播主与语音弹幕合唱的过程进行说明如下：

在直播主直播的过程中，观看者A可以发送语音弹幕。该语音弹幕被分发到直播主以及其他观看者B和C，并在其直播界面中展示。

当直播主希望与某个语音弹幕合唱时，可以选择该语音弹幕，这样在直播界面中将会播放该语音弹幕，同时主播端采集直播主的音频数据，并将该音频数据与该语音弹幕(或者该语音弹幕的播放时间信息)生成直播视频流，并发送至观看者A～C的播放端，在播放端的直播界面中播放直播视频流时就实现了同步播放音频数据和语音弹幕，从而使观看者A～C观看直播主与语音弹幕合唱的效果。

通过本实施例，实现了直播主在直播过程中可以选择语音弹幕进行合唱，由此实现了直播主和观看者在直播间内进行实时互动，提升了交互性，而且丰富了互动形式。

实施例五

参照图5，示出了根据本发明实施例五的一种多媒体数据处理装置的结构框图。

本实施例的多媒体数据处理装置，包括：接收模块502，用于在多媒体数据的播放过程中，接收到用于指示录制语音弹幕的录制触发操作；录制模块504，用于根据所述录制触发操作，使用录制音轨进行语音录制；生成模块506，用于根据语音录制结果生成针对播放的所述多媒体数据的语音弹幕。

可选地，所述生成模块506包括：时间确定模块5061，用于根据进行语音录制相对于所述多媒体数据播放的录制起始时间，确定待生成的语音弹幕的播放时间信息；弹幕生成模块5062，用于根据所述播放时间信息和语音录制的音频内容，生成所述语音弹幕。

可选地，所述弹幕生成模块5062用于根据所述播放时间信息和语音录制的音频内容，生成候选语音弹幕；对从所述播放时间信息指示的播放起始时间起至播放结束时间对应的部分多媒体数据和所述候选语音弹幕的音频内容分别进行内容识别；若根据识别结果确定所述部分多媒体数据与所述候选语音弹幕匹配，则将匹配的所述候选语音弹幕确定为最终的语音弹幕。

可选地，所述装置还包括：预览模块508，用于在所述多媒体数据播放至所述播放时间信息指示的播放起始时间时，同步播放所述多媒体数据和所述语音弹幕，以预览所述语音弹幕与所述多媒体数据合奏。

可选地，预览模块508用于在所述同步播放所述多媒体数据和所述语音弹幕时，使用多个音轨同步播放所述多媒体数据和所述语音弹幕，并在所述多媒体数据的播放界面展示所述语音弹幕对应的可视化对象。

可选地，所述装置还包括：发布模块510，用于将所述语音弹幕发布到与所述多媒体数据对应的评论区。

可选地，所述装置还包括：弹幕选择模块512，用于根据用户对与所述多媒体数据对应的语音弹幕的选择操作，确定用户选择的语音弹幕；组合模块514，用于使用用户选择的语音弹幕与所述多媒体数据组合，以形成组合多媒体数据，并在所述多媒体数据的播放界面，使用多个音轨播放所述组合多媒体数据。

可选地，所述装置还包括：分享模块516，用于获取针对所述组合多媒体数据的分享请求，根据所述分享请求，生成并发送与所述组合多媒体数据对应的分享信息。

可选地，所述装置还包括：下载模块518，用于获取针对所述组合多媒体数据的下载请求，根据所述下载请求，获取对应的多媒体文件，其中，所述多媒体文件为使用用户选择的所述语音弹幕与所述多媒体数据生成的。

可选地，所述多媒体数据的播放包括播放所述多媒体数据和对应于所述多媒体数据的上屏语音弹幕。

本实施例的多媒体数据处理装置用于实现前述多个方法实施例中相应的多媒体数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的多媒体数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例六

参照图6，示出了根据本发明实施例六的一种多媒体数据处理装置的结构框图。

本实施例的多媒体数据处理装置，包括：获取模块602，用于获取针对多媒体数据发布的上屏语音弹幕及所述上屏语音弹幕的播放时间信息；播放模块604，用于在所述多媒体数据播放的过程中，若确定所述多媒体数据播放至所述上屏语音弹幕的播放时间信息指示的播放起始时间，则同步播放所述多媒体数据和所述上屏语音弹幕。

可选地，获取模块602用于获取针对评论区展示的语音弹幕的选择操作；根据所述选择操作，获取针对多媒体数据发布的所述上屏语音弹幕及所述上屏语音弹幕的播放时间信息。

可选地，所述获取模块602用于获取观看所述多媒体数据的用户在所述多媒体数据的评论区发布的、针对所述多媒体数据的多条语音弹幕；确定所述多条语音弹幕分别对应的播放时间信息；若所述多条播放语音弹幕中，存在语音弹幕的音频内容与所述多媒体数据中自所述播放时间信息指示的播放起始时间到播放结束时间的内容相匹配的语音弹幕；则将所述相匹配的语音弹幕确定为所述上屏语音弹幕，并获取确定所述上屏语音弹幕的播放时间信息。

本实施例的多媒体数据处理装置用于实现前述多个方法实施例中相应的多媒体数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的多媒体数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例七

参照图7，示出了根据本发明实施例七的一种多媒体数据处理装置的结构框图。

本实施例的多媒体数据处理装置，包括：确定模块702，用于在多媒体数据直播过程中，根据直播主和/或观看者的选择操作，从与所述多媒体数据对应的语音弹幕中确定待播放的语音弹幕；直播模块704，用于在所述多媒体数据的直播界面播放所述待播放的语音弹幕。

可选地，确定模块702用于在多媒体数据直播过程中，根据直播主和/或观看者的选择操作，从与所述多媒体数据对应的语音弹幕中确定待播放的语音弹幕时，在多媒体数据直播过程中，将所述直播主的选择操作指示的语音弹幕，确定为所述待播放的语音弹幕；或者，在多媒体数据直播过程中，基于根据所述观看者的选择操作指示的语音弹幕确定的语音弹幕的被选择数，确定所述待播放的语音弹幕。

本实施例的多媒体数据处理装置用于实现前述多个方法实施例中相应的多媒体数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的多媒体数据处理装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例八

参照图8，示出了根据本发明实施例八的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图8所示，该电子设备可以包括：处理器(processor)802、通信接口(Communications Interface)804、存储器(memory)806、以及通信总线808。

其中：

处理器802、通信接口804、以及存储器806通过通信总线808完成相互间的通信。

通信接口804，用于与其它电子设备如终端设备或服务器进行通信。

处理器802，用于执行程序810，具体可以执行上述多媒体数据处理方法实施例中的相关步骤。

具体地，程序810可以包括程序代码，该程序代码包括计算机操作指令。

处理器802可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器806，用于存放程序810。存储器806可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序810具体可以用于使得处理器802执行以下操作：在多媒体数据的播放过程中，接收到用于指示录制语音弹幕的录制触发操作；根据所述录制触发操作，使用录制音轨进行语音录制；根据语音录制结果生成针对播放的所述多媒体数据的语音弹幕。

在一种可选的实施方式中，程序810还用于使得处理器802在所述根据语音录制结果生成针对播放的所述多媒体数据的语音弹幕时，根据进行语音录制相对于所述多媒体数据播放的录制起始时间，确定待生成的语音弹幕的播放时间信息；根据所述播放时间信息和语音录制的音频内容，生成所述语音弹幕。

在一种可选的实施方式中，程序810还用于使得处理器802在所述根据所述播放时间信息和语音录制的音频内容，生成所述语音弹幕时，根据所述播放时间信息和语音录制的音频内容，生成候选语音弹幕；对从所述播放时间信息指示的播放起始时间起至播放结束时间对应的部分多媒体数据和所述候选语音弹幕的音频内容分别进行内容识别；若根据识别结果确定所述部分多媒体数据与所述候选语音弹幕匹配，则将匹配的所述候选语音弹幕确定为最终的语音弹幕。

在一种可选的实施方式中，程序810还用于使得处理器802在所述多媒体数据播放至所述播放时间信息指示的播放起始时间时，同步播放所述多媒体数据和所述语音弹幕，以预览所述语音弹幕与所述多媒体数据合奏。

在一种可选的实施方式中，程序810还用于使得处理器802在同步播放所述多媒体数据和所述语音弹幕时，使用多个音轨同步播放所述多媒体数据和所述语音弹幕，并在所述多媒体数据的播放界面展示所述语音弹幕对应的可视化对象。

在一种可选的实施方式中，程序810还用于使得处理器802将所述语音弹幕发布到与所述多媒体数据对应的评论区。

在一种可选的实施方式中，程序810还用于使得处理器802根据用户对与所述多媒体数据对应的语音弹幕的选择操作，确定用户选择的语音弹幕；使用用户选择的语音弹幕与所述多媒体数据组合，以形成组合多媒体数据，并在所述多媒体数据的播放界面，使用多个音轨播放所述组合多媒体数据。

在一种可选的实施方式中，程序810还用于使得处理器802获取针对所述组合多媒体数据的分享请求，根据所述分享请求，生成并发送与所述组合多媒体数据对应的分享信息。

在一种可选的实施方式中，程序810还用于使得处理器802获取针对所述组合多媒体数据的下载请求，根据所述下载请求，获取对应的多媒体文件，其中，所述多媒体文件为使用用户选择的所述语音弹幕与所述多媒体数据生成的。

在一种可选的实施方式中，所述多媒体数据的播放包括播放所述多媒体数据和对应于所述多媒体数据的上屏语音弹幕。

或者，

程序810具体可以用于使得处理器802执行以下操作：获取针对多媒体数据发布的上屏语音弹幕及所述上屏语音弹幕的播放时间信息；在所述多媒体数据播放的过程中，若确定所述多媒体数据播放至所述上屏语音弹幕的播放时间信息指示的播放起始时间，则同步播放所述多媒体数据和所述上屏语音弹幕。

在一种可选的实施方式中，程序810还用于使得处理器802在所述获取针对多媒体数据发布的上屏语音弹幕及所述上屏语音弹幕的播放时间信息时，获取针对评论区展示的语音弹幕的选择操作；根据所述选择操作，获取针对多媒体数据发布的所述上屏语音弹幕及所述上屏语音弹幕的播放时间信息。

在一种可选的实施方式中，程序810还用于使得处理器802在获取针对多媒体数据发布的上屏语音弹幕及所述上屏语音弹幕的播放时间信息时，获取观看所述多媒体数据的用户在所述多媒体数据的评论区发布的、针对所述多媒体数据的多条语音弹幕；确定所述多条语音弹幕分别对应的播放时间信息；若所述多条播放语音弹幕中，存在语音弹幕的音频内容与所述多媒体数据中自所述播放时间信息指示的播放起始时间到播放结束时间的内容相匹配的语音弹幕；则将所述相匹配的语音弹幕确定为所述上屏语音弹幕，并获取确定所述上屏语音弹幕的播放时间信息。

或者，

程序810具体可以用于使得处理器802执行以下操作：在多媒体数据直播过程中，根据直播主和/或观看者的选择操作，从与所述多媒体数据对应的语音弹幕中确定待播放的语音弹幕；在所述多媒体数据的直播界面播放所述待播放的语音弹幕并获取直播主演唱的音频数据，根据所述音频数据和所述待播放的语音弹幕生成直播视频流。

在一种可选的实施方式中，程序810还用于使得处理器802在多媒体数据直播过程中，根据直播主和/或观看者的选择操作，从与所述多媒体数据对应的语音弹幕中确定待播放的语音弹幕时，在多媒体数据直播过程中，将所述直播主的选择操作指示的语音弹幕，确定为所述待播放的语音弹幕；或者，在多媒体数据直播过程中，基于根据所述观看者的选择操作指示的语音弹幕确定的语音弹幕的被选择数，确定所述待播放的语音弹幕。

程序810中各步骤的具体实现可以参见上述多媒体数据处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

通过本实施例的电子设备，在多媒体数据播放过程中，可以接收到录制触发操作，并根据录制触发操作进行语音录制，并根据语音录制结果生成针对多媒体数据的语音弹幕，以此提升弹幕的形式，使交互方式更加丰富，解决现有技术中只能发布文字弹幕，交互方式不够丰富，不够直观的问题。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的多媒体数据处理方法。此外，当通用计算机访问用于实现在此示出的多媒体数据处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的多媒体数据处理方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。