掌桥专利:专业的专利平台
掌桥专利
首页

生成视频的方法、装置、电子设备和计算机可读介质

文献发布时间:2023-06-19 11:02:01


生成视频的方法、装置、电子设备和计算机可读介质

技术领域

本公开的实施例涉及计算机技术领域,具体涉及生成视频的方法、装置、电子设备和计算机可读介质。

背景技术

随着科技的日益进步和互联网的普及,越来越多的人通过视频来传输信息和分享生活片段。同时,视频处理技术也在快速进步。视频处理软件已经作为终端上的一种常用软件,广泛应用于各种场景。在许多情况下,用户往往需要使用视频、音乐等素材剪辑制作出一个视频。但目前,用户在使用视频软件剪辑视频时往往需要花费大量的精力和时间来处理各种素材。可见,目前的视频剪辑方式对用户来说是不够简便的。

发明内容

本发明内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例的目的在于提出一种改进的生成视频的方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题。

第一方面,本公开的一些实施例提供了一种生成视频的方法,该方法包括:在原始视频显示过程中通过原始视频的背景音乐获取音频素材,并获取影像素材;确定上述音频素材的音乐点,其中,上述音乐点用于将上述音频素材划分成多个音频片段;利用上述影像素材,为上述音频素材中的每个音乐片段分别生成一个视频片段,得到多个视频片段,其中,相对应的音乐片段和视频片段具有相同的时长;按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起,并添加上述音频素材作为视频音轨,得到合成视频。

第二方面,本公开的一些实施例提供了一种视频生成装置,装置包括:获取单元,被配置成在原始视频显示过程中通过上述原始视频的背景音乐获取音频素材,并获取影像素材;确定单元,被配置成确定上述音频素材的音乐点,其中,上述音乐点用于将上述音频素材划分成多个音频片段;生成单元,被配置成利用上述影像素材,为上述音频素材中的每个音乐片段分别生成一个视频片段,得到多个视频片段,其中,相对应的音乐片段和视频片段具有相同的时长;合成单元,被配置成按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起,并添加上述音频素材作为视频音轨,得到合成视频。

第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一、二方面中任一的方法。

第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一、二方面中任一的方法。

本公开的上述各个实施例中的一个实施例具有如下有益效果:通过对音乐点的划分能够得到多个音频片段,从而生成合成视频中的一个个视频片段,减少了用户处理素材的时间,使得剪辑更简便。进一步而言,本公开的方法有助于用户采用当前播放视频所使用的音频素材拍摄视频,节省用户操作,提高对视频拍摄时背景音乐选择的便捷性,提升了用户体验。

附图说明

结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。

图1A-1G是本公开的一些实施例的生成视频的方法的一个应用场景的示意图。

图2是根据本公开的生成视频的方法的一些实施例的流程图。

图2A是影像拍摄界面的一个应用场景的示意图。

图2B是第二展示界面的一个应用场景的示意图。

图3是根据本公开的生成视频的方法的另一些实施例的流程图。

图4是根据本公开的视频生成的装置的一些实施例的结构示意图。

图5是适于用来实现本公开的一些实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。

另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。

需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本公开。

图1A-1C是本公开的一些实施例的生成视频的方法的应用场景的多个示意图。在如图1A的应用场景中所示,用户可以通过终端设备101上的展示界面102观看视频,也可以在展示界面102上点击视频的背景音乐标识103获取这个视频的背景音乐。然后跳转到如图1B所示的展示界面104,其中,展示界面104包括音乐详情界面105,相同音乐的视频10601-10606和制作按钮107。当用户点击制作按钮107时,跳转到如图1C所示的上传界面108,用户可以在上传界面108上选择多条影像素材。

例如,如图1D所示,上传界面108中所示的影像素材109、影像素材1010、影像素材1011和影像素材1012。用户单击选择框1013,选中影像素材109和影像素材1010。用户点击“下一步”按键1014,上述终端设备101基于选中的影像素材109和影像素材1010分别生成影像素材1014、影像素材1015。根据得到的影像素材的数量(图中示出为2),将上述获取到的视频的背景音乐作为音频素材1017,确定音频素材1017中的音乐点1018。根据音乐点1018将音频素材1017划分成音乐片段A和音乐片段B。根据得到的音乐片段A和音乐片段B时长分别对影像素材1014、影像素材1015进行处理。得到对应的视频片段10141和10151。将视频片段10141和10151按照音乐片段A和音乐片段B在音频素材1017中出现的时间进行拼接,并添加音频素材1017作为拼接后视频的音轨,得到合成视频1020。

与图1D不同,如图1E-1G的应用场景中所示,上述终端设备101将包括影像素材的数量(图中示出为2)的影像信息1016发送给服务器1021。在图1E中服务器1021根据获取到的音频素材1017,确定音频素材1017中的音乐点1018。根据音乐点1018将音频素材1017划分成音乐片段A和音乐片段B。在图1E中服务器1021包括音乐片段A和音乐片段B时长的信息1019发送给上述终端设备101。上述终端设备101根据音乐片段A和音乐片段B的时长分别对影像素材1014、影像素材1015进行处理,得到对应的视频片段10141和10151,其中,视频片段10141与音乐片段A的时长相等,视频片段10151与音乐片段B的时长相等。上述终端设备101将视频片段10141和10151按照音乐片段A和音乐片段B在音频素材1017中出现的时间进行拼接,并添加音频素材1017作为拼接后视频的音轨,得到合成视频1020。

可以理解的是,生成视频的方法可以是由终端设备101来执行,或者也可以是由服务器1021来执行,或者还可以是各种软件程序来执行。其中,终端设备101例如可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。此外,执行主体也可以体现为服务器1021、软件等。当执行主体为软件时,可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解,图1中的手机、服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的手机和服务器。

继续参考图2,示出了根据本公开的生成视频的方法的一些实施例的流程200。该生成视频的方法,包括以下步骤:

步骤201,在原始视频显示过程中通过原始视频的背景音乐获取音频素材,并获取影像素材。

在一些实施例中,生成视频的方法的执行主体(例如,图1E所示的服务器1021)可以通过有线连接方式或无线连接方式,在原始视频显示过程中利用不同方式通过原始视频的背景音乐获取音频素材。例如,上述执行主体可以在原始视频显示过程中获取上述原始视频的背景音乐作为音频素材。又例如,上述执行主体可以在原始视频显示过程中获取上述原始视频的背景音乐,然后对上述背景音乐进行片段截取,将截取到的音乐作为音频素材。可以理解的是,若原始视频是用户使用应用自带音乐作为背景音乐拍摄的视频,则上述执行主体(例如,图1E所示的服务器1021)可以从应用自带的曲库中获取背景音乐,从而可以通过获取到的背景音乐来获取音频素材。若原始视频是用户没有使用应用自带音乐作为背景音乐拍摄的视频,上述执行主体从上述原始视频中分离出音频得到背景音乐,然后通过分离出的背景音乐来获取音频素材。上述执行主体可以根据用户的视频选择操作,获取影像素材,也可以将用户拍摄得到视频或图片作为上述影像素材。在这里,影像素材可以包括以下至少一项:视频素材和图片素材。

在一些实施例的一些可选的实现方式中,上述在原始视频显示过程中获取上述原始视频的背景音乐作为音频素材,包括:显示原始视频的播放界面;响应于检测到针对上述播放界面的第一用户操作,获取上述原始视频的背景音乐作为音频素材。在这里,第一用户操作可以是对上述原始视频的播放界面中用于表征背景音乐的标识的点击操作。作为示例,如图1A所示,第一用户操作可以是在展示界面102上对视频的背景音乐标识103进行点击。

在一些实施例的一些可选的实现方式中,上述获取影像素材,包括:响应于检测到针对上述播放界面的第一用户操作,显示上述背景音乐的第一展示界面;响应于检测到针对上述第一展示界面的第二用户操作,显示上述影像素材的第二展示界面;基于在上述第二展示界面上针对上述影像素材的选择操作,获取上述影像素材。在这里,第一展示界面可以是带有上述背景音乐的内容和使用上述背景音乐制作的视频列表的展示界面。上述第二用户操作可以是对上述第一展示界面中用于表征制作视频的标识的点击操作。上述第二展示界面可以是带有待选视频/图片的界面。例如,第二用户操作可以是针对第一展示界面(如图1B)中制作按钮107的点击操作。

作为示例,用户在上述第一展示界面上点击制作按钮,显示第二展示界面,然后对上述第二展示界面显示的视频或图片进行勾选。

作为一种示例,在视频播放的过程中,用户可以点击背景音乐的标识,进入音乐展示界面,同时能获取当前播放的视频的背景音乐作为音频素材。用户可以点击用于表征制作同款视频的标识,进入影像素材选择的界面。在上述界面上对待选区的视频或图片进行勾选,得到用于制作同款视频的影像素材。

作为一种示例,如图1A所示,用户在上述播放界面102中对视频的背景音乐标识103进行点击,跳转到第一展示界面(如图1B)。响应于用户在第一展示界面上对制作按钮107的点击操作,跳转到第二展示界面(如图1C)。

在一些实施例的一些可选的实现方式中,上述响应于检测到针对上述第一展示界面的第二用户操作,显示上述影像素材的第二展示界面,包括:响应于检测到针对上述第一展示界面的第二用户操作,显示影像拍摄界面;上述拍摄界面包括第一控件和第二控件,上述第一控件用于触发影像拍摄,上述第二控件用于触发影像选择。响应于检测到针对上述第二控件的第三用户操作,显示上述影像素材的第二展示界面。在这里,第二展示界面可以是带有至少两个控件的影像拍摄界面。具体地,第一控件可以是影像拍摄控件。第二控件可以是影像选择控件。这里的第三用户操作可以是对上述第二控件的点击操作。

作为一种示例,用户在上述第一展示界面上点击制作视频,显示影像拍摄界面。用户可以点击第一控件(用于触发影像拍摄的控件)拍摄视频或图片。用户也可以点击第二控件(用于触发影像选择的控件),显示第二展示界面,显示影像素材以备用户选择。这里的,用户选择的影像素材可以是用户使用设备的本地素材库中的影像素材,也可以是网络上的影像素材。

作为一种示例,如图2A所示。在终端设备2001上显示的影像拍摄界面2002,用户点击可以点击第一控件2003(用于触发影像拍摄的控件)拍摄视频或图片。也可以点击第二控件2004(用于触发影像选择的控件)。然后跳转到如图2B所示的第二展示界面2005,用户可以对显示的影像素材2006-2009进行勾选。然后可以点击制作按钮2010进行视频制作。

在一些实施例的一些可选的实现方式中,上述获取影像素材,包括:响应于检测到针对上述播放界面的第一用户操作,显示上述背景音乐的第一展示界面;响应于检测到针对上述第一展示界面的第二用户操作,显示影像拍摄界面;上述影像拍摄界面包括第一控件,上述第一控件用于触发影像拍摄;响应于检测到针对上述第一控件的第四用户操作,调用拍摄元件进行影像拍摄,得到上述影像素材。这里的,第四用户操作可以是对第一控件的触发操作。

在一些实施例的一些可选的实现方式中,上述在原始视频显示过程中通过上述原始视频的背景音乐获取音频素材,包括:显示上述原始视频的播放界面;响应于检测到针对上述播放界面的第五用户操作,显示上述原始视频的背景音乐的展示界面;上述显示界面包括第三控件和第四控件,上述第三控件用于触发音乐手动截取,上述第四控件用于触发音乐自动截取。响应于检测到上述展示界面的第六用户操作,对上述背景音乐进行截取;将从上述背景音乐中截取出的素材确定为上述音频素材。

在这里,第五用户操作可以是对上述原始视频的播放界面中用于表征背景音乐的标识的点击操作。上述背景音乐的展示界面可以是带有上述背景音乐的内容、第三控件和第四控件的展示界面。第六用户操作可以是用于触发对上述音乐进行截取的操作。第七用户操作可以是针对于第三控件的用户操作,也可以是针对第四控件的用户操作。

在一些实施例的一些可选的实现方式中,上述响应于检测到上述展示界面的第六用户操作,对上述背景音乐进行截取,包括:若上述第七用户操作为针对上述第三控件的用户操作,显示音乐截取的操作界面;上述第三控件用于触发音乐手动截取;响应于检测到在上述音乐截取的操作界面上、针对上述背景音乐的手动截取操作,确定上述手动截取操作在上述背景音乐中选中的截取区间;按照上述截取区间,对上述背景音乐进行截取。

在这里,第七用户操作可以是用于触发第三控件的触发操作。上述音乐截取的操作界面包括但不限于以下至少一项:音乐时间轴、音乐点和音乐时间。手动截取操作可以是在音乐时间轴上对音乐点和音乐时间的选定、截取操作。

作为一种示例,用户点击音乐手动截取,显示音乐截取的操作界面。用户可以手动左/右滑,确定截取区间。然后根据上述截取区间,对背景音乐进行截取。

在一些实施例的一些可选的实现方式中,上述对上述背景音乐进行截取,包括:若上述第七用户操作为针对上述第四控件的用户操作,根据上述音频素材的分析算法,分析上述背景音乐中适合用作上述音频素材的截取区间;按照上述截取区间,对上述背景音乐进行截取。

在这里,第七用户操作可以是用于触发第四控件的触发操作。上述根据上述音频素材的截取区间可以通过以下方式确定:将上述背景音乐输入预先训练的机器学习模型,得到得分数值最大的区间;将上述区间确定为上述音频素材的截取区间。

步骤202,确定上述音频素材的音乐点,其中,上述音乐点用于将上述音频素材划分成多个音频片段。

在一些实施例中,上述执行主体可以首先确定音频素材的候选音乐点。在这里,候选音乐点可以是音频素材中满足设定的节拍变换条件的点。然后,上述执行主体可以从已经得到的各个候选音乐点中选取出目标数量的音乐点。上述目标数量可以根据获取的上述影像素材的数量来确定,或者也可以是根据上述音频素材中具有的强拍数量来确定,或者还可以是用户设定的数量。作为示例,当获取到10个影像素材,可以确定9个音乐点。其中,上述强拍通常是音乐力度强的拍子。

作为一种示例,当候选音乐点为音频素材中满足设定的音乐性发生变换的位置。上述音乐性发生变换的位置可以包括节拍发生变换的位置和旋律发生变换的位置。基于此,候选音乐点可以通过如下方式来确定:上述执行主体可以对上述音频素材进行分析,确定其中的节拍点和音符起始点,其中,节拍点为节拍发生变换的位置,音符起始点为旋律发生变换的位置。具体地,一方面可以采用基于深度学习的节拍分析算法对音频素材进行分析,得到音频素材中的节拍点以及节拍点所在的时间戳,另一方面对音频素材进行短时频谱分析,得到音频素材中的音符起始点以及音符起始点所在的时间戳。在这里,音符起始点可以是通过起始点检测器(onset detector)得到。然后,统一通过两种方式得到的节拍点和音符起始点,对节拍点和音符起始点进行合并及去重,从而得到候选音乐点。

步骤203,利用上述影像素材,为上述音频素材中的每个音乐片段分别生成一个视频片段,得到多个视频片段,其中,相对应的音乐片段和视频片段具有相同的时长。

在一些实施例中,针对音频素材中的每一个音乐片段,上述执行主体可以基于影像素材为该音乐片段生成一个与该音乐片段时长相同的视频片段,从而可以得到多个视频片段。作为示例,假设音乐素材被划分成3个音乐片段,3个音乐片段的时长分别是1秒、2秒和3秒时,那么与上述音乐片段相对应的视频片段的时长也可以分别是1秒、2秒和3秒。

作为一种示例,上述执行主体可以根据一个影像素材生成多个视频片段。例如,假设上述执行主体获取到一个10秒影像素材和一个8秒的音频素材,该执行主体根据音乐点将该音频素材划分成3个音频片段,时长分别是2秒、2秒和4秒,则该执行主体可以从该影像素材中裁剪出3个不同的视频片段,时长分别是2秒、2秒和4秒。作为另一种示例,上述执行主体也可以根据一个影像素材生成一个视频片段。例如,当使用一个影像素材为一个音乐片段生成一个视频片段时,在该影像素材的时长大于该音乐片段的时长时,在该原影像素材中截取与该音乐片段的时长相等的视频片段,而在该影像素材的时长小于该音乐片段的时长时,则对该原影像素材进行变速处理来加长时长,再将变速后的影像素材作为视频片段,使视频片段的时长与音乐片段的时长相等。

步骤204,按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起,并添加上述音频素材作为视频音轨,得到合成视频。

在一些实施例中,生成视频的方法的执行主体可以根据上述音频素材中上述音乐片段出现的顺序将上述与上述音乐片段对应的视频片段依次拼接在一起,并且在拼接而成的视频的音轨中添加上述音频素材,得到合成视频。

作为一种示例,可以根据音乐点将上述音频素材按照顺序划分成3段,例如,A段可以是从0秒到2秒,B段可以是从2秒到5秒,C段可以是从5秒到10秒。对应的视频片段分别是a段,b段,c段。那么拼接而成的视频可以表示为abc。将上述音频素材添加到拼接而成的视频abc的音轨中,得到合成视频。

本公开的上述各个实施例中的一个实施例具有如下有益效果:首先,在原始视频显示过程中通过原始视频的背景音乐获取音频素材,并获取影像素材;基于获取到的音频素材可以确定上述音频素材的音乐点,其中,上述音乐点用于将上述音频素材划分成多个音频片段;然后,利用上述影像素材,为上述音频素材中的每个音乐片段分别生成一个视频片段,得到多个视频片段,其中,相对应的音乐片段和视频片段具有相同的时长;最后,按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起,并添加上述音频素材作为视频音轨,得到合成视频。

本公开的上述各个实施例中的一个实施例具有如下有益效果:基于获取到的音频素材和影像素材,可以得到针对用户的视频生成需求。从而,可以基于用户的需求,辅助用户进行视频的合成和音频素材的调整。由此,可以减少用户处理的时间,因为上述音频素材与影像素材符合用户的需求,所以得到的合成视频更加接近于用户的期望值。从而本申请提高了用户体验,为用户的视频合成提供了便利。

继续参考图3,示出了根据本公开的生成视频的方法的另一些实施例的流程300。该生成视频的方法,包括以下步骤:

步骤301,显示上述原始视频的播放界面。

在一些实施例中,上述执行主体可以显示上述原始视频的播放界面。

步骤302,响应于检测到针对上述播放界面的第五用户操作,显示上述原始视频的背景音乐的展示界面;显示界面包括第三控件和第四控件,第三控件用于触发音乐手动截取,第四控件用于触发音乐自动截取。

在一些实施例中,上述执行主体可以显示上述原始视频的背景音乐的展示界面。

作为示例,上述执行主体检测到用户在上述播放界面上点击上述背景音乐的标识,对上述原始视频的背景音乐的展示界面进行显示。

步骤303,响应于检测到上述展示界面的第六用户操作,对上述背景音乐进行截取。

在一些实施例中,上述执行主体可以检测到上述展示界面上的第六用户操作,通过多种方式对上述背景音乐进行截取。例如,上述执行主体可以根据手动截取操作,对上述背景音乐进行截取。又例如,上述执行主体可以根据自动截取,对上述背景音乐进行截取。

在一些实施例的一些可选的实现方式中,上述响应于检测到上述展示界面的第六用户操作,对上述背景音乐进行截取,包括:若上述第七用户操作为针对上述第三控件的用户操作,显示音乐截取的操作界面;上述第三控件用于触发音乐手动截取;响应于检测到在上述音乐截取的操作界面上、针对上述背景音乐的手动截取操作,确定上述手动截取操作在上述背景音乐中选中的截取区间;按照上述截取区间,对上述背景音乐进行截取。

在一些实施例的一些可选的实现方式中,上述对上述背景音乐进行截取,包括:若上述第七用户操作为针对上述第四控件的用户操作,根据上述音频素材的分析算法,分析上述背景音乐中适合用作上述音频素材的截取区间;按照上述截取区间,对上述背景音乐进行截取。

步骤304,将从上述背景音乐中截取出的素材确定为音频素材。

在一些实施例中,上述执行主体可以将从上述背景音乐中截取出的素材确定为制作视频的音频素材。

步骤305,确定上述音频素材的音乐点,其中,上述音乐点用于将上述音频素材划分成多个音频片段。

步骤306,利用上述影像素材,为上述音频素材中的每个音乐片段分别生成一个视频片段,得到多个视频片段,其中,相对应的音乐片段和视频片段具有相同的时长。

步骤307,按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起,并添加上述音频素材作为视频音轨,得到合成视频。

在一些实施例中,步骤305-307的具体实现及所带来的技术效果可以参考图2对应的那些实施例中的步骤203-204,在此不再赘述。

本公开的上述各个实施例中的一个实施例具有如下有益效果:通过对背景音乐的截取,可以得到多样的音频素材,从而更好的满足用户需求。进而,在得到多样的音频素材的同时也可以得到多样的合成视频,从而丰富了生成视频的多样性,提高了用户体验。

进一步参考图4,作为对上述各图上述方法的实现,本公开提供了一种视频生成装置的一些实施例,这些装置实施例与图2上述的那些方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图4所示,一些实施例的视频生成装置400包括:获取单元401、确定单元402、生成单元403和合成单元404。其中,获取单元401,被配置成在原始视频显示过程中通过原始视频的背景音乐获取音频素材,并获取影像素材;确定单元402,被配置成确定上述音频素材的音乐点,其中,上述音乐点用于将上述音频素材划分成多个音频片段;生成单元403,被配置成利用上述影像素材,为上述音频素材中的每个音乐片段分别生成一个视频片段,得到多个视频片段,其中,相对应的音乐片段和视频片段具有相同的时长;合成单元404,被配置成按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起,并添加上述音频素材作为视频音轨,得到合成视频。

在一些实施例中,视频生成装置400的获取单元401包括:显示子单元,被配置成显示上述原始视频的播放界面;获取子单元,被配置成响应于检测到针对上述播放界面的第一用户操作,获取上述原始视频的背景音乐作为上述音频素材。

在一些实施例中,视频生成装置400的获取单元401还包括:第一模块,被配置成响应于检测到针对上述播放界面的第一用户操作,显示上述背景音乐的第一展示界面;第二模块,被配置成响应于检测到针对上述第一展示界面的第二用户操作,显示上述影像素材的第二展示界面;第三模块,被配置成基于在上述第二展示界面上针对上述影像素材的选择操作,获取上述影像素材。

在一些实施例中,上述第二模块包括:第一子模块,被配置成响应于检测到针对上述第一展示界面的第二用户操作,显示影像拍摄界面;上述拍摄界面包括第一控件和第二控件,上述第一控件用于触发影像拍摄,上述第二控件用于触发影像选择;第二子模块,被配置成响应于检测到针对上述第二控件的第三用户操作,显示上述影像素材的第二展示界面。

在一些实施例中,视频生成装置400还包括:调整单元,被配置成响应于检测到上述用户对上述合成视频的调整操作,对上述合成视频进行调整;显示单元,被配置成显示调整后的合成视频。

本公开的一些实施例公开的视频生成装置,通过获取到的影像素材和音频素材,得到合成视频。对所得到的合成视频的调整处理,可以得到多样的合成视频,从而丰富了生成视频的多样性。

下面参考图5,其示出了适于用来实现本公开的一些实施例的电子设备(例如图1中的服务器)500的结构示意图。本公开的一些实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的服务器仅仅是一个示例,不应对本公开的实施例的功能和使用范围带来任何限制。

如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置,也可以根据需要代表多个装置。

特别地,根据本公开的一些实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的一些实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中,该计算机程序可以通过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开的一些实施例的方法中限定的上述功能。

需要说明的是,本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。

在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述装置中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:在原始视频显示过程中通过上述原始视频的背景音乐获取音频素材,并获取影像素材;确定上述音频素材的音乐点,其中,上述音乐点用于将上述音频素材划分成多个音频片段;利用上述影像素材,为上述音频素材中的每个音乐片段分别生成一个视频片段,得到多个视频片段,其中,相对应的音乐片段和视频片段具有相同的时长;按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起,并添加上述音频素材作为视频音轨,得到合成视频。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的一些实施例中的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、确定单元、生成单元和合成单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“在原始视频显示过程中通过上述原始视频的背景音乐获取音频素材,并获取影像素材的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

根据本公开的一个或多个实施例,提供了一种生成视频的方法,包括:在原始视频显示过程中通过原始视频的背景音乐获取音频素材,并获取影像素材;确定上述音频素材的音乐点,其中,上述音乐点用于将上述音频素材划分成多个音频片段;利用上述影像素材,为上述音频素材中的每个音乐片段分别生成一个视频片段,得到多个视频片段,其中,相对应的音乐片段和视频片段具有相同的时长;按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起,并添加上述音频素材作为视频音轨,得到合成视频。

根据本公开的一个或多个实施例,上述在原始视频显示过程中通过上述原始视频的背景音乐获取音频素材,包括:显示上述原始视频的播放界面;响应于检测到针对上述播放界面的第一用户操作,获取上述原始视频的背景音乐作为上述音频素材。

根据本公开的一个或多个实施例,上述获取影像素材,包括:响应于检测到针对上述播放界面的第一用户操作,显示上述背景音乐的第一展示界面;响应于检测到针对上述第一展示界面的第二用户操作,显示上述影像素材的第二展示界面;基于在上述第二展示界面上针对上述影像素材的选择操作,获取上述影像素材。

根据本公开的一个或多个实施例,上述响应于检测到针对上述第一展示界面的第二用户操作,显示上述影像素材的第二展示界面,包括:响应于检测到针对上述第一展示界面的第二用户操作,显示影像拍摄界面;上述拍摄界面包括第一控件和第二控件,上述第一控件用于触发影像拍摄,上述第二控件用于触发影像选择;响应于检测到针对上述第二控件的第三用户操作,显示上述影像素材的第二展示界面。

根据本公开的一个或多个实施例,上述获取影像素材,包括:响应于检测到针对上述播放界面的第一用户操作,显示上述背景音乐的第一展示界面;响应于检测到针对上述第一展示界面的第二用户操作,显示影像拍摄界面;上述影像拍摄界面包括第一控件,上述第一控件用于触发影像拍摄;响应于检测到针对上述第一控件的第四用户操作,调用拍摄元件进行影像拍摄,得到上述影像素材。

根据本公开的一个或多个实施例,上述在原始视频显示过程中通过上述原始视频的背景音乐获取音频素材,包括:显示上述原始视频的播放界面;响应于检测到针对上述播放界面的第五用户操作,显示上述原始视频的背景音乐的展示界面;上述显示界面包括第三控件和第四控件,上述第三控件用于触发音乐手动截取,上述第四控件用于触发音乐自动截取;响应于检测到上述展示界面的第六用户操作,对上述背景音乐进行截取;将从上述背景音乐中截取出的素材确定为上述音频素材。

根据本公开的一个或多个实施例,上述响应于检测到上述展示界面的第六用户操作,对上述背景音乐进行截取,包括:若上述第七用户操作为针对上述第三控件的用户操作,显示音乐截取的操作界面;上述第三空间用于触发音乐手动截取;响应于检测到在上述音乐截取的操作界面上、针对上述背景音乐的手动截取操作,确定上述手动截取操作在上述背景音乐中选中的截取区间;按照上述截取区间,对上述背景音乐进行截取。

根据本公开的一个或多个实施例,上述对上述背景音乐进行截取,包括:若上述第七用户操作为针对上述第四控件的用户操作,根据上述音频素材的分析算法,分析上述背景音乐中适合用作上述音频素材的截取区间;按照上述截取区间,对上述背景音乐进行截取。

根据本公开的一个或多个实施例,该装置包括:获取单元,被配置成在原始视频显示过程中获取上述原始视频的背景音乐作为音频素材,并获取影像素材;确定单元,被配置成确定上述音频素材的音乐点,其中,上述音乐点用于将上述音频素材划分成多个音频片段;生成单元,被配置成利用上述影像素材,为上述音频素材中的每个音乐片段分别生成一个视频片段,得到多个视频片段,其中,相对应的音乐片段和视频片段具有相同的时长;合成单元,被配置成按照上述多个视频片段分别对应的音乐片段在上述音频素材中出现的时间将上述多个视频片段拼接在一起,并添加上述音频素材作为视频音轨,得到合成视频。

根据本公开的一个或多个实施例,该装置还包括:显示子单元,被配置成显示上述原始视频的播放界面;获取子单元,被配置成响应于检测到针对上述播放界面的第一用户操作,获取上述原始视频的背景音乐作为上述音频素材。

根据本公开的一个或多个实施例,提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述任一实施例描述的方法。

根据本公开的一个或多个实施例,提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如上述任一实施例描述的方法。

以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开的实施例中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

相关技术
  • 视频生成方法及装置、电子设备及计算机可读存储介质
  • 语音生成视频的方法、装置、电子设备及计算机可读介质
技术分类

06120112769734