视频处理方法及电子设备

本申请要求在2022年05月30日提交中国专利局、申请号为202210601235.0、申请名称为“视频处理方法及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及电子技术领域，尤其涉及一种视频处理方法及电子设备。

背景技术

随着电子技术的不断发展，智能手机、平板电脑等电子设备在人们的生活和工作中得到了广泛的应用。在用户使用电子设备的过程中，可采用电子设备拍摄视频，并且，可以在拍摄得到的视频中添加多种素材效果，如在视频中添加文字等。

发明内容

本申请实施例提供一种视频处理方法及电子设备，在移动素材编辑控件的过程中，使得在视频预览框内实时显示素材内容时更加流畅。

第一方面，本申请实施例提出一种视频处理方法，应用于电子设备，电子设备包括素材编辑控件和渲染处理模块，该方法包括：在电子设备的显示屏上显示素材编辑界面，素材编辑界面包括视频预览框，视频预览框内显示有视频画面，素材编辑控件位于视频预览框内；渲染处理模块获取素材编辑控件移动过程中的位置参数，以及素材编辑控件内输入的素材内容；渲染处理模块根据位置参数和素材内容，渲染得到模型、视图和投影(modelviewprojection matrix，MVP)矩阵；渲染处理模块从缓存中调用已渲染的视频画面；渲染处理模块将MVP矩阵和已渲染的视频画面进行叠加，得到视频预览框对应的预览视图。

这样，本申请可以在视频上添加文字、贴纸、图片等素材内容，并且，还可以通过拖拽、缩放或者旋转等移动操作，移动素材编辑控件在素材编辑界面的视频预览框内的位置，使得在移动素材编辑控件的过程中，可以根据素材编辑控件的位置参数，实时地移动在视频预览框内显示素材编辑控件内输入的素材内容。并且，由于在移动素材编辑控件的过程中，可以仅渲染素材编辑控件内输入的素材内容，针对视频预览框内的视频内容不再进行渲染，而是直接调用缓存中已渲染过的视频画面，降低了在视频预览框内实时渲染视频画面对应的视频内容带来的资源占用，从而降低了电子设备的功耗，且使得在视频预览框内实时显示素材内容时更加流畅。

在一种可能的实现方式中，电子设备还包括界面控制模块和播放控制模块；渲染处理模块获取素材编辑控件移动过程中的位置参数，以及素材编辑控件内输入的素材内容，包括：在接收到对素材编辑控件的移动操作时，素材编辑控件计算移动过程中的位置参数，移动操作包括旋转操作、缩放操作以及拖拽操作中的至少一者；素材编辑控件通过界面控制模块和播放控制模块，向渲染处理模块发送移动指令，移动指令包括位置参数和素材编辑控件内输入的素材内容。

在一种可能的实现方式中，渲染处理模块根据位置参数和素材内容，渲染得到MVP矩阵，包括：渲染处理模块根据素材内容生成素材图片；渲染处理模块根据位置参数对素材图片进行处理，生成MVP矩阵。这样，先根据素材内容生成素材图片，再根据位置参数对素材图片进行处理生成MVP矩阵，从而实现对素材内容进行渲染。

在一种可能的实现方式中，渲染处理模块将MVP矩阵和已渲染的视频画面进行叠加，得到视频预览框对应的预览视图，包括：渲染处理模块根据图层叠加顺序，将MVP矩阵和已渲染的视频画面进行叠加，得到视频预览框对应的预览视图。这样，基于图层叠加顺序实现MVP矩阵和已渲染的视频画面的叠加，使得最终得到的视频预览框对应的预览视图符合用户对视频的处理要求。

在一种可能的实现方式中，渲染处理模块包括图层列表管线和第一绘制管线；渲染处理模块根据图层叠加顺序，将MVP矩阵和已渲染的视频画面进行叠加，得到视频预览框对应的预览视图，包括：第一绘制管线调用图层列表管线中的图层叠加顺序；第一绘制管线根据图层叠加顺序，将MVP矩阵和已渲染的视频画面进行叠加，得到视频预览框对应的预览视图。

在一种可能的实现方式中，电子设备还包括播放控制模块；在第一绘制管线调用图层列表管线中的图层叠加顺序之前，还包括：播放控制模块将视频预览框内的视频画面对应的视频内容，以及素材编辑控件内输入的素材内容，发送至渲染处理模块，视频内容包括第一叠层标识，素材内容包括第二叠层标识；图层列表管线根据第一叠层标识和第二叠层标识，调整预先设置的图层叠加顺序。这样，提供了一种基于各个对象的叠层标识，实现对图层叠加顺序的调整方式。

在一种可能的实现方式中，渲染处理模块还包括第二绘制管线；在渲染处理模块从缓存中调用已渲染的视频画面之前，还包括：第二绘制管线对视频内容进行渲染，得到已渲染的视频画面，并将已渲染的视频画面存入缓存中。这样，通过将已渲染的视频画面存入缓存，使得后续在移动素材编辑控件的过程中，无需再对视频预览框内的视频内容进行渲染，降低了在视频预览框内实时渲染视频画面对应的视频内容带来的资源占用，从而降低了电子设备的功耗，且使得在视频预览框内实时显示素材内容时更加流畅。

在一种可能的实现方式中，素材编辑控件通过界面控制模块和播放控制模块，向渲染处理模块发送移动指令，包括：素材编辑控件检测移动操作的移动距离是否满足预设条件；当移动距离满足预设条件时，素材编辑控件通过界面控制模块和播放控制模块，向渲染处理模块发送移动指令。这样，在移动距离不满足预设条件时，可忽略本次触控操作，从而防止用户误触控而依旧移动素材编辑控件内的素材内容的显示位置。

在一种可能的实现方式中，移动指令还包括素材类型；素材编辑控件通过界面控制模块和播放控制模块，向渲染处理模块发送移动指令，包括：素材编辑控件通过界面控制模块向播放控制模块发送移动指令；播放控制模块根据移动指令中的素材类型，唤醒对应的数据监听对象；播放控制模块通过数据监听对象向渲染处理模块发送移动指令。这样，可根据移动指令中的素材类型唤醒对应的vistior，而其余的vistior不唤醒，以降低因唤醒所有vistior带来的耗时增加，从而在移动素材编辑控件时，使得素材编辑控件内输入的素材内容实时地改变显示位置时会更加流畅，提高用户的体验效果。

第二方面，本申请实施例提出一种电子设备，包括存储器和处理器，存储器用于存储计算机程序，处理器用于调用计算机程序，以执行上述的视频处理方法。

第三方面，本申请实施例提出一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序或指令，当计算机程序或指令被运行时，实现上述的视频处理方法。

第四方面，本申请实施例提出一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行上述的视频处理方法。

第二方面至第四方面各可能的实现方式，效果与第一方面以及第一方面的可能的设计中的效果类似，在此不再赘述。

附图说明

图1为本申请实施例提供的视频处理过程中的一种界面示意图；

图2为本申请实施例提供的视频处理过程中的另一种界面示意图；

图3为本申请实施例提供的电子设备的硬件系统结构示意图；

图4为本申请实施例提供的电子设备的软件系统结构示意图；

图5为本申请实施例提供的一种视频处理方法的流程架构图；

图6为本申请实施例提供的移动素材编辑控件前后分别对应的渲染示意图；

图7为本申请实施例对素材编辑控件进行旋转后的界面示意图；

图8为本申请实施例对素材编辑控件进行拖拽后的界面示意图；

图9为本申请实施例对素材编辑控件进行缩小后的界面示意图；

图10为本申请实施例提供的一种视频处理方法的流程图；

图11为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一芯片和第二芯片仅仅是为了区分不同的芯片，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

在用户使用电子设备的过程中，可采用电子设备拍摄视频，并且，用户在拍摄视频之后，用户可以对拍摄的视频进行编辑操作，以使得编辑后的视频更能满足用户个性化的需求。然后，电子设备可将编辑后的视频保存到存储设备中。这样，在用户需要浏览或使用上述编辑后的视频时，电子设备可从存储设备中读取上述编辑后的视频，并显示给用户浏览和查看。

例如，在拍摄视频之后，响应于用户的裁剪操作，电子设备可将拍摄的视频剪切为视频长度较短的视频；或者，响应于用户添加素材的操作，电子设备可为拍摄的视频添加多种素材效果，如添加文字、贴纸、图片(也可称为画中画)等，从而使得编辑后的视频具有上述对应的图像效果。

图1中的(a)至图1中的(d)示例性示出了电子设备上的一组用户界面，下面结合图中的(a)至图1中的(d)具体介绍实施本申请实施例提供的视频处理方法的应用场景。

在实际应用场景中，用户在需要对目标视频进行编辑时，用户点亮电子设备后，电子设备可显示如图1中的(a)所示的用户界面。图1中的(a)示例性示出了电子设备上显示的已安装应用程序的用户界面，即主界面(homepage)。如图1中的(a)所示，主界面中显示有一个或多个应用程序图标。例如“时钟”应用程序图标、“计算器”应用程序图标、“天气”应用程序图标、“图库”应用程序图标101以及“音乐”应用程序图标等。

电子设备可检测到作用于“图库”应用程序图标101的用户操作。上述用户操作例如是点击操作、长按操作等等。电子设备可响应于上述用户操作，显示如图1中的(b)所示的用户界面。

图1中的(b)示例性示出了电子设备上运行“图库”应用程序时的主界面。该用户界面可展示有一个或多个图片或视频。电子设备可检测到作用于目标视频102的用户操作，并响应于该用户操作，电子设备可显示图1中的(c)所示的用户界面。

图1中的(c)所示的用户界面为电子设备显示的目标视频102的播放界面，该用户界面还包括视频编辑控件103，视频编辑控件103可用于对目标视频102进行编辑操作。电子设备可检测到作用于视频编辑控件103的用户操作，并响应于该用户操作，电子设备可显示如图1中的(d)所示的用户界面。

此外，在图1中的(c)所示的用户界面中，还包括视频分享控件、视频收藏控件以及视频删除控件等。

视频分享控件可用于将目标视频102发送给其他应用使用。例如，当检测到作用于视频分享控件的用户操作后，响应于该用户操作，电子设备可显示一个或多个应用的应用图标，上述一个或多个应用的应用图标包括社交类软件的应用图标。当检测到作用于其中一个社交类软件A1的应用图标的用户操作后，响应于该用户操作，电子设备可将目标视频102发送给社交类软件A1。

视频收藏控件可用于标记目标视频102。例如，当检测到作用于视频收藏控件的用户操作后，响应于该用户操作，电子设备可将目标视频102标记为用户喜爱的视频。电子设备可生成一个相册，该相册用于展示被标记为用户喜爱的视频。这样，在目标视频102被标记为用户喜爱的视频的情况下，用户可通过上述展示用户喜爱的视频的相册快速地查看该目标视频102。

视频删除控件可用于删除目标视频。例如，当检测到作用于视频删除控件的用户操作后，响应于该用户操作，电子设备可将目标视频102删除。

而如图1中的(d)示例性示出了电子设备上显示的目标视频102的视频编辑界面。该视频编辑界面包括第一视频预览框104，在第一视频预览框104内显示有目标视频102对应的视频画面。此外，该视频编辑界面还包括文字添加控件105。

若用户想要对目标视频102添加文字效果，则用户可以对文字添加控件105进行触控操作，当电子设备检测到作用于文字添加控件105的用户操作后，响应于该用户操作，电子设备可显示如图2中的(a)所示的用户界面。

图2中的(a)所示的用户界面为电子设备显示的一种文字编辑界面，该文字编辑界面包括第二视频预览框201，第二视频预览框201内显示有目标视频102对应的视频画面，并且，第二视频预览框201内还显示有文字编辑控件202。此外，该文字编辑界面还包括文字输入框203，用户可通过对文字输入框203进行操作，则电子设备响应于对文字输入框203的用户操作，显示键盘区域204；接着，用户对键盘区域204内的字符进行操作，电子设备响应于对键盘区域204内的字符的用户操作，在文字输入框203内输入相应的文字内容。例如，用户可以通过对键盘区域204内的字符进行操作，输入文字内容“你好”，并且，该文字内容也可以实时地显示在文字编辑控件202内。

当用户想要输入的文字内容输入完成之后，用户可以对文字编辑界面内的文字确认控件205进行操作，电子设备响应于对文字确认控件205的用户操作，使得电子设备可显示图2中的(b)所示的用户界面。

图2中的(b)所示的用户界面为电子设备显示的另一种文字编辑界面，该文字编辑界面依旧包括第二视频预览框201，且第二视频预览框201内依旧显示有目标视频102对应的视频画面，并且，第二视频预览框201内还显示有文字编辑控件202，以及文字编辑控件202内输入的文字内容，例如，文字内容为图2中的(b)所示的“你好”。

此外，图2中的(a)所示的文字编辑界面还包括键盘取消控件206，用户可对该键盘取消控件206进行操作，则电子设备响应于对键盘取消控件206的用户操作，使得电子设备的文字编辑界面中不再显示键盘区域204。

其中，文字编辑控件202包括旋转缩放控件2021、第一删除控件2022和第一编辑控件2023。

当用户想要对文字编辑控件202内的文字内容进行缩放或者旋转时，用户可以对旋转缩放控件2021进行操作，则电子设备响应于对旋转缩放控件2021的用户操作，使得电子设备可以在第二视频预览框201内显示旋转或缩放后的文字内容。

或者，当用户想到移动文字编辑控件202内的文字内容的坐标位置时，用户可以对文字编辑控件202内的任意区域进行拖拽操作，则电子设备响应于对文字编辑控件202的用户操作，使得电子设备可以在第二视频预览框201内显示拖拽后的文字内容。

当用户想要删除文字编辑控件202内输入的文字内容时，用户可以对第一删除控件2022进行操作，则电子设备响应于对第一删除控件2022的用户操作，使得电子设备删除在第二视频预览框201内显示的文字编辑控件202以及文字编辑控件202内输入的文字内容，即电子设备可跳转到如图1中的(d)所示的用户界面。

当用户想要再次编辑文字编辑控件202内输入的文字内容时，用户可以对第一编辑控件2023进行操作，则电子设备响应于对第一编辑控件2023的用户操作，使得电子设备跳转到如图2中的(a)所示的用户界面，即显示文字输入框203和键盘区域204，通过键盘区域204内的字符修改之前输入的文字内容。

在一些实施例中，也可以通过图2中的(b)所示的文字编辑界面中的第二编辑控件208，来再次编辑文字编辑控件202内输入的文字内容，当用户对第二编辑控件208进行操作，则电子设备响应于对第二编辑控件208的用户操作，使得电子设备跳转到如图2中的(a)所示的用户界面。

在另一些实施例中，也可以通过图2中的(b)所示的文字编辑界面中的第二删除控件209，来删除文字编辑控件202内输入的文字内容时，当用户对第二删除控件209进行操作，则电子设备响应于对第二删除控件209的用户操作，使得电子设备删除在第二视频预览框201内显示的文字编辑控件202以及文字编辑控件202内输入的文字内容，即电子设备可跳转到如图1中的(d)所示的用户界面。

在实际使用过程中，当用户在文字编辑控件202内输入相应的文字内容后，电子设备可显示图2中的(b)所示的文字编辑界面。该文字编辑页面的第二视频预览框201内显示有目标视频对应的视频画面，该第二视频预览框201还包括文字编辑控件202。

当用户想要移动文字编辑控件202内输入的文字内容在第二视频预览框201内的显示位置时，用户可在文字编辑控件202内进行触控操作，并将文字编辑控件202朝向任意方向进行移动，使得文字编辑控件202可接收到用户输入的拖拽操作，以实现对文字编辑控件202内输入的文字内容的显示位置进行平移。

当用户想要对文字编辑控件202内输入的文字内容进行旋转时，用户可以对旋转缩放控件2021进行触控操作，并按照第一预设方向移动该旋转缩放控件2021，使得文字编辑控件202可接收到用户输入的旋转操作，以实现对文字编辑控件202内输入的文字内容进行旋转。

当用户想要对文字编辑控件202内输入的文字内容进行缩放时，用户可以对旋转缩放控件2021进行触控操作，并按照第二预设方向移动该旋转缩放控件2021，使得文字编辑控件202可接收到用户输入的缩放操作，以实现对文字编辑控件202内输入的文字内容进行缩放。

其中，第一预设方向和第二预设方向不同。以文字编辑控件202的中心点和旋转缩放控件2021的中线点所形成的连线为基准线，若用户对旋转缩放控件2021移动时的移动轨迹对应的方向与基准线之间的夹角小于预设夹角时，确定用户是以第二预设方向移动旋转缩放控件2021，其实现对文字编辑控件202内输入的文字内容进行旋转。而若用户对旋转缩放控件2021移动时的移动轨迹对应的方向与基准线之间的夹角大于或等于预设夹角时，确定用户是以第一预设方向移动旋转缩放控件2021，其实现对文字编辑控件202内输入的文字内容进行缩放。预设夹角可根据经验值设定，如预设夹角为10°。

需要说明的是，上述是以在目标视频102的视频画面上添加文字效果的具体实现场景，在本申请实施例中，也可以是在目标视频102的视频画面上添加贴纸、图片等效果。在本申请实施例中，可以将在目标视频上添加的文字、贴纸以及图片等统称为素材，则在目标视频上添加素材时对应的用户界面可称为素材编辑界面，素材编辑界面的视频预览框内设置有素材编辑控件。

在相关技术中，在对素材编辑控件内输入的素材内容进行拖拽、旋转、缩放等移动操作时，会实时渲染视频预览框内的视频画面对应的视频内容(视频画面信息、特效信息、滤镜信息等)，以及素材编辑控件内输入的素材内容，从而导致在移动素材编辑控件内输入的素材内容的过程中，实时渲染视频预览框内的视频画面对应的视频内容而导致资源占用过多，影响电子设备的功耗，以及使得在视频预览框内实时显示素材内容时会出现卡顿等问题。

基于此，本申请实施例提供一种视频处理方法及电子设备，通过渲染处理模块获取视频预览框内的素材编辑控件移动过程中的位置参数，以及素材编辑控件内输入的素材内容，根据位置参数和素材内容渲染得到MVP矩阵，将MVP矩阵和缓存中调用的已渲染的视频画面进行叠加，得到视频预览框对应的预览视图。这样，本申请实施例可以在视频上添加文字、贴纸、图片等素材内容，并且，还可以通过拖拽、缩放或者旋转等移动操作，移动素材编辑控件在素材编辑界面的视频预览框内的位置，使得在移动素材编辑控件的过程中，可以根据素材编辑控件的位置参数，实时地移动在视频预览框内显示素材编辑控件内输入的素材内容。并且，由于在移动素材编辑控件的过程中，可以仅渲染素材编辑控件内输入的素材内容，针对视频预览框内的视频内容不再进行渲染，而是直接调用缓存中已渲染过的视频画面，降低了在视频预览框内实时渲染视频画面对应的视频内容带来的资源占用，从而降低了电子设备的功耗，且使得在视频预览框内实时显示素材内容时更加流畅。

本申请实施例提供的电子设备可以是手机、平板电脑(Pad)、可穿戴设备、车载设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等，具有视频处理能力的电子设备。本申请实施例对电子设备所采用的具体技术和具体设备形态不做限定。

为了能够更好地理解本申请实施例，下面对本申请实施例的电子设备的结构进行介绍。

示例性的，图3为本申请实施例提供的一种电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integratedcircuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code divisionmultipleaccess，WCDMA)，时分码分多址(time-division code division multipleaccess，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenithsatellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像、显示视频和接收滑动操作等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclight-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diod，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dotlightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备100的各种功能应用以及数据处理。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

触摸传感器，也称“触控器件”。触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用程序(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构，等。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图4是本申请实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用层可以包括一系列应用程序包。如图4所示，应用程序包可以包括电话、邮箱、日历、音乐等应用程序。

在本申请实施例中，应用程序层还包括视频编辑应用。视频编辑应用具备视频数据处理能力，能够为用户提供编辑视频的功能，包括裁剪、渲染等视频数据处理。其中，视频编辑应用分为应用界面和逻辑模块。

应用界面也可称为用户界面(user interface，UI)。应用界面是视频编辑应用与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用界面是通过java、可扩展标记语言(extensible markuplanguage，XML)等特定计算机语言编写的源代码，界面源代码在电子设备上经过解析，渲染，最终呈现为用户可以识别。

在一些实施例中，视频编辑应用的应用界面包括图1中的(d)所示的视频编辑界面，以及素材编辑界面。以在视频中添加的素材是文字为例，素材编辑界面可以是如图2中的(a)和图2中的(b)所示的文字编辑界面。当然，若视频中添加的素材为贴纸，素材编辑界面也可以指的是贴纸编辑界面。

其中，素材编辑界面包括视频预览框，如文字编辑界面中的第二视频预览框201。该素材编辑界面中的视频预览框用于显示目标视频对应的视频画面，此外，素材编辑界面中的视频预览框内还设置有素材编辑控件。

该素材编辑控件也可称为MateriaPreviewView，其指的是安卓系统中的一个自定义的控件，通过对该素材编辑控件进行操作，可实现对素材编辑控件内的输入的素材内容进行平移、旋转、缩放等。

在一些实施例中，视频编辑应用的逻辑模块包括界面控制模块、播放控制模块以及渲染处理模块。

界面控制模块也可称为UIController。素材编辑控件实际上包含一些接口，如素材预览容器(MaterialPreviewContainer)接口，以及事件监听(PreviewEventListener)接口。

通过调用MaterialPreviewContainer接口可获取素材编辑控件在视频预览框内的位置参数。事件监听接口可以包括onPreviewShow类、onPreviewHide类、onPreviewDelete类、onPreviewSelected类、onPreviewRepeat类以及onPreviewMove类等，界面控制模块通过监听事件监听接口中的类，可确定素材编辑控件被触发的功能。

onPreviewShow类用于实现素材编辑控件的显示，onPreviewHide类用于实现素材编辑控件的隐藏，onPreviewDelete类用于实现素材编辑控件的删除，onPreviewSelected类用于实现对素材编辑控件内输入的素材内容的编辑，onPreviewRepeat类用于实现素材编辑控件的双击操作，onPreviewMove类用于实现素材编辑控件移动操作。

播放控制模块也可称为PlayerController，渲染处理模块也可称为Drawer。渲染处理模块主要用于根据素材编辑控件内输入的素材内容和素材编辑控件的位置参数，绘制、渲染得到MVP矩阵，以及对视频预览框内的视频画面进行渲染，并将MVP矩阵和渲染后的视频画面进行叠加，得到视频预览框对应的预览视图。

应用程序框架层为应用层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图4所示，应用程序框架层可以包括输入系统、活动管理器、位置管理器、通知管理器、资源管理器、视图系统以及媒体框架等。

输入系统用于管理输入设备的程序。例如，输入系统可以确定鼠标点击操作、键盘输入操作和触摸滑动等输入操作。

活动管理器用于管理各个应用程序的生命周期以及导航回退功能。负责Android的主线程创建，各个应用程序的生命周期的维护。

位置管理器用于为应用程序提供位置服务，包括查询上一个已知位置、注册和注销来自某个周期性的位置更新等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，终端设备振动，指示灯闪烁等。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序的显示界面，每个显示界面可以由一个或多个控件组成。一般而言，控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、微件(Widget)等界面元素例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

媒体框架中提供有多个编辑视频、音频的工具。其中，上述工具包括MediaCodec。MediaCodec是Android提供的用于对音视频进行编解码的类。

Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用层和应用程序框架层运行在虚拟机中。虚拟机将应用层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2D图形引擎是2D绘图的绘图引擎。

开放图形库(Open Graphics Library，OpenGL)提供有多个图像渲染函数，可用来绘制从简单的图形到复杂的三维景象。

内核层是硬件和软件之间的层。内核层至少包含触控面板驱动、LCD/LED屏幕驱动、显示驱动、蓝牙驱动、WIFI驱动、键盘驱动、共用存储器驱动和相机驱动等。

硬件可以是音频设备、蓝牙设备、相机设备、传感器设备等。

示例性的，图5为本申请实施例提供的一种视频处理方法的流程架构图。参照图6所示，该架构包括素材编辑控件、界面控制模块、播放控制模块以及渲染处理模块，该视频处理方法具体可以包括如下步骤：

S501，素材编辑控件接收用户输入的移动操作。

用户可以对视频编辑界面中的素材编辑控件进行触发操作，则电子设备响应于该用户操作，在电子设备的显示屏上显示素材编辑界面。其中，素材编辑界面包括视频预览框，视频预览框内显示有视频画面，素材编辑控件位于视频预览框内。

用户可以在素材编辑控件内输入相应的素材内容。以素材编辑控件是文字编辑控件202为例，当用户在文字编辑控件202内输入相应的文字内容后，电子设备可显示图2中的(b)所示的文字编辑界面。

当用户想要移动素材编辑控件内输入的素材内容在视频预览框内的显示位置时，用户可以对素材编辑控件对应的位置进行触控操作，并将素材编辑控件朝向一定方向进行移动，则使得素材编辑控件接收用户输入的移动操作。其中，移动操作包括旋转操作、缩放操作以及拖拽操作中的至少一者。

S502，素材编辑控件计算移动过程中的位置参数。

素材编辑控件在接收到用户输入的移动操作后，素材编辑控件可实时计算移动过程中的素材编辑控件的位置参数(Location)。

当移动操作为旋转操作时，移动过程中发生变化的位置参数包括旋转角度，而缩放比例和素材编辑控件的中心点的目标坐标位置未发生变化。当移动操作为缩放操作时，移动过程中发生变化的位置参数包括沿第一方向和/或第二方向上的缩放比例，而旋转角度和素材编辑控件的中心点的目标坐标位置未发生变化。当移动操作为拖拽操作时，移动过程中发生变化的位置参数包括沿第一方向和/或第二方向上的目标坐标位置，而旋转角度和缩放比例未发生变化。

其中，目标坐标位置指的是移动过程中素材编辑控件的中心点在视频预览框所在的坐标系中的坐标位置。第一方向可以指的是X方向，即视频预览框的宽度方向，第二方向可以指的是Y方向，即视频预览框的高度方向。

S503，素材编辑控件通过界面控制模块和播放控制模块，向渲染处理模块发送移动指令；移动指令包括位置参数和素材编辑控件内输入的素材内容。

素材编辑控件在计算得到移动过程中的位置参数之后，根据移动过程中的位置参数和素材编辑控件内输入的素材内容生成移动指令，并将该移动指令发送给界面控制模块，界面控制模块再将该移动指令转发给播放控制模块，播放控制模块再将该移动指令转发给渲染处理模块，从而使得渲染处理模块获取到素材编辑控件移动过程中的位置参数，以及素材编辑控件内输入的素材内容。

具体的，素材编辑控件内输入的素材内容包括素材时间信息(timeInfo)、素材属性信息(contentInfo)以及素材模板路径(MaterialPath)等。

素材时间信息(timeInfo)是在渲染时判断是否渲染该素材内容时使用，素材时间信息(timeInfo)包括开始时间(startTime)和持续时长(Duration)。素材属性信息(contentInfo)包括素材的Size(字号)、Font(字体)、Content(内容)以及Color(颜色)等。素材模板路径(MaterialPath)用于在渲染时生成包含素材内容的bitmap(位图)。

此外，该移动指令中还包括素材对象ID和saveStackFlag。素材对象ID可称为subtitleId，其用于标识当前移动操作的对象是哪个素材对象。saveStackFlag表示该移动操作是否记录在“撤销恢复操作栈”中。

需要说明的时，在对素材编辑控件进行移动操作时，素材编辑控件向界面控制模块发送移动指令中的位置参数，可以仅包括发生变化的位置参数，当然，也可以包括未发生变化的位置参数。

S504，渲染处理模块根据位置参数和素材内容，渲染得到MVP矩阵。

渲染处理模块根据移动指令中的素材编辑控件移动过程中的位置参数，以及素材编辑控件内输入的素材内容，进行绘制渲染以得到MVP矩阵。

在一些实施例中，渲染处理模块根据素材内容生成素材图片；渲染处理模块根据位置参数对素材图片进行处理，生成MVP矩阵。

渲染处理模块会根据素材内容包括的素材属性信息(contentInfo)和素材模板路径(MaterialPath)等，生成素材图片。接着，渲染处理模块会根据位置参数(其包括目标坐标位置、旋转角度以及缩放比例等)，对素材图片进行平移、旋转、缩放等移动处理，得到模型、视图和投影(model viewprojection matrix，MVP)矩阵。

MVP矩阵分别是模型(Model)、观察(View)、投影(Projection)三个矩阵。在OpenGL中对三围空间的物体进行平移、旋转、缩放需要借助于矩阵的操作。模型矩阵用来从模型坐标系变换到世界坐标系中。观察变换就是从世界坐标系下变换到观察坐标系下，就是在世界坐标系下设置个观察点(相机位置以及相机方向)，然后把世界坐标系下的坐标变换到相机空间。透视矩阵负责在2D屏幕上显示3D图形效果。把眼睛看到的view平面化到屏幕上。

在一种可能的实现方式中，渲染处理模块包括第一绘制管线，第一绘制管线也可称为DrawZOrderPipeline管线。渲染处理模块在接收到移动指令后，是渲染处理模块中的第一绘制管线根据素材内容生成素材图片，并根据位置参数对素材图片进行处理生成MVP矩阵的。

S505，渲染处理模块从缓存中调用已渲染的视频画面。

在实际使用过程中，在视频预览框内的素材编辑控件接收用户输入的移动操作之前，视频预览框中已经显示有已渲染的视频画面和素材内容。

因此，当用户在素材编辑界面的视频预览框中的素材编辑控件输入素材内容，且此时的素材编辑控件还未接收到用户输入的移动操作时，播放控制模块会向渲染处理模块发送待渲染数据，待渲染数据也可称为draw Video(model)数据，其包括视频画面对应的视频内容以及素材编辑控件输入的素材内容。

在一些实施例中，视频画面对应的视频内容包括：视频画面信息(Video)、特效信息(Effect)、滤镜信息(Filter)。其中，视频画面信息包括timeRange(时间)、Volume(数据量)、Width(宽度)、Height(高度)、surfaceTextureId(视频内容解码纹理)、Speed(速度)以及视频对应的zOrder顺序标识；特效信息包括特效模板路径(materialPath)、特效时间信息(timeRange)以及特效对应的zOrder顺序标识；滤镜信息包括滤镜模板路径(materialPath)、滤镜时间信息(timeRange)、滤镜强度(Strength)以及滤镜对应的zOrder顺序标识等。

素材编辑控件输入的素材内容，除了包括上述的素材时间信息(timeInfo)、素材属性信息(contentInfo)外，还包括素材对应的zOrder顺序标识。

此外，播放控制模块在发送待渲染数据给渲染处理模块时，其还会发送叠层标识zOrder。

若在素材编辑控件内输入相应的素材内容之后，且还未对素材编辑控件进行移动操作时，播放控制模块发送给渲染处理模块的叠层标识zOrder等于0；而若已经对素材编辑控件进行移动操作的情况下，播放控制模块发送给渲染处理模块的叠层标识zOrder不等于0。因此，渲染处理模块可通过读取叠层标识zOrder的数值，确定具体的执行过程。

如图6所示，渲染处理模块包括多个渲染管线，如渲染处理模块包括图层列表管线、第一绘制管线和第二绘制管线。图层列表管线也可称为layerList管线，第一绘制管线也可称为DrawZOrderPipeline管线，第二绘制管线也可称为DrawPipeline管线。

其中，在layerList管线中预先设置有各种图层的图层叠加顺序。例如，layerList管线中预先设置的图层叠加顺序，从最顶层的图层到最底层的图层，其分别为VideoLayer(视频层)、FilterLayer(滤镜层)、EffectLayer(特效层)、SubtitleLayer(文字层)以及StickerLayer(贴纸层)等。

当渲染处理模块确定叠层标识zOrder等于0时，将上述的待渲染数据传输至layerList管线，layerList管线根据待渲染数据中的各个对象的zOrder顺序标识，调整其预先设置的各个图层的图层叠加顺序。

例如，调整后的图层叠加顺序从最顶层到最底层，其分别为VideoLayer(视频层)、FilterLayer(滤镜层)、SubtitleLayer(文字层)、EffectLayer(特效层)以及StickerLayer(贴纸层)等。

layerList管线在根据各个对象的zOrder顺序标识，调整预先设置的各种图层的图层叠加顺序之后，将上述的待渲染数据发送给DrawPipeline管线，DrawPipeline管线对视频画面对应的视频内容进行渲染，得到已渲染的视频画面，并将已渲染的视频画面存入缓存中。另外，DrawPipeline管线还会对素材编辑控件输入的素材内容进行渲染处理。

然后，DrawPipeline管线会调用layerList管线中调整后的图层叠加顺序，对渲染处理后的视频画面和素材内容进行叠加得到叠加图层。最后，DrawPipeline管线将包括叠加图层的渲染指令发送给应用程序框架层，应用程序框架层从图形处理库中获取渲染指令所需的API，以便使用该API对应的功能指示CPU或GPU，将叠加图层以及素材编辑界面中除视频预览框外的其他view进行绘制渲染等，从而最终在显示屏显示出素材编辑界面，且该素材编辑界面的视频预览框内显示有视频画面和素材内容。

综上，播放控制模块将视频预览框内的视频画面对应的视频内容，以及素材编辑控件内输入的素材内容发送至渲染处理模块，视频内容包括第一叠层标识，素材内容包括第二叠层标识；图层列表管线根据第一叠层标识和第二叠层标识，调整预先设置的图层叠加顺序。

以视频内容仅包括视频画面信息为例，第一叠层标识可以为视频画面信息中的zOrder顺序标识，第二叠层标识可以为素材内容中的zOrder顺序标识。以视频内容包括视频画面信息和特效信息为例，第一叠层标识可以包括视频画面信息中的zOrder顺序标识和特效信息中的zOrder顺序标识。以视频内容包括视频画面信息、特效信息和滤镜信息为例，第一叠层标识可以包括视频画面信息中的zOrder顺序标识、特效信息中的zOrder顺序标识以及滤镜信息中的zOrder顺序标识。

上述在未对素材编辑控件进行移动操作时，DrawPipeline管线已经将已渲染的视频画面存入缓存。因此，渲染处理模块在接收到播放控制模块发送的移动指令后，渲染处理模块会直接从缓存中调用已渲染的视频画面，而无需再次对视频画面对应的视频内容进行渲染。

S506，渲染处理模块将MVP矩阵和已渲染的视频画面进行叠加，得到视频预览框对应的预览视图。

渲染处理模块在渲染得到MVP矩阵，以及从缓存中调用已渲染的视频画面之后，渲染处理模块将MVP矩阵和已渲染的视频画面进行叠加，得到视频预览框对应的预览视图。

在一些实施例中，渲染处理模块是根据图层叠加顺序，将MVP矩阵和已渲染的视频画面进行叠加，得到视频预览框对应的预览视图的。

由于播放控制模块发送给渲染处理模块的叠层标识zOrder不等于0，因此，渲染处理模块可直接将素材内容传输给图6所示的第一绘制管线(DrawZOrderPipeline管线)。

具体的，第一绘制管线(DrawZOrderPipeline管线)调用图层列表管线(layerList管线)中已经调整过的图层叠加顺序；第一绘制管线根据图层叠加顺序，将MVP矩阵和已渲染的视频画面进行叠加，得到视频预览框对应的预览视图。

最后，渲染处理模将包括视频预览框对应的预览视图的渲染指令发送给应用程序框架层，应用程序框架层从图形处理库中获取渲染指令所需的API，以便使用该API对应的功能指示CPU或GPU，将预览视图和素材编辑界面中除视频预览框外的其他view进行绘制渲染等。

综上，在移动素材编辑控件的过程中，可以仅渲染素材编辑控件内输入的素材内容，针对视频预览框内的视频内容(如视频画面信息、特效信息、滤镜信息等)不再进行渲染，而是直接调用缓存中已渲染过的视频画面，降低了在视频预览框内实时渲染视频画面对应的视频内容带来的资源占用，从而降低了电子设备的功耗，且使得在视频预览框内实时显示素材内容时更加流畅。

如图7所示，以素材编辑控件是文字编辑控件202为例。文字编辑控件202接收用户输入的旋转操作之后，按照上述执行过程可实时改变文字编辑控件202内输入的文字内容的旋转角度。可以看出，图7所示的文字编辑控件202内输入的文字内容，相对于图2中的(b)所示的文字编辑控件202内输入的文字内容，其旋转角度发生变化。

如图8所示，以素材编辑控件是文字编辑控件202为例。文字编辑控件202接收用户输入的拖拽操作之后，按照上述执行过程可实时改变文字编辑控件202内输入的文字内容的显示位置。可以看出，图8所示的文字编辑控件202内输入的文字内容，相对于图2中的(b)所示的文字编辑控件202内输入的文字内容，其在视频预览框内的坐标位置发生变化。

如图9所示，以素材编辑控件是文字编辑控件202为例。文字编辑控件202接收用户输入的缩小操作之后，按照上述执行过程可实时改变文字编辑控件202内输入的文字内容的缩小比例。可以看出，图9所示的文字编辑控件202内输入的文字内容，相对于图2中的(b)所示的文字编辑控件202内输入的文字内容，其宽度和高度都缩小了。

示例性的，图10为本申请实施例提供的一种视频处理方法的流程图，该视频处理方法具体可以包括如下步骤：

S1001，素材编辑控件响应于用户输入的触控操作。

S1002，素材编辑控件确定触控操作是否为移动操作。

素材编辑控件可先确定触控操作是否为旋转操作、缩放操作以及拖拽操作等移动操作。当确定初始触控位置位于素材编辑控件内部，且原始输入事件的触摸坐标实时变化时，确定该触控操作为拖拽操作；当确定初始触控位置位于素材编辑控件中的旋转缩放控件内部，且原始输入事件的触摸坐标朝向第一预设方向移动时，确定该触控操作为旋转操作；当确定初始触控位置位于素材编辑控件中的旋转缩放控件内部，且原始输入事件的触摸坐标朝向第二预设方向移动时，确定该触控操作为缩放操作。

S1003，当触控操作为移动操作时，素材编辑控件检测移动操作的移动距离是否满足预设条件。

S1004，当移动距离满足预设条件时，素材编辑控件通过界面控制模块向播放控制模块发送移动指令。

为了防止用户误触控，当素材编辑控件确定针对其输入的触控操作为移动操作时，需要检测移动操作对应的移动距离是否大于预设距离。当移动距离大于预设距离时，确定移动距离满足条件，其说明用户是需要对素材编辑控件内的素材内容进行移动，则素材编辑控件会发送移动指令，该移动指令用于移动素材编辑控件内的素材内容的显示位置；而当移动距离小于或等于预设距离时，确定移动距离不满足条件，其可能是用户误触控针对素材编辑控件的移动，则忽略本次触控操作，不执行本申请实施例中的发送移动指令的步骤。

S1005，播放控制模块根据移动指令中的素材类型，唤醒对应的数据监听对象。

S1006，播放控制模块通过数据监听对象向渲染处理模块发送移动指令。

S1007，渲染处理模块根据移动指令中的位置参数和素材内容，以及视频画面进行渲染处理，得到视频预览框对应的预览视图。

素材编辑控件通过界面控制模块向播放控制模块发送移动指令还包括素材类型，素材类型可通过素材对象ID来表示。播放控制模块在接收到该移动指令之后，根据移动指令中的素材类型唤醒对应的vistior(抽象访问者，或称为数据监听对象)，基于被唤醒的vistior将移动指令发送给渲染处理模块。

而除素材类型对应的vistior外的其他vistior不唤醒，以降低因唤醒所有vistior带来的耗时增加，从而在移动素材编辑控件时，使得素材编辑控件内输入的素材内容实时地改变显示位置时会更加流畅，提高用户的体验效果。

vistior声明了一个或者多个访问操作，形成所有的具体元素角色必须实现的接口。其可以位于播放控制模块内。

例如，当移动操作对应的素材编辑控件为文字编辑控件时，则播放控制模块从移动指令中获取到文字对象ID，则确定其对应的数据类型为文字，则播放控制模块仅唤醒文字对应的vistior，除文字以外的其他数据类型(如贴纸、图片等)的vistior不唤醒。

综上，以素材编辑控件为文字编辑控件202为例，上述场景针对的是向文字编辑控件202内先输入文字内容“你好”，再进行移动；本申请实施例也可以是先移动文字编辑控件202，再向文字编辑控件202内输入文字内容“你好”，此时，在移动文字编辑控件202的过程中，文字编辑控件202内的文字内容默认为“请输入文字”。

本申请实施例中的素材编辑控件可以是文字编辑控件，用户可以在文字编辑控件内输入文字内容，并在文字编辑控件的移动过程中，实时地在文件编辑控件内显示相应的文字内容。本申请实施例中的素材编辑控件也可以为贴纸编辑控件，用户可以在贴纸编辑控件输入相应的贴纸内容，并在贴纸编辑控件的移动过程中，实时地在贴纸编辑控件内显示相应的贴纸内容。本申请实施例中的素材编辑控件也可以为图片编辑控件，用户可以在图片编辑控件输入相应的图片，并在图片编辑控件的移动过程中，实时地在图片编辑控件内显示输入的图片。从而丰富了视频中添加的素材内容的显示效果。

图11为本申请实施例提供的一种电子设备的结构示意图。图11所示的电子设备100包括：存储器1101、处理器110和通信接口1102，其中，存储器1101、处理器110、通信接口1102可以通信；示例性的，存储器1101、处理器110和通信接口1102可以通过通信总线通信。

存储器1101可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器1101可以存储计算机程序，由处理器110来控制执行，并由通信接口1102来执行通信，从而实现本申请上述实施例提供的视频处理方法。

芯片中的通信接口1102可以为输入/输出接口、管脚或电路等。

本实施例的电子设备100对应地可用于执行上述方法实施例中执行的步骤，其实现原理和技术效果类似，此处不再赘述。

本申请实施例还提供了一种计算机可读存储介质。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质，还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何目标介质。

一种可能的实现方式中，计算机可读介质可以包括RAM，ROM，只读光盘(compactdisc read-only memory，CD-ROM)或其它光盘存储器，磁盘存储器或其它磁存储设备，或目标于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码，并且可由计算机访问。而且，任何连接被适当地称为计算机可读介质。例如，如果使用同轴电缆，光纤电缆，双绞线，数字用户线(digital subscriber line，DSL)或无线技术(如红外，无线电和微波)从网站，服务器或其它远程源传输软件，则同轴电缆，光纤电缆，双绞线，DSL或诸如红外，无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘，激光盘，光盘，数字通用光盘(digital versatile disc，DVD)，软盘和蓝光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

以上的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。