一种视频处理方法、装置、设备、存储介质及产品
文献发布时间:2024-04-18 19:58:30
技术领域
本申请涉及计算机技术领域,具体涉及一种视频处理方法、装置、设备、存储介质及产品。
背景技术
随着科技研究的进步,视频的制作已经变得越来越便捷。在视频制作过程中,通常需要将视频拆分为一个或多个分镜,为了方便视频制作者快速确定需要编辑的分镜,在视频制作期间,视频制作应用会显示各个分镜的封面图像。实践发现,各个分镜的封面图像通常是在视频编辑过程中,按照预设频率进行更新,实时性较差。
发明内容
本发明实施例提供了一种视频处理方法、装置、设备及计算机可读存储介质,能够实时对视频中被编辑的目标元素所属分镜的封面进行更新。
一方面,本申请实施例提供了一种视频处理方法,包括:
接收第一应用发送的目标元素的时间信息;目标元素是视频的目标图像帧中正在被编辑的元素;视频包含至少一个分镜,每个分镜对应一个呈现时段;
对目标图像帧进行渲染,得到渲染图像;
基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜;
向第一应用返回渲染图像和目标分镜的标识,以使第一应用基于目标分镜的标识,在目标分镜下呈现渲染图像。
本申请实施例中,接收第一应用发送的目标元素的时间信息,对目标图像帧进行渲染,得到渲染图像,基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜,向第一应用返回渲染图像和目标分镜的标识,以使第一应用基于目标分镜的标识,在目标分镜下呈现渲染图像。可见,一方面在目标图像帧中目标元素被编辑时,对目标图像帧进行渲染得到渲染图像;另一方面,通过目标元素的时间信息与与各个分镜的呈现时段的时序关系,确定所需进行更新的分镜封面;进而实现实时对被编辑的目标元素所属分镜的封面进行更新。
一方面,本申请实施例提供了一种视频处理方法,包括:
当检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息,视频包含至少一个分镜,每个分镜对应一个呈现时段;
向第二应用发送时间信息,使第二应用对目标图像帧进行渲染得到渲染图像,并使第二应用基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜;
接收第二应用返回的渲染图像和目标分镜的标识;
根据目标分镜的标识,在目标分镜下呈现渲染图像。
本申请实施例中,当检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息,向第二应用发送时间信息,使第二应用对目标图像帧进行渲染得到渲染图像,并使第二应用基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜,接收第二应用返回的渲染图像和目标分镜的标识,根据目标分镜的标识,在目标分镜下呈现渲染图像。可见,每当视频中的目标元素被编辑时,向第二应用提供目标元素被编辑的时间信息,以使第二应用基于时间信息确定该渲染图像对应的目标分镜,基于第二应用返回的渲染图像和目标分镜标识,实现实时对被编辑的目标元素所属分镜的封面进行更新。
一方面,本申请实施例提供了一种视频处理装置,该视频处理装置包括:
接收单元,用于接收第一应用发送的目标元素的时间信息;目标元素是视频的目标图像帧中正在被编辑的元素;视频包含至少一个分镜,每个分镜对应一个呈现时段;
处理单元,用于对目标图像帧进行渲染,得到渲染图像;
以及用于基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜;
以及用于向第一应用返回渲染图像和目标分镜的标识,以使第一应用基于目标分镜的标识,在目标分镜下呈现渲染图像。
在一种实施方式中,若目标元素的编辑过程中需要使用新增资源,则接收单元还用于:
接收第一应用发送的新增资源;
处理单元用于,对目标图像帧进行渲染,得到渲染图像,具体用于:
根据新增资源,对目标图像帧进行渲染,得到渲染图像。
在一种实施方式中,处理单元用于,基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜,具体用于:
获取视频中各个分镜的呈现时段,各个分镜的呈现时段互不重叠;
确定时间信息所关联的目标呈现时段,并将目标呈现时段对应的分镜确定为渲染图像所属的目标分镜。
在一种实施方式中,处理单元用于,获取视频中各个分镜的呈现时段,具体用于:
获取每个分镜在视频中的初始呈现时间,以及持续时间;
根据每个分镜的初始呈现时间和持续时间,确定该分镜的呈现时段。
在一种实施方式中,处理单元用于,对目标图像帧进行渲染,得到渲染图像,具体用于:
获取目标图像帧中各个元素的显示规则,每个元素的显示规则用于指示该元素在渲染过程中的显示状态;
若目标图像帧中存在显示状态为隐藏的隐式元素,则在对目标图像帧进行渲染的过程中,对隐式元素进行隐藏处理,得到渲染图像。
在一种实施方式中,处理单元用于,若目标图像帧中存在显示状态为隐藏的隐式元素,则在对目标图像帧进行渲染的过程中,对隐式元素进行隐藏处理,得到渲染图像,具体用于:
显示目标图像帧;
对目标图像帧进行渲染,得到待处理图像帧,若待处理图像帧中存在显示状态为隐藏的隐式元素,则对隐式元素进行隐藏处理,得到并呈现渲染图像;或者,
若目标图像帧中存在显示状态为隐藏的隐式元素,则对隐式元素进行隐藏处理,得到中间图像帧,对中间图像帧进行渲染,得到并呈现渲染图像。
在一种实施方式中,处理单元还用于:
响应于隐式元素的显示状态满足切换条件,将隐式元素的显示状态切换为呈现;
在渲染图像中显示隐式元素。
在一种实施方式中,处理单元用于,对目标图像帧进行渲染,得到渲染图像,具体用于:
获取目标图像帧;
对目标图像帧进行渲染,得到待编辑图像;
对待编辑图像预处理,得到渲染图像;
其中,预处理的方法包括以下至少一项:缩放处理、裁剪处理。
在一种实施方式中,处理单元还用于:
若渲染图像的格式与预设格式不同,则对渲染图像进行格式转换处理,得到转换后的渲染图像;
基于预设路径,将渲染图像存储至预设文件夹中,预设文件夹中的数据不会被操作系统回收。
在一种实施方式中,接收单元用于,获取目标图像帧,具体用于:
获取第一应用发送的目标图像帧;或者,
根据时间信息从视频中确定目标图像帧。
在一种实施方式中,处理单元还用于:
将时间信息存储在消息管理类中;
其中,消息管理类属于第二应用,消息管理类在第二应用存续期间存续,第二应用在存续期间能够在任一时刻从消息管理类中获取时间信息。
一方面,本申请实施例提供了一种视频处理装置,该视频处理装置包括:
收发单元,用于当检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息,视频包含至少一个分镜,每个分镜对应一个呈现时段;
以及用于向第二应用发送时间信息,使第二应用对目标图像帧进行渲染得到渲染图像,并使第二应用基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜;
以及用于接收第二应用返回的渲染图像和目标分镜的标识;
处理单元,用于根据目标分镜的标识,在目标分镜下呈现渲染图像。
在一种实施方式中,若目标元素的编辑过程中需要使用新增资源,则收发单元还用于:
向第二应用发送新增资源,使第二应用基于新增资源对目标图像帧进行渲染得到渲染图像。
在一种实施方式中,处理单元还用于:
当检测到满足消息同步条件时,向第二应用发送至少一个分镜的分镜信息,每个分镜的分镜信息包括该分镜的初始呈现时间,以及持续时间;
满足消息同步条件包括以下任一项:当前时间与预设消息同步时间一致、获取到第二应用发送的分镜信息获取请求、至少一个分镜被编辑完成。
在一种实施方式中,处理单元还用于:
通过收发单元接收第二应用返回的更新图像和目标分镜的标识,更新图像是第二应用对渲染图像进行渲染得到的,目标分镜的标识是第二应用基于渲染图像中的正在被编辑的元素的时间信息与各个分镜的呈现时段的时序关系确定的;
将渲染图像替换为更新图像。
相应地,本申请提供了一种计算机设备,该计算机设备包括:
处理器,用于加载并执行计算机程序;
存储器,该存储器中存储有计算机程序,该计算机程序被处理器执行时,实现上述视频处理方法。
相应地,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行上述视频处理方法。
相应地,本申请提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述视频处理方法。
本申请实施例中,每当视频中的目标元素被编辑时,第一应用向第二应用提供目标元素的时间信息,第二应用对目标图像帧进行渲染得到渲染图像,并通过目标元素的时间信息与各个分镜的呈现时段的时序关系,确定需要进行封面更新的目标分镜,第一应用基于第二应用返回的渲染图像和目标分镜标识,将目标分镜的封面更新为渲染图像,进而实现实时对被编辑的目标元素所属分镜的封面进行更新。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种视频处理系统的架构图;
图2为本申请实施例提供的一种视频处理方法的流程图;
图3为本申请实施例提供的另一种视频处理方法的流程图;
图4为本申请实施例提供的一种渲染过程示意图;
图5为本申请实施例提供的再一种视频处理方法的流程图;
图6为本申请实施例提供的又一种视频处理方法的流程图;
图7a为本申请实施例提供的一种应用界面图;
图7b为本申请实施例提供的一种视频处理流程示意图;
图8为本申请实施例提供的一种视频处理装置的结构示意图;
图9为本申请实施例提供的另一种视频处理装置的结构示意图;
图10为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1为本申请实施例提供的一种视频处理系统的架构图。如图1所示,该视频处理系统可以包括:第一应用101和第二应用102。本申请实施例提供的一种视频处理方法可由第一应用101执行,另一种视频处理方法可由第二应用102执行。第一应用101中可以搭载有界面开发工具包,第二应用102中可以搭载有跨平台引擎。在实际应用中,第一应用101和第二应用102可以同时搭载于同一设备中,例如,第一应用101和第二应用102可以同时搭载于终端设备,或者服务器中;第一应用101和第二应用102也可以分别搭载于不同设备中,例如,第一应用101可以搭载于终端设备中,第二应用102可以搭载于服务器中;或者,第一应用101可以搭载于服务器中,第二应用102可以搭载于终端设备中。其中,终端设备包括但不限于:智能手机(如Android手机、IOS手机等)、平板电脑、便携式个人计算机、智能家电、车载终端等智能设备,本申请实施例对此不做限定。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,本申请实施例对此不做限定。
需要说明的是,当第一应用101和第二应用102分别搭载于不同设备中时,设备之间可以通过有线通信或者无线通信方式进行直接或间接地连接,本申请在此不做限制。设备之间的对应关系可以是一对一,一对多,或者多对多。
视频处理方案的大致原理如下:
(1)当第一应用101检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息。
目标元素可以是已存在于目标图像帧中的元素,也可以是需要添加至目标图像帧中的元素,目标元素可以是背景、角色人物、角色表情、角色动作等,本申请不作限制。编辑可以包括:添加、修改、删除,修改具体可以是:缩放、位移、翻转等。目标元素的时间信息可以包括以下至少一个:目标元素在视频中被编辑的时间、目标元素在视频中被呈现的起始时间。例如,设对象在视频的播放时间为1分15秒时对物品A(即目标元素)进行了位移,物品A的在视频中被呈现的起始时间为1分02秒,则物品A的时间信息可以包括以下至少一个:物品A的在视频中被编辑的时间1分15秒、物品A在视频中被呈现的起始时间1分02秒。
此外,视频包含至少一个分镜,每个分镜对应视频中的一个呈现时段;其中,分镜是指视频中一个画面的排布,通常将连续图像帧以一次运镜为单位作分解。例如,视频包含3个分镜,第一个分镜的呈现时段为0分0秒至1分15秒,第二个分镜的呈现时段为1分16秒至3分20秒,第三个分镜的呈现时段为3分21秒至5分18秒。
(2)第一应用101向第二应用102发送目标元素时间信息;在一种实施方式中,若目标元素的编辑过程中需要使用新增资源,则第一应用101还会向第二应用102发送新增资源,新增资源可以是第一应用101从资源数据库中获取的,也可以是第一应用从网络中下载的,还可以是对象上传的。第一应用101向第二应用102发送新增资源的方式包括:第一应用101直接向第二应用102发送新增资源,或者第一应用101向第二应用102发送获取新增资源的路径(如存放新增资源的文件夹、下载新增资源的网址等)。
(3)第二应用102接收第一应用101发送的时间信息。在一种实施方式中,第二应用102可以将目标元素的时间信息存储在消息管理类中,该消息管理类在第二应用102存续期间一直存在,不会被销毁,以便于第二应用102可以随时从消息管理类中读取目标元素的时间信息。
在接收到第一应用101发送的时间信息后,一方面,第二应用102根据编辑操作,对目标图像帧进行渲染,得到渲染图像;例如,若目标元素为角色人物,编辑操作为缩放操作,则对目标图像帧进行渲染可以理解为:根据缩放操作对目标图像帧中的角色人物进行缩放处理,得到渲染图像。在一个实施例中,若目标元素的编辑过程中需要使用新增资源,则第二应用102还会接收第一应用101发送新增资源,第二应用基于新增资源,对目标图像帧进行渲染,得到渲染图像;例如,新增资源为新增背景(目标元素),则基于新增资源,对目标图像帧进行渲染,得到渲染图像可以理解为:将新增背景渲染至目标图像帧中,得到渲染图像。
另一方面,第二应用102基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜;其中,各个分镜的呈现时段是第二应用102根据从第一应用101同步的各个分镜的分镜信息确定的,每个分镜的分镜信息包括该分镜的初始呈现时间,以及持续时间。举例来说,假设目标元素为人物A,时间信息包括人物A在视频中被呈现的起始时间1分20秒,视频包含3个分镜,第一个分镜的呈现时段为0分0秒至1分15秒,第二个分镜的呈现时段为1分16秒至3分20秒,第三个分镜的呈现时段为3分21秒至5分18秒;由于人物A在视频中被呈现的起始时间1分20秒属于第二个分镜的呈现时段,因此第二应用102将第二个分镜确定为渲染图像所属的目标分镜。
(4)第二应用102向第一应用101返回渲染图像和目标分镜的标识。第二应用102向第一应用101返回渲染图像的方式包括:第二应用102直接向第一应用101返回渲染图像;或者,第二应用102向第一应用101返回获取渲染图像的路径。
(5)第一应用101接收第二应用102返回的渲染图像和目标分镜的标识,基于目标分镜的标识确定渲染图像所属的目标分镜,并将渲染图像作为目标分镜的封面进行呈现。
本申请实施例中,每当视频中的目标元素被编辑时,第一应用向第二应用提供目标元素的时间信息,第二应用对目标图像帧进行渲染得到渲染图像,并通过目标元素的时间信息与各个分镜的呈现时段的时序关系,确定需要进行封面更新的目标分镜,第一应用基于第二应用返回的渲染图像和目标分镜标识,将目标分镜的封面更新为渲染图像,进而实现实时对被编辑的目标元素所属分镜的封面进行更新。
基于上述视频处理方案,本申请实施例提出更为详细的视频处理方法,下面将结合附图对本申请实施例提出的视频处理方法进行详细介绍。
请参阅图2,图2为本申请实施例提供的一种视频处理方法的流程图,该视频处理方法可以由计算机设备执行,该计算机设备可以是终端设备或服务器。该计算机设备中搭载了图1中所示的第二应用102。如图2所示,该视频处理方法可包括如下步骤S201-S204:
S201、接收第一应用发送的目标元素的时间信息。
目标元素是视频的目标图像帧中正在被编辑的元素。具体来说,目标元素可以是已存在于目标图像帧中的元素,也可以是需要添加至目标图像帧中的元素,目标元素可以是背景、角色人物、角色表情、角色动作等,本申请不作限制。编辑可以包括:添加、修改、删除,修改具体可以是:缩放、位移、翻转等。目标元素的时间信息可以包括以下至少一个:目标元素在视频中被编辑的时间、目标元素在视频中被呈现的起始时间。例如,设对象在视频的播放时间为1分15秒时对物品A(即目标元素)进行了位移,物品A的在视频中被呈现的起始时间为1分02秒,则物品A的时间信息可以包括以下至少一个:物品A的在视频中被编辑的时间1分15秒、物品A在视频中被呈现的起始时间1分02秒。
此外,视频包含至少一个分镜,每个分镜对应视频中的一个呈现时段;其中,分镜是指视频中一个画面的排布,通常将连续图像帧以一次运镜为单位作分解。例如,视频包含3个分镜,第一个分镜的呈现时段为0分0秒至1分15秒,第二个分镜的呈现时段为1分16秒至3分20秒,第三个分镜的呈现时段为3分21秒至5分18秒。
在一种实施方式中,若目标元素的编辑过程中需要使用新增资源,则计算机设备还会接收第一应用发送的新增资源,新增资源用于对目标图像帧进行渲染。举例来说,目标元素的编辑过程中需要使用新增资源可以是:需要在目标图像帧中添加新的背景、角色等,也可以是需要将目标图像帧中的原始元素替换为新的元素等。
S202、对目标图像帧进行渲染,得到渲染图像。
计算机设备基于编辑操作对目标图像帧进行渲染,得到渲染图像。编辑操作可以包括:添加、修改、删除,修改具体可以是:缩放、位移、翻转等;例如,若对目标元素的编辑为移动目标元素,则对目标图像帧进行渲染,得到渲染图像是指:将目标元素移动至编辑操作所指示的位置,得到渲染图像。
在一种实施方式中,若目标元素的编辑过程中需要使用新增资源,则计算机设备基于获取的新增资源对目标图像帧进行渲染,得到渲染图像。例如,若对目标元素的编辑为在目标图像帧中新增人物角色A,则对目标图像帧进行渲染,得到渲染图像是指:将获取的人物角色A的资源(即新增资源)渲染至目标图像帧中,得到渲染图像。
S203、基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜。
分镜的呈现时段是指该分镜在视频中进行呈现的时间段;例如,分镜1的呈现时段为1分15秒至3分23秒,表示在视频的1分15秒至3分23秒呈现的是分镜1中的内容。
在一种实施方式中,计算机设备获取视频中各个分镜的呈现时段,各个分镜的呈现时段互不重叠。在得到视频中各个分镜的呈现时段后,计算机设备确定目标元素的时间信息所关联的目标呈现时段,并将该目标呈现时段对应的分镜确定为渲染图像所属的目标分镜;例如,假设目标元素的时间信息包括该目标元素在视频中被编辑的时间1分58秒,且视频包含3个分镜,第一个分镜的呈现时段为0分0秒至1分15秒,第二个分镜的呈现时段为1分16秒至3分20秒,第三个分镜的呈现时段为3分21秒至5分18秒;则目标元素的时间信息所关联的目标呈现时段为1分16秒至3分20秒,基于此计算机设备将第二个分镜确定为渲染图像所属的目标分镜。
S204、向第一应用返回渲染图像和目标分镜的标识。
目标分镜的标识用于指示渲染图像所属的分镜。第一应用在接收到渲染图像和目标分镜的标识后,可以基于目标分镜的标识,在目标分镜下呈现渲染图像;例如,将渲染图像作为目标分镜的封面进行呈现。
在一种实施方式中,计算机设备可以直接向第一应用返回渲染图像和目标分镜的标识。在另一种实施方式中,计算机设备可以向第一应用返回渲染图像的路径和目标分镜的标识,以使第一应用可以基于渲染图像的路径获取渲染图像。
本申请实施例中,接收第一应用发送的目标元素的时间信息,对目标图像帧进行渲染,得到渲染图像,基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜,向第一应用返回渲染图像和目标分镜的标识,以使第一应用基于目标分镜的标识,在目标分镜下呈现渲染图像。可见,一方面在目标图像帧中目标元素被编辑时,对目标图像帧进行渲染得到渲染图像;另一方面,通过目标元素的时间信息与与各个分镜的呈现时段的时序关系,确定所需进行更新的分镜封面;进而实现实时对被编辑的目标元素所属分镜的封面进行更新。
请参阅图3,图3为本申请实施例提供的另一种视频处理方法的流程图,该视频处理方法可以由计算机设备执行,该计算机设备可以是终端设备或服务器。该计算机设备中搭载了图1中所示的第二应用102。如图3所示,该视频处理方法可包括如下步骤S301-S307:
S301、接收第一应用发送的目标元素的时间信息。
步骤S301的具体实施方式可参考图2中步骤S201的实施方式,在此不再赘述。
S302、将时间信息存储在消息管理类中。
消息管理类属于第二应用,消息管理类在第二应用存续期间存续。存续可以理解为不被操作系统清理或者终止;消息管理类在第二应用存续期间存续可以理解为:若第二应用未被终止,则消息管理类不会被操作系统清理。基于此,第二应用在存续期间可以在任一时刻从消息管理类中获取目标元素的时间信息。
在一种实施方式中,消息管理类有且只有一个实例,该实例在第二应用存续期间不会被销毁;其中,实例可以理解为数据库引擎,计算机设备可以基于该实例来随时获取目标元素的时间信息。
S303、对目标图像帧进行渲染,得到渲染图像。
计算机设备获取目标图像帧;具体地,目标图像帧可以是由第一应用直接向计算机设备提供的;或者,目标元素的时间信息包括目标元素在视频中被编辑的时间,计算机设备可以基于目标元素在视频中被编辑的时间,从视频中确定目标图像帧。
在一种实施方式中,在获取到目标图像帧后,计算机设备可以获取目标图像帧中各个元素的显示规则,每个元素的显示规则用于指示该元素在渲染过程中的显示状态。在一种实施方式中,各个元素的显示规则可以通过该元素的属性进行指示;例如,通过active属性来指示元素的显示规则,当active属性的值为有效值(如true,1等)时,表示该元素在渲染过程中会被呈现;当active属性的值为有效值(如false,0等)时,表示该元素在渲染过程中不会被呈现。
进一步地,若目标图像帧中存在显示状态为隐藏的隐式元素,则计算机设备在对目标图像帧进行渲染的过程中,对隐式元素进行隐藏处理,得到渲染图像;其中,隐式元素可以包括但不限于:元素编辑框、参考线、台词等;具体可以根据实际需求进行设置。
在一种实现方式中,计算机设备显示目标图像帧,对目标图像帧进行渲染,得到待处理图像帧;若待处理图像帧中存在显示状态为隐藏的隐式元素,则对隐式元素进行隐藏处理,得到渲染图像。在另一种实现方式中,计算机设备显示目标图像帧,若目标图像帧中存在显示状态为隐藏的隐式元素,则对这些隐式元素进行隐藏处理,得到中间图像帧,并对中间图像帧进行渲染,得到渲染图像。在得到渲染图像后,计算机设备可以显示渲染图像,以展示渲染效果。可以理解的是,在渲染过程中未被呈现的元素不包含于渲染图像中。
图4为本申请实施例提供的一种渲染过程示意图。如图4所示,目标图像帧401中包括背景、角色编辑框4011、角色4012和台词4013;其中,角色编辑框4011和台词4013为隐式元素。计算机设备对目标图像帧401中的隐式元素进行隐藏处理得到中间图像帧402,中间图像帧402中,保留了角色4012,角色编辑框4011和台词4013被隐藏,并根据新增资源对中间图像帧402进行渲染,得到渲染图像403。
更进一步地,响应于隐式元素的显示状态满足切换条件(如渲染图像被确认、渲染图像渲染完成并保存等),计算机设备将隐式元素的显示状态切换为呈现,并在渲染图像中显示隐式元素;例如,在渲染图像中显示台词、元素编辑框等。
在另一种实施方式中,在获取到目标图像帧后,计算机设备可以对目标图像帧进行渲染,得到待编辑图像,并对待编辑图像预处理,得到渲染图像;其中,预处理的方法包括以下至少一项:缩放处理、裁剪处理。例如,计算机设备在得到待编辑图像后,可以将待编辑图像缩放至预设尺度,得到渲染图像;再例如,计算机设备可以通过封面提取模型对待编辑图像进行封面特征提取处理,得到渲染图像,该渲染图像可以是对待编辑图像进行裁剪后的图像。
可以理解的是,上述两种实施方式可以同时在渲染的过程中执行,也可以只执行其中一种实施方式。
可选的,计算机设备还可以对渲染图像的格式进行检测,若渲染图像的格式与预设格式不同,则计算机设备可以对渲染图像进行格式转换处理,得到格式为预设格式的渲染图像。
S304、基于预设路径,将渲染图像存储至预设文件夹中。
预设文件夹中的数据不会被计算机设备中的操作系统回收,也就是说,渲染图像可以一直存储在计算机设备上,以便于第二应用随时对渲染图像进行提取。
S305、获取视频中各个分镜的呈现时段。
在一种实施方式中,视频中各个分镜的呈现时段可以是计算机设备直接从第一应用获取的。
在另一种实施方式中,视频中各个分镜的呈现时段可以是计算机设备根据获取的各个分镜的分镜信息确定的,各个分镜的分镜信息可以是计算机设备从第一应用中同步得到的;其中,每个分镜的分镜信息包括该分镜的初始呈现时间,以及持续时间。计算机设备基于每个分镜的初始呈现时间和持续时间可以确定该分镜的呈现时段;例如,设分镜3的初始呈现时间为3分20秒,持续时间为2分钟,则分镜3的呈现时段为3分20秒至5分20秒。
S306、确定时间信息所关联的目标呈现时段,并将目标呈现时段对应的分镜确定为渲染图像所属的目标分镜。
目标元素的时间信息可以包括以下至少一个:目标元素在视频中被编辑的时间、目标元素在视频中被呈现的起始时间。目标元素的时间信息所关联的目标呈现时段,是指:目标元素在视频中被编辑的时间,或者目标元素在视频中被呈现的起始时间被包含于目标呈现时段。举例来说,假设目标元素为人物A,时间信息包括人物A在视频中被编辑的时间1分30秒,视频包含3个分镜,第一个分镜的呈现时段为0分0秒至1分15秒,第二个分镜的呈现时段为1分16秒至3分20秒,第三个分镜的呈现时段为3分21秒至5分18秒;由于人物A在视频中被编辑的时间1分30秒被包含于第二个分镜的呈现时段,因此计算机设备将第二个分镜的呈现时段确定为目标元素的时间信息所关联的目标呈现时段。
进一步地,计算机设备在确定目标元素的时间信息所关联的目标呈现时段后,可以将该目标呈现时段对应的分镜确定为渲染图像所属的目标分镜。
在一种实施方式中,每个分镜只存在一个背景,且该背景在视频中的初始呈现时间小于等于该分镜中其他元素在视频中的初始呈现时间;该背景的持续时间大于等于该分镜中其他元素在视频中的持续时间之和。基于此,计算机设备可以通过每个分镜的背景在视频中的初始呈现时间和持续时间,来确定各个分镜的呈现时段。在此实施方式下,无需添加额外的字段来确定各个分镜的呈现时段,能够节省计算资源,提高通信效率。进一步地,计算机设备可以将各个分镜对应的背景的标识作为该分镜的标识。
S307、向第一应用返回渲染图像和目标分镜的标识。
步骤S307的具体实施方式可参考图2中步骤S204的实施方式,在此不再赘述。
本申请实施例在图2实施例的基础上,通过将目标元素的时间信息存储在消息管理类中,可以降低目标元素的时间信息丢失的风险,使得第二应用可以随时从消息管理类中读取目标元素的时间信息。通过在渲染过程中对目标图像帧中包含的隐式元素进行隐藏处理,来使得渲染图像能够更加凸显对象所关注的元素。通过对渲染图像进行预处理,可以使得第一应用更加便捷的在目标分镜下呈现渲染图像。通过将渲染图像存储在预设路径下,可以降低渲染图像丢失的风险,使得第一应用可以随时从预设路径中读取渲染图像,进一步提高了分镜封面更新的实时性和可靠性。
请参阅图5,图5为本申请实施例提供的再一种视频处理方法的流程图,该视频处理方法可以由计算机设备执行,该计算机设备可以是终端设备或服务器。该计算机设备中搭载了图1中所示的第一应用101。如图5所示,该视频处理方法可包括如下步骤S501-S504:
S501、当检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息。
目标元素是视频的目标图像帧中正在被编辑的元素。具体来说,目标元素可以是已存在于目标图像帧中的元素,也可以是需要添加至目标图像帧中的元素,目标元素可以是背景、角色人物、角色表情、角色动作等,本申请不作限制。编辑可以包括:添加、修改、删除,修改具体可以是:缩放、位移、翻转等;例如,当计算机设备检测到对象对目标图像帧中的角色人物(即目标元素)进行位移时,获取角色人物的被位移时在视频中的时间,作为角色人物的时间信息;又例如,当计算机设备检测到对象对目标图像帧进行背景(即目标元素)添加时,获取该背景在视频中的初始呈现时间,作为背景的时间信息。
目标元素的时间信息可以包括以下至少一个:目标元素在视频中被编辑的时间、目标元素在视频中被呈现的起始时间。例如,设对象在视频的播放时间为1分15秒时对物品A(即目标元素)进行了位移,物品A的在视频中被呈现的起始时间为1分02秒,则物品A的时间信息可以包括以下至少一个:物品A的在视频中被编辑的时间1分15秒、物品A在视频中被呈现的起始时间1分02秒。
此外,视频包含至少一个分镜,每个分镜对应视频中的一个呈现时段;其中,分镜是指视频中一个画面的排布,通常将连续图像帧以一次运镜为单位作分解。例如,视频包含3个分镜,第一个分镜的呈现时段为0分0秒至1分15秒,第二个分镜的呈现时段为1分16秒至3分20秒,第三个分镜的呈现时段为3分21秒至5分18秒。
S502、向第二应用发送时间信息。
计算机设备向第二应用发送目标元素的时间信息,使第二应用对目标图像帧进行渲染得到渲染图像,并使第二应用基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜,具体的实施方式可参考上述图2和图3中的实施方式,在此不再赘述。
在一种实施方式中,若目标元素的编辑过程中需要使用新增资源,则计算机设备还会向第二应用发送新增资源,以使第二应用基于新增资源对目标图像帧进行渲染得到渲染图像。
S503、接收第二应用返回的渲染图像和目标分镜的标识。
第二应用返回的可以是渲染图像本身,也可以是渲染图像的获取路径;若第二应用返回的是渲染图像的获取路径,则计算机设备可以基于该获取路径获取渲染图像。在一个实施例中,该获取路径所指示的文件夹中的数据不会被操作系统回收。
可选的,计算机设备还可以根据实际需求对渲染图像进行预处理,得到目标分镜的封面;预处理的方法包括以下至少一项:缩放处理、裁剪处理。例如,计算机设备在得到渲染图像后,可以将渲染图像缩放至预设尺度,得到封面;再例如,计算机设备可以通过封面提取模型对渲染图像进行封面特征提取处理,得到封面图像,该封面图像可以是对渲染图像进行裁剪后的图像。
S504、根据目标分镜的标识,在目标分镜下呈现渲染图像。
计算机设备根据目标分镜的标识,确定渲染图像所对应的目标分镜,并将渲染图像作为目标分镜的封面,在该目标分镜下进行呈现。
本申请实施例中,当检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息,向第二应用发送时间信息,使第二应用对目标图像帧进行渲染得到渲染图像,并使第二应用基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜,接收第二应用返回的渲染图像和目标分镜的标识,根据目标分镜的标识,在目标分镜下呈现渲染图像。可见,每当视频中的目标元素被编辑时,向第二应用提供目标元素被编辑的时间信息,以使第二应用基于时间信息确定该渲染图像对应的目标分镜,基于第二应用返回的渲染图像和目标分镜标识,实现实时对被编辑的目标元素所属分镜的封面进行更新。
请参阅图6,图6为本申请实施例提供的又一种视频处理方法的流程图,该视频处理方法可以由计算机设备执行,该计算机设备可以是终端设备或服务器。该计算机设备中搭载了图1中所示的第一应用101。如图6所示,该视频处理方法可包括如下步骤S601-S607:
S601、当检测到满足消息同步条件时,向第二应用发送至少一个分镜的分镜信息。
每个分镜的分镜信息包括该分镜的初始呈现时间,以及持续时间。满足消息同步条件包括以下任一项:当前时间与预设消息同步时间一致、获取到第二应用发送的分镜信息获取请求、至少一个分镜被编辑完成。
在一种实施方式中,每个分镜只存在一个背景,且该背景在视频中的初始呈现时间小于等于该分镜中其他元素在视频中的初始呈现时间;该背景的持续时间大于等于该分镜中其他元素在视频中的持续时间之和。基于此,计算机设备可以通过每个分镜的背景在视频中的初始呈现时间和持续时间,来确定各个分镜的呈现时段。在此实施方式下,可以将分镜中背景在视频中的初始呈现时间作为该分镜的初始呈现时间,将分镜中背景在视频中的持续时间作为该分镜的持续时间,无需添加额外的字段来确定各个分镜的呈现时段,能够节省计算资源,提高通信效率。进一步地,计算机设备还可以将各个分镜对应的背景的标识作为该分镜的标识。
需要说明的是,步骤S601还可以在步骤S602及步骤S603之后执行,也可以与步骤S602及步骤S603并行执行,本申请对此不作限制。
S602、当检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息。
S603、向第二应用发送目标元素的时间信息。
S604、接收第二应用返回的渲染图像和目标分镜的标识。
S605、根据目标分镜的标识,在目标分镜下呈现渲染图像。
步骤S602-步骤S605的具体实施方式可参考图5中步骤S501-步骤S504中的实施方式,在此不再赘述。
S606、接收第二应用返回的更新图像和目标分镜的标识。
更新图像是第二应用对渲染图像进行渲染得到的,目标分镜的标识是第二应用基于渲染图像中的正在被编辑的元素的时间信息与各个分镜的呈现时段的时序关系确定的。第二应用对渲染图像进行渲染得到更新图像,并基于渲染图像中的正在被编辑的元素的时间信息,得到更新图像和目标分镜的标识的具体实施方式可参考上述图2和图3中的实施例,在此不再赘述。
S607、将渲染图像替换为更新图像。
计算机设备在得到目标分镜的更新图像后,将目标分镜下的渲染图像更新为更新图像;也就是说,将更新图像作为目标分镜的新封面。
在一种具体的实现方式中,第二应用可以内嵌于第一应用中,第一应用包括界面开发工具包,第二应用包括跨平台引擎,界面开发工具包可用于创建跨平台的移动应用,跨平台引擎可用于开发跨平台应用(如游戏)。
图7a为本申请实施例提供的一种应用界面图。如图7a所示,应用界面701可以是第一应用的应用界面,应用界面701包括元素编辑区域7011,视频操作栏7014,分镜操作栏7015和分镜信息展示区域7016。其中,元素编辑区域7011用于对当前视频帧中的元素进行编辑(如缩放、移动、翻转等),元素编辑区域7011中可以包括元素编辑框7012和元素7013,元素编辑框7012用于对元素7013进行编辑(如对元素7013进行缩放处理)。在一种实施方式中,当第一应用检测到元素7013正在被编辑时,可以向内嵌于第一应用中的第二应用发送元素7013的时间信息。视频操作栏7014用于对视频进行操作,视频操作栏7014可以包括:视频的播放时间、播放/停止按钮、操作撤销按钮、操作恢复按钮、全屏按钮;操作撤销按钮用于撤销上一次编辑操作,操作恢复按钮用于恢复上一次撤销的编辑操作。分镜操作栏7015用于对视频包含的一个或多个分镜进行编辑(如增加分镜、删除分镜、管理分镜顺序等),分镜操作栏7015可以包括分镜添加按钮和分镜管理按钮,当分镜管理按钮被触发时,可以显示分镜管理页面。分镜信息展示区域7016用于展示分镜的相关信息,以及在分镜中添加新的元素,应用界面701中可以包括一个或多个分镜信息展示区域。分镜信息展现区域7016包括该分镜的封面展示区域7017,封面展示区域7017用于展示该分镜的封面图像,此外,分镜信息展现区域7016中还可包括分镜标识、分镜中包含的元素(如角色、背景、台词等)的相关信息,以及元素删除按钮和元素添加按钮,元素删除按钮用于删除分镜中的元素,元素添加按钮用于向分镜中添加元素。
图7b为本申请实施例提供的一种视频处理流程示意图。下面以图7b为例对本申请提供的视频处理方法进行进一步说明。结合图7a和图7b:
S7021、当第一应用检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息,并向第二应用提供目标元素的时间信息;例如,对象在目标图像帧中对目标元素进行位移后,第一应用将目标元素在视频中被位移的时间提供给第二应用。
S7022、第二应用对目标图像帧进行渲染,得到渲染图像。当第二应用内嵌于第一应用中时,可以通过上述元素编辑区域7011呈现渲染图像。可以理解的是,渲染图像是第二应用基于编辑操作对目标图像帧进行渲染完成后得到的。
S7023、第二应用基于渲染图像中各个元素的显示状态,对显示状态为隐藏的隐式元素进行隐藏处理。各个元素显示状态可以通过元素的属性信息进行指示。可以理解的是,步骤S7023也可以在步骤S7022之前执行,即第二应用可以先基于目标图像帧中各个元素的显示状态,对显示状态为隐藏的隐式元素进行隐藏处理,再对隐藏处理后目标图像帧进行渲染,得到渲染图像。
S7024、第二应用对隐藏处理后的图像进行缩放处理得到封面图像。在一种实施方式中,第二应用可以读取元素编辑区域7011中的内容得到隐藏处理后的图像,并按照预设尺度对该图像进行缩放处理,得到封面图像;例如,第二应用读取元素编辑区域7011中的内容得到隐藏处理后的图像尺度为1920*1080,第二应用对该图像进行压缩处理,得到封面图像的尺度为432*243。
S7025、第二应用将封面图像存储至预设路径中。在一种实施方式中,预设路径为:Application.persistentDataPath+fileName;例如,在iOS设备上预设路径具体可以是:/var/mobile/Containers/Data/Application/APP/Documents/fileName,又例如,在andriod设备上预设路径具体可以是/storage/emulated/0/Android/data/APP/files/fileName。需要说明的是,该预设路径所指示的文件夹中的内容在计算机设备运行过程中不会被操作系统回收删除,可以一直保留在计算机设备上。
可选的,若封面图像的格式与预设格式不同,则在将封面图像存储至预设路径之前,第二应用还可以对封面图像进行格式转换处理,得到预设格式的封面图像。
S7026、第二应用通过目标元素的时间信息确定封面图像所属目标分镜的标识。在一种实施方式中,每当第一应用检测到视频中的元素被编辑,或者视频中加入了新的元素时,第一应用都会将该元素在视频中被编辑的起始时间(startTime),以及该元素在视频中的持续时间(duration)同步给第二应用,以确保第一应用和第二应用中存储的所有元素的相关信息一致。
进一步地,视频中的任一个元素都属于视频中的一个分镜,且每个分镜只存在一个背景(background),且该背景在视频中的初始呈现时间小于等于该分镜中其他元素在视频中的初始呈现时间;该背景的持续时间大于等于该分镜中其他元素在视频中的持续时间之和。基于此,计算机设备可以通过每个分镜的背景在视频中的初始呈现时间和持续时间,来确定各个分镜的呈现时段。在此实施方式下,无需添加额外的字段来确定各个分镜的呈现时段,能够节省计算资源,提高通信效率。更进一步地,计算机设备可以将各个分镜对应的背景的标识作为该分镜的标识。
第二应用基于目标元素的时间信息与各个分镜的呈现时段的时序关系,可以确定封面图像所属目标分镜,进而确定目标分镜的标识。具体来说,第二应用可以基于目标元素的时间信息与各个分镜的背景的时间信息的关系,确定目标元素对应的背景,进而确定目标元素对应目标分镜,该目标分镜即为封面图像所属的分镜。举例来说,设目标元素A在视频中被编辑的起始时间表示为A.startTime,目标分镜的背景在视频中的初始呈现时间表示为background.startTime,目标分镜的背景在视频中的持续时间表示为background.duration;则A.startTime≥background.startTime,且A.startTime≤background.startTime+background.duration。
第二应用可以将背景标识(backgroundId)作为目标分镜的标识,并向第一应用返回封面图像及目标分镜的标识;例如,第二应用可以向第一应用返回封面图像的存储路径,以及背景标识(backgroundId)。
S7027、第一应用在获取封面图像以及目标分镜的标识后,在目标分镜下展示封面图像;例如,假设目标分镜为图7a中所示的分镜1,则在封面展示区域7017展示封面图像。
S7028、在得到封面图像后,可以在渲染图像中重新显示被隐藏的隐式元素。可以理解的是,步骤S7028也可以在步骤S7025-步骤S7027中的任一个步骤之前执行,或者与步骤S7025-步骤S7027中的任一个步骤并行执行。
本申请实施例在图5实施例的基础上,通过向第二应用发送分镜的分镜信息,使得第一应用可以基于目标元素的时间信息与分镜信息的时序关系确定渲染图像所属的目标分镜,以减小渲染图像与分镜对应错误的风险。通过接收第二应用返回的更新图像对目标分镜的封面图像进行更新,实现实时对被编辑的目标元素所属分镜的封面进行更新。
上述详细阐述了本申请实施例的方法,为了便于更好地实施本申请实施例的上述方案,相应地,下面提供了本申请实施例的装置。
请参见图8,图8为本申请实施例提供的一种视频处理装置的结构示意图,图8所示的视频处理装置可以用于执行上述图2和图3所描述的方法实施例中的部分或全部功能。请参见图8,该视频处理装置包括:
接收单元801,用于接收第一应用发送的目标元素的时间信息;目标元素是视频的目标图像帧中正在被编辑的元素;视频包含至少一个分镜,每个分镜对应一个呈现时段;
处理单元802,用于对目标图像帧进行渲染,得到渲染图像;
以及用于基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜;
以及用于向第一应用返回渲染图像和目标分镜的标识,以使第一应用基于目标分镜的标识,在目标分镜下呈现渲染图像。
在一种实施方式中,若目标元素的编辑过程中需要使用新增资源,则接收单元801还用于:
接收第一应用发送的新增资源;
处理单元802用于,对目标图像帧进行渲染,得到渲染图像,具体用于:
根据新增资源,对目标图像帧进行渲染,得到渲染图像。
在一种实施方式中,处理单元802用于,基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜,具体用于:
获取视频中各个分镜的呈现时段,各个分镜的呈现时段互不重叠;
确定时间信息所关联的目标呈现时段,并将目标呈现时段对应的分镜确定为渲染图像所属的目标分镜。
在一种实施方式中,处理单元802用于,获取视频中各个分镜的呈现时段,具体用于:
获取每个分镜在视频中的初始呈现时间,以及持续时间;
根据每个分镜的初始呈现时间和持续时间,确定该分镜的呈现时段。
在一种实施方式中,处理单元802用于,对目标图像帧进行渲染,得到渲染图像,具体用于:
获取目标图像帧中各个元素的显示规则,每个元素的显示规则用于指示该元素在渲染过程中的显示状态;
若目标图像帧中存在显示状态为隐藏的隐式元素,则在对目标图像帧进行渲染的过程中,对隐式元素进行隐藏处理,得到渲染图像。
在一种实施方式中,处理单元802用于,若目标图像帧中存在显示状态为隐藏的隐式元素,则在对目标图像帧进行渲染的过程中,对隐式元素进行隐藏处理,得到渲染图像,具体用于:
显示目标图像帧;
对目标图像帧进行渲染,得到待处理图像帧,若待处理图像帧中存在显示状态为隐藏的隐式元素,则对隐式元素进行隐藏处理,得到并呈现渲染图像;或者,
若目标图像帧中存在显示状态为隐藏的隐式元素,则对隐式元素进行隐藏处理,得到中间图像帧,对中间图像帧进行渲染,得到并呈现渲染图像。
在一种实施方式中,处理单元802还用于:
响应于隐式元素的显示状态满足切换条件,将隐式元素的显示状态切换为呈现;
在渲染图像中显示隐式元素。
在一种实施方式中,处理单元802用于,对目标图像帧进行渲染,得到渲染图像,具体用于:
获取目标图像帧;
对目标图像帧进行渲染,得到待编辑图像;
对待编辑图像预处理,得到渲染图像;
其中,预处理的方法包括以下至少一项:缩放处理、裁剪处理。
在一种实施方式中,处理单元802还用于:
若渲染图像的格式与预设格式不同,则对渲染图像进行格式转换处理,得到转换后的渲染图像;
基于预设路径,将渲染图像存储至预设文件夹中,预设文件夹中的数据不会被操作系统回收。
在一种实施方式中,接收单元801用于,获取目标图像帧,具体用于:
获取第一应用发送的目标图像帧;或者,
根据时间信息从视频中确定目标图像帧。
在一种实施方式中,处理单元802还用于:
将时间信息存储在消息管理类中;
其中,消息管理类属于第二应用,消息管理类在第二应用存续期间存续,第二应用在存续期间能够在任一时刻从消息管理类中获取时间信息。
根据本申请的一个实施例,图2和图3所示的视频处理方法所涉及的部分步骤可由图8所示的视频处理装置中的各个单元来执行。例如,图2中所示的步骤S201可由图8所示的接收单元801执行,步骤S202-步骤S204可由图8所示的处理单元802执行;图3中所示的步骤S301和步骤S305可由图8所示的接收单元801执行,步骤S302-步骤S304,步骤S306和步骤S307可由图8所示的处理单元802执行。图8所示的视频处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,视频处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机设备的通用计算装置上运行能够执行如图2和图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8中所示的视频处理装置,以及来实现本申请实施例的视频处理方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算装置中,并在其中运行。
基于同一发明构思,本申请实施例中提供的视频处理装置解决问题的原理与有益效果与本申请方法实施例中视频处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
请参见图9,图9为本申请实施例提供的另一种视频处理装置的结构示意图,图9所示的视频处理装置可以用于执行上述图5和图6所描述的方法实施例中的部分或全部功能。请参见图9,该视频处理装置包括:
收发单元901,用于当检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息,视频包含至少一个分镜,每个分镜对应一个呈现时段;以及用于向第二应用发送时间信息,使第二应用对目标图像帧进行渲染得到渲染图像,并使第二应用基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜;以及用于接收第二应用返回的渲染图像和目标分镜的标识;
处理单元902,用于根据目标分镜的标识,在目标分镜下呈现渲染图像。
在一种实施方式中,若目标元素的编辑过程中需要使用新增资源,则收发单元901还用于:
向第二应用发送新增资源,使第二应用基于新增资源对目标图像帧进行渲染得到渲染图像。
在一种实施方式中,处理单元902还用于:
当检测到满足消息同步条件时,向第二应用发送至少一个分镜的分镜信息,每个分镜的分镜信息包括该分镜的初始呈现时间,以及持续时间;
满足消息同步条件包括以下任一项:当前时间与预设消息同步时间一致、获取到第二应用发送的分镜信息获取请求、至少一个分镜被编辑完成。
在一种实施方式中,处理单元902还用于:
通过收发单元901接收第二应用返回的更新图像和目标分镜的标识,更新图像是第二应用对渲染图像进行渲染得到的,目标分镜的标识是第二应用基于渲染图像中的正在被编辑的元素的时间信息与各个分镜的呈现时段的时序关系确定的;
将渲染图像替换为更新图像。
根据本申请的一个实施例,图5和图6所示的视频处理方法所涉及的部分步骤可由图9所示的视频处理装置中的各个单元来执行。例如,图5中所示的步骤S501-步骤S503可由图9所示的收发单元901执行,步骤S504可由图9所示的处理单元902执行。图6中所示的步骤S601-步骤S604和步骤S606可由图9所示的收发单元901执行,步骤S605和步骤S607可由图9所示的处理单元902执行。图9所示的视频处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其它实施例中,视频处理装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本申请的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机设备的通用计算装置上运行能够执行如图5和图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图9中所示的视频处理装置,以及来实现本申请实施例的视频处理方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算装置中,并在其中运行。
基于同一发明构思,本申请实施例中提供的视频处理装置解决问题的原理与有益效果与本申请方法实施例中视频处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
请参阅图10,图10为本申请实施例提供的一种计算机设备的结构示意图,该计算机设备可以是终端设备或者服务器。如图10所示,计算机设备至少包括处理器1001、通信接口1002和存储器1003。其中,处理器1001、通信接口1002和存储器1003可通过总线或其他方式连接。其中,处理器1001(或称中央处理器(Central Processing Unit,CPU))是计算机设备的计算核心以及控制核心,其可以解析计算机设备内的各类指令以及处理计算机设备的各类数据,例如:CPU可以用于解析对象向计算机设备所发出的开关机指令,并控制计算机设备进行开关机操作;再如:CPU可以在计算机设备内部结构之间传输各类交互数据,等等。通信接口1002可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等),受处理器1001的控制可以用于收发数据;通信接口1002还可以用于计算机设备内部数据的传输以及交互。存储器1003(Memory)是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器1003既可以包括计算机设备的内置存储器,当然也可以包括计算机设备所支持的扩展存储器。存储器1003提供存储空间,该存储空间存储了计算机设备的操作系统,可包括但不限于:Android系统、iOS系统、Windows Phone系统等等,本申请对此并不作限定。
本申请实施例还提供了一种计算机可读存储介质(Memory),计算机可读存储介质是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括计算机设备中的内置存储介质,当然也可以包括计算机设备所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了计算机设备的处理系统。并且,在该存储空间中还存放了适于被处理器1001加载并执行的计算机程序。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的,还可以是至少一个位于远离前述处理器的计算机可读存储介质。
在一个实施例中,计算机设备中搭载了图1所示的第二应用102。处理器1001通过运行存储器1003中的计算机程序,执行如下操作:
通过通信接口1002接收第一应用发送的目标元素的时间信息;目标元素是视频的目标图像帧中正在被编辑的元素;视频包含至少一个分镜,每个分镜对应一个呈现时段;
对目标图像帧进行渲染,得到渲染图像;
基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜;
向第一应用返回渲染图像和目标分镜的标识,以使第一应用基于目标分镜的标识,在目标分镜下呈现渲染图像。
作为一种可选的实施例,若目标元素的编辑过程中需要使用新增资源,则处理器1001通过运行存储器1003中的计算机程序,还执行如下操作:
通过通信接口1002接收第一应用发送的新增资源;
处理器1001对目标图像帧进行渲染,得到渲染图像的具体实施例为:
根据新增资源,对目标图像帧进行渲染,得到渲染图像。
作为一种可选的实施例,处理器1001基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜的具体实施例为:
通过通信接口1002获取视频中各个分镜的呈现时段,各个分镜的呈现时段互不重叠;
确定时间信息所关联的目标呈现时段,并将目标呈现时段对应的分镜确定为渲染图像所属的目标分镜。
作为一种可选的实施例,通过通信接口1002获取视频中各个分镜的呈现时段的具体实施例为:
获取每个分镜在视频中的初始呈现时间,以及持续时间;
根据每个分镜的初始呈现时间和持续时间,确定该分镜的呈现时段。
作为一种可选的实施例,处理器1001对目标图像帧进行渲染,得到渲染图像的具体实施例为:
获取目标图像帧中各个元素的显示规则,每个元素的显示规则用于指示该元素在渲染过程中的显示状态;
若目标图像帧中存在显示状态为隐藏的隐式元素,则在对目标图像帧进行渲染的过程中,对隐式元素进行隐藏处理,得到渲染图像。
作为一种可选的实施例,若目标图像帧中存在显示状态为隐藏的隐式元素,则在对目标图像帧进行渲染的过程中,对隐式元素进行隐藏处理,得到渲染图像,处理器1001在对目标图像帧进行渲染的过程中,对隐式元素进行隐藏处理,得到渲染图像的具体实施例为:
显示目标图像帧;
对目标图像帧进行渲染,得到待处理图像帧,若待处理图像帧中存在显示状态为隐藏的隐式元素,则对隐式元素进行隐藏处理,得到并呈现渲染图像;或者,
若目标图像帧中存在显示状态为隐藏的隐式元素,则对隐式元素进行隐藏处理,得到中间图像帧,对中间图像帧进行渲染,得到并呈现渲染图像。
作为一种可选的实施例,处理器1001通过运行存储器1003中的计算机程序,还执行如下操作:
响应于隐式元素的显示状态满足切换条件,将隐式元素的显示状态切换为呈现;
在渲染图像中显示隐式元素。
作为一种可选的实施例,处理器1001对目标图像帧进行渲染,得到渲染图像的具体实施例为:
获取目标图像帧;
对目标图像帧进行渲染,得到待编辑图像;
对待编辑图像预处理,得到渲染图像;
其中,预处理的方法包括以下至少一项:缩放处理、裁剪处理。
作为一种可选的实施例,处理器1001通过运行存储器1003中的计算机程序,还执行如下操作:
若渲染图像的格式与预设格式不同,则对渲染图像进行格式转换处理,得到转换后的渲染图像;
基于预设路径,将渲染图像存储至预设文件夹中,预设文件夹中的数据不会被操作系统回收。
作为一种可选的实施例,处理器1001获取目标图像帧的具体实施例为:
通过通信接口1002获取第一应用发送的目标图像帧;或者,
根据时间信息从视频中确定目标图像帧。
作为一种可选的实施例,处理器1001通过运行存储器1003中的计算机程序,还执行如下操作:
将时间信息存储在消息管理类中;
其中,消息管理类属于第二应用,消息管理类在第二应用存续期间存续,第二应用在存续期间能够在任一时刻从消息管理类中获取时间信息。
在另一个实施例中,计算机设备中搭载了图1所示的第一应用101。处理器1001通过运行存储器1003中的计算机程序,执行如下操作:
当检测到在视频的目标图像帧中的目标元素被编辑时,获取目标元素的时间信息,视频包含至少一个分镜,每个分镜对应一个呈现时段;
通过通信接口1002向第二应用发送时间信息,使第二应用对目标图像帧进行渲染得到渲染图像,并使第二应用基于时间信息与各个分镜的呈现时段的时序关系,确定渲染图像所属的目标分镜;
通过通信接口1002接收第二应用返回的渲染图像和目标分镜的标识;
根据目标分镜的标识,在目标分镜下呈现渲染图像。
作为一种可选的实施例,若目标元素的编辑过程中需要使用新增资源,则处理器1001通过运行存储器1003中的计算机程序,还执行如下操作:
通过通信接口1002向第二应用发送新增资源,使第二应用基于新增资源对目标图像帧进行渲染得到渲染图像。
作为一种可选的实施例,处理器1001通过运行存储器1003中的计算机程序,还执行如下操作:
当检测到满足消息同步条件时,通过通信接口1002向第二应用发送至少一个分镜的分镜信息,每个分镜的分镜信息包括该分镜的初始呈现时间,以及持续时间;
满足消息同步条件包括以下任一项:当前时间与预设消息同步时间一致、获取到第二应用发送的分镜信息获取请求、至少一个分镜被编辑完成。
作为一种可选的实施例,处理器1001通过运行存储器1003中的计算机程序,还执行如下操作:
通过通信接口1002接收第二应用返回的更新图像和目标分镜的标识,更新图像是第二应用对渲染图像进行渲染得到的,目标分镜的标识是第二应用基于渲染图像中的正在被编辑的元素的时间信息与各个分镜的呈现时段的时序关系确定的;
将渲染图像替换为更新图像。
基于同一发明构思,本申请实施例中提供的计算机设备解决问题的原理与有益效果与本申请方法实施例中视频处理方法解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序适于被处理器加载并执行上述方法实施例的视频处理方法。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序,计算机程序适于被处理器加载并执行上述方法实施例的视频处理方法。
本申请实施例还提供一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述的视频处理方法。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,可读存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
以上所揭露的仅为本申请一种较佳实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于申请所涵盖的范围。
- 基于视频处理方法及装置、视频设备及存储介质
- 视频处理方法、装置、计算机设备和存储介质
- 视频处理方法、装置、电子设备及存储介质
- 视频处理方法、装置、电子设备及存储介质
- 视频处理方法、装置、电子设备及存储介质
- 一种视频处理方法、装置、电子设备、存储介质及产品
- 一种视频编码处理方法、装置、设备、存储介质及产品