视频处理方法及装置
文献发布时间:2023-06-19 09:38:30
技术领域
本申请属于通信领域,具体涉及一种视频处理方法及装置。
背景技术
随着移动通信技术的迅速发展,各种移动电子设备以及非移动电子设备已成为人们生活中各方面不可或缺的工具。电子设备的各种应用程序(Application,APP)的功能也逐渐完善,不再只是单纯地起到通信作用,较多的是为用户提供各种智能化服务,给用户工作、生活带来了极大的便利。
目前,电子游戏已经占据了应用程序中较大的一部分,比如多人在线战术竞技游戏(Multiplayer Online Battle Arena,MOBA)。用户通过在电子设备中安装游戏类应用程序的客户端,通过客户端与应用程序的服务器进行通信,实现多人在线战术竞技。随着电子游戏的兴起,观看游戏视频成了互联网娱乐流量的重要组成部分,比如大量的用户会通过直播或者录播的形式观看游戏视频。
通常情况下,游戏视频中包含了大量被隐藏的信息,比如各个技能、虚拟角色等;对于熟悉这款游戏的用户,可以很容易理解该游戏的视频内容,便于其进行观看。但对相对陌生的用户,理解游戏视频内的内容的难度较大。而游戏视频在制作过程中,难以照顾到不同水平的观众的体验,特别是直播类的游戏视频。
因此,现有技术中,游戏视频中的大量信息容易被隐藏,导致难以满足对该游戏熟悉程度不同的观众的观看需求。
发明内容
本申请实施例的目的是提供一种视频处理方法及装置,能够解决现有技术中,游戏视频中的大量信息容易被隐藏的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种视频处理方法,应用于第一电子设备,所述方法包括:
在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述第一视频帧中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息。
第二方面,本申请实施例提供了一种视频处理方法,应用于第二电子设备,所述方法包括:
在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备。
第三方面,本申请实施例还提供了一种视频处理装置,应用于第二电子设备,所述视频处理装置包括:
播放模块,用于在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述第一视频帧中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
显示模块,用于在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息。
第四方面,本申请实施例还提供了一种视频处理装置,应用于第二电子设备,所述装置包括:
录制模块,用于在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
存储模块,用于将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备。
第五方面,本申请实施例还提供了一种电子设备,该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的程序或指令,所述处理器执行所述程序或指令时实现如上所述的视频处理方法中的步骤。
第六方面,本申请实施例还提供了一种可读存储介质,该可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如上所述的视频处理方法中的步骤。
第七方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面以及第二方面所述的方法。
在本申请实施例中,在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备,使得第一电子设备在在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息,在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息,避免目标信息被隐藏;使得用户可根据目标信息了解第一视频帧中的细节信息,避免因第一视频帧中信息量大而错过关键信息。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本申请实施例提供的视频处理方法的场景示意图;
图2表示本申请实施例提供的视频处理方法的流程图之一;
图3表示本申请实施例提供的视频处理方法的流程图之二;
图4表示本申请实施例提供的第一示例的流程图;
图5表示本申请实施例提供的第一示例的示意图;
图6表示本申请实施例提供的第二示例的流程图;
图7表示本申请实施例提供的第二示例的示意图之一;
图8表示本申请实施例提供的第二示例的示意图之二;
图9表示本申请的实施例提供的视频处理装置的框图之一;
图10表示本申请的实施例提供的视频处理装置的框图之二;
图11表示本申请的实施例提供的电子设备的框图之一;
图12表示本申请的实施例提供的电子设备的框图之二。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。在本申请的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的视频处理方法进行详细地说明。
参见图1,本申请一实施例提供的视频处理方法,应用于第一电子设备和第二电子设备,可选地,第一电子设备和第二电子设备包括各种手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备,以及各种形式的移动台(MobileStation,MS),终端设备(Terminal Device)等等。结合图1,图1中以目标视频为游戏视频为例,第一电子设备作为接收端,第二电子设备作为发送端,第二电子设备录制目标视频发送给第一电子设备(第二电子设备直接发送给第一电子设备或通服务器转发),第一电子设备在接收到目标视频之后可播放目标视频。
结合图2,在第二电子设备的进行视频处理的过程中,主要包括以下步骤:
步骤201,在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
比如在第二电子设备进行预设操作或接收到录屏操作时,录制第二电子设备的屏幕画面;预设操作比如第二电子设备的游戏类APP运行,则第二电子设备自动启动屏幕画面录制。
录制屏幕画面的过程中,获取屏幕画面中的目标对象,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
以录制游戏视频为例,用户操作比如用户对屏幕界面内的图标的选择操作,例如用户选择了游戏界面中的虚拟物品;虚拟角色包括屏幕界面中的虚拟角色,例如第二电子设备的用户对应的虚拟角色,以及与其同时竞技的其他用户的虚拟角色。虚拟操作即不通过操作屏幕界面上的图标进行的操作,例如用户通过键盘中的单个按键或组合键释放技能。虚拟物品即游戏中的虚拟器材、虚拟奖品之类的物品。
以录制其他视频为例,比如用户通过第二电子设备播放视频,用户操作比如用户对屏幕界面内的图标的选择操作,例如用户选择了屏幕界面中的某个图标。虚拟角色包括所播放的视频中虚拟角色;虚拟操作即不通过操作屏幕界面上的图标进行的操作,例如用户通过键盘中的单个按键或组合键触发某个功能。虚拟物品比如红包、虚拟奖品之类的物品。
目标信息为目标对象的参数信息;比如,目标对象包括用户操作时,目标信息包括用户操作对应的图标;目标对象包括虚拟角色时,目标信息包括该虚拟角色的名称、特点以及技能等信息;目标对象包括虚拟操作时,目标信息包括虚拟操作的发出虚拟角色以及接收虚拟角色,虚拟操作的操作后果、操作过程等;目标对象包括虚拟物品时,目标信息包括虚拟物品的名称、特点等。
步骤202,将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备。
获取目标信息之后,将目标信息与所录制的屏幕画面合成目标视频,将目标视频发送至第一电子设备。
其中,第二电子设备录制目标视频时,可采用直播或者录播的形式;对于直播的形式,每次所录制的目标视频的时长较短,比如在5分钟以内,然后将录制完成的视频实时发送给第一电子设备;对于录播的形式,可以在的人电子设备完成录制之后,发送给第一电子设备。
参见图3,第一电子设备对目标视频执行如下视频处理过程:
步骤301,在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述第一视频帧中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种。
目标视频为第二电子设备录制的屏幕画面的视频,比如在第二电子设备进行预设操作或接收到录屏操作时,录制第二电子设备的屏幕画面;预设操作比如第二电子设备的游戏类APP运行,则第二电子设备自动启动屏幕画面录制。
第一电子设备在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息,所述目标信息包括目标对象的参数信息,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
以目标视频为游戏视频为例,用户操作比如用户对屏幕界面内的图标的选择操作,例如用户选择了游戏界面中的虚拟物品;虚拟角色包括屏幕界面中的虚拟角色,例如第二电子设备的用户的虚拟角色,以及与其同时竞技的其他用户的虚拟角色。虚拟操作即不通过操作屏幕界面上的图标进行的操作,例如用户通过键盘中的单个按键或组合键释放技能。虚拟物品即游戏中的虚拟器材、虚拟奖品之类的物品。
以目标视频为其他视频为例,比如用户通过第二电子设备播放视频,用户操作比如用户对屏幕界面内的图标的选择操作,例如用户选择了屏幕界面中的某个图标。虚拟角色包括所播放的视频中虚拟角色;虚拟操作即不通过操作屏幕界面上的图标进行的操作,例如用户通过键盘中的单个按键或组合键触发某个功能。虚拟物品比如红包、虚拟奖品之类的物品。
目标信息为目标对象的参数信息;比如,目标对象包括用户操作时,目标信息包括用户操作对应的图标;目标对象包括虚拟角色时,目标信息包括该虚拟角色的名称、特点以及技能等信息;目标对象包括虚拟操作时,目标信息包括虚拟操作的发出虚拟角色以及接收虚拟角色,虚拟操作的操作后果、操作过程等;目标对象包括虚拟物品时,目标信息包括虚拟物品的名称、特点等。
步骤302,在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息。
结合图1,第二电子设备将所录制的目标视频发送给第一电子设备,第二电子设备的屏幕界面对应目标视频中的第一视频帧,第二电子设备的屏幕界面中,包括图标A、B、C对应的三个用户操作的图标;第二电子设备获取三者的目标信息,并将目标视频发送至第一电子设备。第一电子设备在播放目标视频时,关联显示所述目标对象以及所述目标信息,即在第一电子设备的显示界面中,显示目标对象同时显示目标信息,并且为目标对象以及目标信息添加关联标识,如图1所示,在第一电子设备的显示界面中,目标信息(技能1、技能2、技能3对应的显示控件)分别通过引线关联至图标A、图标B、图标C。
这样,用户在通过第一电子设备观看直播或者录播的游戏视频或其它录屏视频时,可结合目标信息了解视频内容;以游戏视频为例,对于直播或者录播的游戏视频,比如多人组队进行团战时,通常只能听到解说员非常迅速的解说各种技能、各种站位、各玩家走位、血量以及技能命中状态等目标信息。由于信息量过大,用户无法迅速从画面中观察到细节内容,观看体验较差;而本申请实施中,将画面中的内容信息以目标信息的形式与目标对象关联显示,如图1所示,图标A、图标B、图标C分别关联显示对应的目标信息。这样,不影响正常观看前提下,显示目标对象的目标信息,有助于用户了解目标视频的详情,提升观看体验。
以目标视频为其他视频为例,比如第二电子设备用户录制屏幕的视频。在通过第一电子设备观看目标视频时,可结合目标信息了解视频内容;比如目标视频中包括用户对屏幕界面内的图标的选择操作,例如用户选择了屏幕界面中的某个图标,则目标信息中可包括该图标的参数信息,例如该图标的名称、功能等。若目标视频中信息量过大,用户无法迅速从画面中观察到细节内容,观看体验较差;而本申请实施中,将画面中的内容信息以目标信息的形式与目标对象关联显示,在不影响正常观看前提下,显示目标对象的目标信息,有助于用户了解目标视频的详情,提升观看体验。
本申请实施例中,在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备,使得第一电子设备在在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息,在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息,避免目标信息被隐藏;使得用户可根据目标信息了解第一视频帧中的细节信息,避免因第一视频帧中信息量大而错过关键信息。本申请实施例解决了现有技术中,游戏视频中的大量信息容易被隐藏的问题。
在一个可选实施例中,在所述目标对象包括所述屏幕画面中的用户操作的情况下,所述获取所述屏幕画面中的目标信息包括:
接收到用户操作时,确定所述用户操作对应的图标,以及获取所述屏幕画面中的变化内容信息;
将所述变化内容信息以及所述图标确定为所述用户操作的目标信息。
可选地,视频录制APP监控用户的点击操作,判断屏幕画面是否有变化;若有变化,当屏幕画面内有变化时,提取出所点击区域的图标,并识别变化内容信息。
比如,变化内容信息通过弹出提示框显示,可通过光学字符识别(OpticalCharacter Recognition,OCR)识别并复制提示框对应的文字作为变化内容信息。当识别出一组图标和变化内容信息后,可提示用户检查图标和对应的变化内容信息是否匹配;若不匹配,可以由用户对变化内容信息进行手动修正。
将所述变化内容信息以及所述图标确定为所述用户操作的目标信息,建立图标与变化内容信息的映射关系。
在一个可选实施例中,所述获取所述屏幕画面中的目标信息,包括:
获取所述第二电子设备的用户的操作日志;操作日志即用户在视频录制期间内操作的记录;
从所述操作日志中,获取所述屏幕画面中的目标对象的参数信息。
以目标视频为游戏视频为例,操作日志又称“战斗日志”,操作日志记录着游戏视频中所有玩家在具体时间下所释放的技能、使用物品、造成或收到伤害的记录等。
提取操作日志中包含着的虚拟角色、使用的虚拟物品、技能(虚拟操作)、造成的“伤害值”;以及某次击杀的“关键”伤害是来自于哪个“虚拟角色”的“普通攻击”或“技能”“伤害”等;提取上述信息作为目标对象的参数信息。
在一个可选实施例中,在所述目标对象包括所述屏幕画面中的用户操作和/或虚拟物品的情况下,所述获取所述屏幕画面中的目标信息,包括:
检测到所述屏幕画面中的所述目标对象处于恢复状态,获取所述目标对象的标识信息作为目标信息。
若操作日志无法提取,可根据屏幕画面中的所述目标对象的状态确定目标信息,比如某个用户操作对应的图标,或某个虚拟物品处于恢复状态(冷却状态),当前无法使用,则该目标对象刚刚被使用过,将该目标对象的标识信息作为目标信息。
以游戏视频为例,比如当游戏中的技能(用户操作)或虚拟物品进入冷却时,则表示用户释放或使用了对应的技能或虚拟物品,识别出视频中技能进入的冷却时间,若冷却时间与当前时间之间的差值在预设差值范围内,即可认为该技能刚刚被释放或该虚拟物品刚刚被使用,则提取目标对象的标识信息作为目标信息。
在一个可选实施例中,将所述目标信息与所述屏幕画面合成目标视频,包括:
将所述目标信息嵌入至对应的所述屏幕画面的视频帧数据中,得到目标视频;将目标信息与视频帧数据融合在一起,比如将目标信息中的坐标信息与文字,以内嵌的方式,在每一视频帧数据后补充记录。
或
将所录制的视频帧数据以及目标信息数据分别存储为两个数据包,得到所述目标视频,将目标信息,与对应的视频帧数据分离保存,播放时加载、解析。
在一个可选实施例中,在所述目标对象包括所述屏幕画面中的虚拟操作的情况下,所述目标信息包括所述虚拟操作的发送角色信息和角色信息。
虚拟操作比如游戏视频中的技能,角色信息记载对应的虚拟角色的相关参数,例如角色名称、角色对应的技能信息等;目标信息记载技能的发送角色信息(即释放所述技能的角色的角色信息)以及接收角色信息(即所述技能所作用的角色的角色信息)。
作为第一示例,参见图4,以目标视频为游戏视频为例,图4示出了本申请实施例中录播场景的一种实施方式,主要包括以下步骤:
步骤401,启动屏幕录制。
同时打开游戏客户端和屏幕录制APP,识别出当前游戏客户端的版本,遍历游戏客户端内的页面,当出现物品或技能时,触发出对应的说明页面。
录制软件监控用户操作,获取图标与图标说明。
步骤402,接收用户操作,获取屏幕画面中的变化内容信息。
录制软件监控用户的点击操作,当点击时,断屏幕画面是否有变化;若有变化,当屏幕画面内有变化时,提取出所点击区域的图标,并识别变化内容信息。将所述变化内容信息以及所述图标确定为所述用户操作的目标信息,建立图标与变化内容信息的映射关系。
步骤403,目标视频录制完成,上传至服务器。
遍历完所有图标和说明后,在屏幕录制APP可以由用户进行最终确认,确认无误后,第二电子设备将目标视频上传到服务器。
步骤404,上传过程中,选择模板,完成上传。
使用预设的模板匹配的图标和说明(目标信息),识别出视频内有技能/物品图标。
如图5所示,当目标视频被播放时时,在视频页面上,显示各个目标对象的图标,如S1所示;并关联显示提示框,提示用户可查看更多信息,提示框如S2所示。
作为第二示例,参见图6,以目标视频为游戏视频为例,图6示出了本申请实施例中直播场景的一种实施方式,主要包括以下步骤:
步骤601,启动屏幕录制。
同时打开游戏客户端和屏幕录制APP,识别出当前游戏客户端的版本。
步骤602,提取操作日志,确定目标信息。
步骤603,若无法提取战斗日志,则可根据屏幕画面中的所述目标对象的状态确定目标信息。
对于提取不到战斗日志(即操作日志)的情况,当游戏中技能或物品进入冷却时,比如当游戏中的技能(用户操作)或虚拟物品进入冷却时,如图7中S3所示图标,其上显示倒计时,则表示用户释放或使用了对应的技能或虚拟物品,识别出视频中技能进入的冷却时间,若冷却时间与当前时间之间的差值在预设差值范围内,即可认为该技能刚刚被释放或该虚拟物品刚刚被使用,则提取目标对象的标识信息作为目标信息。
此时,如图7所示,后续在显示该目标信息时,只在对应虚拟角色上(虚拟角色A)提示出目标信息(目标信息提示框如S4所示),不涉及关联虚拟角色。
步骤604,将所述目标信息与所述屏幕画面合成目标视频。
例如,目标信息包括屏幕画面中的虚拟角色的坐标位置;由于游戏中的虚拟角色在游戏中的辨识度都是较高的,不容易对玩家造成混淆,因此可以在视频中标定出当前游戏中的不同的虚拟角色,根据“战斗记录”中或“技能冷却识别”获取到技能释放和击杀情况,每个视频帧上对游戏玩家的坐标进行标定。
目标信息存储方式有两种:
方式一:将目标信息与视频融合在一起。将目标信息中的坐标信息与文字,以内嵌的方式,在每一视频帧数据后补充记录。
方式二:将目标信息,与视频分离保存,播放时加载、解析。
步骤605,增加精彩回放功能。
当前视频录制后用于直播时,根据提取出的技能或物品使用信息、虚拟角色位置坐标,在支持该功能的视频播放端,动态地提示出技能释放的提示,增加精彩回放功能。
可选地,可根据游戏虚拟角色使用“技能”或“物品”的关联性,在画面中辅助性地用不同颜色和线条标识出步骤602中提取出的“核心伤害”的来源与去向,添加辅助线,用户可选择开启与关闭。
比如,如图8所示,战斗日志中若有记录了“玩家A对玩家B释放了技能m”,则对应画面中,玩家A与B之间会生成对应的技能提示,技能m的目标信息提示框如S4所示,技能m的发送虚拟角色和接收虚拟角色之间通过箭头S5示意。
此外,若短时间内,发生使用大量技能或物品,且发生“击杀”情况时,则将这段时间作为精彩瞬间,并记录该段时间的开始时间与结束时间。
游戏视频或画面上提供精彩回放的功能,用户可手动进入,或是正常播放完后,进入一次精彩回放。精彩回放时,会将视频降低播放速率,以慢动作播放,同时补充技能和物品的使用提示信息,让观看者可以很轻松的了解到复杂游戏环境下,短时间内具体发生的事情。
步骤606,直播过程中控制播放速率。
当直播环境下,由于观看精彩回放,导致当前正在进行的画面未被观看到,将这部分漏看的缓存在本地;
在精彩回放看完后,继续播放缓存下来的内容,根据缓存的“战斗日志”中信息的密集度,动态调整播放速率;
当游戏虚拟角色互动较少时,适当加快播放速率,使当前进度尽可能赶上正常直播进度。
步骤607,视频录制完成。
录制的视频处理后,保存到本地,将此视频和目标信息上传到服务器。
后续第一电子设备在观看目标视频过程中,用户可以选择加载目标信息,展示出技能和物品的使用情况,以及击杀情况。
此外,还可根据步骤606中被标定的视频帧的密集度,自动调整播放速率,当视频中玩家较少互动时,加快游戏播放速率,当玩家互动多时,可以恢复正常播放速率,并提供精彩回放功能。
在直播服务中,提供附加提示目标信息的服务;将游戏中转瞬即逝的精彩瞬间,通过目标信息记录,提升了游戏内重要信息的介绍,有利于观看者快速了解游戏中发生的内容。当信息量较少时,可加速播放,将一些机械重复、缺少玩家间互动的信息过滤,提升视频观看效率。
本申请实施例中,在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备,使得第一电子设备在在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息,在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息,避免目标信息被隐藏;使得用户可根据目标信息了解第一视频帧中的细节信息,避免因第一视频帧中信息量大而错过关键信息。
参见图2,本申请实施例还提供了一种视频处理方法,应用于第二电子设备,可选地,所述第二电子设备包括各种手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备,以及各种形式的移动台(Mobile Station,MS),终端设备(Terminal Device)等等。
所述方法包括:
步骤201,在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
比如在第二电子设备进行预设操作或接收到录屏操作时,录制第二电子设备的屏幕画面;预设操作比如第二电子设备的游戏类APP运行,则第二电子设备自动启动屏幕画面录制。
录制屏幕画面的过程中,获取屏幕画面中的目标对象,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
以录制游戏视频为例,用户操作比如用户对屏幕界面内的图标的选择操作,例如用户选择了游戏界面中的虚拟物品;虚拟角色包括屏幕界面中的虚拟角色,例如第二电子设备的用户的虚拟角色,以及与其同时竞技的其他用户的虚拟角色。虚拟操作即不通过操作屏幕界面上的图标进行的操作,例如用户通过键盘中的单个按键或组合键释放技能。虚拟物品即游戏中的虚拟器材、虚拟奖品之类的物品。
以录制其他视频为例,比如用户通过第二电子设备播放视频,用户操作比如用户对屏幕界面内的图标的选择操作,例如用户选择了屏幕界面中的某个图标。虚拟角色包括所播放的视频中虚拟角色;虚拟操作即不通过操作屏幕界面上的图标进行的操作,例如用户通过键盘中的单个按键或组合键触发某个功能。虚拟物品比如红包、虚拟奖品之类的物品。
目标信息为目标对象的参数信息;比如,目标对象包括用户操作时,目标信息包括用户操作对应的图标;目标对象包括虚拟角色时,目标信息包括该虚拟角色的名称、特点以及技能等信息;目标对象包括虚拟操作时,目标信息包括虚拟操作的发出虚拟角色以及接收虚拟角色,虚拟操作的操作后果、操作过程等;目标对象包括虚拟物品时,目标信息包括虚拟物品的名称、特点等。
步骤202,将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备。
获取目标信息之后,将目标信息与所录制的屏幕画面合成目标视频,将目标视频发送至第一电子设备。
其中,第二电子设备录制目标视频时,可采用直播或者录播的形式;对于直播的形式,每次所录制的目标视频的时长较短,比如在5分钟以内,然后将录制完成的视频实时发送给第一电子设备;对于录播的形式,可以在的人电子设备完成录制之后,发送给第一电子设备。
这样,用户在通过第一电子设备观看直播或者录播的游戏视频或其它录屏视频时,可结合目标信息了解视频内容;以游戏视频为例,对于直播或者录播的游戏视频,比如多人组队进行团战时,通常只能听到解说员非常迅速的解说各种技能、各种站位、各玩家走位、血量以及技能命中状态等目标信息。由于信息量过大,用户无法迅速从画面中观察到细节内容,观看体验较差;而本申请实施中,将画面中的内容信息以目标信息的形式与目标对象关联显示,如图1所示,图标A、图标B、图标C分别关联显示对应的目标信息。这样,不影响正常观看前提下,显示目标对象的目标信息,有助于用户了解目标视频的详情,提升观看体验。
在一个可选实施例中,在所述目标对象包括所述屏幕画面中的用户操作的情况下,所述获取所述屏幕画面中的目标信息包括:
接收到用户操作时,确定所述用户操作对应的图标,以及获取所述屏幕画面中的变化内容信息;
将所述变化内容信息以及所述图标确定为所述用户操作的目标信息。
在一个可选实施例中,所述获取所述屏幕画面中的目标信息,包括:
获取所述第二电子设备的用户的操作日志;
从所述操作日志中,获取所述屏幕画面中的目标对象的参数信息。
在一个可选实施例中,在所述目标对象包括所述屏幕画面中的用户操作和/或虚拟物品的情况下,所述获取所述屏幕画面中的目标信息,包括:
检测到所述屏幕画面中的所述目标对象处于恢复状态,获取所述目标对象的标识信息作为目标信息。
在一个可选实施例中,将所述目标信息与所述屏幕画面合成目标视频,包括:
将所述目标信息嵌入至对应的所述屏幕画面的视频帧数据中,得到目标视频;
或
将所录制的视频帧数据以及目标信息数据分别存储为两个数据包,得到所述目标视频。
在一个可选实施例中,在所述目标对象包括所述屏幕画面中的虚拟操作的情况下,所述目标信息包括所述虚拟操作的发送角色信息和角色信息。
本申请实施例中,在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备,使得第一电子设备在在播放第二电子设备录制的目标视频时,在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息,避免目标信息被隐藏;使得用户可根据目标信息了解第一视频帧中的细节信息,避免因第一视频帧中信息量大而错过关键信息。本申请实施例解决了现有技术中,游戏视频中的大量信息容易被隐藏的问题。
参见图3,本申请实施例还提供了一种视频处理方法,应用于第二电子设备,可选地,所述第二电子设备包括各种手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备,以及各种形式的移动台,终端设备等等。
所述方法包括:
步骤301,在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述第一视频帧中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种。
目标视频为第二电子设备录制的屏幕画面的视频,比如在第二电子设备进行预设操作或接收到录屏操作时,录制第二电子设备的屏幕画面;预设操作比如第二电子设备的游戏类APP运行,则第二电子设备自动启动屏幕画面录制。
第一电子设备在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息,所述目标信息包括目标对象的参数信息,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
以目标视频为游戏视频为例,用户操作比如用户对屏幕界面内的图标的选择操作,例如用户选择了游戏界面中的虚拟物品;虚拟角色包括屏幕界面中的虚拟角色,例如第二电子设备的用户的虚拟角色,以及与其同时竞技的其他用户的虚拟角色。虚拟操作即不通过操作屏幕界面上的图标进行的操作,例如用户通过键盘中的单个按键或组合键释放技能。虚拟物品即游戏中的虚拟器材、虚拟奖品之类的物品。
以目标视频为其他视频为例,比如用户通过第二电子设备播放视频,用户操作比如用户对屏幕界面内的图标的选择操作,例如用户选择了屏幕界面中的某个图标。虚拟角色包括所播放的视频中虚拟角色;虚拟操作即不通过操作屏幕界面上的图标进行的操作,例如用户通过键盘中的单个按键或组合键触发某个功能。虚拟物品比如红包、虚拟奖品之类的物品。
目标信息为目标对象的参数信息;比如,目标对象包括用户操作时,目标信息包括用户操作对应的图标;目标对象包括虚拟角色时,目标信息包括该虚拟角色的名称、特点以及技能等信息;目标对象包括虚拟操作时,目标信息包括虚拟操作的发出虚拟角色以及接收虚拟角色,虚拟操作的操作后果、操作过程等;目标对象包括虚拟物品时,目标信息包括虚拟物品的名称、特点等。
步骤302,在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息。
结合图1,第二电子设备将所录制的目标视频发送给第一电子设备,第二电子设备的屏幕界面对应目标视频中的第一视频帧,第二电子设备的屏幕界面中,包括图标A、B、C对应的三个用户操作的图标;第二电子设备获取三者的目标信息,并将目标视频发送至第一电子设备。第一电子设备在播放目标视频时,关联显示所述目标对象以及所述目标信息,即在第一电子设备的显示界面中,显示目标对象同时显示目标信息,并且为目标对象以及目标信息添加关联标识,如图1所示,在第一电子设备的显示界面中,目标信息(技能1、技能2、技能3对应的显示控件)分别通过引线关联至图标A、图标B、图标C。
这样,用户在通过第一电子设备观看直播或者录播的游戏视频或其它录屏视频时,可结合目标信息了解视频内容;以游戏视频为例,对于直播或者录播的游戏视频,比如多人组队进行团战时,通常只能听到解说员非常迅速的解说各种技能、各种站位、各玩家走位、血量以及技能命中状态等目标信息。由于信息量过大,用户无法迅速从画面中观察到细节内容,观看体验较差;而本申请实施中,将画面中的内容信息以目标信息的形式与目标对象关联显示,如图1所示,图标A、图标B、图标C分别关联显示对应的目标信息。这样,不影响正常观看前提下,显示目标对象的目标信息,有助于用户了解目标视频的详情,提升观看体验。
可选地,本申请实施例中,在所述目标对象包括所述第一视频帧中的用户操作的情况下,
所述目标信息包括:所述用户操作对应的图标,以及所述第一视频帧中的基于所述用户操作产生的变化内容信息。
可选地,本申请实施例中,在所述目标对象包括所述第一视频帧中的虚拟操作的情况下,所述目标信息包括所述虚拟操作的发送角色信息和接收角色信息。
本申请实施例中,第一电子设备在在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息,在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息,避免目标信息被隐藏;使得用户可根据目标信息了解第一视频帧中的细节信息,避免因第一视频帧中信息量大而错过关键信息。本申请实施例解决了现有技术中,游戏视频中的大量信息容易被隐藏的问题。
以上介绍了本申请实施例提供的视频处理方法,下面将结合附图介绍本申请实施例提供的视频处理装置。
需要说明的是,本申请实施例提供的视频处理方法,执行主体可以为视频处理装置,或者该视频处理装置中的用于执行视频处理方法的控制模块。本申请实施例中以视频处理装置执行视频处理方法为例,说明本申请实施例提供的视频处理方法。
参见图9,本申请实施例还提供了一种视频处理装置900,应用于第二电子设备,所述装置900包括:
录制模块901,用于在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
存储模块902,用于将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备。
可选地,本申请实施例中,所述录制模块901包括:
确定子模块,用于在所述目标对象包括所述屏幕画面中的用户操作的情况下,接收到用户操作时,确定所述用户操作对应的图标,以及获取所述屏幕画面中的变化内容信息;
第一存储子模块,用于将所述变化内容信息以及所述图标确定为所述用户操作的目标信息。
可选地,本申请实施例中,所述录制模块901包括:
日志获取子模块,英语获取所述第二电子设备的用户的操作日志;
参数获取子模块,用于从所述操作日志中,获取所述屏幕画面中的目标对象的参数信息。
可选地,本申请实施例中,所述录制模块901包括:
标识获取子模块,用于在所述目标对象包括所述屏幕画面中的用户操作和/或虚拟物品的情况下,检测到所述屏幕画面中的所述目标对象处于恢复状态,获取所述目标对象的标识信息作为目标信息。
可选地,本申请实施例中,所述存储模块902包括:
第二存储子模块,用于将所述目标信息嵌入至对应的所述屏幕画面的视频帧数据中,得到目标视频;
或
第三存储子模块,用于将所录制的视频帧数据以及目标信息数据分别存储为两个数据包,得到所述目标视频。
可选地,本申请实施例中,在所述目标对象包括所述屏幕画面中的虚拟操作的情况下,所述目标信息包括所述虚拟操作的发送角色信息和接收角色信息。
本申请实施例中,录制模块901在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;存储模块902将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备,使得第一电子设备在在播放第二电子设备录制的目标视频时,在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息,避免目标信息被隐藏;使得用户可根据目标信息了解第一视频帧中的细节信息,避免因第一视频帧中信息量大而错过关键信息。
参见图10,本申请实施例还提供了一种视频处理装置1000,应用于第一电子设备,所述方法包括:
播放模块1001,用于在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述第一视频帧中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
显示模块1002,用于在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息。
可选地,本申请实施例中,在所述目标对象包括所述第一视频帧中的用户操作的情况下,
所述目标信息包括:所述用户操作对应的图标,以及所述第一视频帧中的基于所述用户操作产生的变化内容信息。
可选地,本申请实施例中,在所述目标对象包括所述第一视频帧中的虚拟操作的情况下,所述目标信息包括所述虚拟操作的发送角色信息和接收角色信息。
本申请实施例中,播放模块1001在在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息,显示模块1002在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息,避免目标信息被隐藏;使得用户可根据目标信息了解第一视频帧中的细节信息,避免因第一视频帧中信息量大而错过关键信息。
本申请实施例中的视频处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的视频处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的视频处理装置能够实现图1至图8的方法实施例中视频处理装置实现的各个过程,为避免重复,这里不再赘述。
可选的,如图11所示,本申请实施例还提供一种电子设备1100,包括处理器1101,存储器1102,存储在存储器1102上并可在所述处理器1101上运行的程序或指令,该程序或指令被处理器1101执行时实现上述视频处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图12为实现本申请各个实施例的一种电子设备1200的硬件结构示意图;
该电子设备1200包括但不限于:射频单元1201、网络模块1202、音频输出单元1203、输入单元1204、传感器1205、显示单元1206、用户输入单元1207、接口单元1208、存储器1209、处理器1210、以及电源1211等部件。本领域技术人员可以理解,电子设备1200还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1210逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图12中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,处理器1210,用于在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述第一视频帧中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
显示单元1206,用于在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息。
可选的,所述目标信息包括:所述用户操作对应的图标,以及所述第一视频帧中的基于所述用户操作产生的变化内容信息。
可选的,在所述目标对象包括所述屏幕画面中的虚拟操作的情况下,所述目标信息包括所述虚拟操作的发送角色信息和接收角色信息。
或
处理器1210,用于在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;所述目标信息包括目标对象的参数信息,所述目标对象包括所述屏幕画面中的用户操作、虚拟角色、虚拟操作、虚拟物品中的至少一种;
存储器1209,用于将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备。
可选的,处理器1210,用于接收到用户操作时,确定所述用户操作对应的图标,以及获取所述屏幕画面中的变化内容信息;
将所述变化内容信息以及所述图标确定为所述用户操作的目标信息。
可选的,处理器1210,用于获取所述第二电子设备的用户的操作日志;
从所述操作日志中,获取所述屏幕画面中的目标对象的参数信息。
可选的,处理器1210,用于检测到所述屏幕画面中的所述目标对象处于恢复状态,获取所述目标对象的标识信息作为目标信息。
可选的,处理器1210,用于将所述目标信息嵌入至对应的所述屏幕画面的视频帧数据中,得到目标视频;
或
将所录制的视频帧数据以及目标信息数据分别存储为两个数据包,得到所述目标视频。
可选的,在所述目标对象包括所述屏幕画面中的虚拟操作的情况下,所述目标信息包括所述虚拟操作的发送角色信息和接收角色信息。
本申请的实施例中,在录制屏幕画面的过程中,获取所述屏幕画面中的目标信息;将所述目标信息与所述屏幕画面合成目标视频,将所述目标视频发送至第一电子设备,使得第一电子设备在在播放第二电子设备录制的目标视频时,获取所述目标视频中的第一视频帧的目标信息,在显示所述第一视频帧时,关联显示所述目标对象以及所述目标信息,避免目标信息被隐藏;使得用户可根据目标信息了解第一视频帧中的细节信息,避免因第一视频帧中信息量大而错过关键信息。
应理解的是,本申请实施例中,输入单元1204可以包括图形处理器(GraphicsProcessing Unit,GPU)12041和麦克风12042,图形处理器12041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1206可包括显示面板12061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板12061。用户输入单元1207包括触控面板12071以及其他输入设备12072。触控面板12071,也称为触摸屏。触控面板12071可包括触摸检测装置和触摸控制器两个部分。其他输入设备12072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器1209可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器1210可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1210中。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述视频处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述视频处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、虚拟物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、虚拟物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、虚拟物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
- 视频信号处理器、视频信号记录器、视频信号再现器、视频信号处理器处理方法、视频信号记录器处理方法、视频信号再现器处理方法、记录介质
- 视频处理装置、视频处理装置的IC电路、视频处理方法和视频处理程序