掌桥专利:专业的专利平台
掌桥专利
首页

视频图像处理方法、装置、电子设备及存储介质

文献发布时间:2024-01-17 01:23:59


视频图像处理方法、装置、电子设备及存储介质

技术领域

本公开实施例涉及图像处理技术领域,尤其涉及一种视频图像处理方法、装置、电子设备及存储介质。

背景技术

随着网络技术的发展,越来越多的应用程序进入了用户的生活,尤其是一系列可以拍摄短视频的软件,深受用户的喜爱。

为了提高视频拍摄的趣味性,软件开发商可以研发各种各样的特效道具,然而,目前研发的特效道具数量十分有限,视频内容丰富性有待进一步提升,尤其在展示多幅视图时,现有特效所呈现出来的效果存在一定的局限性。

发明内容

本公开提供一种视频图像处理方法、装置、电子设备及存储介质,以实现多种动画特效叠加并同时播放。

第一方面,本公开实施例提供了一种视频图像处理方法,该方法包括:

响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定所述目标对象的事件信息;

根据所述当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数;

基于所述部位参数和所述事件信息,确定所述目标动画模型的目标特效显示参数;

将所述目标对象的目标面部图像融合至所述目标动画模型中,以及基于所述目标特效显示参数,确定与所述当前待处理图像对应的目标视频帧并播放。

第二方面,本公开实施例还提供了一种视频图像处理装置,该装置包括:

待处理图像获取模块,用于响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定所述目标对象的事件信息;

部位参数确定模块,用于根据所述当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数;

目标特效显示参数确定模块,用于基于所述部位参数和所述事件信息,确定所述目标动画模型的目标特效显示参数;

目标视频帧确定模块,用于将所述目标对象的目标面部图像融合至所述目标动画模型中,以及基于所述目标特效显示参数,确定与所述当前待处理图像对应的目标视频帧并播放。

第三方面,本公开实施例还提供了一种电子设备,所述电子设备包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的视频图像处理方法。

第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例任一所述的视频图像处理方法。

本公开实施例的技术方案,通过对特效触发操作进行响应,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息,然后,根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数,进一步地,基于部位参数和事件信息,确定目标动画模型的目标特效显示参数,最后,将目标对象的目标面部图像融合至目标动画模型中,并基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放,丰富了特效展示的道具,在用户使用与目标动画模型对应的特效道具时,可以在原有特效的基础上进行特效叠加,并且可以将叠加后的多个动画特效同时播放,不仅提升了视频内容的丰富性、趣味性,还进一步提升了动画特效的播放效果。

附图说明

结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。

图1为本公开实施例一所提供的一种视频图像处理方法的流程示意图;

图2为本公开实施例一所提供的目标动画模型的示意图;

图3为本公开实施例二所提供的一种视频图像处理方法的流程示意图;

图4为本公开实施例三所提供的一种视频图像处理方法的流程示意图;

图5为本公开实施例四所提供的一种视频图像处理方法的流程示意图;

图6为本公开实施例四所提供的目标视频帧的展示效果示意图;

图7为本公开实施例五所提供的一种视频图像处理方法的流程示意图;

图8为本公开实施例六所提供的一种视频图像处理方法的流程示意图;

图9为本公开实施例七所提供的一种视频图像处理方法的流程示意图;

图10为本公开实施例八所提供的一种视频图像处理装置的结构示意图;

图11为本公开实施例九所提供的一种电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。

应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。

需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。

在介绍本技术方案之前,可以先对应用场景进行示例性说明。可以将本公开技术方案应用在任意需要特效展示或者特效处理的场景中,如应用在视频拍摄过程中,可以对被拍摄对象进行特效处理,得到展示的目标特效图;也可以是应用在静态图像拍摄过程中,例如,通过终端设备自带摄像机拍摄图像后,将拍摄的图像处理成特效图像进行特效展示的情况。在本实施例中,添加的特效可以是跳跃、做鬼脸以及转圈等。在本实施中,目标对象可以是用户,也可以是拍摄到的各种动物等。

实施例一

图1为本公开实施例一所提供的一种视频图像处理方法流程示意图,本公开实施例适用于在互联网所支持的任意特效展示或者特效处理的场景中,用于多种动画特效叠加并同时播放的情况,该方法可以由视频图像处理装置来执行,该装置可以通过软件和/或硬件的形式实现,可选地,通过电子设备来实现,该电子设备可以是移动终端、PC端或服务器等。

如图1所示,该方法具体包括如下步骤:

S110、响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息。

需要说明的是,上述已对各种可以应用的场景进行简单的说明,在此不再具体阐述。其中,执行本公开实施例提供的视频处理方法的装置,可以集成在支持视频图像处理功能的应用软件中,且该软件可以安装在电子设备中,可选地,电子设备可以是移动终端或者PC端等。应用软件可以是对图像/视频处理的一类软件,其具体的应用软件在此不再一一赘述,只要可以实现图像/视频处理即可。还可以是专门研发的应用程序,来实现添加特效并特效展示的软件中,亦或是集成在相应的页面中,用户可以通过PC端中集成的页面来实现特效添加处理。

其中,当前待处理图像可以理解当前时刻需要进行处理的图像。该图像可以是基于终端设备采集的图像。终端设备可以指相机、智能手机以及平板电脑等具有图像拍摄功能的电子产品。在实际应用中,当用户触发特效触发操作时,终端设备可以是面向用户以实现待处理图像的采集,在当检测到目标对象出现在终端设备的视野区域内时,可以对当前终端设备中的视频帧图像进行采集,作为当前待处理图像;在当检测到目标对象没有出现在终端设备的视野区域内时,当前终端设备中显示的视频帧图像不包括目标对象,则可以不对当前终端设备中的视频帧图像进行采集。相应地,待处理图像中可以包括目标对象。目标对象可以是入镜画面中任何姿态或者位置信息发生变化的对象,例如可以是用户或者动物等。

需要说明的是,在获取当前待处理图像时,可以对拍摄视频对应的视频帧进行处理,如,可以预先设置与拍摄视频对应的目标对象,当检测到视频帧对应的图像中包括该目标对象时,则可以将该视频帧对应的图像作为当前待处理图像,以使后续可以对视频中的每个视频帧的图像进行追踪,并对其进行特效处理。

还需说明的是,同一拍摄场景中目标对象的数量可以一个或者多个,不论是一个还是多个,都可以采用本公开所提供的技术方案来确定特效展示视频图像。

在实际应用中,通常在触发某些特效触发操作的情况下,才会采集包括目标对象的待处理图像,那么,特效触发操作可以包括如下至少一种:触发目标动画模型所对应的特效道具;在检测到的视野区域中包括面部图像。

其中,目标动画模型可以理解为终端设备显示界面上最终展示的特效模型,也可以理解为预先设置的卡通人物模型,其目标动画模型的示意图可以参见图2所示,可选的,目标动画模型也可以为具有版权的动漫人物模型等,或者,还可以为各种宠物模型等,图2仅仅是示意图,并不对其进行限定。可以预先为每个目标动画模型设置基础的动画特效,其基础动画特效的设置可以根据目标动画模型所在动画场景的不同而发生变化,例如,当动画场景为操场时,基础特效可以为跑步,则目标动画模型可以是正在跑步的卡通人物模型。可以预先设置用于触发特效道具的控件,当用户触发该控件时,可以在显示界面上弹出特效道具显示页面,该显示页面中可以显示多个特效道具。用户可以触发目标动画所对应的特效道具,如果触发了目标动画模型所对应的特效道具,则说明出发了特效触发操作。另一种实现方式可以是,终端设备的拍摄装置会有一定的拍摄视野范围,当检测到视野范围内包括目标对象的面部图像,则说明触发了特效触发操作,例如,可以预先设置某用户为目标对象,当检测到视野区域内包括该用户的面部图像时,则可以确定触发了特效触发操作。或者,可以将目标对象的面部图像预先存储至终端设备中,当检测到视野区域内出现若干个面部图像,如果检测到在若干个面部图像中包括预设目标对象的面部图像,则可以确定触发了特效触发操作,以使终端设备可以对目标对象的面部图像进行追踪,并进一步获取目标对象的当前待处理图像。

进一步地,在获取包含目标对象的当前待处理图像后,可以确定目标对象在当前待处理图像中的事件信息。事件信息可以理解为待处理图像中目标对象所做的一些动作信息。例如,当待处理图像中目标对象为某些没有发生位置变化或者没有相对位移的对象时,其对应的事件信息可以包括眨眼睛、张嘴巴以及动眉毛等;或者,当待处理图像中目标对象为具有一定的运动信息,即,目标对象的位置信息是发生变化的,其对应的事件信息可以为挥手等,本公开实施例对此并不作具体限定。

S120、根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数。

其中,目标对象的身体部位信息可以包括头部信息和肢体躯干信息。

一般情况下,若当前待处理图像中包括目标对象时,该目标对象与终端设备摄像装置之间可能会存在一定的旋转角度,为了使目标动画模型与目标对象更加适配,则需要根据当前待处理图像中目标对象身体部位的位置变化,确定目标动画模型中至少一个模型部位的部位参数。至少一个模型部位可以为目标动画模型中所有的模型部位,例如可以是,头部以及肢体躯干的各个关键点等。部位参数可以理解为用于确定模型部位的移动情况的参数信息。示例性地,部位参数可以包括部位旋转角度信息以及相对位置信息等,本公开实施例对模型部位以及部位参数均不作具体限定。

在具体实施中,在获取包括目标对象的当前待处理图像后,根据获取的当前待处理图像中目标对象的身体部位信息,进一步确定终端设备拍摄界面上目标动画模型中各个模型部位的模型参数,以便可以根据模型参数确定各个相应模型部位的移动情况。

S130、基于部位参数和事件信息,确定目标动画模型的目标特效显示参数。

在本实施例中,目标动画模型根据其所在动画场景的不同会有对应的基础动画特效,因此,目标特效显示参数可以理解为动画场景参数以及基于事件信息确定的特效叠加参数。可选地,目标特效显示参数中可以包括目标动画模型中各肢体躯干模型的当前肢体参数、部位参数以及与事件信息相对应的待融合动画特效参数。其中,当前肢体参数可以理解为用于表示当前时刻目标动画模型的肢体移动情况的各项参数。示例性地,当前肢体参数可以包括但不限于肢体移动方向、肢体移动距离、肢体旋转角度以及肢体移动幅度信息等。例如,当目标动画模型所在动画场景为操场时,其基础动画特效为跑步,当目标动画模型基于基础动画特效进行运动时,其腿部模型部位可以处于正在跑步的状态,手部以及胳膊模型部位可以处于前后摆动的状态,当检测到待处理图像中的目标对象的事件信息为挥手时,则说明触发了该事件信息相对应的叠加动画特效,此时,目标动画模型会基于基础动画特效以及叠加动画特效进行运动,其手部模型部位会从正在摆动的状态变成挥手状态,则在当前视频帧中,目标特效显示参数为目标动画模型的模型部位参数以及基于事件信息的叠加特效参数。

需要说明的是,事件信息对应的叠加特效可以是一个,也可以是多个等,不论是一个或者多个,都可以采用本公开的技术方案来确定目标特效显示参数。

在具体实施中,在确定目标对象的事件信息以及目标动画模型中各个模型部位的部位参数后,根据确定的部位参数和事件信息,可以初步确定目标动画模型的叠加特效参数,其中,叠加特效参数可以为目标动画模型的特效动作以及动作幅度等参数信息,进一步地,根据叠加特效参数与目标动画模型的基本特效参数,可以最终确定目标特效显示参数,以使目标动画模型可以根据确定的目标特效显示参数展示相应的目标特效。

S140、将目标对象的目标面部图像融合至目标动画模型中,以及基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放。

在本实施例中,在获取包括目标对象的当前待处理图像后,进而可以获取目标对象的目标面部图像,并将目标对象的目标面部图像融合至目标动画模型中,以使目标对象与目标动画模型可以实现相互适配。

进一步地,基于确定的目标特效显示参数,可以使目标动画模型执行与目标特效显示参数对应的操作,并将当前基于目标特效显示参数确定的视频帧图像,作为目标视频帧。示例性地,目标视频帧中可以包括目标动画模型的基本特效以及目标对象的事件信息对应的叠加特效等,例如,当目标特效显示参数为上述例子中的各项参数时,其目标视频帧中显示的是目标动画模型的头部模型为目标对象的面部图像,腿部模型为正在跑步的状态,若事件信息为挥手,则目标动画模型的手部可以为正在挥手的状态,若没有相应的事件信息,则目标动画模型的手部可以为正在前后摆动的状态等。

本公开实施例的技术方案,通过对特效触发操作进行响应,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息,然后,根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数,进一步地,基于部位参数和事件信息,确定目标动画模型的目标特效显示参数,最后,将目标对象的目标面部图像融合至目标动画模型中,并基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放,丰富了特效展示的道具,在用户使用与目标动画模型对应的特效道具时,可以在原有特效的基础上进行特效叠加,并且可以将叠加后的多个动画特效同时播放,不仅提升了视频内容的丰富性、趣味性,还进一步提升了动画特效的播放效果。

实施例二

图3为本公开实施例二所提供的一种视频图像处理方法的流程示意图,在前述实施例的基础上,对S110作进一步的细化,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。

如图3所示,该方法具体包括如下步骤:

S210、响应于特效触发操作,获取基于摄像装置采集的包括目标对象的当前待处理图像。

示例性地,摄像装置可以为终端设备的内置摄像头,如前置摄像头或者后置摄像头,也可以为终端设备的外置摄像头,如旋转摄像头等,还可以是其他用于实现图像采集功能的摄像装置,本实施例对此并不作具体限定。

可选地,基于摄像装置采集当前待处理图像,可以通过终端设备中的诸如触摸屏或物理按键之类的输入设备输入摄像装置启动指令,用于控制终端设备的摄像装置处于图像拍摄模式,并对当前待处理图像进行采集;或者,也可以在终端设备中预先设置摄像装置启动控件,当检测到用户触发该控件时,则可以开启其对应的摄像装置,并对当前待处理图像进行采集;或者,还可以通过其他方式启动摄像装置的图像拍摄模式用来实现当前待处理图像的采集功能等,本公开实施例对此并不作具体限定。

在具体实施中,当检测到用户触发特效触发操作时,则可以对相应的特效触发操作进行响应,通过终端设备的摄像装置对包括目标对象的当前待处理图像进行采集,以便可以对获取的当前待处理图像进行后续的操作。

S220、基于预设特征检测算法,确定当前待处理图像中目标对象触发的事件信息。

需要说明的是,事件信息与各预设检测部位的肢体动作信息相匹配,即,当目标对象触发某事件信息时,该事件信息需要目标对象的各部位的相互配合来实现,相应地,该事件信息包括目标对象中各预设检测部位的肢体动作信息,如通过头部、手部、肩膀以及腿部之间的相互配合,触发相应的事件信息。

其中,预设特征检测算法可以理解为预先设置的,用于检测目标对象各个部位的特征信息的算法。预设特征检测算法可以根据目标对象的面部或者肢体关键点的变化情况,以实现目标对象的特征检测。可选地,预设特征检测算法可以包括但不限于预设面部特征检测算法和预设肢体特征检测算法等。

具体地,预先设置的事件信息可以与目标对象的各个部位相匹配,并可以将事件信息对应的部位作为目标对象的预设检测部位,例如,面部五官或者手部、腿部以及肩膀等肢体躯干的各个关键点。基于预设特征检测算法去识别面部各个部位以及肢体躯干各个关键点,确定关键点的变化情况,以便可以根据关键点信息确定当前待处理图像中目标对象触发的事件信息。例如,当检测到目标对象挥动右手时,则可以确定其触发的事件信息为挥手等。

在本实施例中,确定是否触发事件信息可以基于至少两种方式来实现。其具体的实现方式可以参见下述详细阐述:

第一种方式为:基于预设特征检测算法,确定当前待处理图像中所述目标对象触发的事件信息,包括:基于预设特征检测算法,确定目标对象的各预设检测部位的当前关键点坐标信息;针对同一预设检测部位,基于关键点坐标信息和当前待处理图像之前的历史待处理图像中相应预设检测部位的历史关键点坐标信息,确定当前预设检测部位的移动信息;基于各预设检测部位的移动信息,确定目标对象触发的事件信息。

其中,预设检测部位可以参见上述表述。历史待处理图像可以为图像采集时刻处于当前待处理图像之前的图像。可以根据待处理图像的拍摄时间戳,或者播放各视频帧的时间戳,确定当前待处理图像之前的一帧或多帧历史待处理图像。

可以根据相邻两幅待处理图像中预设检测部位的位置信息,确定移动信息。可选的,将预设检测部位手掌中的某点作为参考点,确定该参考点在相邻两幅待处理图像中的位置信息,根据两点间距离公式,确定位置偏移量,将位置偏移量作为移动信息。若移动信息满足预设条件,可选的,预设条件为移动距离,则确定待处理图像中的目标对象触发了事件信息。这样设置的好处在于:可以根据预设特征检测算法,对预设检测部位的移动信息进行检测,以便可以根据预先存储的触发条件,确定目标对象触发的事件信息。

第二种方式为:基于预设特征检测算法,确定所述当前待处理图像中所述目标对象触发的事件信息,包括:基于预设特征检测算法,确定目标对象中各预设检测部位的当前坐标信息;基于各预设检测部位的当前坐标信息和相应的预设坐标范围信息,确定所述目标对象触发的事件信息。

在实际应用中,挥手动作有一定挥手幅度,可以确定挥手时的两个极限位置信息,将极限位置信息之间的区域作为预设区域。相应的,预设区域内的各坐标均为预设坐标范围之内,那么,此时预设触发范围可以是两个极限位置所对应的向量,为预设坐标范围的起始位置和终止位置。

具体地,确定各预设检测部位的当前坐标信息是否位于相应的预设坐标范围信息,可以根据预设检测部位的关键点坐标信息进行确定。例如,可以将手部的5个指尖作为5个关键点,并将5个关键点分别与手掌心的关键点连线,根据手指与掌心之间的连线可以确定目标对象的手部是否位于预设坐标范围内。若各预设检测部位的当前坐标信息均有其相应的预设坐标范围信息,则可以确定目标对象触发的事件信息。这样设置的好处在于:根据预设触发范围确定目标对象是否触发事件信息,可以使触发检测更加灵敏,当检测到目标对象的预设检测部位位于预设触发范围内时,即可触发相应的事件信息。

S230、根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数。

S240、基于部位参数和事件信息,确定目标动画模型的目标特效显示参数。

S250、将目标对象的目标面部图像融合至目标动画模型中,以及基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放。

本公开实施例的技术方案,通过对特效触发操作进行响应,获取基于摄像装置采集的包括目标对象的当前待处理图像,然后,基于预设特征检测算法,确定当前待处理图像中目标对象触发的事件信息,并根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数,进一步地,基于部位参数和事件信息,确定目标动画模型的目标特效显示参数,最后,将目标对象的目标面部图像融合至目标动画模型中,并基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放,通过预设特征检测算法可以对目标对象中各个部位的关键点信息进行检测,并且可以根据关键点变化信息确定相应的事件信息,从而可以根据事件信息确定与之对应的动画特效,并且可以在原有动画特效的基础上对其进行播放,实现了目标对象与目标动画模型的相互适配,提升了用户体验。

实施例三

图4为本公开实施例三所提供的一种视频图像处理方法的流程示意图,在前述实施例的基础上,对S120作进一步的细化,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。

如图4所示,该方法具体包括如下步骤:

S310、响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息。

S320、基于面部图像检测算法,确定目标对象的头部信息所对应的头部属性信息。

其中,面部图像检测算法用于确定用户头部信息的算法。头部属性信息中包括头部偏转角度信息和位置信息。

在本实施例中,确定头部属性信息可以是:确定用户眉心、鼻尖以及唇峰三个点的连线是否与水平面垂直。若垂直,则说明偏转角度为0,反之,可以确定此连线与预设垂线的相对偏转角度,并将其作为头部偏转角度。另一种确定方式可以是:以鼻尖为坐标原点,建立世界坐标系,以鼻尖和眉心所属的垂线作为Z轴。基于拍摄的面部图像和世界坐标系,确定头部偏转角度。如,确定头部中心点的三维坐标信息,利用余弦相似度算法,确定坐标原点和三维坐标信息之间的偏转角度。头部位置可以是确定的三维坐标信息。

头部属性信息还包括头部深度信息。

其中,头部深度信息用于表征面部图像在显示界面中的显示比例。头部深度信息可以是将待处理图像转化为深度图,确定深度图中面部区域所对应的灰度值,并将求出的灰度均值作为头部属性信息。深度信息值越大,说明面部图像在显示界面中的展示尺寸越小,反之,面部图像在显示界面中的展示尺寸越大。

还需要说明的是,面部图像在显示界面中的展示可以是,将面部图像贴纸目标动画模型中的头部区域中,即在未为目标动画模型贴面部图像之前,其目标动画模型的头部为空。

S330、根据头部属性信息,调整目标动画模型中头部模型的部位参数。

目标动画模型中头部模型的部位参数,是根据目标对象的头部属性信息确定。相应地,根据目标对象的头部属性信息,调整目标动画模型中头部模型的部位参数,以使目标对象的面部图像可以准确地显示在目标动画模型中的头部模型中。

其中,头部模型的部位参数可以理解为用于反映目标动画模型中头部移动情况的参数信息。部位参数包括头部模型的偏转参数和移动参数。

在上述技术方案的基础上,为了使目标动画模型中肢体躯干的各个关键点与其在实际情况中相适配,或者,为了使目标动画模型展示更逼真的显示效果,基于此,可以采取的措施是:基于逆向运动学算法对部位参数进行处理,确定目标动画模型中除头部模型中其它各待确定模型部位的部位参数;其中,待确定模型部位与目标动画模型的肢体躯干相匹配。

其中,逆向运动学(Inverse Kinematics,IK)算法可以理解为一种通过子节点驱动父节点运动的动画模型建模方法。此种算法的实现可以是:根据头部模型的模型参数,依次调整与头部模型以下各骨骼关键点的偏转信息,并时模型中的相应关键点按照确定出的偏转信息进行偏转,从而实现头部和脊柱平滑过渡的效果。相应地,可以将头部模型以下各骨骼关键点作为其他各待确定模型部位。待确定模型部位可以依次为颈部、肩膀、手部、胯部以及腿部等。

S340、基于部位参数和事件信息,确定目标动画模型的目标特效显示参数。

确定目标特效显示参数,可以是:根据预先建立的特效映射关系表,确定与事件信息相一致的目标待融合动画特效;基于部位参数和目标待融合动画特效,确定目标特效显示参数。

可以预先建立事件信息与其对应的待融合动画特效之间的对应关系,并根据该对应关系建立相应的特效映射关系表。映射关系表中可以包括事件信息和相应的待融合动画特效。待融合动画特效可以为事件信息对应的叠加动画特效。这样设置的好处在于:当确定目标对象触发的事件信息时,可以根据映射关系表快速确定其对应的待融合动画特效,以便可以最终确定目标特效显示参数。

可选地,可以预先建立不同事件信息与其对应的待融合特效之间的对应关系,例如,当事件信息为挥手时,其对应的待融合特效为目标动画模型中的手部处于挥手状态。

相应地,事件信息中也可以包括在目标对象触发该事件信息时,不同触发参数对应的待融合特效的强度信息,基于此,可以将该事件信息划分为多种类型的事件信息,如事件1、事件2、…、事件N等。继续沿用上例,当事件信息为挥手时,当挥手幅度处于5度范围内时,其对应的待融合特效的强度为第一强度,当挥手幅度处于10度范围内时,其对应的待融合特效的强度为第二强度等。那么,对于相同事件信息,叠加的待融合动画特效的内容是相同的,只不过,动画特效的强度信息是会发生变化的。

在具体实施中,首先可以根据预先建立的特效映射关系表,确定目标对象触发的事件信息所对应的目标待融合动画特效,进一步地,根据目标动画模型的部位参数以及确定的目标待融合动画特效,最终确定目标动画模型中各模型部位所要移动的参数信息以及目标待融合特效所对应的特效参数信息。

S350、将目标对象的目标面部图像融合至目标动画模型中,以及基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放。

本公开实施例的技术方案,通过对特效触发操作进行响应,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息,然后,基于面部图像检测算法,确定当前待处理图像中目标对象的头部属性信息,进而根据头部属性信息,对目标动画模型中头部模型的部位参数进行调整,进一步地,基于部位参数和事件信息,确定目标动画模型的目标特效显示参数,最后,将目标对象的目标面部图像融合至目标动画模型中,并基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放,实现了目标对象与目标动画模型之间的相互适配,从而可以达到更加生动的动画特效播放效果。

实施例四

图5为本公开实施例四所提供的一种视频图像处理方法的流程示意图,在前述实施例的基础上,将目标对象的目标面部图像融合至目标动画模型中的头部模型中,可以采用本实施例公开的技术方案来实现。其中,与上述实施例相同或者相应的技术术语在此不再赘述。

如图5所示,该方法具体包括如下步骤:

S410、响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定所述目标对象的事件信息。

S420、根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数。

S430、基于部位参数和事件信息,确定目标动画模型的目标特效显示参数。

S440、基于面部图像分割模型或面部图像分割算法,对当前待处理图像进行面部分割处理,获取与目标对象相对应的目标面部图像。

其中,面部图像分割模型可以理解为预先训练好的,用于实现面部图像分割的神经网络模型。可选地,面部图像分割模型可以是由卷积神经网络、循环神经网络以及深度神经网络中的至少一个构成,本公开实施例对此并不作具体限定。

在本实施例中,面部图像分割模型可以基于待处理样本图像以及待处理样本图像中面部区域标注图像进行训练得到,其具体训练过程可以是,获取待处理样本图像集,将待处理样本图像集输入至待训练的面部图像分割模型中,得到初始训练结果,基于初始训练结果与待处理样本图像面部标注图像确定损失结果,并生成损失函数,基于损失函数调节待训练面部图像分割模型的模型参数,直至最终满足训练结束条件,得到训练好的面部图像分割模型。

其中,面部图像分割算法可以理解为用于实现面部特征信息提取并将其分割出来的算法。具体地,面部图像分割算法对当前待处理图像中面部图像的分割过程,可以是首先对当前待处理图像做灰度化处理,得到目标灰度图,根据目标灰度图中的灰度值确定目标灰度图中的边缘轮廓,进一步地,根据边缘轮廓确定目标灰度图中面部区域,在确定目标灰度图中的面部区域后,可以将其覆盖于当前待处理图像中,从而可以确定当前待处理图像中的面部区域,并将其分割处理,得到目标面部图像;或者,可以是通过面部图像分割算法可以将当前待处理图像中各种面部特征信息提取出来,如眼睛、额头、鼻子以及嘴巴等能够明显表征面部的特征信息,将提取后的特征信息进行融合处理,得到面部特征融合结果,基于面部特征融合结果将当前待处理图像中的面部图像分割出来,得到目标面部图像。

在具体实施中,可以基于面部图像分割模型或面部图像分割算法,将当前待处理图像中的面部图像分割出来,得到与目标对象对应的目标面部图像,以便可以将目标面部图像与目标动画模型的头部模型进行融合,从而可以实现目标对象与目标动画模型的相互适配。

S450、将目标面部图像融合至目标动画模型中的头部模型中,以及基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放。

在本实施例中,基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放,包括:基于目标特效显示参数调整目标动画模型中的各肢体躯干,得到目标视频帧。

在具体实施中,在获取目标面部图像后,可以将目标面部图像融合至目标动画模型中的头部模型中,以便可以实现目标对象与目标动画模型之间的相互配合,进一步地,基于目标特效显示参数中各肢体躯干的移动参数,对目标动画模型中的各肢体躯干进行调整,以使目标动画模型的各肢体躯干可以随着头部位置的变化而相应发生变化,最终可以得到与当前待处理图像对应的目标视频帧,并对其进行播放,其目标视频帧的显示效果示意图可以参见图6所示:用户的面部图像与目标动画模型的头部模型相互融合,目标动画模型的各肢体躯干做出正在跑步的动作。

本公开实施例的技术方案,通过对特效触发操作进行响应,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息,然后,根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数,基于部位参数和事件信息,确定目标动画模型的目标特效显示参数,基于面部图像分割模型或面部图像分割算法,对当前待处理图像进行面部分割处理,获取与目标对象相对应的目标面部图像,最后,将目标面部图像融合至目标动画模型中的头部模型中,并基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放,实现了目标对象的面部图像与目标动画模型的头部模型相适配的效果。

实施例五

图7为本公开实施例五所提供的一种视频图像处理方法的流程示意图,在前述实施例的基础上,将目标对象的目标面部图像融合至目标动画模型中的头部模型中,还可以采用本实施例公开的技术方案来实现。其中,与上述实施例相同或者相应的技术术语在此不再赘述。

如图7所示,该方法具体包括如下步骤:

S510、响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息。

S520、将包括目标动画模型的待修正场景按照预先设置的头部偏移量进行偏移处理,得到显示包括目标动画模型的目标场景。

其中,待修正场景可以理解为需要被修正的场景。头部偏移量可以理解为目标对象的头部偏移信息。具体地,可以预先设置一个待修正场景可以实现偏移过程的头部偏移量范围,当目标对象的头部偏移量处于预设偏移量范围时,则可以对待修正场景进行相应的偏移处理,如,随着目标对象的头部向上、向下、向左或者向右移动等。

在具体实施中,当检测到目标对象的头部的相对位置发生变化时,可以将包括目标动画模型的需要被修正的场景按照预先设置的头部偏移量进行偏移处理,以使包括目标动画模型的场景可以更好的与目标对象进行适配,最终得到包括目标动画模型的目标场景。

S530、基于面部图像检测算法,确定目标对象的目标面部图像的位移旋转缩放矩阵。

其中,面部图像检测算法可以理解为用于对图像中面部区域进行检测的算法。位移旋转缩放矩阵可以为通过先缩放、在旋转、最后平移这样的顺序组合3种变换得到的变换矩阵,其表达式可以通过下述公式来表示:

其中,M

位移旋转缩放矩阵可以实现变换场景中目标动画模型的相对位置变化。

在具体实施中,可以基于面部图像检测算法对当前待处理图像中目标对象的面部关键点信息进行检测,确定目标对象的目标面部图像,并进一步确定目标面部图像的位移旋转缩放矩阵,以便可以根据该矩阵对目标动画模型进行相应的处理。

S540、基于位移旋转缩放矩阵对目标场景进行处理,以使目标场景中目标动画模型中的头部模型与目标对象的目标面部图像适配。

在具体实施中,根据确定的位移旋转缩放矩阵对目标场景进行处理,以使目标场景中的目标动画模型可以根据目标对象的目标面部图像的变化情况而发生变化,实现两者之间的适配,从而可以达到更加平滑的特效展示效果。其具体的处理可以是基于缩放矩阵整体变大或者变小,亦或是,整体向上或者向下移动,以使目标对象的目标面部图像可以正好放置在目标动画模型中的头部模型中。

S550、根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数。

S560、基于部位参数和事件信息,确定目标动画模型的目标特效显示参数。

S570、将目标对象的目标面部图像融合至目标动画模型中,以及基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放。

本公开实施例的技术方案,通过对特效触发操作进行响应,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息,然后,将包括目标动画模型的待修正场景按照预先设置的头部偏移量进行偏移处理,得到显示包括目标动画模型的目标场景,进一步地,基于面部图像检测算法,确定目标对象的目标面部图像的位移旋转缩放矩阵,并基于位移旋转缩放矩阵对目标场景进行处理,以使目标场景中目标动画模型中的头部模型与目标对象的面部图像适配,之后根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数,进而基于部位参数和事件信息,确定目标动画模型中的目标特效显示参数,最后,将目标对象的目标面部图像融合至目标动画模型中,并基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放,实现了场景、动画模型与目标对象之间的适配,有效提升了动画特效的播放效果。

实施例六

图8为本公开实施例六所提供的一种视频图像处理方法的流程示意图,在前述实施例的基础上,对S140作进一步的细化,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。

如图8所示,该方法具体包括如下步骤:

S610、响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息。

S620、根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数。

S630、基于部位参数和事件信息,确定目标动画模型的目标特效显示参数。

S640、将目标对象的目标面部图像融合至目标动画模型中,以及为目标动画模型融合与目标特效显示参数相对应的目标特效,得到与当前待处理图像相对应的目标视频帧并播放。

其中,目标特效可以理解为显示界面中目标动画模型最终展示的动画特效。可选地,目标特效可以包括与当前肢体参数和部位参数相对应的目标动画模型的肢体躯干显示特效,以及叠加的与待融合动画特效参数相对应的动画特效。动画特效需要与相应的肢体躯干模型相匹配。

其中,待融合动画特效参数可以理解为需要被融合至目标动画模型中的动画特效参数。肢体躯干显示特效可以理解为目标动画模型的肢体躯干所要显示的动画特效。示例性地,肢体躯干特效可以包括但不限于举手、抬腿以及身体扭转等。相应地,与待融合动画特效参数相对应的动画特效可以理解为基于目标对象的事件信息确定的叠加动画特效。

需要说明的是,该动画特效与相应的肢体躯干模型相匹配,即,叠加的动画特效需要与目标动画模型中各肢体躯干模型相互配合,以便可以达到最佳的特效显示效果。

具体地,根据确定的目标特效显示参数,可以确定与其对应的目标特效,并将目标特效与目标动画模型相融合,即可以确定与当前待处理图像相对应的目标视频帧图像,并将其进行播放。这样设置的好处在于:将目标特效融合至目标动画模型,可以使目标动画模型与目标对象之间实现互动,从而可以使目标特效与目标对象相互适配,达到更加生动的特效显示效果。

在上述技术方案的基础上,在检测到与事件信息相对应的融合动画的实际显示时长达到预设显示时长阈值,则将融合动画的融合百分比调整为设定值。

其中,实际显示时长可以理解为从融合动画开始与目标动画模型开始融合直至融合结束的时长,即,融合动画在目标视频帧中的播放时长。预设显示时长阈值可以为预先设置的,用于判断融合动画的显示时长是否符合条件的某一时长范围。示例性地,预设显示时长阈值可以为5秒、10秒或者15秒等。需要说明的是,预设显示时长阈值可以为人工设定的,也可以是视频图像显示系统设定的,还可以是通过其他方式设定的等,不同的融合动画还可以对应不同的预设显示时长阈值,本公开实施例对预设显示时长阈值的设定方式并不作具体限定。融合百分比可以理解为融合动画在目标动画模型中的显示程度。

在具体实施中,当检测到与事件信息相对应的融合动画的实际显示时长达到预设显示时长阈值时,则可以将融合动画的融合百分比调整为设定值,以使融合动画不再继续在目标动画模型中进行显示。例如,可以预先设置与“举右手”对应的融合动画为“跳跃”,并且预先显示时长阈值可以设置为10秒,当检测到目标动画模型的“跳跃”动画显示时长达到10秒时,则可以将“跳跃”动画的融合百分比调整为“0”,以使目标动画模型不在显示“跳跃”动画。这样设置的好处在于:可以在特效融合完成后或者融合特效的显示时长达到预设阈值时,不再继续显示该融合特效,以使目标动画模型可以对其他待融合动画特效进行显示。

本公开实施例的技术方案,通过对特效触发操作进行响应,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息,根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数,进一步地,基于部位参数和事件信息,确定目标动画模型的目标特效显示参数,将目标对象的目标面部图像融合至目标动画模型中,并为目标动画模型融合与目标特效显示参数相对应的目标特效,最终得到与待处理图像相对应的目标视频帧并播放,实现了目标对象与目标动画模型之间的相互适配,从而可以达到更加生动的动画特效播放效果。

实施例七

本实施例为上述各公开实施例的一个优选实施例,图9为本公开实施例七所提供的一种视频图像处理方法的流程示意图,如图9所示,本公开实施例的方法包括如下步骤:

首先,输入实时图像(即,当前待处理图像);其次,获取玩家头部位置信息(即,头部属性信息),旋转目标动画模型头部;然后,一方面,确定玩家触发的事件信息(如玩家挥手),获取与事件信息对应的动画(即,待融合动画特效),之后进行动画融合,叠加与事件信息对应的动画;另一方面,基于逆向运动学算法(Inverse Kinematics,IK)算法对目标动画模型的头部模型部位参数进行处理,计算目标动画模型头部以下的上半身旋转角度和位置(即,各待确定模型部位的部位参数),将玩家面部图像融合至模型中的头部模型中,并修改相应的骨骼的角度和位置(即,目标动画模型的各肢体躯干);最后,为目标动画模型融合叠加之后的目标特效,输出渲染结果(即,目标视频帧)。

本公开实施例的技术方案,通过对特效触发操作进行响应,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息,然后,根据当前待处理图像,确定目标动画模型中至少一个模型部位的部位参数,进一步地,基于部位参数和事件信息,确定目标动画模型的目标特效显示参数,最后,基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放,丰富了特效展示的道具,在用户使用与目标动画模型对应的特效道具时,可以在原有特效的基础上进行特效叠加,并且可以将叠加后的多个动画特效同时播放,不仅提升了视频内容的丰富性、趣味性,还进一步提升了动画特效的播放效果。

实施例八

图10为本公开实施例八所提供的一种视频图像处理装置的结构框图,可执行本公开任意实施例所提供的视频图像处理方法,具备执行方法相应的功能模块和有益效果。如图10所示,该装置具体包括:待处理图像获取模块710、部位参数确定模块720、目标特效显示参数确定模块730和目标视频帧确定模块740。

其中,待处理图像获取模块710,用于响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定所述目标对象的事件信息;部位参数确定模块720,用于根据所述当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数;目标特效显示参数确定模块730,用于基于所述部位参数和所述事件信息,确定所述目标动画模型的目标特效显示参数;目标视频帧确定模块740,用于将所述目标对象的目标面部图像融合至所述目标动画模型中,以及基于所述目标特效显示参数,确定与所述当前待处理图像对应的目标视频帧并播放。

在上述各技术方案的基础上,所述待处理图像获取模块710,包括当前待处理图像获取单元和事件信息确定单元。

当前待处理图像获取单元,用于获取基于摄像装置采集的包括目标对象的当前待处理图像;

事件信息确定单元,用于基于预设特征检测算法,确定所述当前待处理图像中所述目标对象触发的事件信息。

在上述各技术方案的基础上,所述事件信息确定单元,包括关键点坐标信息确定子单元、移动信息确定子单元和事件信息确定第一子单元。

关键点坐标信息确定子单元,用于基于所述预设特征检测算法,确定所述目标对象的各预设检测部位的当前关键点坐标信息;

移动信息确定子单元,用于针对同一预设检测部位,基于所述关键点坐标信息和所述当前待处理图像之前的历史待处理图像中相应预设检测部位的历史关键点坐标信息,确定所述当前预设检测部位的移动信息;

事件信息确定第一子单元,用于基于各预设检测部位的移动信息,确定所述目标对象触发的事件信息。

在上述各技术方案的基础上,所述事件信息确定单元,还包括当前坐标信息确定子单元和事件信息确定第二子单元。

当前坐标信息确定子单元,用于基于所述预设特征检测算法,确定所述目标对象中各预设检测部位的当前坐标信息;

事件信息确定第二子单元,用于基于各预设部位的当前坐标信息和相应的预设坐标范围信息,确定所述目标对象触发的事件信息。

在上述各技术方案的基础上,所述待处理图像获取模块710,包括特效触发操作设置单元。

特效触发操作设置单元,用于触发目标动画模型所对应的特效道具;在检测到的视野区域中包括面部图像。

在上述各技术方案的基础上,所述事件信息与各预设检测部位的肢体动作信息相匹配。

在上述各技术方案的基础上,所述身体部位信息包括头部信息,所述部位参数确定模块720,包括头部属性信息确定单元和部位参数确定单元。

头部属性信息确定单元,用于基于面部图像检测算法,确定所述目标对象的头部信息所对应的头部属性信息;其中,所述头部属性信息中包括头部偏转角度信息和头部位置信息;

部位参数确定第一单元,用于根据所述头部属性信息,调整所述目标动画模型中头部模型的部位参数;其中,所述部位参数中包括所述头部模型的偏转参数和移动参数。

在上述各技术方案的基础上,所述部位参数确定模块720,还包括部位参数确定第二单元。

部位参数确定第二单元,用于基于逆向运动学算法对所述部位参数进行处理,确定所述目标动画模型中除所述头部模型中其它各待确定模型部位的部位参数;其中,所述待确定模型部位与所述目标动画模型的肢体躯干相匹配。

在上述各技术方案的基础上,所述目标特效显示参数确定模块730,包括目标待融合动画特效确定单元和目标特效显示参数确定单元。

目标待融合动画特效确定单元,用于根据预先建立的特效映射关系表,确定与所述事件信息相一致的目标待融合动画特效;其中,所述映射关系表中包括事件信息和相应的待融合动画特效;

目标特效显示参数确定单元,用于基于所述部位参数和所述目标待融合动画特效,确定所述目标特效显示参数。

在上述各技术方案的基础上,在所述根据所述待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数之前,所述装置还包括:待修正场景处理模块。

待修正场景处理模块,用于将包括所述目标动画模型的待修正场景按照预先设置的头部偏移量进行偏移处理,得到显示包括所述目标动画模型的目标场景。

在上述各技术方案的基础上,目标视频帧确定模块740,还用于基于面部图像分割模型或面部图像分割算法,对所述当前待处理图像进行面部分割处理,获取与所述目标对象相对应的目标面部图像;将所述目标面部图像融合至所述目标动画模型中的头部模型中。

在上述各技术方案的基础上,所述目标视频帧确定模块740,还用于基于所述目标特效显示参数调整所述目标动画模型中的各肢体躯干,得到所述目标视频帧。

在上述各技术方案的基础上,在所述根据所述待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数之前,所述装置还包括:矩阵确定模块和目标场景处理模块。

矩阵确定模块,用于基于面部图像检测算法,确定所述目标对象的目标面部图像的位移旋转缩放矩阵。

目标场景处理模块,用于基于所述位移旋转缩放矩阵对所述目标场景进行处理,以使所述目标场景中目标动画模型中的头部模型与所述目标对象的目标面部图像适配。

在上述各技术方案的基础上,所述目标视频帧确定模块740,还包括目标特效融合单元。

目标特效融合单元,用于为所述目标动画模型融合与所述目标特效显示参数相对应的目标特效,得到与所述当前待处理图像相对应的目标视频帧并播放。

在上述各技术方案的基础上,所述目标特效显示参数中包括所述目标动画模型中各肢体躯干模型的当前肢体参数、所述部位参数以及与所述事件信息相对应的待融合动画特效参数;所述目标特效包括与所述当前肢体参数和所述部位参数相对应的目标动画模型的肢体躯干显示特效,以及叠加的与所述待融合动画特效参数相对应的动画特效;所述动画特效与相应的肢体躯干模型相匹配。

在上述各技术方案的基础上,所述装置还包括:融合百分比调整模块。

融合百分比调整模块,用于在检测到与所述事件信息相对应的融合动画的实际显示时长达到预设显示时长阈值,则将所述融合动画的融合百分比调整为设定值。

本公开实施例的技术方案,通过对特效触发操作进行响应,获取包括目标对象的当前待处理图像,并确定目标对象的事件信息,然后,根据当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数,进一步地,基于部位参数和事件信息,确定目标动画模型的目标特效显示参数,最后,将目标对象的目标面部图像融合至目标动画模型中,并基于目标特效显示参数,确定与当前待处理图像对应的目标视频帧并播放,丰富了特效展示的道具,在用户使用与目标动画模型对应的特效道具时,可以在原有特效的基础上进行特效叠加,并且可以将叠加后的多个动画特效同时播放,不仅提升了视频内容的丰富性、趣味性,还进一步提升了动画特效的播放效果。

本公开实施例所提供的视频图像处理装置可执行本公开任意实施例所提供的视频图像处理方法,具备执行视频图像处理方法相应的功能模块和有益效果。

值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开实施例的保护范围。

实施例九

图11为本公开实施例九所提供的一种电子设备结构示意图。下面参考图11,其示出了适于用来实现本公开实施例的电子设备(例如图11中的终端设备或服务器)800的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图11示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示,电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM 803通过总线804彼此相连。编辑/输出(I/O)接口805也连接至总线804。

通常,以下装置可以连接至I/O接口805:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807;包括例如磁带、硬盘等的存储装置808;以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图11示出了具有各种装置的电子设备800,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置809从网络上被下载和安装,或者从存储装置808被安装,或者从ROM 802被安装。在该计算机程序被处理装置801执行时,执行本公开实施例的方法中限定的上述功能。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。

本公开实施例提供的电子设备与上述实施例提供的视频图像处理方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。

实施例十

本公开实施例提供了一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述实施例所提供的视频图像处理方法。

需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。

在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:

响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定所述目标对象的事件信息;

根据所述当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数;

基于所述部位参数和所述事件信息,确定所述目标动画模型的目标特效显示参数;

将所述目标对象的目标面部图像融合至所述目标动画模型中,以及基于所述目标特效显示参数,确定与所述当前待处理图像对应的目标视频帧并播放。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

根据本公开的一个或多个实施例,【示例一】提供了一种视频图像处理方法,该方法包括:

响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定所述目标对象的事件信息;

根据所述当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数;

基于所述部位参数和所述事件信息,确定所述目标动画模型的目标特效显示参数;

将所述目标对象的目标面部图像融合至所述目标动画模型中,以及基于所述目标特效显示参数,确定与所述当前待处理图像对应的目标视频帧并播放。

根据本公开的一个或多个实施例,【示例二】提供了一种视频图像处理方法,还包括:

可选地,所述获取包括目标对象的当前待处理图像,并确定所述目标对象的事件信息,包括:

获取基于摄像装置采集的包括目标对象的当前待处理图像;

基于预设特征检测算法,确定所述当前待处理图像中所述目标对象触发的事件信息。

根据本公开的一个或多个实施例,【示例三】提供了一种视频图像处理方法,还包括:

可选地,所述基于预设特征检测算法,确定所述当前待处理图像中所述目标对象触发的事件信息,包括:

基于所述预设特征检测算法,确定所述目标对象的各预设检测部位的当前关键点坐标信息;

针对同一预设检测部位,基于所述关键点坐标信息和所述当前待处理图像之前的历史待处理图像中相应预设检测部位的历史关键点坐标信息,确定所述当前预设检测部位的移动信息;

基于各预设检测部位的移动信息,确定所述目标对象触发的事件信息。

根据本公开的一个或多个实施例,【示例四】提供了一种视频图像处理方法,还包括:

可选地,所述基于预设特征检测算法,确定所述当前待处理图像中所述目标对象触发的事件信息,包括:

基于所述预设特征检测算法,确定所述目标对象中各预设检测部位的当前坐标信息;

基于各预设部位的当前坐标信息和相应的预设坐标范围信息,确定所述目标对象触发的事件信息。

根据本公开的一个或多个实施例,【示例五】提供了一种视频图像处理方法,还包括:

可选地,所述特效触发操作包括下述至少一种:

触发目标动画模型所对应的特效道具;

在检测到的视野区域中包括面部图像。

根据本公开的一个或多个实施例,【示例六】提供了一种视频图像处理方法,还包括:

可选地,所述事件信息与各预设检测部位的肢体动作信息相匹配。

根据本公开的一个或多个实施例,【示例七】提供了一种视频图像处理方法,还包括:

可选地,所述身体部位信息包括头部信息,所述根据所述待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数,包括:

基于面部图像检测算法,确定所述目标对象的头部信息对应的头部属性信息;其中,所述头部属性信息中包括头部偏转角度信息和头部位置信息;

根据所述头部属性信息,调整所述目标动画模型中头部模型的部位参数;其中,所述部位参数中包括所述头部模型的偏转参数和移动参数。

根据本公开的一个或多个实施例,【示例八】提供了一种视频图像处理方法,还包括:

可选地,基于逆向运动学算法对所述部位参数进行处理,确定所述目标动画模型中除所述头部模型中其它各待确定模型部位的部位参数;其中,所述待确定模型部位与所述目标动画模型的肢体躯干相匹配。

根据本公开的一个或多个实施例,【示例九】提供了一种视频图像处理方法,还包括:

可选地,所述基于所述部位参数和所述事件信息,确定所述目标动画模型的目标特效显示参数,包括:

根据预先建立的特效映射关系表,确定与所述事件信息相一致的目标待融合动画特效;其中,所述映射关系表中包括事件信息和相应的待融合动画特效;

基于所述部位参数和所述目标待融合动画特效,确定所述目标特效显示参数。

根据本公开的一个或多个实施例,【示例十】提供了一种视频图像处理方法,还包括:

可选地,在所述根据所述待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数之前,还包括:

将包括所述目标动画模型的待修正场景按照预先设置的头部偏移量进行偏移处理,得到显示包括所述目标动画模型的目标场景。

根据本公开的一个或多个实施例,【示例十一】提供了一种视频图像处理方法,还包括:

可选地,所述将所述目标对象的目标面部图像融合至所述目标动画模型中,包括:

基于面部图像分割模型或面部图像分割算法,对所述当前待处理图像进行面部分割处理,获取与所述目标对象相对应的目标面部图像;

将所述目标面部图像融合至所述目标动画模型中的头部模型中。

根据本公开的一个或多个实施例,【示例十二】提供了一种视频图像处理方法,还包括:

可选地,所述基于所述目标特效显示参数,确定与所述当前待处理图像对应的目标视频帧并播放,包括:

基于所述目标特效显示参数调整所述目标动画模型中的各肢体躯干,得到所述目标视频帧。

根据本公开的一个或多个实施例,【示例十三】提供了一种视频图像处理方法,还包括:

可选地,在所述根据所述待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数之前,还包括:

基于面部图像检测算法,确定所述目标对象的目标面部图像的位移旋转缩放矩阵;

基于所述位移旋转缩放矩阵对所述目标场景进行处理,以使所述目标场景中目标动画模型中的头部模型与所述目标对象的面部图像适配。

根据本公开的一个或多个实施例,【示例十四】提供了一种视频图像处理方法,还包括:

可选地,所述基于所述目标特效显示参数,确定与所述当前待处理图像对应的目标视频帧并播放,包括:

为所述目标动画模型融合与所述目标特效显示参数相对应的目标特效,得到与所述当前待处理图像相对应的目标视频帧并播放。

根据本公开的一个或多个实施例,【示例十五】提供了一种视频图像处理方法,还包括:

可选地,所述目标特效显示参数中包括所述目标动画模型中各肢体躯干模型的当前肢体参数、所述部位参数以及与所述事件信息相对应的待融合动画特效参数;所述目标特效包括与所述当前肢体参数和所述部位参数相对应的目标动画模型的肢体躯干显示特效,以及叠加的与所述待融合动画特效参数相对应的动画特效;所述动画特效与相应的肢体躯干模型相匹配。

根据本公开的一个或多个实施例,【示例十六】提供了一种视频图像处理方法,还包括:

可选地,在检测到与所述事件信息相对应的融合动画的实际显示时长达到预设显示时长阈值,则将所述融合动画的融合百分比调整为设定值。

根据本公开的一个或多个实施例,【示例十七】提供了一种视频图像处理装置,该装置包括:

待处理图像获取模块,用于响应于特效触发操作,获取包括目标对象的当前待处理图像,并确定所述目标对象的事件信息;

部位参数确定模块,用于根据所述当前待处理图像中目标对象的身体部位信息,确定目标动画模型中至少一个模型部位的部位参数;

目标特效显示参数确定模块,用于基于所述部位参数和所述事件信息,确定所述目标动画模型的目标特效显示参数;

目标视频帧确定模块,用于将所述目标对象的目标面部图像融合至所述目标动画模型中,以及基于所述目标特效显示参数,确定与所述当前待处理图像对应的目标视频帧并播放。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

技术分类

06120116187131