掌桥专利:专业的专利平台
掌桥专利
首页

虚拟人脸表情生成方法、装置、电子设备及存储介质

文献发布时间:2024-04-18 19:58:53


虚拟人脸表情生成方法、装置、电子设备及存储介质

技术领域

本公开涉及虚拟现实和数字信号处理技术领域,尤其涉及一种虚拟人脸表情生成方法、装置、电子设备及存储介质。

背景技术

随着元宇宙的发展,生成的虚拟人脸表情更为精细化和智能化,能够对所发生的事件产生相应的表情,例如,在听到一个笑话后,虚拟人物的脸上可能应该出现笑的表情。为了谁实现语音或文字驱动虚拟人物人脸上微表情的动画生成,现有技术通过META HUMA软件将驱动的语音或文字转换为复杂的面部跟踪驱动参数,来驱动脸部动画参数(FaceAnimation Parameter,FAP)网格体,以实现虚拟人脸表情的生成,但此过程中,由于表情的变动复杂,在驱动过程中,参数变动多而复杂,存储数据量也巨大,进而导致生成时间较长。

需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种虚拟人脸表情生成方法、装置、电子设备及存储介质,至少在一定程度上克服相关技术中存储数据量巨大,导致虚拟人脸表情生成时间较长的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。

根据本公开的第一个方面,提供了一种虚拟人脸表情生成方法,包括:

获取虚拟人物的身份特征信息;

对接收的语音数据或文字数据进行情感分析,得到所述语音数据或文字数据对应的表情距离信息;其中,所述表情距离信息用于表征所述语音数据或文字数据表达情感所对应的表情的幅度和生成时间信息;

根据所述虚拟人物的身份特征信息和所述表情距离信息,确定所述虚拟人物的表情ADSR折线包络信息;其中,所述表情ADSR折线包络信息用于表征所述虚拟人物的表情随时间的线性变化;

基于所述虚拟人物的表情ADSR折线包络信息,进行所述虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

在本公开一些实施例中,所述表情距离信息至少包括:表情类型、表情生成的起始时刻、表情幅度和表情持续时长。

相应地,根据所述虚拟人物的身份特征信息和所述表情距离信息,确定所述虚拟人物的表情ADSR折线包络信息,包括:

根据所述表情类型和所述虚拟人物的身份特征信息,确定所述虚拟人物的初始表情ADSR折线包络信息;

基于所述表情生成的起始时刻、表情幅度和表情持续时长,对所述初始表情ADSR折线包络信息进行调整,得到所述虚拟人物的表情ADSR折线包络信息。

在本公开的一些实施例中,所述表情幅度是归一化的表情幅度。

在本公开一些实施例中,提供的虚拟人脸表情生成方法,在确定所述虚拟人物的表情ADSR折线包络信息之后,还包括:

生成所述虚拟人物的表情干扰信息;

基于所述表情干扰信息,对所述虚拟人物的表情ADSR折线包络信息进行加权处理,得到处理后的虚拟人物的表情ADSR折线包络信息。

相应地,基于所述虚拟人物的表情ADSR折线包络信息,进行所述虚拟人物的面部模型驱动,生成虚拟人脸表情动画,包括:

基于处理后的虚拟人物的表情ADSR折线包络信息,进行所述虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

在本公开一些实施例中,基于所述虚拟人物的表情ADSR折线包络信息,进行所述虚拟人物的面部模型驱动,生成虚拟人脸表情动画,包括:

基于所述虚拟人物的表情ADSR折线包络信息,生成多个关键帧,得到包含多个关键帧的所述虚拟人物的脸部动画参数;

根据所述虚拟人物的脸部动画参数,进行所述虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

根据本公开的第二个方面,还提供了一种虚拟人脸表情生成装置,包括:

身份特征获取模块,用于获取虚拟人物的身份特征信息;

表情距离确定模块,用于对接收的语音数据或文字数据进行情感分析,得到所述语音数据或文字数据对应的表情距离信息;其中,所述表情距离信息用于表征所述语音数据或文字数据表达情感所对应的表情的幅度和生成时间信息;

表情ADSR确定模块,用于根据所述虚拟人物的身份特征信息和所述表情距离信息,确定所述虚拟人物的表情ADSR折线包络信息;其中,所述表情ADSR折线包络信息用于表征所述虚拟人物的表情随时间的线性变化;和

表情动画生成模块,用于基于所述虚拟人物的表情ADSR折线包络信息,进行所述虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

根据本公开的第三个方面,还提供了一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一个方面任意一项所述的虚拟人脸表情生成方法。

根据本公开的第四个方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一个方面任意一项所述的虚拟人脸表情生成方法。

根据本公开的第五个方面,还提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述第一个方面任意一项所述的虚拟人脸表情生成方法。

本公开的实施例中提供的虚拟人脸表情生成方法,通过根据语音数据或文字数据对应的表情距离信息和虚拟人物的身份特征信息,确定虚拟人物的表情ADSR折线包络信息,依据表情ADSR折线包络信息,生成虚拟人脸表情动画。利用表情ADSR折线包络来描述面部表情的时间过程,利用ADSR折线这一线性化特征表征表情这种非线性的动态行为,减少了面部模型驱动时的数据处理量和存储量,减少虚拟人脸表情生成所耗费的时间。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出本公开实施例中一种虚拟人脸表情生成的示例性系统架构的示意图;

图2示出本公开实施例中一种虚拟人脸表情生成方法流程示意图;

图3示出本公开一些实施例中S206的实施过程示意图;

图4示出本公开一些实施例中S208的实施过程示意图;

图5示出本公开一些实施例中一种虚拟人脸表情生成方法的流程示意图;

图6示出本公开具体实例中虚拟人物a的表情ADSR折线包络示意图;

图7示出本公开实施例中一种虚拟人脸表情生成装置示意图;和

图8示出本公开实施例中一种电子设备的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面结合附图,对本公开实施例的具体实施方式进行详细说明。

图1示出了可以应用本公开实施例中虚拟人脸表情生成方法的示例性应用系统架构示意图。如图1所示,该系统架构可以包括终端设备101、网络102和服务器103。

网络102用以在终端设备101和服务器103之间提供通信链路的介质,可以是有线网络,也可以是无线网络。

可选地,上述的无线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(MetropolitanArea Network,MAN)、广域网(Wide Area Network,WAN)、移动或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,使用包括超文本标记语言(Hyper TextMark-up Language,HTML)、可扩展标记语言(Extensible Markup Language,XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(SecureSocket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet Protocol Security,IPSec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

终端设备101可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、智能音箱、智能手表、可穿戴设备、增强现实设备、虚拟现实设备等。

可选地,不同的终端设备101中安装的应用程序的客户端是相同的,或基于不同操作系统的同一类型应用程序的客户端。基于终端平台的不同,该应用程序的客户端的具体形态也可以不同,比如,该应用程序客户端可以是手机客户端、PC客户端等。

服务器103可以是提供各种服务的服务器,例如对用户利用终端设备101所进行操作的装置提供支持的后台管理服务器。后台管理服务器可以对接收到的请求等数据进行分析、生成虚拟人脸等处理,并将处理结果反馈给终端设备。

可选地,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

本领域技术人员可以知晓,图1中的终端设备、网络和服务器的数量仅仅是示意性的,根据实际需要,可以具有任意数目的终端设备、网络和服务器。本公开实施例对此不作限定。

在上述系统架构下,本公开实施例中提供了一种虚拟人脸表情生成方法,该方法可以由任意具备计算处理能力的电子设备执行。

在一些实施例中,本公开实施例中提供的虚拟人脸表情生成方法可以由上述系统架构的上述系统架构中的服务器执行;在另一些实施例中,本公开实施例中提供的虚拟人脸表情生成方法可以由上述系统架构中的终端设备和服务器通过交互的方式来实现。

如图2所示,本公开实施例中提供的一种虚拟人脸表情生成方法,包括步骤:

S202,获取虚拟人物的身份特征信息。

需要说明的是,在元宇宙等场景下,虚拟人物是有身份区分的,至少包括:民族、国籍(地域)、年龄和职业等不同身份特征信息。

S204,对接收的语音数据或文字数据进行情感分析,得到语音数据或文字数据对应的表情距离信息。

其中,表情距离信息用于表征语音数据或文字数据表达情感所对应的表情的幅度和生成时间信息。需要说明的是,语音数据或文字数据中蕴含一些情绪表达,例如,语音数据或文字数据为一个笑话,则表达的情感是积极的,可能会让听到或看到的虚拟人产生笑的表情。而语音数据或文字数据为一句抱歉,则表达的情感是积极的,可能会让听到或看到的虚拟人产生遗憾或难过的表情。

S206,根据虚拟人物的身份特征信息和表情距离信息,确定虚拟人物的表情ADSR折线包络信息。

其中,表情ADSR折线包络信息用于表征虚拟人物的表情随时间的线性变化。需要说明的是,真实的表情是一个随时间变动的过程,举例说明,笑可以是从开始笑到笑容衰减再到微笑再到笑容消失的过程,本公开实施例采用表情ADSR折线包络信息来表征这一动态过程。

S208,基于虚拟人物的表情ADSR折线包络信息,进行虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

由上述步骤可以看出,本公开的实施例中提供的虚拟人脸表情生成方法,通过根据语音数据或文字数据对应的表情距离信息和虚拟人物的身份特征信息,确定虚拟人物的表情ADSR折线包络信息,依据表情ADSR折线包络信息,生成虚拟人脸表情动画。利用表情ADSR折线包络来描述面部表情的时间过程,利用ADSR折线这一线性化特征表征表情这种非线性的动态行为,将复杂的脸部动画参数简单化,减少了面部模型驱动时的数据处理量和存储量,减少虚拟人脸表情生成所耗费的时间。

在本公开的一些实施例中,表情距离信息至少包括:表情类型、表情生成的起始时刻、表情幅度和表情持续时长。进一步地,为了减少数据处理量,可对表情幅度进行归一化处理,故在本公开的一些实施例中,表情幅度是归一化的表情幅度,即归一化的表情幅度为表情幅度的实际值比表情幅度的标准值得到的,需要说明的是,不同身份特征的虚拟人物的表情幅度的标准值是不同的,例如,北欧人的表情比较淡,北欧人的虚拟人物的表情幅度的标准值相较于东亚人的虚拟人物的表情幅度的标准值要小。具体设置情况在此不做限定,具体实施时,可通过收集不同身份特征的真实人群的多种表情的数据进行聚类分析等统计处理,得到不同身份特征的虚拟人物的表情幅度的标准值。

在本公开的一些实施例中,S206的实施过程,如图3所示,包括如下步骤:

S302,根据表情类型和虚拟人物的身份特征信息,确定虚拟人物的初始表情ADSR折线包络信息。

S304,基于表情生成的起始时刻、表情幅度和表情持续时长,对初始表情ADSR折线包络信息进行调整,得到虚拟人物的表情ADSR折线包络信息。

需要说明的是,表情ADSR折线包络是类似于描述声音形状的ADSR,是最常见的包络发生器的四个参数,分别是——起音(Attack)、衰减(Decay)、保持(Sustain)和释音(Release)。本公开实施例中的表情ADSR折线包络用于描述表情形状,包含4个阶段,分别是:起冲Attack(从零到最大振幅的持续时段);衰减Decay(从最大振幅到振幅稳定状态的持续时段);延留Sustain(稳定状态下振幅的电平);消去Release(从振幅的稳定状态到零的持续时段),折线的斜率表征表情变化的速度。由此可见,表情ADSR折线包络通过近似将非规则、非线性的表情动态过程,转换成了线性的ADSR折线,简化了表情随时间的变化过程。在不影响表情表达的准确性的情况下,降低了后续面部模型驱动的数据量和运算量。

在本公开的一些实施例中,S302实施时,确定表情类型和虚拟人物的身份特征信息对应的预设的表情ADSR折线包络,得到虚拟人物的初始表情ADSR折线包络信息。具体实施时,可预先针对不同身份特征的真实人群进行不同表情的数据采集,作为研究样本,以此得到不同身份特征的虚拟人物不同的表情对应的表情ADSR折线包络,并存储在数据库中,以供使用。举例说明,可针对中国汉族、年龄在50-65周岁之间的农民的群体进行笑、哭和惊吓等表情进行数据采集,并对每种表情的不同数据进行共性分析,得到该身份特征的群体的不同的表情对应的表情ADSR折线包络。进一步地,可通过采集更多的样本数据以完善数据库中存储的不同表情ADSR折线包络。具体实施时,还可采集不同身份特征的真实人群的不同表情的样本数据,基于机器学习、神经网络等智能算法,构建并训练表情ADSR折线包络确定模型,依据输入的身份特征信息和表情类型,预测与身份特征信息相匹配的表情ADSR折线包络。

确定虚拟人物的初始表情ADSR折线包络信息后,根据表情生成的起始时刻、表情幅度和表情持续时长,对初始表情ADSR折线包络信息进行调整,就能够得到虚拟人物的表情ADSR折线包络信息。

得到虚拟人物的表情ADSR折线包络信息后,就能够基于虚拟人物的表情ADSR折线包络信息,进行虚拟人物的面部模型驱动,生成虚拟人脸表情动画。在本公开的一些实施例中,S208的实施过程,如图4所示,包括如下步骤:

S402,基于虚拟人物的表情ADSR折线包络信息,生成多个关键帧,得到包含多个关键帧的虚拟人物的脸部动画参数。

需要说明的是,表情ADSR折线包络信息包含A、D、S、R四段折线,每两段折线的转折点是表情动态过程中比较重要的时刻,将A、D之间的拐点称为第一关键帧,D、S之间的拐点称为第二关键帧,S、R之间的拐点称为第三关键帧,在三个关键帧处,确定虚拟人物的脸部动画参数FAP,例如包括:眼睛分离ES0、眼鼻分离ENS0和口鼻分离MnS0等。

S404,根据虚拟人物的脸部动画参数,进行虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

需要说明的是,基于上述三个关键帧来合成虚拟人物面部表情动画,能够大大减少虚拟人脸表情动画生成时的处理数据量,大大提高虚拟人脸表情动画生成的速度。

由于考虑到用户的观感,也使得虚拟人脸生成的表情更贴合实际情况,不可能同样身份特征信息的多个虚拟人物对接收的语音数据或文字数据产生一模一样的表情,这不仅与实际生活不相符,也会使得用户在观看的时候感官不好。在本公开的一些实施例中,提供的虚拟人脸表情生成方法,如图5所示,在图2的基础上,还包括如下步骤:

S502,生成虚拟人物的表情干扰信息。

S504,基于表情干扰信息,对虚拟人物的表情ADSR折线包络信息进行加权处理,得到处理后的虚拟人物的表情ADSR折线包络信息。

相应地,S208变更为S208’:基于处理后的虚拟人物的表情ADSR折线包络信息,进行虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

需要说明的是,表情干扰信息可以根据虚拟人物的特质生成,例如,如果该虚拟人物是男性,则表情干扰信息为表情幅度下降5%;也可以随机生成干扰因素以及干扰值,得到表情干扰信息。具体实施时,根据实际情况进行设定即可。将生成的表情干扰信息加权到表情ADSR折线包络信息,得到处理后的表情ADSR折线包络信息。并基于处理后的表情ADSR折线包络信息,生成虚拟人脸表情动画,能够保证生成的虚拟人脸表情动画更真实,特别是在有一群虚拟人物的场景下,不会出现多个虚拟人物的表情一模一样的情况,使得虚拟场景更加真实。

为了更好地说明本公开实施例提供的虚拟人脸表情生成方法,现给出一具体实例进一步解释说明,该具体实例为元宇宙场景下一群虚拟人物听到了一个笑话后的虚拟人脸表情生成,将每个虚拟人物听到了一个笑话这一事件,形成一个元事件META event。每个META event包含:表情距离信息和初始表情ADSR折线包络信息。

以一个虚拟人物a为例,该虚拟人物a的表情距离信息为:(笑,时间戳,0.8,4秒),初始表情ADSR折线包络信息为A持续1秒,表示开始大笑直至表情幅度值;D持续1秒,表示笑容减弱至表情幅度值的60%;S持续1秒,表示保持60%表情幅度值的笑容;R持续1秒,表示笑容结束,恢复没有表情的状态。

基于表情距离信息对初始表情ADSR折线包络信息进行调整,得到如图6所示的表情ADSR折线包络,该虚拟人物a的表情ADSR折线包络信息为:笑容在1秒内达到0.8的归一化幅值,又在1秒内衰减到0.6的归一化幅值,保持1秒,在1秒后恢复无表情。

随机生成表情干扰信息,对图6所示的表情ADSR折线包络进行扰动处理,得到处理后的表情ADSR折线包络信息。基于处理后的表情ADSR折线包络信息,利用脸部动画参数FAP驱动人脸模型的方法,生成第一关键帧、第二关键帧和第三关键帧时的虚拟人脸表情。以第一关键帧、第二关键帧和第三关键帧时的虚拟人脸表情作为三个连续的变化状态,生成虚拟人物a的人脸表情动画。

通过使用ADSR折线包络来表达一个面部表情的时间过程,用折线来表达表情动作这样一个非线性、非规范化的过程,形成一个完整的META event的时间状态,从而把一个面部表情的时间化过程数字化。并对于性别、民族、国籍等方面存在差异的虚拟人群通过不同的表情ADSR折线包络以区分,来解决虚拟人个体之间的差异。以解决人类个体面部表情的非规则性,例如,同样的一些笑话,对于某些人群很好笑,对于其他人群则感觉一般的这类现象。简化了表情的时间变化过程,降低了运算量,一个表情过程仅需要3个关键帧就能够呈现,降低了动画生成的复杂性。

需要注意的是,本公开技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

基于同一发明构思,本公开实施例中还提供了一种通信装置,如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似,因此该装置实施例的实施可以参见上述方法实施例的实施,重复之处不再赘述。

图7示出本公开实施例中一种虚拟人脸表情生成装置示意图,如图7所示,该装置包括:

身份特征获取模块701,用于获取虚拟人物的身份特征信息;

表情距离确定模块702,用于对接收的语音数据或文字数据进行情感分析,得到语音数据或文字数据对应的表情距离信息;其中,表情距离信息用于表征语音数据或文字数据表达情感所对应的表情的幅度和生成时间信息;

表情ADSR确定模块703,用于根据虚拟人物的身份特征信息和表情距离信息,确定虚拟人物的表情ADSR折线包络信息;其中,表情ADSR折线包络信息用于表征虚拟人物的表情随时间的线性变化;和

表情动画生成模块704,用于基于虚拟人物的表情ADSR折线包络信息,进行虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

此处需要说明的是,上述身份特征获取模块701、表情距离确定模块702、表情ADSR确定模块703和表情动画生成模块704对应于方法实施例中的S202~S208,上述模块与对应的步骤所实现的示例和应用场景相同,但不限于上述方法实施例所公开的内容。需要说明的是,上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在本公开的一些实施例中,表情距离信息至少包括:表情类型、表情生成的起始时刻、表情幅度和表情持续时长。进一步地,表情幅度是归一化的表情幅度。

在本公开的一些实施例中,表情ADSR确定模块703,具体用于:根据表情类型和虚拟人物的身份特征信息,确定虚拟人物的初始表情ADSR折线包络信息;基于表情生成的起始时刻、表情幅度和表情持续时长,对初始表情ADSR折线包络信息进行调整,得到虚拟人物的表情ADSR折线包络信息。

在本公开的一些实施例中,表情动画生成模块704,具体用于:基于虚拟人物的表情ADSR折线包络信息,生成多个关键帧,得到包含多个关键帧的虚拟人物的脸部动画参数;根据虚拟人物的脸部动画参数,进行虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

在本公开的一些实施例中,提供的虚拟人脸表情生成装置,还包括:干扰加权模块,用于生成虚拟人物的表情干扰信息;基于表情干扰信息,对虚拟人物的表情ADSR折线包络信息进行加权处理,得到处理后的虚拟人物的表情ADSR折线包络信息。

相应地,表情动画生成模块704,用于:基于处理后的虚拟人物的表情ADSR折线包络信息,进行虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。

下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。

其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元810执行,使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元810可以执行上述方法实施例的如下步骤:

获取虚拟人物的身份特征信息;

对接收的语音数据或文字数据进行情感分析,得到语音数据或文字数据对应的表情距离信息;

根据虚拟人物的身份特征信息和表情距离信息,确定虚拟人物的表情ADSR折线包络信息;

基于虚拟人物的表情ADSR折线包络信息,进行虚拟人物的面部模型驱动,生成虚拟人脸表情动画。

存储单元820可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202,还可以进一步包括只读存储单元(ROM)8203。

存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204,这样的程序模块8205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备840(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备800交互的设备通信,和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且,电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器860通过总线830与电子设备800的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机程序产品,该计算机程序产品包括:计算机程序,所述计算机程序被处理器执行时实现上述虚拟人脸表情生成方法。

在本公开的示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质可以是可读信号介质或者可读存储介质。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

本公开中的计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中,计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可选地,计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。

在具体实施时,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。

通过以上实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。

相关技术
  • 表情接收方法、装置、电子设备及存储介质
  • 人脸图像的处理方法及装置、电子设备和存储介质
  • 人脸建模方法和装置、电子设备、存储介质、产品
  • 人脸对比的身份识别方法、装置、电子设备及存储介质
  • 人脸图像的处理方法及装置、电子设备和存储介质
  • 虚拟表情生成方法、装置、电子设备和存储介质
  • 虚拟角色面部表情生成方法和装置、存储介质及电子设备
技术分类

06120116507389