一种3D表情处理方法及装置

技术领域

本发明涉及面部表情制作技术领域，尤其是指一种3D表情处理方法及装置。

背景技术

随着计算机技术的发展和面部表情研究的深入，面部表情检测和分析技术被广泛应用于视觉通信、机器人研究、影视动画、游戏等众多领域。在游戏动画领域，随着观众对视觉效果的不断追求，面部表情捕捉技术在虚拟角色的动作制作中发挥着越来越重要的作用。而面部表情捕捉技术的应用更是影视动画和游戏行业获得逼真视觉效果的关键，如何利用采集的表情捕获数据，生成更加生动、自然的三维表情动画，是目前研究的一个热点问题。

1、面部表情制作原理

虽然目前影视动画领域，面部表情的制作方法众多，所使用的软件、设备和技术也均有差异，但是面部表情制作和形成的原理均源于计算机图形学中对于面部识别和检测的研究成果。而众多研究成果的理论依据主要有以下几点：

(1)、基于模型单元的面部表情动画

人脸运动编码系统FACE，该系统用来建立人脸表情与局部特征变化之间的关系。FACE根据面部肌肉的类型和运动特征定义了44个导致脸部运动的基本的运动单元(简称AU)，并定义了六种基本表情，即愤怒、讨厌、恐惧、喜悦、悲哀、惊奇。

(2)、基于图像纹理的面部表情动画

该方法主要是通过对于角色的三维模型进行拓扑处理，将获得动态图像投射到二维的UV纹理，实现UV纹理与虚拟模型之间像素级的动态逐帧匹配，通过图像特征点在帧到帧之间的像素变化实现运动信息的传递和匹配，从而实现面部表情的动画制作。

(3)、基于数据驱动的面部表情动画

数据驱动的面部表情实现方法比较直观，主要是通过已有的面部表情动作数据实现理想的面部动画。通过对人脸粘贴或者绘制标记点，通过外在的摄像机设备获取标记点的运动消息。对动作数据进行优化处理后，将动作数据赋予虚拟角色，从而实现通过动作数据驱动虚拟角色的目的。

2、现有面部表情制作方案

融合变形：在影视动画行业比较常用的maya、3dmax等三维软件中，使用融合变形的相关工具实现对面部表情的制作是目前比较常用和方便的一种方式。通过多种姿态的过渡和融合，快速实现面部表情动画。

面部骨骼绑定：目前角色动作实现比较常用的方法。对于面部表情的制作，骨骼绑定的方式既是可以独立使用的常用方法之一，又是其他表情动画制作方法所不可缺少的表情调整和修补的方法。首先进行面部骨骼的创建，然后执行蒙皮，实现骨骼对头部模型的控制，并通过调整骨骼对皮肤组元点的权重值，实现骨骼对皮肤控制的范围和精度调整。

表情捕捉数据：基于Marker点的面部表情捕捉技术是以光学式动作捕捉设备为基础，通过对面部具有反光特性的Marker点进行定位和追踪，并将Marker点的运动信息储存转移给虚拟角色。

3.现有面部表情制作方案弊端

虽然表情数据采集的硬件及技术越来越成熟并能够获得不错的面部表情，提高了面部表情的制作效率，但是却忽略了Marker点之间的表情信息，只实现了单通道数据传递，而无法实现比较细致的面部表情效果。

发明内容

本发明所要解决的技术问题是：提供一种3D表情处理方法及装置，旨在实现细致的面部表情效果。

为了解决上述技术问题，本发明采用的技术方案为：一种3D表情处理方法，包括以下步骤，

S10、获取人脸的动画帧序列；

S20、根据动画帧序列组合提取人脸的运动特征点群，并对提取的每个运动特征点群进行数据标准化，得到表情捕获数据；

S30、以动画帧的峰值作为分割线，对表情捕获数据进行节奏分割，将每种表情的动画帧片段提取出来；

S40、对每种表情的每帧动画帧根据人脸表情的运动特性及面部运动结构学进行数据通道分离；

S50、对各种表情的动画帧片段中缺失的动画帧进行重构。

进一步的，步骤S50具体包括，

对各种表情的动画帧片段中缺失的动画帧，先求得该动画帧中未缺失部分在由完整帧组成的字上的稀疏表示系数，然后利用该稀疏表示系数和字典重构该动画帧中的缺失信息。

进一步的，步骤S20具体包括，

将动画帧序列由数值转化为图形，根据图形的交叉点获取与交叉点距离最近和最远的动画数值，最大距离减最小距离后与交叉点的数值相除，最后求取交叉点的平均值与交叉点的值相减，得到表情捕获数据。

进一步的，步骤S30具体包括，

提取一个预设长度的动画帧序列，动画帧序列中包含了各种表情类型，以动画帧的峰值作为分割线，将每种表情的动画帧从动画帧序列中分割出来。

进一步的，步骤S40具体包括，

根据人脸表情的运动特性及面部运动结构学，将每帧动画帧拆分出多个特征属性，形成每种表情的多属性通道。

本发明采用的另一技术方案为一种3D表情处理装置，包括，

表情数据获取模块，用于获取人脸的动画帧序列；

运动特征提取模块，用于根据动画帧序列组合提取人脸的运动特征点群，并对提取的每个运动特征点群进行数据标准化，得到表情捕获数据；

节奏分割模块，用于以动画帧的峰值作为分割线，对表情捕获数据进行节奏分割，将每种表情的动画帧片段提取出来；

数据通道分离模块，用于对每种表情的每帧动画帧根据人脸表情的运动特性及面部运动结构学进行数据通道分离；

动画帧重构模块，用于对各种表情的动画帧片段中缺失的动画帧进行重构。

进一步的，所述动画帧重构模块具体用于，

对各种表情的动画帧片段中缺失的动画帧，先求得该动画帧中未缺失部分在由完整帧组成的字上的稀疏表示系数，然后利用该稀疏表示系数和字典重构该动画帧中的缺失信息。

进一步的，所述运动特征提取模块具体用于，

将动画帧序列由数值转化为图形，根据图形的交叉点获取与交叉点距离最近和最远的动画数值，最大距离减最小距离后与交叉点的数值相除，最后求取交叉点的平均值与交叉点的值相减，得到表情捕获数据。

进一步的，所述节奏分割模块具体用于，

提取一个预设长度的动画帧序列，动画帧序列中包含了各种表情类型，以动画帧的峰值作为分割线，将每种表情的动画帧从动画帧序列中分割出来。

进一步的，所述数据通道分离模块具体用于，

根据人脸表情的运动特性及面部运动结构学，将每帧动画帧拆分出多个特征属性，形成每种表情的多属性通道。

本发明的有益效果在于：从获取人脸的动画帧序列中提取运动特征点，将提取的特征作为关键点对表情捕获数据进行节奏分割，将每种表情的每帧动画帧进行数据由单一属性拆分优化，形成多属性通道用于驱动最终的效果，最后根据数据的运动曲线进行数据偏移优化，不但具有更低的重构误差，而且能够降低修复优化的时间，提高修复效率和质量。

附图说明

下面结合附图详述本发明的具体结构。

图1为本发明实施例的3D表情处理方法流程图；

图2为本发明实施例的3D表情处理装置框图；

图3为本发明实施例的计算机设备的示意性框图；

图4为本发明实施例的表情数据的点状分布图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如图1所示，本发明第一实施例为：一种3D表情处理方法，包括以下步骤，S10、获取人脸的动画帧序列；

本步骤中，通过硬件表情采集设备，如MOVA、Dynamixyz、Faceware、Iphone的animoji应用采集表情数据。

S20、根据动画帧序列组合提取人脸的运动特征点群，并对提取的每个运动特征点群进行数据标准化，得到表情捕获数据；

其中，步骤S20具体包括，将动画帧序列由数值转化为图形，根据图形的交叉点获取与交叉点距离最近和最远的动画数值，最大距离减最小距离后与交叉点的数值相除，最后用mean函数求取交叉点的平均值与交叉点的值相减，得到表情捕获数据。

S30、以动画帧的峰值作为分割线，对表情捕获数据进行节奏分割，将每种表情的动画帧片段提取出来；

其中，步骤S30具体包括，提取一个预设长度的动画帧序列，动画帧序列中包含了各种表情类型，以动画帧的峰值作为分割线，将每种表情的动画帧从动画帧序列中分割出来。

本步骤中，对表情捕获数据进行合理的分割是进行运动合成处理的基础。在数据捕获过程中，为了提高捕获运动数据的质量，往往会一次捕获一个较长的数据序列，序列中包含了各种表情类型，例如愤怒、讨厌、恐惧、喜悦、悲哀、惊奇。例如人物在说话的过程中往往带有情绪的存在，由悲伤到高兴的转变可以根据动画帧的峰值作为分隔节奏的依据。节奏分割能将长运动序列中具有特定语义的运动片段提取出来，不但能更好的利于存储，而且具有特定语义的数据片段往往比长的复杂的运动序列更灵活的被使用，同时还能提高数据的重用效率。

S40、根据人脸表情的运动特性及面部运动结构学，对每种表情的每帧动画帧进行数据通道分离；

其中，步骤S40具体包括，根据人脸表情的运动特性及面部运动结构学，将每帧动画帧拆分出多个特征属性，形成每种表情的多属性通道。

本步骤中，如图4所示，点P可以由周围的点只(j＝1，2，...，k)进行线性表示，同样对于表情数据而言，每个运动序列，其中每一帧的表情数据都可以看作是高维空间中的一个点，而对于每个简单运动序列，该运动序列中的所有帧形成了高维空间中的一个簇，它散布在运动序列中心的周围。由于表情运动的连续性和姿势的相似性，运动数据中某一帧姿态往往可以由本运动序列中的某些运动姿态或者是与该运动类型相似的运动序列中的某些帧线性表示。所以可以将数据由单一属性拆分优化，形成多属性通道用于驱动最终的效果。例如微笑的表情数据拆分为左右上嘴唇、左右下嘴唇、左右腮部共计6组数据。

S50、对各种表情的动画帧片段中缺失的动画帧进行重构。

其中，步骤S50具体包括，

对各种表情的动画帧片段中缺失的动画帧，先求得该动画帧中未缺失部分在由完整帧组成的字上的稀疏表示系数，然后利用该稀疏表示系数和字典重构该动画帧中的缺失信息。

本步骤中，通过运动特征提取的方式获取到丢失帧前后的动画数值的平均值并与动画序列数值中近于平均值的数据进行对比后再取中间值。

本实施例中，基于利用稀疏理论提出了一种新颖的仿真框架，基于原始数据提取了一个数据迁移模型对空间和时间变形细节进行了编码。从获取人脸的动画帧序列中提取运动特征点，将提取的特征作为关键点对表情捕获数据进行节奏分割，将每种表情的每帧动画帧进行数据由单一属性拆分优化，形成多属性通道用于驱动最终的效果，最后根据数据的运动曲线进行数据偏移优化，不但具有更低的重构误差，而且能够降低修复优化的时间，提高修复效率和质量。

如图2所示，本发明的另一实施例为一种3D表情处理装置，包括，

表情数据获取模块10，用于获取人脸的动画帧序列；

运动特征提取模块20，用于根据动画帧序列组合提取人脸的运动特征点群，并对提取的每个运动特征点群进行数据标准化，得到表情捕获数据；

节奏分割模块30，用于以动画帧的峰值作为分割线，对表情捕获数据进行节奏分割，将每种表情的动画帧片段提取出来；

数据通道分离模块40，用于根据人脸表情的运动特性及面部运动结构学，对每种表情的每帧动画帧进行数据通道分离；

动画帧重构模块50，用于对各种表情的动画帧片段中缺失的动画帧进行重构。

其中，所述动画帧重构模块50具体用于，

对各种表情的动画帧片段中缺失的动画帧，先求得该动画帧中未缺失部分在由完整帧组成的字上的稀疏表示系数，然后利用该稀疏表示系数和字典重构该动画帧中的缺失信息。

其中，所述运动特征提取模块20具体用于，

将动画帧序列由数值转化为图形，根据图形的交叉点获取与交叉点距离最近和最远的动画数值，最大距离减最小距离后与交叉点的数值相除，最后用mean函数求取交叉点的平均值与交叉点的值相减，得到表情捕获数据。

其中，所述节奏分割模块30具体用于，

提取一个预设长度的动画帧序列，动画帧序列中包含了各种表情类型，以动画帧的峰值作为分割线，将每种表情的动画帧从动画帧序列中分割出来。

其中，所述数据通道分离模块40具体用于，

根据人脸表情的运动特性及面部运动结构学，将每帧动画帧拆分出多个特征属性，形成每种表情的多属性通道。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述3D表情处理装置的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述3D表情处理装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。

请参阅图3，图3是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图3，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种3D表情处理方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种3D表情处理方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现上所述的3D表情处理方法。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令。该程序指令被处理器执行时使处理器执行上述的3D表情处理方法。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。