人脸情绪的识别方法、装置、设备及存储介质

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种人脸情绪的识别方法、装置、设备及存储介质。

背景技术

情绪识别在各种领域均有应用，比如：在人机交互领域，通过情绪识别可以支持产品功能；在医疗领域，通过情绪识别可以监控病人的状态。

针对单张图片的人脸情绪的识别方案，一般存在两个改进方面，一个是使用不同的网络技术以及对应的技巧对情绪进行更好的分类，另一个则是通过多模态的融合，得到更加准确的情绪分类。

但是，现有的识别方案中，情绪分类的可解释性不好，从而影响情绪识别的效果。

发明内容

本申请提供了一种人脸情绪的识别方法、装置、设备及存储介质，该技术方案如下。

一方面，提供了人脸情绪的识别方法，所述方法包括：

确定人脸的三维重建表示，所述三维重建表示中包含：标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，每个脸型形变样例对应有脸型系数，每个情绪形变样例对应有情绪系数；

求解目标人脸图片对应的所述人脸的三维重建表示的情绪系数；

基于所述目标人脸图片求解后的情绪系数，确定所述目标人脸图片对应的人脸情绪。

又一方面，提供了一种人脸情绪的识别装置，所述装置包括：

三维重建表示确定模块，用于确定人脸的三维重建表示，所述三维重建表示中包含：标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，每个脸型形变样例对应有脸型系数，每个情绪形变样例对应有情绪系数；

情绪系数求解模块，用于求解目标人脸图片对应的所述人脸的三维重建表示的情绪系数；

人脸情绪确定模块，用于基于所述目标人脸图片求解后的情绪系数，确定所述目标人脸图片对应的人脸情绪。

又一方面，提供了一种计算机设备，其特征在于，所述计算机设备中包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由所述处理器加载并执行以实现上述的人脸情绪的识别方法。

又一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述的人脸情绪的识别方法。

再一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的人脸情绪的识别方法。

本申请提供的技术方案可以包括以下有益效果：

对人脸图片中的人脸建立有三维重建表示，三维重建表示中包含标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，针对目标图片，可以求解使用人脸的三维重建表示时的情绪系数，进而通过求解后的情绪系数，确定目标人脸图片对应的人脸情绪。通过不同情绪的情绪形变样例，对情绪直接建模以得到人脸的三维重建表示，因此具有可解释性的情绪分类，在使用人脸的三维重建表示对目标人脸图片进行情绪识别时，可以提升情绪识别的效果。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。

图2是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。

图3是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。

图4是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。

图5是根据一示例性实施例示出的一种人脸情绪的识别装置的结构方框图。

图6是根据一示例性实施例提供的一种计算机设备的示意图。

具体实施方式

下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应理解，在本申请的实施例中提到的“指示”可以是直接指示，也可以是间接指示，还可以是表示具有关联关系。举例说明，A指示B，可以表示A直接指示B，例如B可以通过A获取；也可以表示A间接指示B，例如A指示C，B可以通过C获取；还可以表示A和B之间具有关联关系。

在本申请实施例的描述中，术语“对应”可表示两者之间具有直接对应或间接对应的关系，也可以表示两者之间具有关联关系，也可以是指示与被指示、配置与被配置等关系。

本申请实施例中，“预定义”可以通过在设备（例如，包括终端设备和网络设备）中预先保存相应的代码、表格或其他可用于指示相关信息的方式来实现，本申请对于其具体的实现方式不做限定。

本申请提供了一种人脸情绪的识别方法，通过挖掘不同情绪在人脸上的结构化表现，提出一种通过人脸重建的自监督方法，对各类情绪进行直接建模，不需要复杂的设备去采集三维数据，不仅能进行更加准确和具有可解释性的情绪分类，也能对不同的情绪的置信度进行更加准确的判定，从而更加有助于情绪识别的改进和应用。

下面，对本申请提供的技术方案进行进一步说明。

图1是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。该方法应用于计算机设备中。如图1所示，该人脸情绪的识别方法可以包括如下步骤：

步骤110：确定人脸的三维重建表示，三维重建表示中包含：标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，每个脸型形变样例对应有脸型系数，每个情绪形变样例对应有情绪系数。

在本申请实施例中，对人脸图片中的人脸建立有三维重建表示，且三维重建表示中包括如下三个方面的内容：

（1）标准人脸

标准人脸指的是由所有人脸的平均值构成的一张人脸。

（2）不同脸型的脸型形变样例

人脸可以具备不同的脸型，每个脸型形变样例对应于一种脸型。此外，每个脸型形变样例对应有脸型系数，脸型系数用于指示相应脸型形变样例的权重。

（3）不同情绪的情绪形变样例

人脸可以具备不同的情绪，每个情绪对应有多个情绪形变样例。此外，每个情绪形变样例对应有情绪系数，情绪系数用于指示相应情绪形变样例的权重。

可以理解的是，基于上述形式的人脸的三维重建表示，由于人脸的三维重建表示中包括不同情绪的情绪形变样例，因此，人脸的三维重建表示具有可解释性的情绪分类。

步骤120：求解目标人脸图片对应的人脸的三维重建表示的情绪系数。

在本申请实施例中，在确定人脸的三维重建表示之后，若得到一张目标人脸图片，则求解目标人脸图片对应的人脸的三维重建表示的情绪系数。

步骤130：基于目标人脸图片求解后的情绪系数，确定目标人脸图片对应的人脸情绪。

在本申请实施例中，由于情绪系数可以表示情绪形变样例的权重，因此，根据求解后的情绪系数，可以确定目标人脸图片在使用人脸的三维重建表示时，各个情绪形变样例的权重情况，进而根据各个情绪形变样例的权重情况，确定目标人脸图片对应的人脸情绪。

可以理解的是，若对连续的多帧目标人脸图片进行人脸情绪的识别，则可以加入状态机的平滑模式，得到最终的人脸情绪的判定以及输出。

综上所述，本实施例提供的人脸情绪的识别方法，对人脸图片中的人脸建立有三维重建表示，三维重建表示中包含标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，针对目标图片，可以求解使用人脸的三维重建表示时的情绪系数，进而通过求解后的情绪系数，确定目标人脸图片对应的人脸情绪。通过不同情绪的情绪形变样例，对情绪直接建模以得到人脸的三维重建表示，因此具有可解释性的情绪分类，在使用人脸的三维重建表示对目标人脸图片进行情绪识别时，可以提升情绪识别的效果。

在示意性实施例中，通过主成分分析（Principal Components Analysis，PCA）的方式，确定人脸的三维重建表示。

图2是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。该方法应用于计算机设备中。如图2所示，上述步骤110可以替换实现为如下步骤：

步骤210：获取多张对应于不同脸型的无表情人脸图片。

其中，无表情人脸图片指的是处于无表情状态的人脸图片。

步骤220：对多张无表情人脸图片的人脸三维网格进行主成分分析，得到标准人脸和不同脸型的脸型形变样例。

在本申请实施例中，通过对多张无表情人脸图片的人脸三维网格进行主成分分析，得到标准人脸，标准人脸可以记为T，以及选取前Ni个主成分，得到不同脸型的脸型形变样例，这些脸型形变样例可以记为Bi。

在一种可能的实现方式中，无表情人脸图片的人脸三维网格通过如下过程得到：将无表情人脸图片输入现有的人脸检测模型，得到人脸检测框；将人脸检测框输入现有的人脸3d重建模型，得到人脸三维网格。其中，人脸检测模型可以是Faster RCNN；人脸3d重建模型可以是3dDFA、FLAME等现有模型。

步骤230：获取多张对应于不同情绪的情绪标注人脸图片。

其中，情绪标注人脸图片指的是标注有情绪的人脸图片。标注的情绪可以包括{高兴、悲伤、惊讶、蔑视、害怕、厌恶}。

步骤240：在去除脸型的影响后，对多张情绪标注人脸图片的人脸三维网格进行主成分分析，得到不同情绪的情绪形变样例。

在本申请实施例中，先对多张情绪标注人脸图片的人脸三维网格去除脸型的影响，再进行主成分分析，得到不同情绪的情绪形变样例。

在一种可能的实现方式中，步骤240可以替换实现为如下步骤：

（1）针对标注为目标情绪的目标情绪标注人脸图片，对目标情绪标注人脸图片的人脸三维网格去除不同脸型的脸型形变样例的加权和，得到目标情绪标注人脸图片的优化图片。

示例性的，目标情绪标注人脸图片的人脸三维网格记为M，脸型形变样例记为Bi，脸型系数记为bi，且脸型形变样例的数量记为Ni，标准脸型记为T。可以先通过优化方法得到Bi的系数bi，使得

（2）对目标情绪标注人脸图片的优化图片进行主成分分析，得到目标情绪的情绪形变样例。

示例性的，对目标情绪标注人脸图片的优化图片dM进行PCA，并选取前Ne_emotion个主成分，将这些主成分作为目标情绪的情绪形变样例，记作Be_emo。

此外，将目标情绪记为emo，

在一种可能的实现方式中，情绪标注人脸图片的人脸三维网格通过如下过程得到：将情绪标注人脸图片输入现有的人脸检测模型，得到人脸检测框；将人脸检测框输入现有的人脸3d重建模型，得到人脸三维网格。其中，人脸检测模型可以是Faster RCNN；人脸3d重建模型可以是3dDFA、FLAME等现有模型。

可以理解的是，为了优化情绪形变样例，可以对主成分分析得到的情绪形变样例进行手动移动，使之更加符合人脸的实际形态。

步骤250：通过标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，确定人脸的三维重建表示。

示例性的，人脸的三维重建表示

可以理解的是，

综上所述，本实施例提供的人脸情绪的识别方法，通过主成分分析的方式，得到标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，从而建立一个准确的人脸的三维重建表示。

在示意性实施例中，通过最小化人脸损失的方式，求解目标人脸图片对应的人脸的三维重建表示的情绪系数。

图3是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。该方法应用于计算机设备中。如图3所示，上述步骤120可以替换实现为如下步骤：

步骤310：建立目标人脸图片对应的人脸损失，人脸损失表示目标人脸图片使用人脸的三维重建表示时的损失。

步骤320：通过最小化人脸损失，求解目标人脸图片对应的人脸的三维重建表示的情绪系数。

在一种可能的实现方式中，人脸损失包括如下中的至少一种：

（1）关键点损失，用于指示人脸的三维重建表示投影到二维图像上时，关键点的损失。

其中，关键点可以指的是三维重建后表示投影到2维图像上的人脸关键点的坐标，例如常用的68个关键点。

在本申请实施例中，预测人脸的姿态，姿态包括旋转R、平移t，R包括yaw、pitch、roll（偏航角，俯仰角，侧倾角），以及对应在二维图像上的t，得到对应的人脸的三维重建表示在二维图像上的效果。

具体地，

在本申请实施例中，通过人脸的三维重建表示与二维图像关键点之间的对应关系Wm2kp，使用垂直投影，将人脸的三维重建投到二维图像上，并加上位移t，得到二维人脸关键点。

具体地，kp2d_pred = K*Wm2kp*M_Rec_R + t。其中，kp2d_pred为二维人脸关键点，K为相机内参，Wm2kp为人脸的三维重建表示与二维图像关键点之间的对应关系，M_Rec_R为人脸的三维重建表示经过旋转后的3dmesh，t为位移。

在本申请实施例中，将二维人脸关键点与目标人脸图像关键点作差，得到关键点损失。

具体地，

（2）人脸重建损失，用于指示投影的二维图像与目标人脸图片之间的损失。

具体地，

（3）关键点的相对位置约束，用于指示同一个人在不同张人脸图片中的关键点的相对位置具有一致性。

（4）人脸的脸型系数约束，用于指示同一个人在不同张人脸图片中的脸型系数具有一致性。

可以理解的是，除了上述最小化损失的方式之外，也可以采用神经网络、dogleg等其他方式对情绪系数进行求解，本申请对此不加以限制。

综上所述，本实施例提供的人脸情绪的识别方法，通过最小化人脸损失的方式，求解目标人脸图片对应的人脸的三维重建表示的情绪系数，从而得到准确的情绪系数。

在示意性实施例中，通过情绪系数可以确定每种情绪对应的情绪系数参考值，进而通过情绪系数参考值确定目标人脸图片对应的人脸情绪。

图4是根据一示例性实施例示出的人脸情绪的识别方法的方法流程图。该方法应用于计算机设备中。如图4所示，上述步骤130可以替换实现为如下步骤：

步骤410：确定各个情绪对应的情绪系数参考值，情绪系数参考值是根据各个情绪的情绪形变样例的情绪系数得到的一个参考值。

示例性的，高兴对应有Ne_emotion个情绪形变样例，根据这Ne_emotion个情绪形变样例的情绪系数，可以得到高兴的情绪系数参考值，其他情绪的绪系数参考值的确定方式类似。

在一种可能的实现方式中，各个情绪对应的情绪系数参考值是各个情绪的所有情绪形变样例的情绪系数中的情绪系数最大值。

示例性的，高兴的Ne_emotion个情绪形变样例的情绪系数中，其中一个情绪形变样例的情绪系数a的数值最大，则将a记为高兴的情绪系数参考值。

在另一种可能的实现方式中，各个情绪对应的情绪系数参考值是各个情绪的所有情绪形变样例的情绪系数对应的情绪系数总和。

示例性的，高兴的Ne_emotion个情绪形变样例的情绪系数的总和为b，则将b记为高兴的情绪系数参考值。

步骤420：在所有情绪对应的情绪系数参考值中，将情绪系数参考值最大值对应的情绪作为目标人脸图片对应的人脸情绪。

示例性的，高兴的情绪系数参考值大于其他情绪的情绪系数参考值，则认为目标人脸图片对应的人脸情绪为高兴。

综上所述，本实施例提供的人脸情绪的识别方法，通过情绪系数来确定每种情绪对应的情绪系数参考值，进而通过情绪系数参考值来准确地确定出目标人脸图片对应的人脸情绪。

需要说明的是，上述方法实施例可以单独实施例，也可以组合实施，本申请对此不加以限制。

图5是根据一示例性实施例示出的一种人脸情绪的识别装置的结构方框图。所述装置包括：

三维重建表示确定模块501，用于确定人脸的三维重建表示，所述三维重建表示中包含：标准人脸、不同脸型的脸型形变样例、不同情绪的情绪形变样例，每个脸型形变样例对应有脸型系数，每个情绪形变样例对应有情绪系数；

情绪系数求解模块502，用于求解目标人脸图片对应的所述人脸的三维重建表示的情绪系数；

人脸情绪确定模块503，用于基于所述目标人脸图片求解后的情绪系数，确定所述目标人脸图片对应的人脸情绪。

在一种可能的确定方式中，所述三维重建表示确定模块501，用于

获取多张对应于不同脸型的无表情人脸图片；

对多张所述无表情人脸图片的人脸三维网格进行主成分分析，得到所述标准人脸和所述不同脸型的脸型形变样例；

获取多张对应于不同情绪的情绪标注人脸图片；

在去除脸型的影响后，对多张所述情绪标注人脸图片的人脸三维网格进行主成分分析，得到所述不同情绪的情绪形变样例；

通过所述标准人脸、所述不同脸型的脸型形变样例、所述不同情绪的情绪形变样例，确定所述人脸的三维重建表示。

在一种可能的实现方式中，所述三维重建表示确定模块501，用于：

针对标注为目标情绪的目标情绪标注人脸图片，对所述目标情绪标注人脸图片的人脸三维网格去除不同脸型的脸型形变样例的加权和，得到所述目标情绪标注人脸图片的优化图片；

对所述目标情绪标注人脸图片的优化图片进行主成分分析，得到所述目标情绪的情绪形变样例。

在一种可能的实现方式中，所述情绪系数求解模块502，用于：

建立所述目标人脸图片对应的人脸损失，所述人脸损失表示所述目标人脸图片使用所述人脸的三维重建表示时的损失；

通过最小化所述人脸损失，求解所述目标人脸图片对应的所述人脸的三维重建表示的情绪系数。

在一种可能的实现方式中，所述人脸损失包括如下中的至少一种：

关键点损失，用于指示所述人脸的三维重建表示投影到二维图像上时，关键点的损失；

人脸重建损失，用于指示投影的所述二维图像与所述目标人脸图片之间的损失；

关键点的相对位置约束，用于指示同一个人在不同张人脸图片中的关键点的相对位置具有一致性；

人脸的脸型系数约束，用于指示同一个人在不同张人脸图片中的脸型系数具有一致性。

在一种可能的实现方式中，，所述人脸情绪确定模块503，用于：

确定各个情绪对应的情绪系数参考值，所述情绪系数参考值是根据各个情绪的情绪形变样例的情绪系数得到的一个参考值；

在所有情绪对应的情绪系数参考值中，将情绪系数参考值最大值对应的情绪作为所述目标人脸图片对应的人脸情绪。

在一种可能的实现方式中，各个情绪对应的所述情绪系数参考值是各个情绪的所有情绪形变样例的情绪系数中的情绪系数最大值；

或，

各个情绪对应的所述情绪系数参考值是各个情绪的所有情绪形变样例的情绪系数对应的情绪系数总和。

需要说明的是：上述实施例提供的人脸情绪的识别装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

请参阅图6，其是根据本申请一示例性实施例提供的一种计算机设备的示意图，所述计算机设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的人脸情绪的识别方法。

其中，处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

在一示例性实施例中，还提供了一种计算机可读存储介质，用于存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现上述方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、只读光盘（Compact Disc Read-Only Memory，CD-ROM）、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。