人脸表情识别方法、装置、设备及介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种人脸表情识别方法、装置、设备及介质。

背景技术

在现实生活中，面部表情是人类表达自己的情绪状态和意图时最强大、最自然和最普遍的信号之一，包含着非常丰富的情感信息，在人与人之间相互情感表达中起着重要作用。随着近年来计算机视觉的发展，面部表情自动分析技术被越来越多的应用于社交机器人、医疗、驾驶员疲劳监测等许多其他的人机交互系统中。

目前，对表情进行识别主要方法为：基于面部动作编码系统，通过检测脸部肌肉运动，构建其与情绪之间的映射关系，达到表情识别的目的。

但是通过该方法，表情识别的准确性较低。

发明内容

本发明实施例提供一种人脸表情识别方法、装置、设备及介质，能够提高人脸表情识别的准确性。

第一方面，本发明实施例提供了一种人脸表情识别方法，包括：

获取目标人脸图像；

提取目标人脸图像的全局特征和局部特征；

融合全局特征和局部特征，得到目标人脸图像对应的融合特征；

根据融合特征和预先训练好的人脸表情识别模型，识别目标人脸图像中的人脸表情；人脸表情识别模型为利用至少一个人脸图像对应的融合特征训练得到的。

在本发明实施例的一个可能的实现方式中，在提取目标人脸图像的全局特征和局部特征之前，本发明实施例提供的人脸表情识别方法还包括：

对目标人脸图像进行预处理。

在本发明实施例的一个可能的实现方式中，在获取目标人脸图像之前，本发明实施例提供的人脸表情识别方法还包括：

训练人脸表情识别模型。

在本发明实施例的一个可能的实现方式中，训练人脸表情识别模型，包括：

获取至少一个人脸图像；

提取至少一个人脸图像中的每一个人脸图像的全局特征和局部特征；

融合每一个人脸图像的全局特征和局部特征，得到每一个人脸图像对应的融合特征；

根据每一个人脸图像对应的融合特征，训练人脸表情识别模型。

在本发明实施例的一个可能的实现方式中，至少一个人脸图像包括：

利用图像采集设备采集到的人脸图像和已公开的人脸图像数据集中的人脸图像。

在本发明实施例的一个可能的实现方式中，融合每一个人脸图像的全局特征和局部特征，得到每一个人脸图像对应的融合特征，包括：

利用分类器，确定全局特征对应的权重和局部特征对应的权重；

根据每一个人脸图像的全局特征、每一个人脸图像的局部特征、全局特征对应的权重和局部特征对应的权重，计算每一个人脸图像对应的融合特征。

在本发明实施例的一个可能的实现方式中，在提取至少一个人脸图像中的每一个人脸图像的全局特征和局部特征之前，本发明实施例提供的人脸表情识别方法还包括：

对至少一个人脸图像进行预处理。

第二方面，本发明实施例提供了一种人脸表情识别装置，包括：

获取模块，获取目标人脸图像；

提取模块，用于提取目标人脸图像的全局特征和局部特征；

融合模块，用于融合全局特征和局部特征，得到目标人脸图像对应的融合特征；

识别模块，用于根据融合特征和预先训练好的人脸表情识别模型，识别目标人脸图像中的人脸表情；人脸表情识别模型为利用至少一个人脸图像对应的融合特征训练得到的。

在本发明实施例的一个可能的实现方式中，本发明实施例提供的人脸表情识别装置还包括：

第一预处理模块，用于对目标人脸图像进行预处理。

在本发明实施例的一个可能的实现方式中，本发明实施例提供的人脸表情识别装置还包括：

训练模块，用于训练人脸表情识别模型。

在本发明实施例的一个可能的实现方式中，训练模块，包括：

获取单元，用于获取至少一个人脸图像；

提取单元，用于提取至少一个人脸图像中的每一个人脸图像的全局特征和局部特征；

融合单元，用于融合每一个人脸图像的全局特征和局部特征，得到每一个人脸图像对应的融合特征；

训练单元，用于根据每一个人脸图像对应的融合特征，训练人脸表情识别模型。

在本发明实施例的一个可能的实现方式中，至少一个人脸图像包括：

利用图像采集设备采集到的人脸图像和已公开的人脸图像数据集中的人脸图像。

在本发明实施例的一个可能的实现方式中，融合单元，具体用于：

利用分类器，确定全局特征对应的权重和局部特征对应的权重；

根据每一个人脸图像的全局特征、每一个人脸图像的局部特征、全局特征对应的权重和局部特征对应的权重，计算每一个人脸图像对应的融合特征。

在本发明实施例的一个可能的实现方式中，训练模块，还包括：

预处理单元，用于对至少一个人脸图像进行预处理。

第三方面，本发明实施例提供一种人脸表情识别设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；

处理器执行计算机程序时实现第一方面或者第一方面任一可能的实现方式中的人脸表情识别方法。

再一方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面或者第一方面任一可能的实现方式中的人脸表情识别方法。

本发明实施例的人脸表情识别方法、装置、设备及介质，通过利用至少一个人脸图像对应的融合特征训练得到的人脸表情识别模型识别人脸表情，能够提高人脸表情识别的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种人脸表情识别方法的流程示意图；

图2是本发明实施例提供的训练人脸表情识别模型的过程示意图；

图3是本发明实施例提供的一种人脸表情识别装置的结构示意图；

图4是本发明实施例提供的一种计算设备的硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了解决现有技术问题，本发明实施例提供了一种人脸表情识别方法、装置、设备及介质。下面首先对本发明实施例提供的人脸表情识别方法进行详细说明。

图1是本发明实施例提供的一种人脸表情识别方法的流程示意图。人脸表情识别方法可以包括：

S101：获取目标人脸图像。

S102：提取目标人脸图像的全局特征和局部特征。

S103：融合全局特征和局部特征，得到目标人脸图像对应的融合特征。

S104：根据融合特征和预先训练好的人脸表情识别模型，识别目标人脸图像中的人脸表情。

其中，人脸表情识别模型为利用至少一个人脸图像对应的融合特征训练得到的。

在本发明实施例的一个可能的实现方式中，可以利用卷积神经网路(Convolutional Neural Networks，CNN)提取目标人脸图像的全局特征。

在本发明实施例的一个可能的实现方式中，可以利用Gabor提取目标人脸图像的局部特征。

其中，利用Gabor提取目标人脸图像的局部特征时，可以先对目标人脸图像进行实数形式的Gabor变换，得到Gabor变换图像，直接提取特征的话，特征维数太高，不利于后续处理，通常对Gabor变换图像进行分块，计算每一块对应的能量，得到能量矩阵，将该能量矩阵进行降维处理，将降维处理后得到的矩阵作为目标人脸图像的局部特征向量。

当提取到目标人脸图像的全局特征和局部特征后，融合全局特征和局部特征，得到目标人脸图像对应的融合特征。

在本发明实施例的一个可能的实现方式中，可以将全局特征和局部特征进行加权求和计算，得到目标人脸图像对应的融合特征。

然后，将目标人脸图像对应的融合特征输入利用至少一个人脸图像对应的融合特征训练得到的人脸表情识别模型进行人脸表情的分类，识别目标人脸图像中的人脸表情。

本发明实施例的人脸表情识别方法，通过利用至少一个人脸图像对应的融合特征训练得到的人脸表情识别模型识别人脸表情，能够提高人脸表情识别的准确性。

在本发明实施例的一个可能的实现方式中，还可以记录人脸表情识别结果、显示人脸表情识别结果或者将人脸表情识别结果发送给终端等等。

在本发明实施例的一个可能的实现方式中，在提取目标人脸图像的全局特征和局部特征之前，可以对目标人脸图像进行预处理。

图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、图像分割、匹配和识别的可靠性。

本发明实施例中的预处理包括但不限于：灰度化、几何变换和图像增强。

在本发明实施例的一个可能的实现方式中，可以采用分量法、最大值法和平均值法或加权平均法对图像进行灰度化处理。

图像几何变换又称为图像空间变换，通过平移、转置、镜像、旋转、缩放等几何变换对图像进行处理，用于改正图像采集系统的系统误差和仪器位置(成像角度、透视关系乃至镜头自身原因)的随机误差。

图像增强指增强图像中的有用信息，目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。图像增强算法可分成两大类：空间域法和频率域法。

空间域法是一种直接图像增强算法，分为点运算算法和邻域增强算法。点运算算法即灰度级校正、灰度变换和直方图修正等。邻域增强算法分为图像平滑和锐化两种。常用平滑算法有均值滤波、中值滤波和空域滤波等。常用锐化算法有梯度算子法、二阶导数算子法、高通滤波和掩模匹配法等。

频率域法是一种间接图像增强算法，常用的频率域法有低通滤波和高通滤波。

在本发明实施例的一个可能的实现方式中，可以采用基于空间域的中值滤波进行去噪。具体的，预先确定图像中可能为噪声点的区域，仅针对可能为噪声点的区域进行去噪。本发明实施例采用基于空间域的中值滤波进行去噪，能够避免单纯使用中值滤波带来的模糊效率，提高表情识别的准确性。

在本发明实施例的一个可能的实现方式中，可以预先训练人脸表情识别模型。

在本发明实施例的一个可能的实现方式中，可以获取至少一个人脸图像；提取至少一个人脸图像中的每一个人脸图像的全局特征和局部特征；融合每一个人脸图像的全局特征和局部特征，得到每一个人脸图像对应的融合特征；根据每一个人脸图像对应的融合特征，训练人脸表情识别模型。

在本发明实施例的一个可能的实现方式中，至少一个人脸图像可以包括：利用图像采集设备采集到的人脸图像和已公开的人脸图像数据集中的人脸图像。

图像采集设备包括不限于：手机、平板、电脑或者其他带有图像采集单元(比如摄像头)的设备。

在本发明实施例的一个可能的实现方式中，可以利用CNN提取至少一个人脸图像的全局特征，利用Gabor提取至少一个人脸图像的局部特征。

当提取每一个人脸图像的全局特征和局部特征后，融合每一个人脸图像的全局特征和局部特征，得到每一个脸图像对应的融合特征。

在本发明实施例的一个可能的实现方式中，可以将每一个人脸图像的全局特征和局部特征进行加权求和计算，得到每一个人脸图像的人脸图像对应的融合特征。

在本发明实施例的一个可能的实现方式中，可以利用分类器，确定全局特征对应的权重和局部特征对应的权重；根据每一个人脸图像的全局特征、每一个人脸图像的局部特征、全局特征对应的权重和局部特征对应的权重，计算每一个人脸图像对应的融合特征。

在本发明实施例的一个可能的实现方式中，分类器可以为极限学习机(ExtremeLearning Machine，ELM)。

利用分类器，可以得到全局特征的分类准确率和局部特征的分类准确率，进而将全局特征的分类准确率作为全局特征对应的权重，将局部特征的分类准确率作为局部特征对应的权重。

假设人脸图像i对应的融合特征记为X

则X

其中，FG

在本发明实施例的一个可能的实现方式中，在提取至少一个人脸图像中的每一个人脸图像的全局特征和局部特征之前，可以对至少一个人脸图像进行预处理。

对至少一个人脸图像进行的预处理包括但不限于：灰度化、几何变换和图像增强。

在本发明实施例的一个可能的实现方式中，对至少一个人脸图像进行的预处理还可以包括：基于至少一个人脸图像通过数据增强方式扩充人脸图像的数量。

本发明实施例的数据增强方式包括但不限于：随机裁剪、旋转变换、平移变换、尺度变换、主成分分析(principal components analysis，PCA)和白化(Whitening)等。

在本发明实施例的一个可能的实现方式中，优选采用旋转变换方式扩充人脸图像的数量。具体的，每一个人脸图像以原点为中心分别旋转90°、180°和270°。

基于上述，本发明实施例训练人脸识别模型的过程如图2所示。

首先，接收至少一个图像采集设备采集到的至少一个人脸图像以及获取已公开的人脸图像数据集。

对接收到的至少一个人脸图像以及人脸图像数据集中的人脸图像中的每一个人脸图像进行预处理。

提取每一个人脸图像的全局特征和局部特征。

融合每一个人脸图像的全局特征和局部特征，得到每一个人脸图像对应的融合特征。

基于每一个人脸图像对应的融合特征，训练人脸表情识别模型。

与上述的方法实施例相对应，本发明实施例还提供一种人脸表情识别装置。

图3是本发明实施例提供的一种人脸表情识别装置的结构示意图。人脸表情识别装置可以包括：

获取模块301，获取目标人脸图像；

提取模块302，用于提取目标人脸图像的全局特征和局部特征；

融合模块303，用于融合全局特征和局部特征，得到目标人脸图像对应的融合特征；

识别模块304，用于根据融合特征和预先训练好的人脸表情识别模型，识别目标人脸图像中的人脸表情。

其中，人脸表情识别模型为利用至少一个人脸图像对应的融合特征训练得到的。

在本发明实施例的一个可能的实现方式中，本发明实施例提供的人脸表情识别装置还可以包括：

第一预处理模块，用于对目标人脸图像进行预处理。

在本发明实施例的一个可能的实现方式中，本发明实施例提供的人脸表情识别装置还可以包括：

训练模块，用于训练人脸表情识别模型。

在本发明实施例的一个可能的实现方式中，训练模块，可以包括：

获取单元，用于获取至少一个人脸图像；

提取单元，用于提取至少一个人脸图像中的每一个人脸图像的全局特征和局部特征；

融合单元，用于融合每一个人脸图像的全局特征和局部特征，得到每一个人脸图像对应的融合特征；

训练单元，用于根据每一个人脸图像对应的融合特征，训练人脸表情识别模型。

在本发明实施例的一个可能的实现方式中，至少一个人脸图像可以包括：

利用图像采集设备采集到的人脸图像和已公开的人脸图像数据集中的人脸图像。

在本发明实施例的一个可能的实现方式中，融合单元，具体可以用于：

利用分类器，确定全局特征对应的权重和局部特征对应的权重；

根据每一个人脸图像的全局特征、每一个人脸图像的局部特征、全局特征对应的权重和局部特征对应的权重，计算每一个人脸图像对应的融合特征。

在本发明实施例的一个可能的实现方式中，训练模块，还可以包括：

预处理单元，用于对至少一个人脸图像进行预处理。

图4是本发明实施例提供的一种计算设备的硬件架构的结构图。如图4所示，计算设备400包括输入设备401、输入接口402、中央处理器403、存储器404、输出接口405、以及输出设备406。其中，输入接口402、中央处理器403、存储器404、以及输出接口405通过总线410相互连接，输入设备401和输出设备406分别通过输入接口402和输出接口405与总线410连接，进而与计算设备400的其他组件连接。

具体地，输入设备401接收来自外部的输入信息，并通过输入接口402将输入信息传送到中央处理器403；中央处理器403基于存储器404中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器404中，然后通过输出接口405将输出信息传送到输出设备406；输出设备406将输出信息输出到计算设备400的外部供用户使用。

也就是说，图4所示的计算设备也可以被实现为人脸表情识别设备，该人脸表情识别设备可以包括：存储有计算机程序的存储器；以及处理器，该处理器在执行计算机程序时可以实现本发明实施例提供的人脸表情识别方法。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序；该计算机程序被处理器执行时实现本发明实施例提供的人脸表情识别方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。