基于改进弹性模块匹配算法的人脸表情识别方法

技术领域

本申请涉及图像处理技术领域，特别是涉及一种基于改进弹性模块匹配算法的人脸表情识别方法。

背景技术

人脸表情识别技术在近年来随着一些相关领域的飞速发展如机器学习，图像处理，人类识别等，成为了一个热点发展的技术。人脸表情识别系统的影响和潜力同时推广到广大的应用场合中，如人机交互，智能机器人，驾驶员状态监督等等。人脸表情识别系统是计算机理解人们情感的前提，也是人们探索智能、理解智能的有效途径。如何实现计算机的拟人化，使其能根据周围的环境以及对象的状态等内容，自适应地为交流对象提供最友好的操作环境，消除操作者和机器之间的障碍，己经成为下一代人机界面发展的目标，是智能机器人走进人们日常生活必须解决的问题，对建立多信息智能化人机交互系统有着重要意义。

人脸表情识别技术一般包括三部分内容：(1)人脸检测；(2)人脸表情特征的提取；(3)表情特征的分类。其中人脸表情特征提取是整个系统中最为核心的步骤，特征提取直接影响到识别的精度，鲁棒性，和实时性。常见的人脸特征提取的方法包括：基于几何特征，表观特征，动态特征的方法。而传统的弹性模板匹配算法是使用均匀网格提取全脸的特征信息进而使用最近邻分类策略来进行匹配识别，这样引入了对表情变化贡献较小部位如脸部轮廓、额头、面颊部位的干扰信息，使计算量成倍增加，且识别率下降。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于改进弹性模块匹配算法的人脸表情识别方法，采用非均匀网格对表情图像数据集进行训练得到针对表情变化关键点特征信息的表情特征数据集，通过求取所述表情特征数据集中模板特征图与待识别图像的最小代价函数，以最小代价函数的模板特征图所对应的模式确定为所述待识别图像的模式类别。

可选地，通过求取所述表情特征数据集中模板特征图与待识别图像的最小代价函数的过程是对模板特征图采用弹性网格的节点在待识别图像上做局部移动进行相似性测试、进而求取最大相似性的过程。

可选地，模板特征图采用弹性网格的节点在待识别图像上的代价函数为：

其中，N为弹性网格中的节点总数，μ为控制弹性网格变形的弹性参数，v

可选地，所述相似度s(p′

可选地，所述弹性网格采用的是模板Gabor网格，模板Gabor网格的节点的Gabor小波分解的幅值在网格变形过程中保持不变，改变的仅仅是模型Gabor网格的几何形状，即在模板Gabor网格与待识别图像匹配过程中，弹性网格的节点位置随着模型Gabor网格与图像Gabor小波分解的进一步匹配而改变。

可选地，在求取所述表情特征数据集中模板特征图与待识别图像的最小代价函数的过程中，依次改变模板特征图中各个节点的位置，在待识别图像中检测出对应位置的Gabor变换特征向量，进而计算出整个待识别图像所构成的网格连接系统所对应的代价函数。

可选地，在改变模板特征图中的节点位置时，保持各个节点在变形的同时仍保持相对位置关系。

可选地，在改变模板特征图中的节点位置时，节点处于在不同方向移动测试的状态，在移动测试过程中比较移动前后的代价函数值，当新的代价函数值大于在先的代价函数值时，说明计算发散，抛弃当前点，更换搜索方向当新的代价函数值小于在先的代价函数值时，说明计算收敛，接受该点；

当该点变形量超过搜索步长时，则停止变形，开始下一个节点的匹配，重复上述搜索路径，改变模板特征图中节点的位置，直到对表情特征数据集中每一个模板特征图计算出一个最小代价函数值。

可选地，以最小代价函数的模板特征图所对应的模式确定为所述待识别图像的模式类别时，是将所述待识别图像与表情模板库中的所有模板特征图进行弹性模板匹配，对所求得的所有代价函数值排序，以其中最小的代价函数所对应的模式为所述待识别图像所属的模式类别。

特别地，本发明还提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。

本发明还提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行如上所述的方法。

本申请的基于改进弹性模块匹配算法的人脸表情识别方法，其通过对作为标准的表情图像数据集进行训练，从而提取特征构成模板特征图，能够降低后续的识别计算量，再通过基于模板特征图去进行与待识别对象的代价函数计算，在过程中对模板特征图与待识别图像通过弹性网格进行最小代价函数的获取进而确定识别出人脸表情类别，能够有效降低了干扰，使得表情识别率大大提高，还能够有效降低运算时间。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请一个实施例的基于改进弹性模块匹配算法的人脸表情识别方法的方法流程图；

图2是根据本申请另一个实施例的计算设备结构图；

图3是根据本申请另一个实施例的计算机可读存储介质结构图。

具体实施方式

本实施例可以在复杂的背景下实现自动提取前景对象实例。本实施例结合了对象实例分割和图像匹配过程，允许从复杂背景中对多个前景对象实例进行分类、分割和提取。

实例分割过程提供的语义标签提供了一种基于改进弹性模块匹配算法的人脸表情识别方法，如图1所示，采用非均匀网格对表情图像数据集进行训练得到针对表情变化关键点特征信息的表情特征数据集，通过求取所述表情特征数据集中模板特征图与待识别图像的最小代价函数，以最小代价函数的模板特征图所对应的模式确定为所述待识别图像的模式类别。

采用非均匀网格对表情图像数据集进行训练时，在表情图像数据集中的每一幅表情图像上覆盖一幅网格，即使用较小尺寸的网格分割和细化表情图像，将作为标准的表情图像网格化，进而得到包含表情变化关键点特征信息的模板特征图，以若干个模板特征图来构成表情特征数据集。网格尺寸的大小对于提取的表情特征的详细程度及系统的计算量有重要的影响，网格尺寸过小导致表情图像分割过细，虽然能更多的提取表情图像的细节特征，并在一定程度上提高系统的识别率，但会极大地增加计算量，使系统负担过重但是网格尺寸过大会丢失部分表情信息，使系统识别率降低，在本实施例中采用10*10的矩形网格对表情图像进行网格化。

通过对于所述待识别图像的初始匹配后，对模板特征图采用弹性网格的节点在待识别图像上做局部移动进行相似性测试、进而求取最大相似性，实现对于所述表情特征数据集中模板特征图与待识别图像的最小代价函数的求取。

进行模板特征图与待识别图像的弹性匹配，是将模板特征图以模板Gabor网格覆盖在待识别图像的节点做局部的移动变形，直到二者之间有最大的相似性测度为止，即所述待识别图像所构成网格系统的代价函数最小，这样就可以找到与该待识别图像最匹配的模板类别。模板特征图采用弹性网格的节点在待识别图像上的代价函数为：

其中，N为弹性网格中的节点总数，μ为控制弹性网格变形的弹性参数，v

而所述相似度s(p′

代价函数的涵义为；当作为模板的模板特征图与作为目标的待识别图像相差较大时，则弹性网格的变形量D越大，就会导致代价函数增大；反之，当模板与目标越相似时，则模板网格的变形量D越小，导致代价函数减小。当模板与目标相差较大时，则弹性网格与待识别图像之间的相似性测度S越小，导致代价函数增大；反之，当模板与目标越相似时，则弹性网格与待识别图像之间的相似性测度S越大，使代价函数减小。所述弹性网格采用的是模板Gabor网格，对于弹性网格的节点，模板Gabor网格的节点的Gabor小波分解的幅值在网格变形过程中保持不变，改变的仅仅是模型Gabor网格的几何形状，即在模板Gabor网格与待识别图像匹配过程中，弹性网格的节点位置随着模型Gabor网格与图像Gabor小波分解的进一步匹配而改变。

在求取所述表情特征数据集中模板特征图与待识别图像的最小代价函数的过程中，依次改变模板特征图中各个节点的位置，在待识别图像中检测出对应位置的Gabor变换特征向量，进而计算出整个待识别图像所构成的网格连接系统所对应的代价函数。在改变模板特征图中的节点位置时，需要保证各点在变形的同时仍保持相对位置关系而不会出现交叉匹配，从而维护各节点的相对位置信息。在改变节点位置时，每个节点可以在8方向自由移动，而为了保证计算的收敛，减少移动代价，设定每个方向的移动步长为5个像素。

在改变模板特征图中的节点位置时，节点处于在不同方向移动测试的状态，在移动测试过程中比较移动前后的代价函数值，当新的代价函数值大于在先的代价函数值时，说明计算发散，抛弃当前点，更换搜索方向当新的代价函数值小于在先的代价函数值时，说明计算收敛，接受该点；

当该点变形量超过搜索步长时，则停止变形，开始下一个节点的匹配，重复上述搜索路径，改变模板特征图中节点的位置，直到对表情特征数据集中每一个模板特征图计算出一个最小代价函数值。

以最小代价函数的模板特征图所对应的模式确定为所述待识别图像的模式类别时，是将所述待识别图像与表情模板库中的所有模板特征图进行弹性模板匹配，对所求得的所有代价函数值排序，以其中最小的代价函数所对应的模式为所述待识别图像所属的模式类别。

待识别图像与表情特征数据集中的所有模板特征图进行弹性模板匹配,对所求得的所有代价函数值排序,其中最小的代价函数所对应的模板模式就是所述待识别图像所属的模式类别。

可知，本实施例的基于改进弹性模块匹配算法的人脸表情识别方法，其通过对作为标准的表情图像数据集进行训练，从而提取特征构成模板特征图，能够降低后续的识别计算量，再通过基于模板特征图去进行与待识别对象的代价函数计算，在过程中对模板特征图与待识别图像通过弹性网格进行最小代价函数的获取进而确定识别出人脸表情类别，能够有效降低干扰，使得表情识别率大大提高，还能够有效降低运算时间。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

本申请实施例还提供了一种计算设备，参照图2，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。

本申请实施例还提供了一种计算机可读存储介质。参照图3，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。

本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。