一种融合AI面部表情识别和主观打分的满意度评价系统

技术领域

本发明涉及数据识别；数据表示；记录载体；记录载体的处理的技术领域，特别涉及一种计算机控制技术领域的融合AI面部表情识别和主观打分的满意度评价系统。

背景技术

满意度评价以接受服务者的需要是否被满足作为客观评价的尺度，是终末质量评价的一种方法，其适用于国家、行业层面的满意度调查，可显著有效地管理和提升服务水平。

现有技术中，满意度评价采用了多种采集方式，包括服务落实度调查、感知质量调查、满意度指数模型调查、满意度和不满意度调查、满意度和短板改进、满意度和KANO分析、满意度和U&A研究、满意度和卓越服务研究、满意度和用户体验研究、满意度和服务管理研究；通过满意度的调研，管理者可建立VOC系统、服务改进系统、服务绩效评估系统，轻松有效地倾听客户声音，了解服务现状，发现服务短板，评价服务绩效，推进服务提升。

然而，现有技术的满意度评价大部分采用主观打分的方式实现，其存在较强的主观性，存在着用户刻意隐瞒真实评价的情况，进而由于评分过高或过低而无法真实体现产品或服务的实际价值。

随着计算机技术的进步，感性工学的概念开始被应用在满意度评价的场景中，其将感性转译到工学中，可以将对人的感性分析的结果转化为产品物理设计要素，进而依据人的喜好来制造产品；在实际的应用中，感性工学的计测数据类型所涉及的对象包括脑波、视线追迹、肌电图、表情、行为等诸多人的生理表征，当然问卷调查作为一种经典的形式也是对象之一，但由于脑波、视线追迹、肌电图易受噪声影响、信号的分辨率不高，表情、行为等主观评价法的结果准确性差，因此，针对感性工学的研究，虽不存在方法的定式，但仍需要经过科学的方式将其逐步向更为精准获取被研究人的感性分析结果进行推进。

发明内容

本发明解决了现有技术中存在的问题，提供了一种优化的融合AI面部表情识别和主观打分的满意度评价系统。

本发明所采用的技术方案是，一种融合AI面部表情识别和主观打分的满意度评价系统，所述系统包括：

一视频监控单元，用于获取被采集者的面部视频流；

一识别帧提取单元，用于提取所述面部视频流中的一帧或多帧进行识别；

一人脸图像处理单元，用于基于识别帧获取被采集者信息、提取面部表情特征并进行面部表情识别，获得初级满意度M；

一满意度评价单元，用于获取被采集者的主观打分信息、获得次级满意度M’，融合初级满意度和次级满意度；

一展示单元，用于输出展示初级满意度和次级满意度融合后的满意度评价结果S。

优选地，配合所述人脸图像处理单元设置有面部表情识别模型；

所述面部表情识别模型包括：

第一识别模型，包括并列设置的Alexnet网络和VGG19网络，对应Alexnet网络和VGG19网络的输出端顺次设有注意力机制网络和分类决策函数；

第二识别模型，为Alexnet网络，所述Alexnet网络配合连接有SVM分类器；

第三识别模型，为VGG19网络，所述VGG19网络配合连接有SVM分类器。

优选地，所述注意力机制网络融合Alexnet网络和VGG19网络的输出，满足qL(K)＝q(K)+J(K)；

q(K)和J(K)分别为全局特征和局部特征，q(K)＝sig(Ba(D(K)))，J(K)＝sig(Ba(K))；

K＝w

其中，V

所述分类决策函数

优选地，对每个识别帧，复制一份后分别输入第一识别模型的Alexnet网络和VGG19网络，将Alexnet网络的fc7层输出及VGG19网络的倒数第二层fc-4096的输出一并输入注意力机制网络，以分类决策函数对注意力机制网络输出的表情特征进行分类，取分类后概率最大的结果，作为第一面部表情识别结果A；

对每个识别帧，以Alexnet网络获得识别帧对应人脸的fc7特征并以SVM分类器进行分类，得到第二面部表情识别结果B；

以VGG19网络获得识别帧对应人脸的倒数第二层fc-4096特征并以SVM分类器进行分类，得到第三面部表情识别结果C；

将A、B、C以决策层进行决策，当B不等于C时，以A为面部表情识别结果；当B等于C时，则以B为面部表情识别结果。

优选地，所述人脸图像处理单元中，对面部表情识别结果的满意情绪、中性情绪和不满意情绪分别赋满意度权值；获取一定时间T内被采集者的L个识别帧，计算初级满意度M，

其中，λ

优选地，当任一识别帧对应的面部表情识别结果为满意情绪时，θ(t)为1；

当任一识别帧对应的面部表情识别结果为不满意情绪时，θ(t)为-1；

其余情况下，θ(t)为0；

当任一识别帧对应的面部表情识别结果为中性情绪时，φ(t)为1，否则φ(t)为0。

优选地，λ

优选地，S＝αM+βM’，其中，-1≤M’≤1。

优选地，若F≥1或F≤-1，则α＝1、β＝0，否则，α＝0、β＝0.1。

优选地，所述视频监控单元包括若干摄像头，配合所述视频监控单元设有比对单元，所述比对单元以VLAN对同一时刻提取的被采集者的识别帧对应的头像和内置的标准头像进行相似度对比，以相似度最高识别帧对应的头像作为人脸图像；对识别帧进行预处理。

本发明提供了一种优化的融合AI面部表情识别和主观打分的满意度评价系统，以视频监控单元获取被采集者的面部视频流，以识别帧提取单元提取面部视频流中的一帧或多帧进行识别；以人脸图像处理单元基于识别帧获取被采集者信息、提取面部表情特征并进行面部表情识别，获得初级满意度M，以满意度评价单元获取被采集者的主观打分信息、获得次级满意度M’，并融合初级满意度和次级满意度，以展示单元输出展示初级满意度和次级满意度融合后的满意度评价结果S。

本发明的有益效果在于，对AI面部表情识别和主观打分的评价结果进行融合，且二者可以相互验证、相辅相成，提高了满意度评价的准确性和客观性，克服感性工学中脑电分析法、眼动追踪法易受噪声影响、信号的分辨率不高以及主观评价法的结果准确性差的劣势。

附图说明

图1为本发明的系统结构示意图；

图2为本发明的面部表情识别模型结构图；

图3为本发明中第一识别模型的应用结构图。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种融合AI面部表情识别和主观打分的满意度评价系统，所述系统包括：

一视频监控单元，用于获取被采集者的面部视频流；

所述视频监控单元包括若干摄像头，配合所述视频监控单元设有比对单元，所述比对单元以VLAN对同一时刻提取的被采集者的识别帧对应的头像和内置的标准头像进行相似度对比，以相似度最高识别帧对应的头像作为人脸图像；对识别帧进行预处理。

本发明中，由于无法保证被采集者时刻以正面人脸对着显示器，为了最大可能地获取到被采集者的正面人脸图像，摄像头至少为3个，以每2秒同时采集一次被采集者的面部表情，以处于被采集者面前中间的摄像头校对被采集者的正面人脸，确保中间的摄像头能最大限度捕获到被采集者的正面人脸。

一识别帧提取单元，用于提取所述面部视频流中的一帧或多帧进行识别；

本发明中，对视频监控单元采集到的视频流自动提取一个或多个识别帧，对识别帧进行情感识别，并获得最终的基于机器识别的结果。

本发明中，将被采集者的面部表情归纳为满意、中性、厌恶；当被采集者对评价对象满意的时候，他的眉毛对称展开，嘴角和两边的肌肉呈下弯状态，表明他的表情是满意的；当被采集者对评价对象不满意的时候，他的眉毛紧缩、嘴角不对称，表明他的表情是厌恶(不满意)的；当被采集者对评价对象没有感觉，他会表现出面无表情的状态，表明他是中性的表情；依据上述对面部表情类型的归纳，可以通过深度学习模型识别出人脸图像的面部表情。

本发明中，提前录入所有被采集者的正面人脸头像，为标准头像，一般情况下同一时刻只允许一个被采集者进行评价，3个摄像头同时对被采集者提取关键帧人脸头像，拟采用VLAN算法对同一时刻提取的被采集者的关键帧头像和标准头像进行相似度对比，取相似度最高的作为被采集者的人脸图像进行提取；对该人脸图像进行去噪、归一化处理，提取出人脸区域特征，进行面部情感识别。

一人脸图像处理单元，用于基于识别帧获取被采集者信息、提取面部表情特征并进行面部表情识别，获得初级满意度M；

配合所述人脸图像处理单元设置有面部表情识别模型；

所述面部表情识别模型包括：

第一识别模型，包括并列设置的Alexnet网络和VGG19网络，对应Alexnet网络和VGG19网络的输出端顺次设有注意力机制网络和分类决策函数；

所述注意力机制网络融合Alexnet网络和VGG19网络的输出，满足qL(K)＝q(K)+J(K)；

q(K)和J(K)分别为全局特征和局部特征，q(K)＝sig(Ba(D(K)))，J(K)＝sig(Ba(K))；

K＝w

其中，V

所述分类决策函数

第二识别模型，为Alexnet网络，所述Alexnet网络配合连接有SVM分类器；

第三识别模型，为VGG19网络，所述VGG19网络配合连接有SVM分类器。

对每个识别帧，复制一份后分别输入第一识别模型的Alexnet网络和VGG19网络，将Alexnet网络的fc7层输出及VGG19网络的倒数第二层fc-4096的输出一并输入注意力机制网络，以分类决策函数对注意力机制网络输出的表情特征进行分类，取分类后概率最大的结果，作为第一面部表情识别结果A；

对每个识别帧，以Alexnet网络获得识别帧对应人脸的fc7特征并以SVM分类器进行分类，得到第二面部表情识别结果B；

以VGG19网络获得识别帧对应人脸的倒数第二层fc-4096特征并以SVM分类器进行分类，得到第三面部表情识别结果C；

将A、B、C以决策层进行决策，当B不等于C时，以A为面部表情识别结果；当B等于C时，则以B为面部表情识别结果。

本发明中，对Alexnet网络的fc7层输出和VGG19网络的倒数第二层fc-4096的输出以注意力机制网络进行融合后，作为分类决策函数的输入，分类决策函数的输出作为第一面部表情识别结果A；

其中，注意力机制网络融合了Alexnet网络和VGG19网络输出的向量中每个元素对应的全局特征和局部特征，获得更为准确的特征融合结果，其中，对于平均值和方差的计算为本领域公知技术，即

分类决策函数则是对每个输入的融合特征进行类别判断；

最终以类别概率最大值对应的类别作为第一面部表情识别结果A，一般情况下，表情类别包括满意表情、中性表情和厌恶(不满意)表情；

第一识别模型充分利用了Alexnet网络和VGG19网络输出的向量的特征的融合，提高了分类的准确率。

本发明中，在利用第二识别模型和第三识别模型前，将Alexnet、VGG19的最后一层识别类别改成3类，再将它们分别在训练集中训练满意表情人脸图像、中性表情人脸图像、厌恶(不满意)表情人脸图像的识别情况，从而获得它们的最终参数；进而在识别时，以第二识别模型的Alexnet网络获得识别帧对应人脸的fc7特征并以SVM分类器进行分类，得到第二面部表情识别结果B，以第三识别模型的VGG19网络获得识别帧对应人脸的倒数第二层fc-4096特征并以SVM分类器进行分类，得到第三面部表情识别结果C。

本发明中，决策层对应的面部表情识别结果Q满足：

所述人脸图像处理单元中，对面部表情识别结果的满意情绪、中性情绪和不满意情绪分别赋满意度权值；获取一定时间T内被采集者的L个识别帧，计算初级满意度M，

其中，λ

当任一识别帧对应的面部表情识别结果为满意情绪时，θ(t)为1；

当任一识别帧对应的面部表情识别结果为不满意情绪时，θ(t)为-1；

其余情况下，θ(t)为0；

当任一识别帧对应的面部表情识别结果为中性情绪时，φ(t)为1，否则φ(t)为0。

λ

本发明中，当识别到满意情绪或厌恶情绪时候，说明这个人不存在情绪表露不明显问题，也说明适合用这个系统直接自动识别其满意度，故对应的权值较高，即λ

当识别到中性情绪时，表示此人可能性格较内向、不善于表达出情绪，在这样的情况下，仅通过面部表情识别则将出现错误或不准确的情况，需要主观打分进行验证；基于此，λ

本发明中，由于系统的采集一般会获得多帧识别帧，故采集一次观察者的面部表情，在1分钟内就可以完成对一个人的满意度测量(一般为2s采集一次)，故一般为了计算方便，λ

本发明中，一般来说，-1≤M≤1。

一满意度评价单元，用于获取被采集者的主观打分信息、获得次级满意度M’，融合初级满意度和次级满意度；

本发明中，采用面部表情识别技术和主观打分评价方法融合方式获得最终满意度。

一展示单元，用于输出展示初级满意度和次级满意度融合后的满意度评价结果S。

S＝αM+βM’，其中，-1≤M’≤1。

若F≥1或F≤-1，则α＝1、β＝0，否则，α＝0、β＝0.1。

本发明中，当F≥1或F≤-1，可以说明此被采集者的表情表露明显，适合用面部表情识别技术自动获得他的满意度，因此α＝1，M必被计入，而主观打分M’可以不用起作用；

当F大于-1、小于1，则说明这个被采集者的表情表露不明显，不合适单独以面部表情识别技术自动获得其满意度，需要主观打分M’来辅助获取其满意度指标，故此时α为0，β计入；但同时，主观打分显然是不客观的，数据造假的可能性大，因此其权值比直接面板表情识别的权重要小，仅设置为0.1，这种误差或结果的不准确性将通过大量数据的积累而在最终被抵消、使得系统的评价结果趋于准确和稳定。

本发明中，用户可以通过展示单元，如大屏幕，查看满意度评价的最终结果。