一种情感检测方法和装置

技术领域

本申请属于人工智能技术领域，具体涉及一种情感检测方法和装置。

背景技术

目前，通过视频流非接触情感检测的主要方法是表情识别，而人们在很多情况下擅长伪装或抑制真实情感，因此，使用计算机视觉和模式识别技术进行情感检测成为一种重要的技术手段。

2009年，Shreve等将人脸划分为几个主要区域，采用稠密光流法提取图像特征值并使用中心插分法估计光流变化，通过与设定的阈值比较来检测微表情；同年，Polikovsky等采用3D梯度方向直方图的方法在自己的微表情数据库中检测出微表情起始阶段、峰值阶段和结束阶段的持续时间；2011年，Sherve等人利用光流法在自己建立的表情和微表情混合数据库上对两种表情(宏表情和微表情)开展了检测实验，其中微表情的检测准确率达到74％；随后Wu等人采用提取图像Gabor特征并由SVM分类训练的方法捕捉微表情。2014年，Moilanen等提出利用LBP直方图特征计算图像序列的时空信息来检测微表情；随后Davison等用HPG特征代替LBP特征提取图像序列特征后，设定了一个基线阈值通过对比来检测微表情。然而，上述现有技术均无法精确地实现情感检测。

本申请实施例的目的是提供一种情感检测方法和装置，以解决现有技术无法精确地实现情感检测的缺陷。

为了解决上述技术问题，本申请是这样实现的：

第一方面，提供了一种情感检测方法，包括以下步骤：

采集人脸的视频流，从所述视频流中获取多帧人脸图像；

对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据；

根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度。

第二方面，提供了一种情感检测装置，包括：

采集模块，用于采集人脸的视频流，从所述视频流中获取多帧人脸图像；

处理模块，用于对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据；

输出模块，用于根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度。

本申请实施例根据面部肌肉群轮廓内的每个像素点的振幅和振动频率确定人脸对应的情感，检测准确性较高，且应用范围广，使用方便。

附图说明

图1是本申请实施例提供的一种情感检测方法流程图；

图2是本申请实施例提供的情感检测方法的一种具体实现图；

图3是本申请实施例提供的一种情感检测专用设备的具体实现图；

图4是本申请实施例提供的一种情感检测装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出一种基于面部肌肉微震颤的情感检测方法和装置，创造性地使用了面部肌肉微震颤的振幅和频率的细微变化来定义不同的情感。由于面部肌肉微震颤是无意识的自然反应，通过连续计算肌肉微震颤的振幅和频率并分析其随时序的细微变化可更客观的获取到更真实的情感表达。本申请实施例使用专用的摄像头，基于面部肌肉群微震颤的振幅和频率这种生理特征来表征情绪，让面部大量的像素点参与计算，识别的情感更丰富；按照30秒的时序变化来输出情感，更关注动态变化，使得准确性更高，并且可识别真实的情感和伪装的情感。

具体地，情感检测的具体过程包括：利用摄像头捕捉人脸视频，从输入的视频信号中进行逐帧处理，对每一帧图像的人脸面部进行识别，并且定位面部多个肌肉群的轮廓，通过肌肉群轮廓内的每个像素点在连续帧图像中的位移，计算出每个像素点运动的振幅和频率。每个肌肉群内像素点运动的振幅和频率的数值以及随时间的变化跟人的情感密切相关，将计算出的多个肌肉群微震颤的振幅和频率的时序变化数据进行深度学习引擎关联和分析，可以识别出多种情感。

此外，情感检测装置由信息采集单元、计算单元、情感分析单元组成，信息采集单元通过30帧/秒的摄像头采集人脸视频，并且每秒得到30帧包含不小于400*400像素的人脸图像。计算单元计算肌肉群内像素点在连续多帧中发生的位移，从而计算出肌肉微震颤的振幅和频率以及时序变化数据。情感分析单元通过多种情感模型的深度学习结果实现情感检测。

具体地，信息采集单元包括视频采集模块和视频处理模块，视频采集模块实现摄像头中视频流的获取，视频处理模块得到帧图像。计算单元包括面部肌肉群轮廓计算模块、像素点振幅和频率计算模块、时序变化数据获取模块。情感分析单元包括情感分析模块和深度学习引擎模块，深度学习引擎模块在情感状态反馈、监督学习等人为调整下对大量数据进行训练得到持续优化的情感分析模型。情感分析模块使用优化过的情感分析模型进行准确的情感检测。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的情感检测方法进行详细地说明。

如图1所示，为本申请实施例提供的一种情感检测方法流程图，该方法包括以下步骤：

步骤101，采集人脸的视频流，从所述视频流中获取多帧人脸图像。

步骤102，对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据。

具体地，可以基于肌肉群轮廓定义模型，在每帧人脸图像上定位面部肌肉群轮廓内的各个像素点；根据各个像素点在连续的人脸图像中发生的位移，计算各个像素点的振幅和频率，并获取所述振幅和所述频率在预设时间内的时序变化数据。

步骤103，根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度。

具体地，可以将所述时序变化数据输入预置的情感分析模型，输出所述人脸对应的多项情感以及各项情感的置信度。

其中，人脸对应的多项情感包括以下情感中的多个：压力、紧张、焦躁、沮丧、愤怒、喜悦、惊讶、悲伤、恐惧、假装紧张、假装沮丧、假装愤怒、假装喜悦、假装惊讶、假装悲伤和假装恐惧。

本实施例中，还可以进行深度学习引擎关联和分析，优化所述情感分析模型。

本申请实施例根据面部肌肉群轮廓内的每个像素点的振幅和振动频率确定人脸对应的情感，检测准确性较高，且应用范围广，使用方便。

在本申请实施例中，如图2所示，其具体实现过程包括以下步骤：

(1)首先摄像头采集人脸的视频流，摄像头需要对准人脸的正面，人脸在摄像头中的大小要不小于400*400像素。摄像头的帧率要求达到30帧/秒，每秒从视频流中可获取到30帧高质量的人脸图像。摄像头必须达到稳定的30帧/秒，检测中算法会对帧率一直进行计算，不满足帧率要求的检测为无效检测。

(2)对每帧图像进行处理，根据肌肉群轮廓定义模型在帧图像上人脸面部定位肌肉群轮廓内的像素点，如眼睛周围的肌肉群轮廓，鼻周围的肌肉群轮廓，嘴周围的肌肉群轮廓等。

(3)随着面部肌肉微震颤，肌肉群内的像素点在连续的帧图像中会发生位移，根据位移可计算出每个像素点的振幅和频率。对某一个像素点来说，可能在相邻的帧图像中没有发现位移，需要累积多帧后计算才能发现位移的变化，因为帧的时间间隔是固定的，所以可以计算出发生位移的时间间隔，从而可以计算出振幅和频率。

(4)只有在一段时间内对肌肉群微震颤进行持续跟踪才有可能识别出情感的状态。根据大脑活动周期，至少需要30秒的时间对肌肉群微震颤进行持续跟踪。所以需要连续采集和计算30秒面部肌肉群内像素点的振幅和频率的时序变化数据。

(5)时序变化数据输入预置的情感分析模型，输出识别出的多项情感数值，如压力、紧张、焦躁、沮丧、愤怒、喜悦、惊讶、悲伤、恐惧等情感，数值范围从0到100，数值越大表示该情感的可能性越大，烈度越高。时序变化数据输入预置的情感分析模型，还可输出识别出的假装紧张、假装沮丧、假装愤怒、假装喜悦、假装惊讶、假装悲伤等伪装情感。

(6)进行深度学习引擎关联和分析，优化情感分析模型，优化后的情感分析模型替换原来预置的情感分析模型，使得情感检测的准确性越来越高。

此外，基于上述方法还可以识别面部表情表达以外的内在情感：如压力、紧张、焦躁、沮丧等，以及伪装的情感：如假装紧张、假装沮丧、假装愤怒、假装喜悦、假装惊讶、假装悲伤等伪装出来的情感。

本实施例中，可以将计算机装置设置为情感检测专用设备，如图3所示，该设备独立运行，内置一个帧率为30fps、分辨率为720P的摄像头。设备开机后自动启动情感检测应用，由情感检测应用对内置摄像头采集的人脸视频流进行处理，完成情感检测。退出情感检测应用则设备自动关机。

本申请实施例采用非接触、客观的情感检测方法，由于识别基础是生物体本身的反应，且肌肉微震颤不像表情一样容易伪装，因而识别出的情感的准确性比较高，具有应用范围广、使用方便、精度高的优点。

如图4所示，为本申请实施例中的一种情感检测装置的结构示意图，包括：

采集模块410，用于采集人脸的视频流，从所述视频流中获取多帧人脸图像。

处理模块420，用于对所述多帧人脸图像进行处理，定位面部的多个肌肉群的轮廓，并获取面部肌肉群轮廓内的每个像素点的振幅和振动频率在预设时间内的时序变化数据。

具体地，处理模块420，具体用于基于肌肉群轮廓定义模型，在每帧人脸图像上定位面部肌肉群轮廓内的各个像素点；根据各个像素点在连续的人脸图像中发生的位移，计算各个像素点的振幅和频率，并获取所述振幅和所述频率在预设时间内的时序变化数据。

输出模块430，用于根据所述时序变化数据，输出所述人脸对应的多项情感以及各项情感的置信度。

具体地，输出模块430，具体用于将所述时序变化数据输入预置的情感分析模型，输出所述人脸对应的多项情感以及各项情感的置信度。

其中，人脸对应的多项情感包括以下情感中的多个：

压力、紧张、焦躁、沮丧、愤怒、喜悦、惊讶、悲伤、恐惧、假装紧张、假装沮丧、假装愤怒、假装喜悦、假装惊讶、假装悲伤和假装恐惧。

本实施例中，上述情感检测装置，还包括：

优化模块，用于进行深度学习引擎关联和分析，优化所述情感分析模型。

本申请实施例根据面部肌肉群轮廓内的每个像素点的振幅和振动频率确定人脸对应的情感，检测准确性较高，且应用范围广，使用方便。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。