一种情绪识别方法、系统及存储介质

技术领域

本发明涉及智能识别技术领域，具体涉及一种情绪识别方法、系统及存储介质。

背景技术

微表情是人的内心流露与掩饰，是心理学名词，是人类行为学的一个分支。人们通过做一些表情把内心感受表达给对方看，在人们做的不同表情之间，或是某个表情里，脸部往往会“泄露”出其他的信息。“微表情”最短可持续1/25 秒，虽然一个下意识的表情可能只持续一瞬间，但这是种烦人的特性，很容易暴露情绪。微表情持续时间很短，通过机器捕捉要比人的眼睛捕捉更容易，深度学习算法的应用又使得对微表情的识别非常准确。

现有技术中对人的情绪识别的方法有依靠接触式检测得到被试人员的脉搏脉冲进而测量其产生的心理生理学信号的变化，或是采用非接触式检测得到被试人员的心理生理学信号，然后将其与设定的标准信号进行对比，进行情绪识别。

但是现有技术中得到情绪识别结果往往偏差较大，无法为情绪预测提供有效的判断依据。

发明内容

有鉴于此，本发明实施例提供了涉及一种情绪识别方法、系统及存储介质，以解决现有技术中情绪识别结果的偏差造成无法为情绪预测提供有效的判断依据，无法实现事前安全管控的技术问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种情绪识别方法，该情绪识别方法包括：根据外部输入的视频流信息对人脸情绪特征进行提取得到振动图像；根据振动图像进行像素微震分析形成振动光环；根据所述振动光环进行情绪状态识别。

可选地，根据外部输入的视频流信息对人脸情绪特征进行提取得到振动图像，包括：获取受测人员视频流信息；根据视频流信息获取受测人员面部每个像素点的振幅和振动频率；根据所述振动频率和振幅确定振动图像。

可选地，根据振动图像进行像素微震分析形成振动光环，根据所述振动光环进行情绪状态识别，包括：根据振动图像的每个像素点的振动频率的振动范围确定振动色阶；根据预设范围内振动图像的平均振幅确定振动光环大小；根据所述振动色阶及振动光环大小得到振动光环；根据所述振动光环进行情绪状态识别。

可选地，所述情绪识别方法还包括：根据情绪状态识别结果生成情绪分析报告，所述情绪分析报告包括：情感综合分析结果表以及“情绪－能量”变化图；根据情绪状态识别结果发送情绪预警信号。

本发明实施例第二方面提供一种情绪识别系统，该情绪识别系统包括：摄像机，用于获取受测人员的视频流信息；微处理器，包括：特征提取模块，用于根据外部输入的视频流信息对人脸情绪特征进行提取得到振动图像；分析模块，用于根据振动图像进行像素微震分析形成振动光环；识别模块，用于根据所述振动光环进行情绪状态识别。

可选地，所述特征提取模块包括：振动参数获取模块，用于根据视频流信息获取受测人员面部每个像素点的振幅和振动频率；振动图像确定模块，用于根据所述振动频率和振幅确定振动图像。

可选地，所述分析模块，包括：振动色阶确定模块，用于根据振动图像的每个像素点的振动频率的振动范围确定振动色阶；光环大小确定模块，用于根据预设范围内振动图像的平均振幅确定振动光环大小；

可选地，所述微处理器还包括：报告生成模块，用于根据情绪状态识别结果生成情绪分析报告，所述情绪分析报告包括：情感综合分析结果表以及“情绪－能量”变化图；结果发送模块，用于根据情绪状态识别结果发送情绪预警信号。

本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的情绪识别方法。

本发明提供的技术方案，具有如下效果：

本发明实施例提供的情绪识别方法、系统及存储介质，根据外部输入的视频流信息对人脸情绪特征进行提取得到振动图像；根据振动图像进行像素微震分析形成振动光环；根据所述振动光环进行情绪状态识别。该识别方法提取人脸情绪特征形成振动图像，能够直接反映情绪状态；同时对振动图像通过像素微震分析得到振动光环，采用像素微震分析技术能够提高情绪判断的准确度，减小判断误差，最后通过振动光环描绘对象和其情感状态的运动，更加直观显示对应的情绪状态图。因此，通过实施本发明，为情绪识别提供了更合理准确的特征数据值，减小了情绪识别结果的误差，提高了情绪识别的准确度，为情绪预测提供了有效的判断依据。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的情绪识别方法的流程图；

图2是根据本发明实施例的情绪识别系统的结构框图；

图3是根据本发明实施例提供的计算机可读存储介质的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种情绪识别方法，如图1所示，该方法包括如下步骤：

步骤S101：根据外部输入的视频流信息对人脸情绪特征进行提取得到振动图像。具体地，在特征提取之前可以通过外部输入设备获取视频流信息，其中，外部输入设备可以为摄像机。此外，外部输入设备还可以是智能单兵设备，如无线执法记录仪、车载智能装备、便携式智能装备、警用无人机、其他智能可穿戴式装备等。或者，当执法时需要进行情绪识别时，该外部输入设备还可以是具备实时视音频摄录、图像抓拍识别、数据通讯、位置采集等功能的智能型技术装备。本发明实施例对该外部输入设备不做具体限定。

在获取视频流信息之后，可以根据视频流信息对人脸特征进行提取，得到人脸面部每个像素点的振幅和频率。其中，在确定每个像素点的振幅和频率时可以采用人体热动力学观测法，通过该方法分析视频流信息中人脸的振动次数，计算振幅与振动周期，从而得到振动频率。由于在微小的移动帧间差分是相对于物体运动的图像，所以每个像素点的振幅可以反映相对运动的像素。然后以所有像素点的振动参数－频率和振幅形式进行分别显示形成振动图像。

步骤S102：根据振动图像进行像素微震分析形成振动光环。具体地，在形成振动图像之后，对面部每个像素点的震动频率和振幅参数进行像素微震分析，形成振动光环。

在一实施方式中，形成振动光环时，按照以下步骤实现：根据振动图像的每个像素点的振动频率的振动范围确定振动色阶；根据预设范围内振动图像的平均振幅确定振动光环大小；根据所述振动色阶及振动光环大小得到振动光环。

具体地，在获取振动图像之后，对其进行像素微震分析，其中，由于微小的移动帧间差分是相对于物体运动的图像，由此振动图像的每个像素点振幅反映了相对运动的像素。然后根据振动图像的每个像素点的振动频率的振动范围确定振动色阶。其中，每个像素点的频率性作为真正显示频率的信号变化在图像的每个元素具有物理维度频率。

在一实施例中，可以预先设定振动色阶和振动频率范围之间的关系。例如，紫罗兰色表示的振动频率范围为0－1Hz、深蓝色表示的振动频率范围为1－4Hz，绿色表示的振动频率范围为4－8Hz，红色表示的振动频率范围为8－10Hz。由此，当确定人脸图像的振动频率范围后，可以根据该预设的对应关系，确定相应的振动色阶。

在确定振动色阶之后，根据预设范围内振动图像的平均振幅确定振动光环大小。具体地，首先定义光环为外部(受测人员头的周围)运动的最大频率显示平均振幅。然后获取预设范围内的振动图像，统计振动图像中每个像素点的振幅与振动频率，计算振动图像的平均振幅与最大频率，将该最大频率显示平均振幅确定为预设范围内的振动光环大小，并且该光环的大小根据平均振幅的变化而变化。

由此，通过上述确定振动图像的振动色阶及振动光环大小的过程，可以得到振动图像对应的振动光环。

步骤S103：根据所述振动光环进行情绪状态识别。具体地，获取振动光环之后，可以根据光环的颜色和大小描绘对象和其情感状态的运动。例如，正常情况下的人状态其空间和颜色是更均匀的。由此，在确定振动光环之后，可以以此确定对应的情绪状态。

作为本发明实施例一种可选的实施方式，根据所述振动光环进行情绪状态识别。具体的，由于任何非均匀性的颜色和大小的光环都描绘对象和其情感状态的运动，因此在得到振动光环之后，需要确定该振动光环的光环颜色和大小，并根据振动光环的颜色识别情绪状态，根据振动光环的大小判断情绪状态的程度。

具体地，振动光环的形式包括：任何不对称光环(形态、色彩)是心理或生理正常规范的偏离；振动光环的颜色不匀率是心理生理失衡表现；理想的光环有单色，对称和均匀等特点。其中，振动光环的颜色用来表示振动的频率，由于振动频率是振动图像在预设范围内的变化，即振动色阶，因此，预设范围内振动光环的颜色与振动色阶的颜色保持一致。

在一实施例中，正常情况下的人的特点是更统一的，即振动光环是均匀的，紧张的人状态其空间和颜色为不均匀的振动光环。因此，根据振动光环的颜色和大小进行情绪的识别。

具体地，当所述振动光环为红色时，表示情绪状态为活性与攻击性；当所述振动光环为黄色时，表示情绪状态为烦恼与紧张；当所述振动光环为绿色时，表示情绪状态为正常；当所述振动光环为蓝色时，表示情绪状态为休息和平静。

在确定情绪状态后，根据振动光环的大小确定所述情绪状态的程度，具体地，振动图像的平均振幅反映了受测人员的情绪波动，平均振幅越大，情绪波动越大，而振动光环的大小根据平均振幅的变化而变化，因此，可以根据振动光环的大小确定所述情绪状态的程度。

在一实施例中，振动光环越大表示振动图像的平均振幅越大，情绪波动也越大；而且，当平均振幅图线趋于稳定时，情绪波动越小，情绪状态趋于稳定。

因此，当根据振动图像得到振动光环之后，根据振动光环的颜色确定其具体的情绪状态，根据振动光环的大小确定该情绪状态下情绪状态的程度。

本发明实施例提供的情绪识别方法，根据外部输入的视频流信息对人脸情绪特征进行提取得到振动图像；根据振动图像进行像素微震分析形成振动光环；根据所述振动光环进行情绪状态识别。该识别方法提取人脸情绪特征形成振动图像，能够直接反映情绪状态；同时对振动图像通过像素微震分析得到振动光环，采用像素微震分析技术能够提高情绪判断的准确度，减小判断误差，最后通过振动光环描绘对象和其情感状态的运动，更加直观显示对应的情绪状态图。因此，通过实施本发明，为情绪识别提供了更合理准确的特征数据值，减小了情绪识别结果的误差，提高了情绪识别的准确度，为情绪预测提供了有效的判断依据。

本发明实施例提供的情绪识别方法，在形成振动图像时，提取视频流信息每个像素点的振幅和振动频率并形成振动图像，采用该特征提取值能够提高情绪识别度，形成的振动图像能够直接反映情绪状态。

在一实施例中，在获取受测人员视频流信息之前，首先对外部输入设备参数进行设置，确定受测人员光照均匀，人物图像清晰。其中，外部输入设备参数包括视频摄像头视频Proc Amp(亮度、对比度、饱和度等)、照相机控制(曝光等)、数据流格式(视频标准、帧率、输出大小等)。然后根据外部输入设备获取受测人员视频流信息，并根据该视频流信息提取人脸情绪特征，进一步得到振动图像。具体地，在获取受测人员视频流信息之后，如获取的某一人的视频流信息，可以根据其面部像素点的振幅和频率确定其情绪特征，进一步得到其对应的振动图像。其中，振动图像以该受测人员面部所有像素点的振动参数－频率和振幅形式进行分别显示。

作为本发明实施例一种可选的实施方式，在确定情绪状态识别结果之后，还可以根据所述情绪状态识别结果生成情绪分析报告，所述情绪分析报告包括：情感综合分析结果表以及“情绪－能量”变化图。具体地，情感综合分析结果表包含受测人员基本信息、综合检查结果、脑疲劳度、心理状态表等；“情绪－能量”变化图包含受测人员基本信息，、情绪－能量变化图、情绪－能量相关性、精神状态、心态分布等。

作为本发明实施例一种可选的实施方式，在确定情绪状态识别结果之后，根据所述结果发送情绪预警信号。具体地，当所述情绪状态不是正常状态时，发送情绪预警信号。

在一实施例中，当振动色阶为红色时，即受测人员表现为攻击性情绪状态时，发送情绪预警信号。

本发明实施例还提供一种情绪识别系统，如图2所示，该系统包括：

摄像机，用于获取受测人员的视频流信息；详细内容参见上述方法实施例中步骤S101的相关描述。

微处理器，包括：

特征提取模块，用于根据外部输入的视频流信息对人脸情绪特征进行提取得到振动图像；详细内容参见上述方法实施例中步骤S101的相关描述。

分析模块，用于根据振动图像进行像素微震分析形成振动光环；详细内容参见上述方法实施例中步骤S102的相关描述。

识别模块，用于根据所述振动光环进行情绪状态识别。详细内容参见上述方法实施例中步骤S103的相关描述。

在一实施例中，所述特征提取模块包括：

振动参数获取模块，用于根据视频流信息获取受测人员面部每个像素点的振幅和振动频率；具体内容参见上述方法实施例对应部分，在此不再赘述。

振动图像确定模块，用于根据所述振动频率和振幅确定振动图像。具体内容参见上述方法实施例对应部分，在此不再赘述。

在一实施例中，所述分析模块，包括：

振动色阶确定模块，用于根据振动图像的每个像素点的振动频率的振动范围确定振动色阶；具体内容参见上述方法实施例对应部分，在此不再赘述。

光环大小确定模块，用于根据预设范围内振动图像的平均振幅确定振动光环大小；具体内容参见上述方法实施例对应部分，在此不再赘述。

光环确定模块，用于根据所述振动色阶及振动光环大小得到振动光环。具体内容参见上述方法实施例对应部分，在此不再赘述。

本发明实施例提供的情绪识别系统，根据外部输入的视频流信息对人脸情绪特征进行提取得到振动图像；根据振动图像进行像素微震分析形成振动光环；根据所述振动光环进行情绪状态识别。该识别方法提取人脸情绪特征形成振动图像，能够直接反映情绪状态；同时对振动图像通过像素微震分析得到振动光环，采用像素微震分析技术能够提高情绪判断的准确度，减小判断误差，最后通过振动光环描绘对象和其情感状态的运动，更加直观显示对应的情绪状态图。因此，通过实施本发明，为情绪识别提供了更合理准确的特征数据值，减小了情绪识别结果的误差，提高了情绪识别的准确度，为情绪预测提供了有效的判断依据。

本发明实施例提供的情绪识别系统的功能描述详细参见上述实施例中情绪识别方法描述。

本发明实施例还提供一种存储介质，如图3所示，其上存储有计算机程序 601，该指令被处理器执行时实现上述实施例中情绪识别方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive， SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory， ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive， SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。