一种情绪识别方法、装置、设备及系统

技术领域

本发明涉及情绪识别技术领域，特别是涉及一种情绪识别方法、装置、设备及系统。

背景技术

情绪识别有多种实现方式，例如，通过表情识别、生理信号分析、语音语调识别、行为分析等方式，均可以实现对用户的情绪进行识别。情绪识别结果的用途较多，例如可以用于预测用户行为、及时疏导不良情绪、进行信息推荐等等。

目前，相关的情绪识别方案中，只能针对个体进行情绪识别，而不能针对由多个对象组成的对象组进行情绪识别。对象组情绪识别并不是简单的个体情绪的加和，需要提供一种对对象组进行情绪识别的方案。

发明内容

本发明实施例的目的在于提供一种情绪识别方法、装置、设备及系统，以提供一种对对象组进行情绪识别的方案。

为达到上述目的，本发明实施例提供了一种情绪识别方法，包括：

在检测到多个对象聚集的情况下，获取所述多个对象中的目标情绪信息和由所述多个对象组成的对象组的非情绪信息；其中，所述目标情绪信息包括满足预设情绪条件的情绪信息；所述对象组的非情绪信息包括：所述对象组的聚集规模、和/或所述对象组在预设时段的行为信息；

基于所述目标情绪信息以及所述对象组的非情绪信息，识别所述对象组的情绪。

为达到上述目的，本发明实施例还提供了一种情绪识别装置，包括：

获取模块，用于在检测到多个对象聚集的情况下，获取所述多个对象中的目标情绪信息和由所述多个对象组成的对象组的非情绪信息；其中，所述目标情绪信息包括满足预设情绪条件的情绪信息；所述对象组的非情绪信息包括：所述对象组的聚集规模、和/或所述对象组在预设时段的行为信息；

识别模块，用于基于所述目标情绪信息以及所述对象组的非情绪信息，识别所述对象组的情绪。

为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述任意一种情绪识别方法。

为达到上述目的，本发明实施例还提供了一种情绪识别系统，包括：

视频采集设备，用于针对预设区域采集视频图像；

视频分析设备，用于检测所述视频图像中是否存在多个对象聚集的情况；若存在，则对由所述多个对象组成的对象组中人员进行情绪识别，并将情绪识别结果发送至数据分析设备；

数据分析设备，用于实现上述任意一种情绪识别方法。

应用本发明所示实施例，在检测到多个对象聚集的情况下，基于该多个对象中满足预设情绪条件的目标情绪信息和由该多个对象组成的对象组的非情绪信息，识别对象组的情绪，非情绪信息包括：对象组的聚集规模、和/或对象组在预设时段的行为信息；可见，本方案能够对对象组进行情绪识别，并且能够结合情绪信息和非情绪信息这两方面来识别对象组的情绪，提高了对象组情绪识别的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种情绪识别方法的流程示意图；

图2为本发明实施例提供的一种情绪识别系统的结构示意图；

图3为本发明实施例提供的一种情绪识别系统中的交互示意图；

图4为本发明实施例提供的一种情绪识别装置的结构示意图；

图5为本发明实施例提供的一种电子设备的结构示意图；

图6为本发明实施例提供的另一种情绪识别系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了达到上述目的，本发明实施例提供了一种情绪识别方法、装置、设备及系统，该方法及装置可以应用于各种电子设备，例如，前端图像采集设备、或者后端处理设备，具体不做限定。下面首先对该情绪识别方法进行介绍。

图1为本发明实施例提供的情绪识别方法的第一种流程示意图，包括：

S101：在检测到多个对象聚集的情况下，获取该多个对象中的目标情绪信息和由该多个对象组成的对象组的非情绪信息；其中，目标情绪信息包括满足预设情绪条件的情绪信息；对象组的非情绪信息包括：对象组的聚集规模、和 /或、对象组在预设时段的行为信息。

一种实施方式中，可以针对一些需要关注的区域，例如、广场、街道等公共场所，设置图像采集设备，在图像采集设备采集的图像中检测是否存在多个对象聚集的情况。具体的检测方式不做限定，例如，可以检测图像中的人员数量，如果人员数量大于预设阈值，则认为存在多个对象聚集情况，再例如，可以检测图像中的人员密度，如果人员密度大于预设阈值，则认为存在多个对象聚集情况，等等，不再一一列举。

或者，另一种实施方式中，也可以通过定位装置，检测某一范围中是否存在多个对象聚集的情况。例如，可以通过用户携带的手机、平板电脑、穿戴式设备等各种电子设备，对用户进行定位，对多个用户的定位信息进行汇总，当检测到某一范围中的人员数量较多、或者人员密度较大时，确定该范围内存在多个对象聚集的情况。

可以对发生聚集情况的多个对象中的各人员进行情绪识别，情绪识别的具体方式不做限定。例如，上述一种实施方式中，在图像采集设备采集的图像中检测是否存在多个对象聚集的情况，这种实施方式中，若存在多个对象聚集的情况，可以继续对图像中存在的发生聚集的多个对象组成的对象组中的各人员进行情绪识别，例如，可以先识别图像中的人脸区域，对人脸区域进行表情识别。再例如，也可以通过一些穿戴式设备，检测人员的生理参数，根据该生理参数识别人员的情绪。再例如，也可以通过语音分析设备分析人员的语音语调，根据分析结果识别人员的情绪。针对各人员进行情绪识别的方式不做限定。

举例来说，情绪信息可以包括：高兴、平静、愤怒、抑郁、暴躁、厌恶等等，不再一一列举。一种情况下，执行本方案的电子设备可以自身进行图像采集、情绪识别，得到人员的情绪信息；或者，另一种情况下，也可以由其他设备识别得到情绪信息，并将该情绪信息发送至本电子设备。

可以从上述获取到的情绪信息中，识别满足预设情绪条件的情绪信息，作为目标情绪信息。举例来说，识别情绪信息是否满足预设情绪条件可以为：识别情绪信息中的情绪是否为负面情绪，例如愤怒、抑郁、暴躁、厌恶等等。

或者，也可以根据实际需求设定情绪条件，一些情况下，需要关注中性情绪的人员，则该预设情绪条件可以为：识别情绪信息中的情绪是否为中性情绪，例如平静，等等，情绪条件的设定不做限定。

本发明实施例中涉及的非情绪信息可以包括：发生聚集的多个对象组成的对象组的聚集规模、和/或、发生聚集的多个对象组成的对象组在预设时段的行为信息。

下面先对“对象组的聚集规模”这一非情绪信息进行介绍：

在确定发生多个对象聚集的前提下，对象组的聚集规模与该对象组中的人员数量和/或人员密度正相关。

一种实施方式中，在确定发生多个对象聚集的前提下，可以统计该对象组中的人员数量，用人员数量来表示对象组的聚集规模。

另一种实施方式中，在确定发生多个对象聚集的前提下，可以统计该对象组中的人员密度，用人员密度来表示对象组的聚集规模。

再一种实施方式中，在确定发生多个对象聚集的前提下，可以统计该对象组中的人员数量及人员密度，用人员密度和人员数量来表示对象组的聚集规模。

举例来说，上述一种实施方式中，在图像采集设备采集的图像中检测是否存在多个对象聚集的情况，这种实施方式中，可以利用人头检测算法来统计图像中存在的对象组中的人员数量。或者，也可以识别各人员的轮廓线，通过统计轮廓线的数量来确定人员数量。还可以通过轮廓线的间距来确定人员密度，例如，确定每两个轮廓线的间距，计算全部间距的平均值，作为人员密度。或者，也可以通过人脸特征点的间距，计算人员密度。统计人员数量及密度的方式不再一一列举。

上述另一种实施方式中，通过定位装置检测多个对象聚集的情况，这种实施方式中，可以直接根据定位结果，统计对象组中的人员数量、人员密度。

其他实施方式中，在确定发生多个对象聚集的前提下，可以根据该对象组中的人员数量和/或人员密度，确定聚集规模的等级。例如，10-20人的对象组等级为小规模对象组，20-100人的对象组等级为中等规模对象组，100人以上的对象组等级为大规模对象组。再例如，以图像中人员轮廓线的间距表示人员密度时，可以根据图像与实际物理空间的比例尺，确定实际物理空间中的人员间距，根据实际物理空间中的人员间距，确定对象组规模，在确定发生多个对象聚集的前提下，该对象组中人员间距越小，规模越大。

举例而言，表示对象组的聚集规模的量化参数可以包括：人员数量、人员密度、聚集规模的等级，等等。

下面对“对象组在预设时段的行为信息”这一非情绪信息进行介绍：

一种实施方式中，对象组位于第一预设区域；可以获取预设时段内、第二预设区域对应的聚集信息，作为第二聚集信息，第二预设区域可以为一个，也可以为多个。判断所述对象组与所述第二聚集信息对应的对象组是否为同一对象组；若为同一对象组，则确定所述对象组在所述第一预设区域及所述第二预设区域之间的流动情况，作为所述对象组在所述预设时段的行为信息。

举例来说，一种实施方式中，可以将所述对象组中人员的身份信息与所述第二聚集信息中的人员身份信息进行对比，得到第二身份对比结果；根据所述第二身份对比结果，判断所述对象组与所述第二聚集信息对应的对象组是否为同一对象组。

举例来说，可以将所述对象组中各人员的身份信息与所述第二聚集信息中的人员身份信息进行对比，确定具有相同身份信息的人员数量，根据所述数量判断所述对象组与所述第二聚集信息对应的对象组是否为同一对象组；若为同一对象组，再确定该对象组在第一预设区域及第二预设区域之间的流动情况。

为了区分描述，将S101中检测到的对象组所在的区域称为第一预设区域，将其他区域称为第二预设区域。举例来说，假设在区域1中检测到了对象组聚集的情况，获取该对象组中各人员的身份信息。

上述一种实施方式中，在图像采集设备采集的图像中检测是否存在对象组聚集的情况，这种实施方式中，可以通过在图像中进行人脸识别，获取各人员的身份信息。

上述另一种实施方式中，通过定位装置检测对象组聚集的情况，这种实施方式中，可以通过定位人员的手机号、或者电子设备中的通讯软件，来确定人员的身份。

举例来说，执行本方案的电子设备可以自身进行身份识别，或者也可以由其他设备进行身份识别，并将识别出的身份信息发送至本电子设备。

本实施方式中，可以设定多个需要关注的区域，记录每个区域对应的聚集信息。举例来说，可以在检测到区域中发生对象组聚集情况后，至少可以记录对象组中的每个人员的身份信息、以及发生对象组聚集的时间，作为该区域对应的聚集信息。

获取预设时段内、至少一个第二预设区域对应的聚集信息，该预设时段可以为一周、一个月、两个月等等，具体不做限定。延续上述例子，在区域1(如第一预设区域)中检测到了对象组聚集的情况，获取该对象组中各人员的身份信息(记为A1)；此外，还获取到区域2(如第二预设区域)对应的最近一个月内的聚集信息(记为A2)、以及区域3(如第二预设区域)对应的最近一个月内的聚集信息(记为A3)。分别将A1与A2和A3进行对比，假设经对比发现，A1 与A2中相同的人员数量达到预设阈值，或者相同人员占对象组总数量的比例达到预设阈值，则可以将A1与A2确定为同一对象组，该对象组在这一个月内，在区域1和区域2中存在流动聚集的情况；假设A1与A3中相同的人员数量达到预设阈值，或者相同人员占对象组总数量的比例达到预设阈值，则可以将A1 与A3确定为同一对象组，该对象组在区域1和区域3中也存在流动聚集的情况。这样，便得到了S101中检测出的对象组在多个区域之间的流动情况。

或者，其他实施方式中，可以识别对象组中的组织者，识别组织者的具体方式后面内容进行介绍，第二聚集信息中可以包括组织者的身份信息，若识别出的对象组中的组织者的身份信息与第二聚集信息中组织者的身份信息一致，则判定所述对象组与所述第二聚集信息对应的对象组为同一对象组。

或者，其他实施方式中，也可以采集对象组的音频数据，第二聚集信息中包括音频数据，将这两种音频数据进行匹配，基于匹配结果判断所述对象组与所述第二聚集信息对应的对象组是否为同一对象组。可以认为同一对象组的诉求是相同的，基于该相同的诉求，对象组的口号或者演讲内容可以认为是相似的，因此，如果两个对象组的音频数据相匹配，可以认为这两个对象组为同一对象组。举例来说，可以对音频数据进行语义分析，得到对象组的口号或者演讲内容，再判断得到的口号或者演讲内容是否相匹配。匹配条件可以根据实际情况设定，例如，相似度大于80％，则认为相匹配，具体匹配条件不做限定。

或者，其他实施方式中，也可以识别对象组打出的标语，第二聚集信息中包括标语数据，将这两种标语数据进行匹配，基于匹配结果判断所述对象组与所述第二聚集信息对应的对象组是否为同一对象组。可以认为同一对象组的诉求是相同的，基于该相同的诉求，对象组打出的标语可以认为是相似的，因此，如果两个对象组的标语数据相匹配，可以认为这两个对象组为同一对象组。匹配条件可以根据实际情况设定，例如，相似度大于80％，则认为相匹配，具体匹配条件不做限定。

该流动情况可以表征对象组的情绪，例如，流动性越强，表示对象组对区域的目标针对性越低。

举例而言，表示流动情况的量化参数可以包括：流动次数、流动频次、流动距离、流动速度。流动次数越多，流动频次越高，流动距离越长，流动速度越快，表示流动性越强。

延续上述例子，假设按照时间先后顺序，在这一个月中，同一对象组由区域1流动至区域2，又从区域2流动至区域3，则流动次数为2次，流动频次为一个月流动2次。假设区域1与区域2的距离为3km，区域2与区域3的距离为4km，则流动距离可以为两个距离之和7km，或者也可以为两个距离的平均值3.5km，具体计算方式不做限定。可以根据对象组在区域1与区域2的聚集时间，确定对象组由区域1到达区域2所需的时长，根据区域2与区域3的距离及该时长，计算对象组的在区域2和区域3之间的移动速度。可以根据对象组在区域2与区域3的聚集时间，确定对象组由区域2到达区域3所需的时长，根据区域2与区域3的距离及该时长，计算对象组的在区域2和区域3之间的移动速度。

上述确定所述对象组在所述第一预设区域及所述第二预设区域之间的流动情况，可以包括：确定所述对象组在所述第一预设区域及所述第二预设区域之间的流动次数、流动频次、流动距离、流动速度中至少之一。

一种实施方式中，对象组位于第一预设区域；获取预设时段内、所述第一预设区域对应的聚集信息，作为第一聚集信息；判断所述对象组与所述第一聚集信息对应的对象组是否为同一对象组；若为同一对象组，则确定所述对象组在所述第一预设区域的反复聚集情况，作为所述对象组在所述预设时段的行为信息。

举例来说，一种实施方式中，可以将所述对象组中人员的身份信息与所述第一聚集信息中的人员身份信息进行对比，得到第一身份对比结果；根据所述第一身份对比结果，判断所述对象组与所述第一聚集信息对应的对象组是否为同一对象组。

举例来说，可以将所述对象组中各人员的身份信息与所述第一聚集信息中的人员身份信息进行对比，确定具有相同身份信息的人员数量，根据所述数量判断所述对象组与所述第一聚集信息对应的对象组是否为同一对象组；若为同一对象组，再确定该对象组在第一预设区域的反复聚集情况。

如上所述，可以设定多个需要关注的区域，记录每个区域对应的聚集信息。举例来说，可以在检测到区域中发生对象组聚集情况后，记录对象组中的每个人员的身份信息、以及发生对象组聚集的时间，作为该区域对应的聚集信息。 S101中检测出的对象组所在的区域(也就是第一预设区域)也对应有聚集信息，为了区分描述，将第一预设区域对应的聚集信息称为第一聚集信息，将第二预设区域对应的聚集信息称为第二聚集信息。

获取预设时段内、第一预设区域对应的聚集信息，该预设时段可以为一周、一个月、两个月等等，具体不做限定。延续上述例子，在区域1中检测到了对象组聚集的情况，获取该对象组中各人员的身份信息(记为A1)；此外，还获取到区域1对应的最近一个月内的聚集信息(记为A4)。将A1与A4进行对比，假设经对比发现，A1与A4中相同的人员数量达到预设阈值，或者相同人员占对象组总数量的比例达到预设阈值，则可以将A1与A2确定为同一对象组，该对象组在这一个月内在区域1反复聚集。这样，便得到了S101中检测出的对象组在第一预设区域的反复聚集情况。

或者，其他实施方式中，可以识别对象组中的组织者，识别组织者的具体方式后面内容进行介绍，第一聚集信息中可以包括组织者的身份信息，若识别出的对象组中的组织者的身份信息与第一聚集信息中组织者的身份信息一致，则判定所述对象组与所述第一聚集信息对应的对象组为同一对象组。

或者，其他实施方式中，也可以采集对象组的音频数据，第一聚集信息中包括音频数据，将这两种音频数据进行匹配，基于匹配结果判断所述对象组与所述第一聚集信息对应的对象组是否为同一对象组。可以认为同一对象组的诉求是相同的，基于该相同的诉求，对象组的口号或者演讲内容可以认为是相似的，因此，如果两个对象组的音频数据相匹配，可以认为这两个对象组为同一对象组。举例来说，可以对音频数据进行语义分析，得到对象组的口号或者演讲内容，再判断得到的口号或者演讲内容是否相匹配。匹配条件可以根据实际情况设定，例如，相似度大于80％，则认为相匹配，具体匹配条件不做限定。

或者，其他实施方式中，也可以识别对象组打出的标语，第一聚集信息中包括标语数据，将这两种标语数据进行匹配，基于匹配结果判断所述对象组与所述第一聚集信息对应的对象组是否为同一对象组。可以认为同一对象组的诉求是相同的，基于该相同的诉求，对象组打出的标语可以认为是相似的，因此，如果两个对象组的标语数据相匹配，可以认为这两个对象组为同一对象组。匹配条件可以根据实际情况设定，例如，相似度大于80％，则认为相匹配，具体匹配条件不做限定。

该反复聚集情况可以表征对象组的情绪，例如，反复聚集情况越多，表示对象组的情绪越负面，越容易引发对象组事件。

举例而言，表示反复聚集情况的量化参数可以包括：聚集次数、聚集频次。聚集次数越多，聚集频次越高，表示反复聚集情况越严重。

延续上述例子，假设同一对象组在同一个月的3号、7号、10号、15号均出现在同一区域，则反复聚集次数为4次，反复聚集频次为一个月4次。

上述确定所述对象组在所述第一预设区域的反复聚集情况，可以包括：确定所述对象组在所述第一预设区域的聚集次数、聚集频次中至少之一。

其他实施方式中，对象组的非情绪信息还可以包括以下任意一种或多种：所述对象组中具有预设身份信息的人员数量，所述对象组中各人员参与对象组聚集的记录；所述对象组的聚集时长。

一种实施方式中，可以预先设定一些需要关注的人员，将其称为目标人员，具有预设身份信息的人员即为这些目标人员。可以建立目标人员库，库中包含这些目标人员的身份信息，身份信息可以为人脸信息，或者也可以基于人脸信息得到人员的名称、身份证号、手机号等信息，这些信息也可以作为身份信息。

将获取到的对象组(S101中检测到的对象组)中各人员的身份信息与该目标人员库进行匹配，基于匹配结果统计对象组中包含的目标人员的数量。该数量也可以表征对象组的情绪，例如，对象组中包含的目标人员越多，表示该对象组越容易被目标人员所支配，越容易引发对象组事件。

一种实施方式中，可以记录人员参与对象组聚集的情况。举例来说，可以在每次发生对象组聚集后，记录此次参与对象组聚集的各人员的身份信息；可以每隔一段时间，对所记录的数据进行汇总，得到各人员参与对象组聚集的情况。人员参与对象组聚集的记录也可以表征对象组的情绪，例如，对象组中的人员参与过对象组聚集的次数越多，越容易引发对象组事件。

一种实施方式中，S101检测到对象组聚集后，可以持续检测该对象组聚集的情况是否结束，例如，当检测到人员数量较少、或者人员密度较小时，则确定该对象组聚集的情况已经结束。可以根据检测到对象组聚集的开始时间和结束时间，计算对象组的聚集时长。聚集时长也可以表征对象组的情绪，例如，聚集时长越长，越容易引发对象组事件。

S102：基于目标情绪信息以及对象组的非情绪信息，识别对象组的情绪。

本发明实施例中，从不同的维度来评价对象组的情绪。举例来说，可以计算各维度下的评价结果，将该评价结果进行量化处理，并为各维度分配权重，基于各维度的权重及量化处理结果，得到对对象组情绪的整体评价结果。

一种实施方式中，S102可以包括：基于所述目标情绪信息、所述对象组的非情绪信息、所述目标情绪信息对应的第一类权重以及所述对象组的非情绪信息对应的第二类权重，识别所述对象组的情绪。

若所述对象组的非情绪信息包括所述对象组的聚集规模，则所述第二类权重包括所述对象组的聚集规模对应的第一权重；所述第一权重与所述对象组的聚集规模正相关；若所述对象组的非情绪信息包括所述对象组在预设时段的行为信息，则所述第二类权重包括所述对象组在预设时段的行为信息对应的第二权重；所述第二权重随着所述行为信息对应的等级的变化而变化。

为了区分描述，将目标情绪信息对应的权重称为第一类权重，将对象组的非情绪信息对应的权重称为第二类权重，将对象组的聚集规模对应的权重称为第一权重，将对象组在预设时段的行为信息对应的权重称为第二权重。第二类权重包括第一权重和/或第二权重。

如上所述，可以计算各维度下的评价结果，并为各维度分配权重，本实施方式中，为各维度分配的权重可以为动态值。可以按照对象组的聚集规模对应的等级，为聚集规模这一维度分配权重，聚集规模越大，为其分配的权重越大。可以按照对象组在预设时段的行为信息对应的等级，为该行为信息分配权重，例如，对于流动情况这种行为信息来说，流动性越强，则为其分配的权重可以越小，对于反复聚集情况这种行为信息来说，反复聚集情况越严重，为其分配的权重越大。具体的权重分配情况不做限定，可以根据实际情况进行设定。

上述一种实施方式中，对象组的聚集规模与所述对象组中的人员数量/人员密度正相关，这种实施方式中，可以设定人员数量/人员密度等级与权重的对应关系，人员数量越多、密度越大，则其对应的权重越大。

一种实施方式中，可以统计所述目标情绪信息的以下任意一个或多个特征：情绪强度、持续时长、具有所述目标情绪信息的人员数量；基于统计得到的所述目标情绪信息的特征、以及所述非情绪信息，识别所述对象组的情绪。

可选的，还可以识别对象组中的组织者，组织者的情绪信息、行为信息等也可以作为评价对象组情绪的维度。例如，可以对对象组中人员进行行为分析，假设某人员存在向其他人员进行宣讲、号召等行为，则将该人员确定为对象组的组织者。再例如，可以识别对象组中的人员位置分布情况，如果该位置分布情况为：大部分人员包围着少部分人员，则该少部分人员可以确定为对象组的组织者，或者，如果该位置分布情况为：少部分人员与大部分人员存在明显的间隔，则该少部分人员可以确定为对象组的组织者。

可选的，评价对象组情绪的维度还可以包括：对象组中的人员数量；对象组中的人员是否存在预设类型的行为，例如一些激烈的行为，以及具有该行为的人员数量；组织者的情绪信息；等等。

举例来说，评价对象组情绪的维度可以包括：1、对象组中具有负面情绪的人数；2、对象组中的人员密度；3、对象组中的人员在不同区域间的流动性情况；4、对象组中的人员数量；5、对象组中的负面情绪强度；6、对象组中的负面情绪人数占比；7、对象组中人员的激烈行为特征；8、对象组组织者的情绪信息；9、对象组的聚集时长；10、对象组中负面情绪的持续时长；11、对象组中人员的反复聚集情况；12、对象组中包含的目标人员的数量/占比；13、对象组中人员参与对象组聚集的记录。

可以对上述13个维度的数据进行标准化处理，例如，可以采用离散标准化 (也称为0-1标准化)或零-均值规范化(z-score标准化)等方式，具体标准化方式不做限定。可以采用权重确定方法，为这13个维度分配权重，权重确定方法可以为德尔菲法、层次分析法、主成分分析法、因子分析法、回归分析法、目标优化矩阵表等等，不再一一列举。

一种情况下，可以采用多属性综合量化评估算法，基于标准化后的数据以及分配的权重，计算得到对象组的情绪识别结果。举例来说，可以将上述维度进行类别划分，比如，将上述第1-4个维度划分为“范围”这一类别，将第5-8 个维度划分为“强度”这一类别，将上述第9-11个维度划分为“时间”这一类别，将上述第12-13个维度划分为“人员”这一类别。这里的类别划分仅为举例说明，并不构成限定。

假设确定的权重表示为矩阵W：

m表示维度的类别数量，例如上述例子中，包括“范围”、“强度”、“时间”和“人员”四种类别，则m为4；n表示某一类别包括的维度的数量，各类别包括的维度数量可以相同或不同。

可以将上述各维度的数据构成矩阵D，计算综合评估矩阵为E＝W.*D(点乘)。进一步，可以定义对象组情绪评估综合指数e＝sum(E)/m*n。e可以表示S102中识别出的对象组的情绪。

上述例子中以13个维度进行举例说明，其他实施方式中，可以根据实际需求，选择这13个维度中的部分维度识别对象组情况，具体选择情况不做限定。

一种实施方式中，S102之后还可以包括：在电子地图中，确定所述对象组对应的地图区域；确定所述对象组的情绪对应的渲染模式，利用所确定的渲染模式，对所述地图区域进行渲染。

举例来说，电子地图可以为GIS(Geographic Information System，地理信息系统)地图，或者也可以为其他类型的电子地图，具体类型不做限定。本实施方式中，可以预先设定不同的对象组情绪对应的渲染模式，例如，若对象组情绪为负面情绪，则其对应的渲染模式为渲染成红色，负面情绪强度越高，红色越深；若对象组情绪为积极的情绪，则其对应的渲染模式为渲染成绿色。或者，不同的对象组情绪也可以对应不同的纹理样式，具体的渲染模式不做限定。

利用所确定的渲染模式，对对象组对应的地图区域进行渲染，可以明确的标识出该对象组的情绪，以提醒相关人员注意。

另一种实施方式中，也可以设定对象组情绪预警条件，若S102识别出的对象组的情绪满足该预警条件，可以进行预警，具体预警方式不做限定。

一种情况下，可以每隔一段时间，采用上述实施方式计算一次对象组的情绪，可以通过动态图显示的方式，显示每次的计算结果。例如，可以将每次的计算结果进行串联成动态曲线图，基于该动态曲线图可以进行动态变化分析和趋势分析，从而为相关人员进行研判和策略选择提供支撑。此外，还可以在视频图像中标识出对象组组织者，方便相关人员关注该组织者的动向。

应用本发明所示实施例，在检测到对象组聚集的情况下，基于对象组中满足预设情绪条件的目标情绪信息和对象组的非情绪信息，识别对象组的情绪，非情绪信息包括：对象组的聚集规模、和/或对象组在预设时段的行为信息；可见，本方案能够对对象组进行情绪识别，并且能够结合情绪信息和非情绪信息这两方面来识别对象组的情绪，提高了对象组情绪识别的准确性。

下面参考图2及图3介绍一种具体的实施方式：

图2为一种情绪识别系统的结构示意图，包括：视频采集设备100、视频分析设备200、数据分析设备300和展示设备400。

其中，视频采集设备100可以包括部署在预设区域的多台摄像机(摄像机 1……摄像机N，N表示大于1的正整数)110、以及对摄像机的调度设备120，摄像机的种类可以不同。

视频分析设备200可以运用人脸分析能力和微表情分析能力，对视频画面中的人脸进行情绪识别；视频分析设备200还可以分析视频画面中的人员密度；视频分析设备200还可以通过人脸检测和识别，确定人员身份信息；视频分析设备200还可以具有行为分析能力，分析人员的行为。

数据分析设备300可以对视频分析设备200产生的视频分析数据进行整合、清理、分析和统计，形成对象组情绪评估结果。

展示设备400可以以图墙等形式，呈现该对象组情绪评估结果等内容，为相关人员提供决策支持。

该系统中各台设备之间的交互可以参考图3所示：

视频分析设备200对摄像机110采集的视频进行实时分析，判断关注区域内的人员密度是否达到设定阈值，如果达到，则表示检测到多个对象聚集的情况。这种情况下，视频分析设备200向摄像机的调度设备120发送调度指令。调度设备120根据该调度指令，调度合适的摄像机对准多个对象聚集区域，例如，可以调度广角摄像机，以便继续关注人员密度，掌握整体事件；此外，还可以调度各个角度和方向上的摄像机，采用区域扫描、变焦等手段，获取由多个对象组成的对象组中人员的清晰人脸画面。

视频分析设备200可以对摄像机110采集的各路视频画面进行实时分析，分析过程可以包括：(1)、通过人脸检测和识别，确定人员身份信息，人员身份信息可以包括人脸信息，或者也可以包括基于人脸信息得到人员的名称、身份证号、手机号等信息；建立本次多个对象聚集的人员库；(2)、启动人员情绪采集模型，运用人脸分析能力和微表情分析能力，对视频画面中存在的由多个对象组成的对象组中的人员进行情绪识别，得到各人员的情绪状态；(3)、将识别出的情绪状态与人员身份信息相关联，得到关联结果。之后，视频分析设备200可以将得到的关联结果传输至数据分析设备300。

此外，视频分析设备200可以具有行为分析能力，运用该行为分析能力可以识别对象组中是否出现混乱、殴打等恶劣情况，将该识别结果也传输至数据分析设备300。

数据分析设备300对来自视频分析设备的视频分析结果(包括上述关联结果、识别结果等)进行深度聚合分析处理。处理过程可以包括：

(1)、对人员身份信息和情绪状态聚类：以人为单位，依据人脸识别结果，将从不同摄像机采集视频画面中分析得到的同一时段同一人员的情绪状态进行整合、聚类、去重等处理，形成对象组中每个人员的情绪信息。

(2)、对对象组信息进行统计分析：获得对象组中人员数量、对象组的聚集时长、活动范围等信息。

(3)、分析获得其他的预设维度对应的数据。

预设维度可以包括：“范围”、“强度”、“时间”和“人员”四种类别的维度。其中，“范围”这一类别包括如下维度：对象组中具有负面情绪的人数；对象组中的人员密度；对象组中的人员在不同区域间的流动性情况；对象组中的人员数量。“强度”这一类别包括如下维度：对象组中的负面情绪强度；对象组中的负面情绪人数占比；对象组中人员的激烈行为特征；对象组组织者的情绪信息。“时间”这一类别包括如下维度：对象组的聚集时长；对象组中负面情绪的持续时长；对象组中人员的反复聚集情况。“人员”这一类别包括如下维度：对象组中包含的目标人员的数量/占比；对象组中人员参与对象组聚集的记录。

这13种维度中，有部分维度对应的数据已经在数据分析设备300处理过程中的(1)和(2)中已经获取，这里只需要获取其他维度对应的数据。

(4)、数据标准化处理：对上述各种维度对应的数据进行标准化处理，可以采用离散标准化(也称为0-1标准化)或零-均值规范化(z-score标准化)等方式，具体标准化方式不做限定。

(5)、确定各维度对应的权重：确定对象组情绪指标体系中各指标的权重。

可以选用德尔菲法、层次分析法、主成分分析法、因子分析法、回归分析法、目标优化矩阵表等任意权重确定方法，具体选用情况不做限定。

假设确定的权重表示为矩阵W：

m表示维度的类别数量，例如上述例子中，包括“范围”、“强度”、“时间”和“人员”四种类别，则m为4；n表示某一类别包括的维度的数量，各类别包括的维度数量可以相同或不同。

(6)、多维度数据综合评估：对经过标准化处理后的各维度对应的数据进行汇总，计算出对象组情绪评估结果。

可以采用多属性综合量化评估的方法，计算分析出对象组情绪评估结果。假设当前时刻各维度对应的数据构成指标数据矩阵D，则有综合评估矩阵为 E＝W.*D(点乘)。进一步，可以定义对象组情绪评估结果e＝sum(E)/m*n。

展示设备400可以对对象组情绪评估结果进行图形化展示，并提供结果分析与决策支持，以便相关人员实施应对措施。

举例来说，对象组情绪评估结果可以叠加在GIS地图上实现。可以根据实际情况设定相应阈值，若上述对象组情绪评估结果e达到阈值，则可以发起预警和警告。

相关人员能够在指挥中心获得各个方向的视频画面、视频分析设备对视频画面的分析结果、以及数据分析设备得出的对象组情绪评估结果；此外，还可以视频画面叠加显示重点关注区域和重点关注人物，以动态曲线图展示情绪状态变化情况。

上述视频画面、视频分析设备对视频画面的分析结果、以及数据分析设备得出的对象组情绪评估结果还可以推送至手机或其他终端设备，方便不在指挥中心的其他人员了解情况。

应用上述实施方式，具有如下效果：

一、能够实现摄像机自动调度，对准人员聚集区域，当人员密度达到设定阈值后，能够主动调整各个可调用的摄像头的角度和焦点，确保实现对关注区域的全方位监控。

二、检测到多个对象聚集的情况后，能够调动摄像机对多个对象聚集区域进行扫描，通过调整云台和焦距来实现，以便于获得人员人脸信息，基于该人脸信息，能够准确地进行情绪识别。

三、通过分析不同摄像头视频画面得到的同一时间、同一个人员的相关分析信息，进行清理、聚合等处理，能够更准确地得到由多个对象组成的对象组中每个人员的情绪信息。

四、统计具有目标情绪信息(满足预设情绪条件的情绪信息)的人员数量，结合人员整体数量、情绪强度，实时给出当前对象组整体情绪状态。考虑结合人群数量、重点人物、情绪类型、情绪强度、持续时间等因素构建多维度全周期对象组综合情绪评估方法。

五、将各个分析时间点上的对象组情绪评估结果串联分析，就可以进行动态变化分析和趋势分析，从而为相关人员进行研判和策略选择提供支撑。

六、对对象组情绪评估结果进行图形化展示，展示效果更佳，更有利于相关人员的研究决策。

与上述方法实施例相对应，本发明实施例还提供一种情绪识别装置，如图 4所示，包括：

获取模块401，用于在检测到多个对象聚集的情况下，获取多个对象中的目标情绪信息和由所述多个对象组成的对象组的非情绪信息；其中，所述目标情绪信息包括满足预设情绪条件的情绪信息；所述对象组的非情绪信息包括：所述对象组的聚集规模、和/或所述对象组在预设时段的行为信息；

识别模块402，用于基于所述目标情绪信息以及所述对象组的非情绪信息，识别所述对象组的情绪。

一种实施方式中，所述对象组位于第一预设区域；获取模块401包括：第一获取子模块和/或第二获取子模块，其中，

所述第一获取子模块，用于获取预设时段内、所述第一预设区域对应的聚集信息，作为第一聚集信息；判断所述对象组与所述第一聚集信息对应的对象组是否为同一对象组；若为同一对象组，则确定所述对象组在所述第一预设区域的反复聚集情况，作为所述对象组在所述预设时段的行为信息；

所述第二获取子模块，用于获取预设时段内、第二预设区域对应的聚集信息，作为第二聚集信息；判断所述对象组与所述第二聚集信息对应的对象组是否为同一对象组；若为同一对象组，则确定所述对象组在所述第一预设区域及所述第二预设区域之间的流动情况，作为所述对象组在所述预设时段的行为信息。

一种实施方式中，所述第一获取子模块，还用于将所述对象组中人员的身份信息与所述第一聚集信息中的人员身份信息进行对比，得到第一身份对比结果；根据所述第一身份对比结果，判断所述对象组与所述第一聚集信息对应的对象组是否为同一对象组；

所述第二获取子模块，还用于将所述对象组中人员的身份信息与所述第二聚集信息中的人员身份信息进行对比，得到第二身份对比结果；根据所述第二身份对比结果，判断所述对象组与所述第二聚集信息对应的对象组是否为同一对象组。

一种实施方式中，所述第一获取子模块，还用于确定所述对象组在所述第一预设区域的聚集次数、聚集频次中至少之一；

所述第二获取子模块，还用于确定所述对象组在所述第一预设区域及所述第二预设区域之间的流动次数、流动频次、流动距离、流动速度中至少之一。

一种实施方式中，识别模块402具体用于：基于所述目标情绪信息、所述对象组的非情绪信息、所述目标情绪信息对应的第一类权重以及所述对象组的非情绪信息对应的第二类权重，识别所述对象组的情绪；其中，

若所述对象组的非情绪信息包括所述对象组的聚集规模，则所述第二类权重包括所述对象组的聚集规模对应的第一权重；所述第一权重与所述对象组的聚集规模正相关；

若所述对象组的非情绪信息包括所述对象组在预设时段的行为信息，则所述第二类权重包括所述对象组在预设时段的行为信息对应的第二权重；所述第二权重随着所述行为信息对应的等级的变化而变化；

一种实施方式中，所述装置还包括：

确定模块(图中未示出)，用于在电子地图中，确定所述对象组对应的地图区域；确定所述对象组的情绪对应的渲染模式，利用所确定的渲染模式，对所述地图区域进行渲染。

应用本发明所示实施例，在检测到对象组聚集的情况下，基于对象组中满足预设情绪条件的目标情绪信息和对象组的非情绪信息，识别对象组的情绪，非情绪信息包括：对象组的聚集规模、和/或对象组在预设时段的行为信息；可见，本方案能够对对象组进行情绪识别，并且能够结合情绪信息和非情绪信息这两方面来识别对象组的情绪，提高了对象组情绪识别的准确性。

本发明实施例还提供了一种电子设备，如图5所示，包括处理器501和存储器502，

存储器502，用于存放计算机程序；

处理器501，用于执行存储器502上所存放的程序时，实现上述任意一种情绪识别方法。

上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器 (DigitalSignal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本发明实施例还提供一种情绪识别系统，如图6所示，包括：

视频采集设备601，用于针对预设区域采集视频图像；

视频分析设备602，用于检测所述视频图像中是否存在多个对象聚集的情况；若存在，则对由所述多个对象组成的对象组中人员进行情绪识别，并将情绪识别结果发送至数据分析设备；

数据分析设备603，用于实现上述任意一种情绪识别方法。

一种实施方式中，所述系统还包括：

展示设备(图中未示出)，用于对数据分析设备603识别出的所述对象组的情绪进行图形化展示。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种情绪识别方法。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任意一种情绪识别方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、系统实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。