一种识别用户情绪的方法及相关装置

技术领域

本申请涉及数据处理技术领域，尤其涉及一种识别用户情绪的方法及相关装置。

背景技术

现阶段，用户通过输入工具和人工智能产品实现交互，即，输入工具是用户体验人工智能的重要入口。用户通过输入工具体验人工智能时，为了更好地理解用户，以提供更加智能化的人工智能服务，提高用户体验，增加用户粘性，在用户输入场景下识别用户情绪尤为重要。

现有技术中，在用户输入场景下，一般是对用户的输入信息进行情绪识别以得到用户情绪。但是，发明人经过研究发现，该方式仅仅识别用户的输入信息所表征的用户情绪，并没有考虑其他影响信息对用户的输入信息所表征的用户情绪的影响，容易导致识别得到的用户情绪并不准确，很有可能和真实用户情绪出现较大偏差。

发明内容

有鉴于此，本申请提供一种识别用户情绪的方法及相关装置，实现多角度综合情绪识别，大大提高了用户情绪识别的准确性。

第一方面，本申请实施例提供了一种识别用户情绪的方法，该方法包括：

获得用户的当前输入信息和情绪因素；

对所述当前输入信息进行情绪特征提取，获得所述当前输入信息对应的当前情绪特征；

基于所述当前情绪特征、所述情绪因素和情绪识别模型，获得所述用户的当前情绪类型。

可选的，所述当前输入信息包括当前文本输入信息、当前语音输入信息和当前图像输入信息中至少两种。

可选的，所述当前图像输入信息包括当前面部图像和/或当前身体姿态图像。

可选的，所述情绪因素包括性格类型和/或历史情绪类型。

可选的，所述用户的性格类型是基于所述用户的预设时间段输入信息和性格识别模型获得的，其中，所述性格识别模型基于预设时间段输入信息样本对应的性格特征和性格类型标签，预先训练第一预设识别网络获得。

可选的，所述性格识别模型的训练步骤包括：

将所述预设时间段输入信息样本对应的性格特征，按照时间序列输入所述第一预设识别网络，获得预测性格类型；

基于所述预测性格类型、所述性格类型标签和第一预设损失函数，调整所述第一预设识别网络的参数；

将训练完成的所述第一预设识别网络作为所述性格识别模型。

可选的，所述用户的性格类型的获得步骤，包括：

对所述用户预设时间段输入信息进行性格特征提取，获得所述预设时间段输入信息对应的性格特征；

确定所述预设时间段输入信息对应的性格特征的时间序列；

按照所述时间序列将所述预设时间段输入信息对应的性格特征输入所述性格识别模型，获得所述用户的性格类型。

可选的，所述用户的历史情绪类型是通过图谱方式和/或嵌入方式预先存储的。

可选的，所述情绪识别模型基于预设输入信息样本对应的情绪特征、情绪因素样本和对应的情绪类型标签，预先训练第二预设识别网络获得。

可选的，所述情绪识别模型的训练步骤包括：

将所述预设输入信息样本对应的情绪特征、所述情绪因素样本输入所述第二预设识别网络，获得预测情绪类型；

基于所述预测情绪类型、所述情绪类型标签和第二预设损失函数，调整所述第二预设识别网络的参数；

将训练完成的所述第二预设识别网络作为所述情绪识别模型。

第二方面，本申请实施例提供了一种识别用户情绪的装置，该装置包括：

第一获得单元，用于获得用户的当前输入信息和情绪因素；

第二获得单元，用于对所述当前输入信息进行情绪特征提取，获得所述当前输入信息对应的当前情绪特征；

第三获得单元，用于基于所述当前情绪特征、所述情绪因素和情绪识别模型，获得所述用户的当前情绪类型。

可选的，所述当前输入信息包括当前文本输入信息、当前语音输入信息和当前图像输入信息中至少两种。

可选的，所述当前图像输入信息包括当前面部图像和/或当前身体姿态图像。

可选的，所述情绪因素包括性格类型和/或历史情绪类型。

可选的，所述用户的性格类型是基于所述用户的预设时间段输入信息和性格识别模型获得的；所述性格识别模型基于预设时间段输入信息样本对应的性格特征和性格类型标签，预先训练第一预设识别网络获得。

可选的，所述装置还包括第一训练单元，所述第一训练单元用于：

将所述预设时间段输入信息样本对应的性格特征，按照时间序列输入所述第一预设识别网络，获得预测性格类型；

基于所述预测性格类型、所述性格类型标签和第一预设损失函数，调整所述第一预设识别网络的参数；

将训练完成的所述第一预设识别网络作为所述性格识别模型。

可选的，所述装置还包括第四获得单元，所述第四获得单元用于：

对所述用户预设时间段输入信息进行性格特征提取，获得所述预设时间段输入信息对应的性格特征；

确定所述预设时间段输入信息对应的性格特征的时间序列；

按照所述时间序列将所述预设时间段输入信息对应的性格特征输入所述性格识别模型，获得所述用户的性格类型。

可选的，所述用户的历史情绪类型是通过图谱方式和/或嵌入方式预先存储的。

可选的，所述情绪识别模型基于预设输入信息样本对应的情绪特征、情绪因素样本和对应的情绪类型标签，预先训练第二预设识别网络获得。

可选的，所述装置还包括第二训练单元，所述第二训练单元用于：

将所述预设输入信息样本对应的情绪特征、所述情绪因素样本输入所述第二预设识别网络，获得预测情绪类型；

基于所述预测情绪类型、所述情绪类型标签和第二预设损失函数，调整所述第二预设识别网络的参数；

将训练完成的所述第二预设识别网络作为所述情绪识别模型。

第三方面，本申请实施例提供了一种用于识别用户情绪的装置，该装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

获得用户的当前输入信息和情绪因素；

对所述当前输入信息进行情绪特征提取，获得所述当前输入信息对应的当前情绪特征；

基于所述当前情绪特征、所述情绪因素和情绪识别模型，获得所述用户的当前情绪类型。

可选的，所述当前输入信息包括当前文本输入信息、当前语音输入信息和当前图像输入信息中至少两种。

可选的，所述当前图像输入信息包括当前面部图像和/或当前身体姿态图像。

可选的，所述情绪因素包括性格类型和/或历史情绪类型。

可选的，所述用户的性格类型是基于所述用户的预设时间段输入信息和性格识别模型获得的，其中，所述性格识别模型基于预设时间段输入信息样本对应的性格特征和性格类型标签，预先训练第一预设识别网络获得。

可选的，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

将所述预设时间段输入信息样本对应的性格特征，按照时间序列输入所述第一预设识别网络，获得预测性格类型；

基于所述预测性格类型、所述性格类型标签和第一预设损失函数，调整所述第一预设识别网络的参数；

将训练完成的所述第一预设识别网络作为所述性格识别模型。

可选的，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

对所述用户预设时间段输入信息进行性格特征提取，获得所述预设时间段输入信息对应的性格特征；

确定所述预设时间段输入信息对应的性格特征的时间序列；

按照所述时间序列将所述预设时间段输入信息对应的性格特征输入所述性格识别模型，获得所述用户的性格类型。

可选的，所述用户的历史情绪类型是通过图谱方式和/或嵌入方式预先存储的。

可选的，所述情绪识别模型基于预设输入信息样本对应的情绪特征、情绪因素样本和对应的情绪类型标签，预先训练第二预设识别网络获得。

可选的，所述装置还经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

将所述预设输入信息样本对应的情绪特征、所述情绪因素样本输入所述第二预设识别网络，获得预测情绪类型；

基于所述预测情绪类型、所述情绪类型标签和第二预设损失函数，调整所述第二预设识别网络的参数；

将训练完成的所述第二预设识别网络作为所述情绪识别模型。

第四方面，本申请实施例提供了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行上述第一方面中任一项所述的识别用户情绪的方法。

与现有技术相比，本申请至少具有以下优点：

采用本申请实施例的技术方案，首先，获得用户的当前输入信息和情绪因素；然后，对当前输入信息进行情绪特征提取，获得当前输入信息对应的当前情绪特征；最后，利用情绪识别模型处理当前情绪特征和情绪因素，获得用户的当前情绪类型。由此可见，先对用户的当前输入信息进行情绪特征提取得到当前情绪特征，再将当前情绪特征结合用户的情绪因素进行情绪识别，得到用户的当前情绪类型；不仅分析当前情绪特征所表征的用户情绪，而且分析情绪因素对当前情绪特征所表征的用户情绪的影响，实现多角度综合情绪识别，大大提高了用户情绪识别的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例中一种应用场景所涉及的系统框架示意图；

图2为本申请实施例提供的一种识别用户情绪的方法的流程示意图；

图3为本申请实施例提供的一种识别用户情绪的装置的结构示意图；

图4为本申请实施例提供的一种用于识别用户情绪的装置的结构示意图；

图5为本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，在用户输入场景下，一般是对用户的输入信息进行情绪识别以得到用户情绪。但是，发明人经过研究发现，该方式并没有考虑其他影响信息对用户的输入信息所表征的用户情绪的影响，仅仅识别用户的输入信息所表征的用户情绪，容易导致识别得到的用户情绪并不准确，很有可能和真实用户情绪出现较大偏差。

为了解决这一问题，在本申请实施例中，首先，获得用户的当前输入信息和情绪因素；然后，对当前输入信息进行情绪特征提取，获得当前输入信息对应的当前情绪特征；最后，利用情绪识别模型处理当前情绪特征和情绪因素，获得用户的当前情绪类型。由此可见，先对用户的当前输入信息进行情绪特征提取得到当前情绪特征，再将当前情绪特征结合用户的情绪因素进行情绪识别，得到用户的当前情绪类型；不仅分析当前情绪特征所表征的用户情绪，而且分析情绪因素对当前情绪特征所表征的用户情绪的影响，实现多角度综合情绪识别，大大提高了用户情绪识别的准确性。

举例来说，本申请实施例的场景之一，可以是应用到如图1所示的场景中，该场景包括客户端101和处理器102，客户端101和处理器102处于同一人工智能产品中。用户通过客户端101安装的输入产品进行输入，处理器102采用本申请实施例提供的实施方式识别用户情绪，以便处理器102基于识别得到的用户情绪进行人工智能服务，使得该人工智能产品更加智能化。

可以理解的是，在上述应用场景中，虽然将本申请实施方式的动作描述由处理器102执行；但是，本申请在执行主体方面不受限制，只要执行了本申请实施方式所公开的动作即可。

可以理解的是，上述场景仅是本申请实施例提供的一个场景示例，本申请实施例并不限于此场景。

下面结合附图，通过实施例来详细说明本申请实施例中识别用户情绪的方法及相关装置的具体实现方式。

参见图2，示出了本申请实施例中一种识别用户情绪的方法的流程示意图。在本实施例中，所述方法例如可以包括以下步骤：

步骤201：获得用户的当前输入信息和情绪因素。

在本申请实施例中，为了避免基于单一模态的当前输入信息进行情绪识别，得到的用户情绪准确性较低，可以获得用户的至少两种不同模态的当前输入信息，以提高后续识别用户情绪的准确性。其中，所述当前输入信息可以是指当前时刻输入信息，也可以是指当前时间段输入信息。

常见的用户输入方式包括文本输入方式、语音输入方式和图像输入方式；其中，文本输入方式对应的当前输入信息为当前文本输入信息，语音输入方式对应的当前输入信息为当前语音输入信息，图像输入方式对应的当前输入信息为当前图像输入信息，且一般是能够表征用户情绪的面部图像、身体姿态图像等图像输入信息。因此，在本申请实施例一种可选的实施方式中，所述当前输入信息包括当前文本输入信息、当前语音输入信息和当前图像输入信息中至少两种；所述当前图像输入信息包括当前面部图像和/或当前身体姿态图像。

其中，当前面部图像既可以是当前静态面部图像，例如，当前静态面部图片，也可以是当前动态面部图像，例如，当前动态面部图片或当前面部视频；同理，当前身体姿态图像既可以是当前静态身体姿态图像，例如，当前静态身体姿态图片，也可以是当前动态身体姿态图像，例如，当前动态身体姿态图片或当前身体姿态视频。

由于仅仅识别用户的输入信息所表征的用户情绪，并没有考虑其他影响信息对用户的输入信息所表征的用户情绪的影响，容易导致识别得到的用户情绪并不准确，很有可能和真实用户情绪出现较大偏差。因此，在本申请实施例中，在获得用户的当前输入信息的基础上，还需要获得影响用户的当前输入信息所表征的用户情绪的信息，作为用户的情绪因素。

其中，不同性格类型下用户的当前输入信息所表征的用户情绪具有差异性，不同历史情绪类型下用户的当前输入信息所表征的用户情绪也具有差异性；即，用户的性格类型、历史情绪类型影响用户的当前输入信息所表征的用户情绪，则可以将性格类型、历史情绪类型中任意一种或两种作为用户的情绪因素。因此，在本申请实施例一种可选的实施方式中，所述情绪因素包括性格类型和/或历史情绪类型。

在本申请实施例中，当情绪因素包括性格类型时，由于用户的预设时间段输入信息可以反映出用户的性格类型，则可以对用户的预设时间段输入信息进行性格识别处理，获得用户的性格类型。例如，性格类型可以是开放性、责任感、外向性、宜人性、神经质或消极性等等。

其中，性格识别处理的前提是通过预设时间段输入信息样本对应的性格特征和性格类型标签，预先训练第一预设识别网络获得性格识别模型。基于此，利用该性格识别模型针对用户的预设时间段输入信息进行性格识别处理，即可获得用户的性格类型。因此，在本申请实施例一种可选的实施方式中，所述用户的性格类型是基于所述用户的预设时间段输入信息和性格识别模型获得的；所述性格识别模型是基于预设时间段输入信息样本对应的性格特征和性格类型标签，预先训练第一预设识别网络获得的。

性格识别模型的训练是指：将按照时间序列排序的预设时间段输入信息样本对应的性格特征和对应的性格类型标签作为训练数据后；需要通过该训练数据训练一个预先设定的识别网络，即，第一预设识别网络，以充分挖掘按照时间序列排序的预设时间段输入信息样本对应的性格特征与性格类型标签之间的关联信息；在经过一定数量的上述训练数据多次迭代训练后，即可得到性格识别模型。

具体实施时，首先，需要将预设时间段输入信息样本对应的性格特征，按照时间序列输入第一预设识别网络，第一预设识别网络可以预测性格类型并输出预测性格类型；然后，需要利用第一预设损失函数，计算预测性格类型与性格类型标签的损失，以调整第一预设识别网络的参数；经过多次迭代训练，直至到达预设迭代训练次数或者第一预设识别网络收敛，完成第一预设识别网络的训练，将训练完成的第一预设识别网络作为性格识别模型。因此，在本申请实施例一种可选的实施方式中，所述性格识别模型的训练步骤包括以下步骤：

步骤A：将所述预设时间段输入信息样本对应的性格特征，按照时间序列输入所述第一预设识别网络，获得预测性格类型；

步骤B：基于所述预测性格类型、所述性格类型标签和第一预设损失函数，调整所述第一预设识别网络的参数；

步骤C：将训练完成的所述第一预设识别网络作为所述性格识别模型。

对应地，在获得用户的性格类型时，首先，需要提取用户预设时间段输入信息中性格特征，然后，需要确定该性格特征的时间序列，最后，按照时间序列将该性格特征输入上述性格识别模型，即可获得用户的性格类型。在本申请实施例一种可选的实施方式中，所述用户的性格类型的获得步骤，包括：

步骤D：对所述用户预设时间段输入信息进行性格特征提取，获得所述预设时间段输入信息对应的性格特征；

步骤E：确定所述预设时间段输入信息对应的性格特征的时间序列；

步骤F：按照所述时间序列将所述预设时间段输入信息对应的性格特征输入所述性格识别模型，获得所述用户的性格类型。

在本申请实施例中，当情绪因素包括历史情绪类型时，由于用户的历史情绪类型是针对用户而言，通过历史情绪识别所获得的情绪类型，因此，相对于用户的当前输入信息而言，用户的历史情绪类型是预先存储在用户情绪数据库中。其中，用户的历史情绪类型的存储方式例如可以为图谱方式和/或嵌入方式。即，在本申请实施例一种可选的实施方式中，所述用户的历史情绪类型是通过图谱方式和/或嵌入方式预先存储的。

当用户的历史情绪类型通过图谱方式预先存储时，得到历史情绪类型图谱，该历史情绪类型图谱由多个历史情绪类型三元组构成。单个历史情绪类型三元组为(s，p，o)格式，其中s是指用户，p是指历史情绪类型，p表示用户与历史情绪类型之间的时间关系。历史情绪类型图谱分为长期历史情绪类型图谱和短期历史情绪类型图谱，长期历史情绪类型图谱记忆用户的长期历史情绪类型，短期历史情绪类型图谱记忆用户的短期历史情绪类型，短期历史情绪类型图谱需要及时更新。

当用户的历史情绪类型通过嵌入方式预先存储时，得到嵌入式历史情绪类型模块，该嵌入式历史情绪类型模块将多个历史情绪类型三元组用连续型数值表示。嵌入式历史情绪类型模块也分为长期嵌入式历史情绪类型模块和短期嵌入式历史情绪类型模块，长期嵌入式历史情绪类型模块记忆用户的长期历史情绪类型，短期嵌入式历史情绪类型模块记忆用户的短期历史情绪类型，短期嵌入式历史情绪类型模块也需要及时更新。

步骤202：对所述当前输入信息进行情绪特征提取，获得所述当前输入信息对应的当前情绪特征。

在本申请实施例中，对于用户的当前输入信息而言，首先需要提取其中表征的用户情绪的情绪特征，作为该当前输入信息对应的当前情绪特征。对应于至少两种不同模态的当前输入信息包括当前文本输入信息、当前语音输入信息和当前图像输入信息中至少两种，在步骤202具体实施例时，当前文本输入信息、当前语音输入信息和当前图像输入信息三种不同模态的当前输入信息所对应的具体实施方式不同，具体如下所示：

第一，针对当前文本输入信息而言，当至少两种不同模态的当前输入信息包括当前文本输入信息时，步骤202例如可以包括：对第一当前文本输入信息进行情绪相关的语义特征提取，获得第一当前文本输入信息对应的第一当前情绪语义特征。

第二，针对当前语音输入信息而言，当至少两种不同模态的当前输入信息包括当前语音输入信息时，步骤202例如可以包括：将当前语音输入信息转换为第二当前文本输入信息；对第二当前文本输入信息进行情绪相关的语义特征提取，获得第二当前文本输入信息对应的第二当前情绪语义特征；对当前语音输入信息进行情绪相关的语音特征提取，获得当前语音输入信息对应的当前情绪语音特征。其中，当前语音输入信息是经过预加重、分帧、加窗等预处理得到的，以避免当前语音输入信息的质量受到用户发声器官本身和采集语音输入信息的设备所带来的混叠、高次谐波失真、高频等因素的影响。

第三，针对当前图像输入信息而言，当至少两种不同模态的当前输入信息包括当前图像输入信息时，步骤202例如可以包括：对当前图像输入信息进行情绪相关的图像特征提取，获得当前图像输入信息对应的当前情绪图像特征。其中，当前图像输入信息包括当前面部图像时，当前面部图像对应的当前情绪图像特征主要是指当前人脸特征等等；当前图像输入信息包括当前身体姿态图像时，当前身体姿态图像对应的当前情绪图像特征主要是指当前人体特征等等。

步骤203：基于所述当前情绪特征、所述情绪因素和情绪识别模型，获得所述用户的当前情绪类型。

在本申请实施例中，在获得当前情绪特征和对应的情绪因素之后，为了避免仅对当前情绪特征进行情绪识别，导致识别得到的用户情绪并不准确，很有可能和真实用户情绪出现较大偏差的现象；需要综合当前情绪特征和对应的情绪因素进行情绪识别，得到用户的当前情绪类型；不仅分析当前情绪特征所表征的用户情绪，而且分析情绪因素对当前情绪特征所表征的用户情绪的影响，实现多角度综合情绪识别，大大提高了用户情绪识别的准确性。

其中，综合当前情绪特征和对应的情绪因素进行情绪识别，实际是指将当前情绪特征和对应的情绪因素输入预先训练获得的情绪识别模型，识别得到情绪类型作为用户的当前情绪类型。在本申请实施例一种可选的实施方式中，所述情绪识别模型是基于预设输入信息样本对应的情绪特征、情绪因素样本和对应的情绪类型标签，预先训练第二预设识别网络获得的。

情绪识别模型的训练是指：将预设输入信息样本对应的情绪特征、情绪因素样本、情绪类型标签作为训练数据后；需要通过该训练数据训练另一个预先设定的识别网络，即，第二预设识别网络，以充分挖掘预设输入信息样本对应的情绪特征、情绪因素样本与情绪类型标签之间的关联信息；在经过一定数量的上述训练数据多次迭代训练后，即可得到情绪识别模型。

具体实施时，首先，需要将预设输入信息样本对应的情绪特征和情绪因素样本，输入第二预设识别网络，第二预设识别网络可以识别情绪类型并输出预测情绪类型；然后，需要利用第二预设损失函数，计算预测情绪类型与情绪类型标签的损失，以调整第二预设识别网络的参数；经过多次迭代训练，直至到达预设迭代训练次数或者第二预设识别网络收敛，完成第二预设识别网络的训练，将训练完成的第二预设识别网络作为情绪识别模型。即，在本申请实施例一种可选的实施方式中，所述情绪识别模型的训练步骤包括：

步骤G：将所述预设输入信息样本对应的情绪特征、所述情绪因素样本输入所述第二预设识别网络，获得预测情绪类型；

步骤H：基于所述预测情绪类型、所述情绪类型标签和第二预设损失函数，调整所述第二预设识别网络的参数；

步骤I：将训练完成的所述第二预设识别网络作为所述情绪识别模型。

作为一种示例，获得用户的当前输入信息包括用户的当前文本输入信息和当前图像输入信息，当前文本输入信息为“我好喜欢吃苹果啊”、当前图像输入信息为当前面部图像；情绪影像信息包括性格类型，性格类型为外向性。对当前文本输入信息“我好喜欢吃苹果啊”进行情绪相关的情绪特征提取，获得当前文本输入信息“我好喜欢吃苹果啊”对应的当前情绪语义特征；对当前图像输入信息—当前面部图像进行情绪相关的图像特征提取，获得当前图像输入信息—当前面部图像对应的当前情绪图像特征；当前情绪语义特征和当前情绪图像特征组成当前情绪特征。相对于仅对当前情绪特征进行情绪识别得到的用户的当前情绪类型为快乐而言，基于当前情绪特征、性格类型—外向性和情绪识别模型，获得用户的当前情绪类型为一般，多角度综合情绪识别更加准确。

作为另一种示例，上述示例中当前输入信息不变，情绪影像信息包括性格类型，性格类型为消极性。参见上述示例详细内容，相对于仅对当前情绪特征进行情绪识别得到的用户的当前情绪类型为快乐而言，基于当前情绪特征、性格类型—消极性和情绪识别模型，获得用户的当前情绪类型为非常快乐。

通过本实施例提供的各种实施方式，首先，获得用户的当前输入信息和情绪因素；然后，对当前输入信息进行情绪特征提取，获得当前输入信息对应的当前情绪特征；最后，利用情绪识别模型处理当前情绪特征和情绪因素，获得用户的当前情绪类型。由此可见，先对用户的当前输入信息进行情绪特征提取得到当前情绪特征，再将当前情绪特征结合用户的情绪因素进行情绪识别，得到用户的当前情绪类型；不仅分析当前情绪特征所表征的用户情绪，而且分析情绪因素对当前情绪特征所表征的用户情绪的影响，实现多角度综合情绪识别，大大提高了用户情绪识别的准确性。

参见图3，示出了本申请实施例中一种识别用户情绪的装置的结构示意图。在本实施例中，所述装置例如具体可以包括：

第一获得单元301，用于获得用户的当前输入信息和情绪因素；

第二获得单元302，用于对所述当前输入信息进行情绪特征提取，获得所述当前输入信息对应的当前情绪特征；

第三获得单元303，用于基于所述当前情绪特征、所述情绪因素和情绪识别模型，获得所述用户的当前情绪类型。

在本申请实施例一种可选的实施方式中，所述当前输入信息包括当前文本输入信息、当前语音输入信息和当前图像输入信息中至少两种。

在本申请实施例一种可选的实施方式中，所述当前图像输入信息包括当前面部图像和/或当前身体姿态图像。

在本申请实施例一种可选的实施方式中，所述情绪因素包括性格类型和/或历史情绪类型。

在本申请实施例一种可选的实施方式中，所述用户的性格类型是基于所述用户的预设时间段输入信息和性格识别模型获得的；所述性格识别模型基于预设时间段输入信息样本对应的性格特征和性格类型标签，预先训练第一预设识别网络获得。

在本申请实施例一种可选的实施方式中，所述装置还包括第一训练单元，所述第一训练单元用于：

将所述预设时间段输入信息样本对应的性格特征，按照时间序列输入所述第一预设识别网络，获得预测性格类型；

基于所述预测性格类型、所述性格类型标签和第一预设损失函数，调整所述第一预设识别网络的参数；

将训练完成的所述第一预设识别网络作为所述性格识别模型。

在本申请实施例一种可选的实施方式中，所述装置还包括第四获得单元，所述第四获得单元用于：

对所述用户预设时间段输入信息进行性格特征提取，获得所述预设时间段输入信息对应的性格特征；

确定所述预设时间段输入信息对应的性格特征的时间序列；

按照所述时间序列将所述预设时间段输入信息对应的性格特征输入所述性格识别模型，获得所述用户的性格类型。

在本申请实施例一种可选的实施方式中，所述用户的历史情绪类型是通过图谱方式和/或嵌入方式预先存储的。

在本申请实施例一种可选的实施方式中，所述情绪识别模型基于预设输入信息样本对应的情绪特征、情绪因素样本和对应的情绪类型标签，预先训练第二预设识别网络获得。

在本申请实施例一种可选的实施方式中，所述装置还包括第二训练单元，所述第二训练单元用于：

将所述预设输入信息样本对应的情绪特征、所述情绪因素样本输入所述第二预设识别网络，获得预测情绪类型；

基于所述预测情绪类型、所述情绪类型标签和第二预设损失函数，调整所述第二预设识别网络的参数；

将训练完成的所述第二预设识别网络作为所述情绪识别模型。

通过本实施例提供的各种实施方式，首先，获得用户的当前输入信息和情绪因素；然后，对当前输入信息进行情绪特征提取，获得当前输入信息对应的当前情绪特征；最后，利用情绪识别模型处理当前情绪特征和情绪因素，获得用户的当前情绪类型。由此可见，先对用户的当前输入信息进行情绪特征提取得到当前情绪特征，再将当前情绪特征结合用户的情绪因素进行情绪识别，得到用户的当前情绪类型；不仅分析当前情绪特征所表征的用户情绪，而且分析情绪因素对当前情绪特征所表征的用户情绪的影响，实现多角度综合情绪识别，大大提高了用户情绪识别的准确性。

图4是根据一示例性实施例示出的一种用于识别用户情绪的装置400的框图。例如，装置400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图4，装置400可以包括以下一个或多个组件：处理组件402，存储器404，电源组件406，多媒体组件408，音频组件410，输入/输出(I/O)的接口412，传感器组件414，以及通信组件416。

处理组件402通常控制装置400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件402可以包括一个或多个模块，便于处理组件402和其他组件之间的交互。例如，处理部件402可以包括多媒体模块，以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在设备400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统，一个或多个电源，及其他与为装置400生成、管理和分配电力相关联的组件。

多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相互关联的持续时间和压力。在一些实施例中，多媒体组件408包括一个前置摄像头和/或后置摄像头。当设备400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如，音频组件410包括一个麦克风(MIC)，当装置400处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中，音频组件410还包括一个扬声器，用于输出音频信号。

I/O接口412为处理组件402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器，用于为装置400提供各个方面的状态评估。例如，传感器组件414可以检测到设备400的打开/关闭状态，组件的相对定位，例如所述组件为装置400的显示器和小键盘，传感器组件414还可以检测装置400或装置400一个组件的位置改变，用户与装置400接触的存在或不存在，装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件416还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置400可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器404，上述指令可由装置400的处理器420执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种识别用户情绪的方法，所述方法包括：

获得用户的当前输入信息和情绪因素；

对所述当前输入信息进行情绪特征提取，获得所述当前输入信息对应的当前情绪特征；

基于所述当前情绪特征、所述情绪因素和情绪识别模型，获得所述用户的当前情绪类型。

在本申请实施例一种可选的实施方式中，所述当前输入信息包括当前文本输入信息、当前语音输入信息和当前图像输入信息中至少两种。

在本申请实施例一种可选的实施方式中，所述当前图像输入信息包括当前面部图像和/或当前身体姿态图像。

在本申请实施例一种可选的实施方式中，所述情绪因素包括性格类型和/或历史情绪类型。

在本申请实施例一种可选的实施方式中，所述用户的性格类型是基于所述用户的预设时间段输入信息和性格识别模型获得的，其中，所述性格识别模型基于预设时间段输入信息样本对应的性格特征和性格类型标签，预先训练第一预设识别网络获得。

在本申请实施例一种可选的实施方式中，所述性格识别模型的训练步骤包括：

将所述预设时间段输入信息样本对应的性格特征，按照时间序列输入所述第一预设识别网络，获得预测性格类型；

基于所述预测性格类型、所述性格类型标签和第一预设损失函数，调整所述第一预设识别网络的参数；

将训练完成的所述第一预设识别网络作为所述性格识别模型。

在本申请实施例一种可选的实施方式中，所述用户的性格类型的获得步骤，包括：

对所述用户预设时间段输入信息进行性格特征提取，获得所述预设时间段输入信息对应的性格特征；

确定所述预设时间段输入信息对应的性格特征的时间序列；

按照所述时间序列将所述预设时间段输入信息对应的性格特征输入所述性格识别模型，获得所述用户的性格类型。

在本申请实施例一种可选的实施方式中，所述用户的历史情绪类型是通过图谱方式和/或嵌入方式预先存储的。

在本申请实施例一种可选的实施方式中，所述情绪识别模型基于预设输入信息样本对应的情绪特征、情绪因素样本和对应的情绪类型标签，预先训练第二预设识别网络获得。

在本申请实施例一种可选的实施方式中，所述情绪识别模型的训练步骤包括：

将所述预设输入信息样本对应的情绪特征、所述情绪因素样本输入所述第二预设识别网络，获得预测情绪类型；

基于所述预测情绪类型、所述情绪类型标签和第二预设损失函数，调整所述第二预设识别网络的参数；

将训练完成的所述第二预设识别网络作为所述情绪识别模型。

图5是本申请实施例中服务器的结构示意图。该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)522(例如，一个或一个以上处理器)和存储器532，一个或一个以上存储应用程序542或数据544的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器532和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器522可以设置为与存储介质530通信，在服务器500上执行存储介质530中的一系列指令操作。

服务器500还可以包括一个或一个以上电源526，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口558，一个或一个以上键盘556，和/或，一个或一个以上操作系统541，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅是本申请的较佳实施例而已，并非对本申请作任何形式上的限制。虽然本申请已以较佳实施例揭露如上，然而并非用以限定本申请。任何熟悉本领域的技术人员，在不脱离本申请技术方案范围情况下，都可利用上述揭示的方法和技术内容对本申请技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本申请技术方案保护的范围内。