情绪识别方法及设备、语音交互系统、智能穿戴设备

技术领域

本公开涉及计算机技术领域，尤其涉及一种情绪识别方法及设备、语音交互系统、智能穿戴设备。

背景技术

从手环、智能手表到健身跟踪器，各个智能穿戴设备市场都在呈现出显著的增长，当前市场上已出现参差不齐的健康监测功能的产品，其功能不是很完善，在一定程度上很难达到大众的各种需求。可穿戴设备较以往电子产品更加方便贴身佩戴，且随身携带时间更长，但是功能过于单一满足不了用户的优质体验，功能丰富的产品成本非常高得不到大众的青睐。

目前的语音唤醒主要应用于C端，用户群体广泛，且要进行大量远场交互，对唤醒能力提出了很高要求，其难点主要在于低功耗要求和高效果需求之间的矛盾。

发明内容

本公开要解决的技术问题是为了克服现有技术中低功耗要求和高效果需求之间存在矛盾的缺陷，目的在于提供一种基于低功耗高性能系统架构的情绪监测方案，具体提供了一种情绪识别方法及设备、语音交互系统、智能穿戴设备。

本公开是通过下述技术方案来解决上述技术问题：

根据本公开的第一方面，提供了一种情绪识别设备，所述情绪识别设备应用于智能穿戴设备中，所述情绪识别设备包括应用处理器、数字信号处理器、和至少两种类型的情绪影响因素的预设采集装置；

其中，所述预设采集装置包括与所述数字信号处理器以及所述应用处理器通信连接的第一预设采集模块，和与所述应用处理器通信连接的第二预设采集模块；

所述第一预设采集模块用于采集在第一设定时段内的第一采集信号，并发送至所述数字信号处理器；

所述数字信号处理器用于判断若干所述第一采集信号中是否存在满足第一预设条件的信号，若存在，则将对应的第一采集信号作为第一目标信号并发送至所述应用处理器；

所述第二预设采集模块用于采集目标用户在所述第一设定时段内的第二采集信号，并判断若干所述第二采集信号中是否存在满足预设第二预设条件的信号，若存在，则将对应的第二采集信号作为第二目标信号发送至所述应用处理器；

所述应用处理器用于根据同一时间内，是否接收到所述第一目标信号以及所述第二目标采集信号的不同状态，识别出表征所述目标用户的实际情绪状态。

较佳地，所述第一预设采集模块包括音频采集单元，所述第二预设采集模块包括生理采集单元和生理检测单元；

所述音频采集单元用于采集在所述第一设定时段内的音频采集信号，并发送至所述数字信号处理器；

所述数字信号处理器用于判断若干所述音频采集信号中是否存在满足所述第一预设条件的音频信号，若存在，则将对应的音频采集信号作为目标音频采集信号并发送至所述应用处理器；

所述生理采集单元用于采集所述目标用户在所述第一设定时段内的生理采集信号，并将所述生理采集信号发送至所述生理检测单元；

所述生理检测单元用于判断若干所述生理采集信号中是否存在满足预设第二预设条件的生理信号，若存在，则将对应的生理采集信号作为目标生理采集信号发送至所述应用处理器；

所述应用处理器用于根据同一时间内，是否接收到所述目标音频采集信号以及所述目标生理采集信号的不同状态，识别出表征所述目标用户的实际情绪状态。

较佳地，所述应用处理器包括存储模块和状态识别模块；

所述存储模块用于存储所述目标音频采集信号和所述目标生理采集信号，并传输至所述状态识别模块；

所述状态识别模块用于根据同一时间内，是否接收到所述目标音频采集信号以及所述目标生理采集信号的不同状态，识别出表征所述目标用户情绪状态的状态结果。

较佳地，所述状态识别模块用于在同一时间内接收到所述目标音频采集信号，但未收到所述目标生理采集信号时，基于第一情绪识别模式识别出表征所述目标用户情绪状态的第一状态结果；

所述状态识别模块用于在同一时间内接收到所述目标生理采集信号，但未收到所述目标音频采集信号时，基于第二情绪识别模式识别出表征所述目标用户情绪状态的第二状态结果；

所述状态识别模块用于在同时接收到所述目标音频采集信号和所述目标生理采集信号时，基于第三情绪识别模式识别出表征所述目标用户情绪状态的第三状态结果。

较佳地，所述状态识别模块用于根据同一时间内，是否接收到所述目标音频采集信号以及所述目标生理采集信号的不同状态，采用AI(人工智能)神经网络算法识别出表征所述目标用户情绪状态的状态结果。

较佳地，所述数字信号处理器包括清洗模块、检测模块和音频处理模块；

所述清洗模块用于对所述音频采集信号进行清洗处理，获取清洗后的所述音频采集信号；

所述检测模块用于对所述清洗后的所述音频采集信号进行语音活动检测，获取具备语音段的音频信号；

所述音频处理模块用于基于AI神经网络算法对所述音频信号进行数据处理，判断所述音频信号是否满足所述第一预设条件，若满足，则将所述音频信号作为所述目标音频采集信号并发送至所述应用处理器。

较佳地，所述生理采集单元包括至少一种类型的传感器，所述传感器用于采集所述目标用户身体设定部位的所述生理采集信号；

所述生理检测单元包括直接内存访问单元和生理信号检测子单元；

所述直接内存访问单元用于预先存储健康标准生理数据范围；

所述生理信号检测子单元用于将所述生理采集信号与所述健康标准生理数据值进行比较，判断所述生理采集信号是否满足所述健康标准生理数据范围，若满足，则将所述生理采集信号作为目标生理采集信号发送至所述应用处理器。

根据本公开的第二方面，提供了一种语音交互系统，所述语音交互系统包括情绪匹配模块、语音输出模块，以及本公开第一方面所述的情绪识别设备；

所述情绪匹配模块用于获取所述情绪识别设备识别的所述目标用户的情绪状态，将所述情绪状态与预置命令进行匹配；

所述语音输出模块用于播报与所述匹配的预置命令相对应的提示语音。

根据本公开的第三方面，提供了一种智能穿戴设备，所述智能穿戴设备包括本公开第二方面所述的语音交互系统。

根据本公开的第四方面，提供了一种情绪识别方法，所述情绪识别方法采用本公开第一方面所述的情绪识别设备实现，所述情绪识别方法包括：

采集在第一设定时段内的第一采集信号，判断若干所述第一采集信号中是否存在满足第一预设条件的信号，若存在，则将对应的第一采集信号作为第一目标信号；

采集目标用户在所述第一设定时段内的第二采集信号，并判断若干所述第二采集信号中是否存在满足预设第二预设条件的信号，若存在，则将对应的第二采集信号作为第二目标信号；

根据同一时间内，是否接收到所述第一目标信号以及所述第二目标采集信号的不同状态，识别出表征所述目标用户的实际情绪状态。

在符合本领域常识的基础上，所述各优选条件，可任意组合，即得本公开各较佳实施例。

本公开的积极进步效果在于：通过同时部署应用处理器(即AP)和数字信号处理器(即DSP)以构建低功耗高性能的系统架构，基于该低功耗高性能系统架构进行至少两种类型的情绪影响因素的采集，进而根据采集的情绪影响因素的不同状态，动态选择对应的情绪识别模式进行用户情绪状态识别，执行用户预设的相应指令，完成AI语音交互，形成对用户的全面健康监控和健康管理，尤其适用于公共交通、出租车、运货等车载场景的驾驶员情绪检测，以及时根据驾驶员的情绪对驾驶员进行干预，提高行车安全性。

附图说明

图1为本公开实施例1中情绪识别设备的第一模块示意图；

图2为本公开实施例1中情绪识别设备的第二模块示意图；

图3为本公开实施例1中情绪识别设备的第三模块示意图；

图4为本公开实施例1中情绪识别设备的第四模块示意图；

图5为本公开实施例1中情绪识别设备的第五模块示意图；

图6为本公开实施例2中语音交互系统的模块示意图；

图7为本公开实施例2中语音交互系统的情绪匹配示意图；

图8为本公开实施例2中语音交互系统的原理示意图；

图9为本公开实施例2中语音交互系统的软件架构示意图；

图10为本公开实施例4中情绪识别方法的流程图。

具体实施方式

下面通过实施例的方式进一步说明本公开，但并不因此将本公开限制在所述的实施例范围之中。

众所周知，越来越多的电子设备被应用到生活的各个领域，可穿戴也从概念设计走进了现实生活。由于物质生活水平的提高，用户开始越来越关注自己的健康状态，尤其是通过各种各样的仪器设备对自身的身体健康数据进行采集和分析，致使测量仪器和设备开始大规模推广，智能穿戴设备也因为便携性以及外观的多样化受到用户的青睐。

然而，目前很多智能设备采用的都是低端芯片，同时采用电池供电，这就要求唤醒所消耗的能源要尽可能的少，但用户对体验效果的追求越来越高，对唤醒能力提出了很高要求，如何解决低功耗要求和高效果需求之间的矛盾，成为亟需解决的技术问题。

有鉴于此，本公开提供了一种情绪识别方法及设备、语音交互系统、智能穿戴设备，以解决低功耗要求和高效果需求之间存在矛盾的问题。

实施例1

在本公开的一具体实施例中，提供了一种情绪识别设备，该情绪识别设备应用于智能穿戴设备中，如图1所示，该情绪识别设备100包括应用处理器(AP)110、数字信号处理器(DSP)120、和至少两种类型的情绪影响因素的预设采集装置130；

其中，预设采集装置130包括与数字信号处理器120以及应用处理器110通信连接的第一预设采集模块131，和与应用处理器110通信连接的第二预设采集模块132；

第一预设采集模块131用于采集在第一设定时段内的第一采集信号，并发送至数字信号处理器120；

数字信号处理器120用于判断若干第一采集信号中是否存在满足第一预设条件的信号，若存在，则将对应的第一采集信号作为第一目标信号并发送至应用处理器110；

第二预设采集模块132用于采集目标用户在第一设定时段内的第二采集信号，并判断若干第二采集信号中是否存在满足预设第二预设条件的信号，若存在，则将对应的第二采集信号作为第二目标信号发送至应用处理器110；

应用处理器110用于根据同一时间内，是否接收到第一目标信号以及第二目标采集信号的不同状态，识别出表征目标用户的实际情绪状态。

如今生活节奏加快，无形的压力也随处可见，心理情绪骤然变化或长时间的持续不利于人们身体健康，甚至造成身心损伤。考虑到智能穿戴设备作为大众24小时的贴身电子产品最不可或缺的产品，本实施方式提出一种应用于智能穿戴设备的情绪识别设备，通过采集至少两种类型的情绪影响因素，例如，外界环境声音、用户生理信号，进而根据采集的情绪影响因素识别出表征用户的实际情绪状态，以便于根据识别的情绪状态对用户进行及时的干预。

在一种具体实施方式中，如图2所示，第一预设采集模块131包括音频采集单元1310，第二预设采集模块132包括生理采集单元1320和生理检测单元1321；

音频采集单元1310用于采集在第一设定时段内的音频采集信号，并发送至数字信号处理器120；

数字信号处理器120用于判断若干音频采集信号中是否存在满足第一预设条件的音频信号，若存在，则将对应的音频采集信号作为目标音频采集信号并发送至应用处理器110；

生理采集单元1320用于采集目标用户在第一设定时段内的生理采集信号，并将生理采集信号发送至生理检测单元1321；

生理检测单元1321用于判断若干生理采集信号中是否存在满足预设第二预设条件的生理信号，若存在，则将对应的生理采集信号作为目标生理采集信号发送至应用处理器110；

应用处理器110用于根据同一时间内，是否接收到目标音频采集信号以及目标生理采集信号的不同状态，识别出表征目标用户的实际情绪状态。

目前，情绪测量的热点选项是皮肤电和心率，但单凭两个指标的参数很难分辨出用户情绪的浮动状况，容易出现智能穿戴设备的误判导致执行错误的指令，造成用户对智能穿戴产品的反感。因此，本实施方式通过结合外界环境音频信号及用户生理信号对用户进行情绪识别，以提高情绪识别的准确性。

音频采集单元1310可以是声音接收器、音频采集器、话筒等可以采集外界环境音频信号的设备，通过上述设备实时采集外界环境音频信号并发送至数字信号处理器120进行音频识别，当识别到满足第一预设条件的音频信号时，例如，外界环境音频信号的分贝高于预设阈值，则将该段满足第一预设条件的音频信号发送至应用处理器110进行用户的情绪识别。

音频采集单元1310可以是声音接收器、音频采集器、话筒等可以采集外界环境音频信号的设备，通过上述设备实时采集外界环境音频信号并发送至数字信号处理器120进行音频识别，当识别到满足第一预设条件的音频信号时，例如，外界环境音频信号的分贝高于预设阈值，则将该段满足第一预设条件的音频信号发送至应用处理器110进行用户的情绪识别。

在一种具体实施方式中，如图3所示，数字信号处理器120包括清洗模块1201、检测模块1202和音频处理模块1203；

清洗模块1201用于对音频采集信号进行清洗处理，获取清洗后的音频采集信号；

检测模块1202可以是语音活动检测(VAD)，用于对清洗后的音频采集信号进行语音活动检测，获取具备语音段的音频信号；

音频处理模块1203用于基于AI神经网络算法对音频信号进行数据处理，判断音频信号是否满足第一预设条件，若满足，则将音频信号作为目标音频采集信号并发送至应用处理器110。其中，AI神经网络算法包括端到端和基于概率模型的两大类主流语音识别算法。

在音频采集单元1310采集到外界环境音频信号并传输至数字信号处理器120，数字信号处理器120会先对外界环境音频信号进行降噪、语音增强等前端处理，然后由检测模块1202进行语音活动检测，也即，语音段边界监测，检测语音信号是否存在，并在检测到语音信号时，将该语音信号发送至音频处理模块1203进行AI神经网络算法数据处理，以判断该音频信号是否满足第一预设条件若满足，则将音频信号作为目标音频采集信号并发送至应用处理器110进行用户的情绪识别。

目前，情绪测量的热点选项是皮肤电和心率，但单凭两个指标的参数很难分辨出用户情绪的浮动状况，容易出现智能穿戴设备的误判导致执行错误的指令，造成用户对智能穿戴产品的反感。因此，本实施方式通过结合外界环境音频信号及用户生理信号对用户进行情绪识别，以提高情绪识别的准确性。

其中，如图4所示，生理采集单元1320包括至少一种类型的传感器，传感器用于采集目标用户身体设定部位的生理采集信号；

生理检测单元1321包括直接内存访问单元13211和生理信号检测子单元13212；

直接内存访问单元13211用于预先存储健康标准生理数据范围；

生理信号检测子单元13212用于将生理采集信号与健康标准生理数据值进行比较，判断生理采集信号是否满足健康标准生理数据范围，若满足，则将生理采集信号作为目标生理采集信号发送至应用处理器。

生理采集单元1320包括至少一种类型的传感器，例如心电传感器、皮肤电导传感器等，通过至少一种类型的传感器采集用户身体设定部位的生理采集信号，并发送至生理检测单元1321。

直接内存访问单元可以是直接存储器存取/访问(DMA)，该存储过程无需CPU参与，数据传输速度快。

在一种具体可实施的方式中，生理采集单元1320包括心电采集子单元、体温采集子单元、心率采集子单元、血氧采集子单元、血压采集子单元、脉率采集子单元，通过上述各个采集子单元采集用户的心电信号、体温信号、心率信号、血氧信号、血压信号、脉率信号，并发送至生理检测单元1321。

生理检测单元1321通过生理信号检测子单元将所接收到的生理采集信号(例如，心电信号、体温信号、心率信号、血氧信号、血压信号、脉率信号)与预先存储在直接内存访问单元的健康标准生理数据范围进行比较，例如，正常青年用户心率正常范围为60-100次/分钟，血压正常范围为85mmHg-130mmHg，血氧饱和度正常范围95％-98％等，生理信号检测子单元可通过直接内存访问单元存储的上述健康标准生理数据值，实时与用户的生理采集信号实际值作差，其值若超出相应的范围，则将结果发送至应用处理器110进行用户的情绪识别。

由于只有满足第一预设条件的音频信号以及满足第二预设条件的生理信号才会被发送至应用处理器110，则应用处理器110在同一时间接收到的信息包括如下三种情况：(1)仅接收到音频信号；(2)仅接收到生理信息；(3)同时接收到音频信号和生理信号；因此，应用处理器110会根据同一时间接收到的音频信息及生理信号情况，动态采用不同的情绪识别模式进行目标用户的情绪状态识别。

在一种具体实施方式中，如图5所示，应用处理器110包括存储模块111和状态识别模块112；

存储模块111用于存储目标音频采集信号和目标生理采集信号，并传输至状态识别模块112；

状态识别模块112用于根据同一时间内，是否接收到目标音频采集信号以及目标生理采集信号的不同状态，识别出表征目标用户情绪状态的状态结果。

存储模块111可以是双倍数据率同步动态随机存取存储器(DDR)，通过高速传输、低功耗、高带宽的方式进行数据传输，该过程需CPU参与。

在一种具体实施方式中，状态识别模块112用于根据同一时间内，是否接收到目标音频采集信号以及目标生理采集信号的不同状态，采用AI神经网络算法识别出表征目标用户情绪状态的状态结果。其中，AI神经网络算法包括端到端和基于概率模型的两大类主流语音识别算法。

在一种具体实施方式中，状态识别模块112用于在同一时间内接收到目标音频采集信号，但未收到目标生理采集信号时，基于第一情绪识别模式识别出表征目标用户情绪状态的第一状态结果；

状态识别模块112用于在同一时间内接收到目标生理采集信号，但未收到目标音频采集信号时，基于第二情绪识别模式识别出表征目标用户情绪状态的第二状态结果；

状态识别模块112用于在同时接收到目标音频采集信号和目标生理采集信号时，基于第三情绪识别模式识别出表征目标用户情绪状态的第三状态结果。

具体的，由于只有满足第一预设条件的音频信号以及满足第二预设条件的生理信号才会被发送至应用处理器110，则应用处理器110在同一时间接收到的信息包括如下三种情况：(1)仅接收到音频信号；(2)仅接收到生理信息；(3)同时接收到音频信号和生理信号；基于此，本公开设置与上述三种情况相对应的情绪识别模式，分别为第一情绪识别模式、第二情绪识别模式和第三情绪识别模式，应用处理器110中的状态识别模块112会根据同一时间接收到的音频信息及生理信号情况，动态采用不同的情绪识别模式进行目标用户的情绪状态识别。

其中，第一情绪识别模式为基于AI神经网络算法对目标音频采集信号进行数据处理，识别出表征目标用户情绪状态的第一状态结果。当在同一时间内仅接收到满足第一预设条件的音频信号时，则采用第一情绪识别模式中的AI神经网络算法对接收到的音频信号进行数据处理，以根据接收到的音频信号识别出用户的情绪状态，例如，当外界声音分贝高于阈值时，容易引起用户的情绪波动，此时，状态识别模块112判断是否接收到目标用户满足第二预设条件的生理信号，若否，则直接采用第一情绪识别模式中的AI神经网络算法对接收到的音频信号进行数据处理，获得用户基于此外界声音分贝下的情绪状态。

第二情绪识别模式为基于AI神经网络算法对目标生理采集信号进行数据处理，识别出表征目标用户情绪状态的第二状态结果；当在同一时间内仅接收到满足第二预设条件的生理信号时，则采用第二情绪识别模式中的AI神经网络算法对接收到的音频信息进行数据处理，以根据接收到的音频信息识别出用户的情绪状态，例如，当检测到用户的心率超过健康标准生理数据范围时，此时，状态识别模块112判断是否接收到当前满足第一预设条件的音频信号，若否，则直接采用第二情绪识别模式中的AI神经网络算法对接收到的生理信号进行数据处理，获得用户在当前场景下的情绪状态。

第三情绪识别模式为基于AI神经网络算法对目标生理采集信号和目标音频采集信号进行数据处理，识别出表征目标用户情绪状态的第三状态结果；当在同一时间内同时接收到满足第一预设条件的音频信号和第二预设条件的生理信号时，则采用第三情绪识别模式中的AI神经网络算法对接收到的音频信号和生理信号进行数据处理，以根据接收到的音频信号和生理信号识别出用户的情绪状态，例如，当检测到用户的心率超过健康标准生理数据范围时，此时，状态识别模块112同时接收到外界声音分贝高于阈值的音频信号，则采用第三情绪识别模式中的AI神经网络算法对接收到的音频信号生理信号进行数据处理，获得用户在当前场景下的情绪状态。

本实施例通过同时部署应用处理器(即AP)和数字信号处理器(即DSP)以构建低功耗高性能的系统架构，基于该低功耗高性能系统架构进行至少两种类型的情绪影响因素的采集，进而根据采集的情绪影响因素的不同状态，动态选择对应的情绪识别模式进行用户情绪状态识别，能够提高用户情绪识别的有效性。

实施例2

在本公开的另一具体实施例中，如图6所示，提供了一种语音交互系统，该语音交互系统200包括情绪匹配模块210、语音输出模块220，以及实施例1中的情绪识别设备100；

情绪匹配模块210用于获取情绪识别设备100识别的目标用户的情绪状态，将情绪状态与预置命令进行匹配；

语音输出模块220用于播报与匹配的预置命令相对应的提示语音。

情绪是心理学研究的重要方面：在传统心理学中，情绪就一直被列为心理现象的三大方面之一。不同情绪状态包括：紧张、疲劳、犹豫、抑郁、愤怒、快乐、混乱、活力等。

随着生活节奏的加快，人们享受现代生活的同时也面临越来越多的心理压力，尤其对于公共交通、出租车、运货等长期行车的驾驶员而言，当驾驶人疲劳时，会出现视线模糊、腰酸背疼、动作呆板、手脚发胀或有精力不集中、反应迟钝、思考不周全、精神涣散、焦虑、急躁等现象，如果仍勉强驾驶车辆，则可能导致交通事故的发生，因此，及时发现驾驶员的情绪状态并进行干预是非常重要的。本实施方式通过智能穿戴设备实时监测用户的情绪状况，当情绪出现严重的情绪波动时及时语音交互干预以缓解用户心理情绪。

如图7所示，用户可以根据自身舒缓心理情绪的方式预置命令选项，例如，情绪状态的匹配结果包括外界嘈杂、情绪紧张、情绪愤怒、情绪快乐、情绪犹豫、情绪疲劳、情绪其他，用户预置命令可以包括提示休息深呼吸、提示避免噪音的方法、提示运动、提示舒缓轻快音乐、拨打目标对象电话、自定义组合等。

具体的，(1)当通过情绪识别设备识别到用户紧张时，可根据情绪匹配模块匹配到的预置命令，利用语音输出模块提醒用户进行深呼吸或听舒缓音乐；(2)当识别到用户疲劳时提醒用户休息片刻；(3)当识别到用户犹豫时提醒用户时间宝贵或给出宝贵意见；(4)当识别到用户抑郁时可拨打至预设的亲朋好友或心理医生进行聊天；(5)当识别到用户愤怒时会播放轻快音乐或转移注意力的提示语，保持头脑清醒与增加舒适感；(6)当识别到用户快乐时，可与预置的分享对象进行分享，或语音交互记录在设备中。结合外界环境的音频信息，如对外界环境音频信号进行噪音分贝监测，初步进行噪音分贝检测，当超过80分贝的声音通常视为吵闹，根据预置命令提示用户听力可能受到损伤，佩戴耳塞、降噪耳机或移动至安静区域。

该语音交互系统200利用实施例1中情绪识别设备100匹配出当前用户情绪状态，并执行用户预的相应指令，完成AI语音交互，形成对用户的全面健康监控和健康管理。

作为一种具体可实施的方式，如图8所示，语音交互系统200通过音频采集单元1310(即麦克风)采集外界环境音频信号，通过包括至少一个传感器的生理采集单元1320(即心电传感器、皮肤电导传感器)采集生成反映目标用户身体设定部位状态的生理信号，对采集的生理信号和外界环境音频信号分别进行预设条件判断，根据判断结果将生理信号和外界环境音频信号传输至存储模块111及状态识别模块112进行情绪识别，生成目标用户的情绪状态信息，其中该过程分为两个子部分：第一子部分是前端处理部分，麦克风拾取的语音数据会先经过降噪、语音增强等前端处理，然后由检测模块1202进行语音段边界监测；第二子部分是语音控制系统的核心，一般由微处理器上的低功耗音频处理模块1203(一级唤醒)和AP侧高性能的状态识别模块112(二级唤醒&情绪唤醒)组成，使得智能穿戴设备增加一种充满情绪价值的用户体验。

如图9所示，进一步提供了语音交互系统200的软件架构。因为HAL有标准的调用接口，可利用HAL(硬件抽象层)屏蔽Linux(操作系统内核)驱动的复杂、不统一的接口。对于传感器等硬件产商只需按照Android(安卓)的要求来实现生理检测和语音唤醒的HAL接口；对于Android手机开发商来说，只需移植生理检测装置(包含传感器)和语音唤醒硬件厂商的HAL库即可；对于Android操作系统的开发团队来说，Android系统必须提供完整、可靠并且稳定的HAL机制，来协助硬件厂商与手机开发商的工作。

语音交互系统200由心电和皮肤电导传感器实时或固定周期检测用户生理信号，生理采集单元1320中的心电采集子单元、体温采集子单元、心率采集子单元、血氧采集子单元、血压采集子单元、脉率采集子单元分别按需进行拾取采样；由生理检测单元的内部差分器计算出各采集子单元的采样值与符合用户生理的期望值的差值，并对6组参数结合国际标准进行加权处理，以便更准确地反映各项指标的重要程度，通过应用处理器AP侧部署的AI情绪唤醒算法进行监测，当检测到情绪波动后上报Linux内核uevent(事件机制)事件后，并一层层上报到应用层执行相应的命令，具体而言，通过采用Linux kernel层的pipe管道方式传输各项指标的数据，逐步上报至User层的HAL(Hardware Abstraction Layer，硬件抽象层)。同样地，由麦克风进行拾取外界环境音频信号，由DSP(数字信号处理器)内部进行语音处理和VAD检测以及第一级的语音唤醒处理，当检测到后唤醒AP侧；AP侧唤醒后会和DSP获取唤醒的语音数据，通过Audio HAL的数据通路在AP侧作采集外界环境音频信号。

App侧基于Android系统的framewoks框架的回调机制，通过情绪回调的监测和语音唤醒回调的监测拿到底层上报的各组数据，再经过部署在App侧的AI算法处理，得到用户实时或者固定周期的情绪情况，并按照用户预置命令选项进行执行命令；同时在程序运行时获得用户赋予权限，通过底层上报的语音数据，再经过部署在App侧的AI算法处理，对当前外界环境音频信号进行语音识别，根据情绪模型和语音模型识别出的关键词执行命令。

该具体可实施的方式通过增加至少一个传感器采集生成反映目标用户身体设定部位状态的电信号，其对用户的监测具有全面性，并经过底层生理监测各子模块采集，将多项数据进行结合，同时基于Android系统的架构，HAL层增加了对生理监测装置的硬件隔离，在native层部署AI算法处理，通过frameworks层回调机制实现实时情绪和语音的监测，在App内匹配出用户实时或固定周期情绪状态，执行用户预设相应指令，完成AI语音交互，形成对用户的全面健康监控和健康管理。上述架构的逻辑属于现有的成熟技术，因此，在此不再赘述。

上述软件架构仅作示例说明，本领域技术人员可以根据实际需求根据IOS(一种操作系统)系统或其他类型的系统架构进行相应的调整，以实现语音交互系统的运行。

本实施例通过同时部署应用处理器(即AP)和数字信号处理器(即DSP)以构建低功耗高性能的系统架构，基于该低功耗高性能系统架构进行至少两种类型的情绪影响因素的采集，进而根据采集的情绪影响因素的不同状态，动态选择对应的情绪识别模式进行用户情绪状态识别，执行用户预设的相应指令，完成AI语音交互，形成对用户的全面健康监控和健康管理，尤其适用于公共交通、出租车、运货等车载场景的驾驶员情绪检测，以及时根据驾驶员的情绪对驾驶员进行干预，提高行车安全性。

实施例3

在本公开的另一具体实施例中，提供了一种智能穿戴设备，智能穿戴设备包括实施例2中的语音交互系统。

智能穿戴设备包括但不限于智能手表、智能手环。

通过在智能穿戴设备中配备本实施例2中的语音交互系统，实现对用户的实时情绪识别并执行用户预设的相应指令，完成AI语音交互，尤其适用于公共交通、出租车、运货等车载场景的驾驶员情绪检测，以及时根据驾驶员的情绪对驾驶员进行干预，提高行车安全性。

本实施例通过同时部署应用处理器(即AP)和数字信号处理器(即DSP)以构建低功耗高性能的系统架构，基于该低功耗高性能系统架构进行至少两种类型的情绪影响因素的采集，进而根据采集的情绪影响因素的不同状态，动态选择对应的情绪识别模式进行用户情绪状态识别，执行用户预设的相应指令，完成AI语音交互，形成对用户的全面健康监控和健康管理，尤其适用于公共交通、出租车、运货等车载场景的驾驶员情绪检测，以及时根据驾驶员的情绪对驾驶员进行干预，提高行车安全性。

实施例4

在本公开的另一具体实施例中，提供了一种情绪识别方法，如图10所示，该情绪识别方法采用实施例1中的情绪识别设备100实现，情绪识别方法包括：

S1、采集在第一设定时段内的第一采集信号，判断若干第一采集信号中是否存在满足第一预设条件的信号，若存在，则将对应的第一采集信号作为第一目标信号；

S2、采集目标用户在第一设定时段内的第二采集信号，并判断若干第二采集信号中是否存在满足预设第二预设条件的信号，若存在，则将对应的第二采集信号作为第二目标信号；

S3、根据同一时间内，是否接收到第一目标信号以及第二目标采集信号的不同状态，识别出表征目标用户的实际情绪状态。

需要说明的是，本实施例中情绪识别方法对应的工作原理与实施例1中情绪识别设备的工作原理相同，因此在此不再赘述。

本实施例通过同时部署应用处理器(即AP)和数字信号处理器(即DSP)以构建低功耗高性能系统架构，基于该低功耗高性能系统架构进行至少两种类型的情绪影响因素的采集，进而根据采集的情绪影响因素的不同状态，动态选择对应的情绪识别模式进行用户情绪状态识别，能够提高用户情绪识别的有效性。

虽然以上描述了本公开的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本公开的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本公开的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本公开的保护范围。