一种便携式皮肤电信号采集与情绪实时识别系统

技术领域

本发明涉及皮肤电信号采集与情绪识别技术领域，具体基于ESP32处理器和AD5941模拟前端采集交、直流皮肤电信号并实时情绪识别的系统。

背景技术

随着日常工作的快节奏化，很多人都面临各种压力。据资料显示，只有3.34％的职场者觉得自己没有压力，而非常有压力的职场人达到66.88％。皮肤电信号是交感神经系统变化常用的指标，皮肤电信号也是心理学领域的重要指标之一，精神压力变化会引起皮肤电信号的变化，故而根据皮肤电信号对情绪进行分析有良好的应用价值。

由于皮肤电信号的低频性和微弱性，采集过程极容易受到周围环境以及其他生理电信号的干扰，要求采集装置具有放大、滤波等功能。本发明基于AD5941模拟前端所构建的皮肤电信号采集系统，支持直流、交流皮肤电信号的采集，交、直流皮肤电信号的采集可以为皮肤电信号数据集提供更多的数据量，提高情绪识别的准确性。

查阅文献，目前市面上已有的生理电信号采集情绪识别装置多为多种生理电信号采集装置，多种生理电信号的采集分析有助于提升情绪识别的准确性，实际应用中将面临采集设备体积过大，用户不了解设备如何连接等，造成使用不便。本发明实现的采集装置基于ESP32处理器和AD5941采集前端所设计的采集系统，外接指套式电极，测试者将两个指套式电极分别戴在左手食指和中指的位置，指套式电极方便手指移动且方便携带。同时，采集系统自带自动识别设备、通过按键实现控制采集系统发送/停止发送信号，存储CSV文件、皮肤电信号波形实时绘制、被测试者情绪情况展示功能，方便用户使用。

发明内容

针对现有的皮肤电信号采集设备，本发明要达到的技术效果是：提供一种实现直流、交流皮肤电信号采集系统，支持直流、交流皮肤电信号的采集可以为情感皮肤电信号提供更多的数据集，提高情绪识别的准确性，同时系统可以实现皮肤电信号波形实时绘制、按键实现控制采集系统发送/停止发送信号，自动识别设备端口、存储CSV文件、实时展示被测试者情绪识别为高兴或伤心状态。

本发明的技术解决方案是：

下位机皮肤电信号采集系统，该皮肤电信号采集系统基于ESP32处理器和AD5941采集前端芯片。其中，AD5941是一款高精度、低功耗的模拟前端，专为测量皮肤阻抗和人体阻抗而设计，可以采集交流或直流两种皮肤电信号采集方式，可以为被测试者情绪波动分析提供更多的可靠数据。同时，该皮肤电采集系统内置锂电池，支持WiFi、蓝牙和串口等多种通信方式，电路包含滤波模块以及放大电路模块，能够避免其他信号、噪声对采集过程的干扰。

上位机系统集成自动识别端口设备、存储CSV文件、按键控制下位机发送/停止发送数据功能、实时绘制皮肤电信号波形、可视化被测试者情绪波动等功能。

被测试者在高兴情绪引导素材，悲伤情绪引导素材的刺激下，采集被测试者高兴、伤心状态下皮肤电信号存储成CSV文件。皮肤电信号采集结果受皮肤干燥水平、个体差异、电极片、采集部位的影响，在采集过程中严格遵守操作步骤，确保数据质量。

皮肤电信号在采集过程往往易受到高频噪声、电干扰影响，同时皮肤电信号存在基线个体差异。采集原始皮肤电信号后通过巴特沃斯滤波器、基线处理、数据校正等数据预处理后，计算出处理后的皮肤电信号28个时域信号的特征以及6个频域信号特征作为皮肤电信号特征向量，采用极度随机树计算出每个特征的重要水平，根据重要性权重选择特征，拟合分类器模型。该便携式基于皮肤电信号的情绪识别系统的检测过程为：

(1)准备好实验所需要的情绪唤起的视频，主要包含高兴诱导素材、悲伤诱导素材。

(2)根据文献资料，在左手的食指和中指的末梢部位测量皮肤电得到的信号更清晰、稳定，故被测试者需将两个指套式电极分别戴在左手食指和中指的位置，指套式电极方便手指移动且方便携带。

(3)平复情绪后，播放情绪唤起视频，采集被测试者皮肤电信号，信号预处理，去除信号中的噪声，并保留有效的信号数据段，多次采集高兴、伤心状态下多年龄层被测试者皮肤电信号作为训练样本和测试样本。

(4)获得的皮肤电信号高兴、悲伤状态下数据集，根据28个时域信号的特征以及6个频域信号的特征作为皮肤电信号特征向量，使用极度随机树，计算出特征向量中每个特征的权重，根据贡献度筛选、组建新的特征向量数组，保存筛选的特征。创建分类器，以特征向量为X，标签区分高兴、伤心为Y，拟合分类器模型，分别训练皮肤电信号高兴、伤心的模型。

(5)被测试者将两个指套式电极分别戴在左手食指和中指的位置，上位机自动识别设备，向下位机发送传输数据指令，连续采集被测试者皮肤电信号，滑动窗口每50个数据实时判断被测试者情绪波动、同步绘制皮肤电信号波形。

本发明有以下技术特征：与已知的皮肤电信号采集器相比，本发明基于ESP32处理器和AD5941模拟前端，内置锂电池，支持直流、交流皮肤电信号的采集，可以丰富皮肤电信号情感识别数据集。该采集系统支持WiFi、蓝牙和串口等多种通信方式，采集系统具备自动识别设备连接、按键实现控制下位机采集板发送/停止发送信号、存储CSV文件等多种功能，方便数据集采集以及日常使用。

相比于现有的多生理信号采集设备而言，本发明具有以下明显的优势：

(1)本发明所涉及的皮肤电信号采集设备十分便携，外设有指套式电极，与已知的多种生理信号采集设备相比，无需复杂的连线，适用于非实验室环境的场景。

(2)已有的皮肤电采集设备仅支持采集直流的皮肤电信号，本发明涉及的皮肤电信号采集系统基于AD5941采集前端，支持采集直流、交流皮肤电信号，为情绪识别提供更多的数据集以提高识别准确性。

附图说明

图1是便携式皮肤电信号采集与情绪识别系统模块示意图。

图2是皮肤电信号采集电路模块示意图。

图3是处理原始皮肤电信号流程示意图。

图4是基于皮肤电信号的情绪识别模型训练流程图。

具体实施方式

为了彻底理解本发明，将在下列的描述中结合附图和具体实施例对本发明进行详细说明。本发明提出便携皮肤电信号采集情绪实时识别系统包含皮肤电信号采集模块、系统界面展示模块、皮肤电信号模型训练、实时分析这几部分内容。结合图2，皮肤电信号采集系统主要包括ESP32处理器、AD5941芯片采集、滤波、放大、通信模块。AD5941芯片支持采集直、交流皮肤电信号，因皮肤电信号本身的低频性和微弱性，故而电路模块涉及滤波以及放大的内容。ESP32支持WIFI、蓝牙和串口等多种通信方式，便于数据传输。

上位机系统界面集成自动识别设备端口号、存储CSV文件、绘制皮肤电信号波形、向下位机发送指令传输数据、勾选被测试者情绪状态等功能。

如图3所示：在采集原始皮肤电信号以后，皮肤电信号的有用频段主要是在0.2HZ以下，通过巴特沃斯滤波器滤除带外噪声、选择时间窗的值作为基线值，有效去除个体基线差异、数据校正等数据预处理，接下来提取皮肤电信号的时域、频域特征。时域特征包括信号及其一阶差分和二阶差分的均值、中值、标准差、最小值、最大值，并进行归一化处理，频域特征是经过DFT变换后提取的信号均值、中值、标准差、最小值、最大值、最大值与最小值之差，皮肤电的特征向量由28个时域特征和6个频域特征构成。其中，皮肤电信号统计特征的计算公式如下：

均值

X

标准差

μ

归一化

根据计算出的N个皮肤电信号电阻值的均值和方差对皮肤电信号进行归一化处理，计算出X

一阶差分

d

X

一阶差分绝对值的均值

同理计算出一阶差分信号的均值，考虑实际采集过程中因为情绪变动会产生负值的情况，故而计算一阶差分均值的时候需计算出绝对值均值。

归一化信号的一阶差分绝对值均值

二阶差分信号的均值、归一化信号的二阶差分绝对值均值可由一阶信号相关公式推理。计算出皮肤电信号的28个时域特征和6个频域特征构成特征向量，根据采集时被测试者情绪状况添加标签区分高兴、伤心特征向量。尽可能保证实验要素一致的情况下，采集多年龄层次、不同性别的测试者高兴、伤心状态下的皮肤电信号，将其分为训练样本和测试样本，训练皮肤电信号分类器。

皮肤电信号分类器模型具体训练流程如图4所示：

步骤一根据文献资料，在左手的食指和中指的末梢部位测量皮肤电得到的信号更清晰、稳定。首先将本发明所设计的基于ESP32处理器和AD5941的皮肤电采集设备连接的指套式电极戴在被测试者左手食指和中指上，采集被测试者皮肤电信号。

步骤二在高兴、伤心情绪诱导素材刺激下，分别采集不同年龄、不同性别多组高兴、伤心状态下的皮肤电信号数据并将其存储为CSV文件，组建高兴、伤心状态皮肤电信号训练样本和测试样本。

步骤三使用极度随机树，计算出皮肤电信号特征向量数组中每个特征的权重，根据贡献度筛选、组建新的特征向量数组，保存筛选的特征。创建分类器，以新的特征向量数组为X，标签位高兴(1)、伤心(2)为Y，拟合分类器模型，分别训练皮肤电信号高兴、伤心的模型。

步骤四将本发明所设计的基于AD5941的皮肤电采集设备连接的指套式电极连接电脑设备，上位机自动识别设备，通过按键控制下位机开始传输数据，上位机每100毫秒刷新界面，绘制实时采集的皮肤电信号波形。滑动窗口读取最新50个实时皮肤电信号数据，计算出这50个皮肤电信号对应的特征向量，根据特征向量的权重筛选出新的特征向量数组，根据实时读取的50个皮肤电信号数据预测当下被测者的情绪。

本发明提供一种基于ESP32处理器和AD5941的便携小型皮肤电信号采集系统，该皮肤电信号采集系统基于AD5941芯片支持直流、交流皮肤电信号的采集，同时支持WIFI通信、蓝牙通信以及串口通信，电路中包含滤波电路等可以去除一些噪声干扰，为皮肤电信号情绪识别提供更多的数据集。本发明设计的皮肤电信号采集系统小型便携、易操作、生理信号识别情绪的客观性具有广阔的应用前景，利用皮肤电信号时域和频域特征的优选融合，将情绪进行分类实现高兴、伤心两种基础情绪的识别，具备实用性、便捷性、易操作性。