一种基于双层神经网络模型的驾驶员情绪识别系统

技术领域

本发明涉及驾车安全系统技术领域，尤其涉及一种基于双层神经网络模型的驾驶员情绪识别系统。

背景技术

随着科技的发展，时代的进步，道路上的机动车辆持续增长，道路交通面临着诸多挑战，其中驾驶员的异常情绪将会对交通安全产生严重威胁，比较典型的就是路怒症。驾驶员情绪是其对交通环境变化的心理反应，会影响驾驶员的认知，判断和行为。在焦虑、烦躁以及愤怒的情绪中，驾驶员更可能分心驾驶，增加了撞车的可能性。因此，驾驶过程中识别驾驶员的异常情绪并进行温馨提醒，能为驾驶安全提供基础保障，这将显得至关重要。

Wang Xiaoyuan等人将多心电图特征融合后，采用了BP网络和D–S证据的组合方法，对驾驶员情感进行了识别，其将驾驶员的情绪分为平静与焦虑两种，它们各自的识别准确率分别91.34％和92.89％；高相铭等人针对现有汽车安全驾驶监控技术存在的问题，提出了一种驾驶员情绪检测与安抚系统，该系统弥补了常规的安全驾驶监控装置仅针对疲劳驾驶和醉酒驾驶进行检测的不足之处，保证了驾乘人员的安全，但其不足之处在于没有利用驾驶员的脑电信号，情绪识别准确度仍有待提高；朱丽提出了一种驾驶员情绪检测方法、装置、电子设备及存储介质，利用了两个分支的神经网络分别处理采集到的关于驾驶员的视频数据及音频数据，最后再进行综合分析，提高了驾驶员情绪检测的准确性，但其在获取驾驶员的视频数据及音频数据时，容易受周围环境的影响，如光照，阴影和乘客的说话声等；陈海波发明了一种驾驶员情绪状态检测方法及检测系统，利用神经网络对人脸图像进行检测识别，在识别驾驶员疲劳状态的同时还能够识别驾驶员是否处于情绪激动状态，但考虑到仅利用了驾驶员的人脸图像可能导致情绪识别准确度较差。

发明内容

本发明的目的在于提出一种情绪判断准确性高，有效为驾驶员提供安全保障的基于双层神经网络模型的驾驶员情绪识别系统。

为达到上述目的，本发明提出一种基于双层神经网络模型的驾驶员情绪识别系统，包括数据采集模块、数据处理模块、双层神经网络模块和温馨提示模块；

所述数据采集模块采集包括驾驶员心电信号、面部肌电信号以及脑电信号传输至所述数据处理模块进行预处理，所述数据处理模块将预处理的信号传输至所述双层神经网络模块进行驾驶员情绪的准确判断，所述温馨提示模块实时地响应所述双层神经网络模块的处理结果。

进一步的，所述数据采集模块采用了心电传感器、面部肌电传感器和脑电传感器，实时采集人体生理信号。

进一步的，所述数据处理模块包括对心电信号的预处理、面部肌电信号的预处理以及脑电信号的预处理。

进一步的，所述心电信号的预处理包括采用三层小波包分解所述心电信号，其次对设定中各层细节有较大起伏的频带进行删除，最后重构其他子频带信号并求和。

进一步的，所述面部肌电信号的预处理包括对采集到的原始肌电信号利用滑动平均法去除基线漂移，并进行带通滤波。

进一步的，所述脑电信号的预处理包括采用独立成分分析方法去除脑电信号中的眼电伪迹。

进一步的，所述数据处理模块还包括数据分割，将分割后的数据标记为相应类别的情绪。

进一步的，所述双层神经网络模块包括CNN的卷积单元和RNN的时序单元；所述CNN的卷积单元，先后通过连续2组的一维卷积、批归一化、一维最大池化和Dropout的组合操作，对原始的高维数据进行降维，以提取数据中的高级特征。

所述RNN的时序单元，通过连续2次的LSTM操作，且每个LSTM操作中的隐含层神经元数均设置为多个，将所述低维的卷积特征转换为高维的时序特征，再执行Dropout的操作，其后执行全连接、批归一化操作，最后利用Softmax激活函数，输出驾驶员处于各个情绪类别的概率，选择概率较大的类别，作为最终预测的驾驶员情绪类别。

进一步的，所述温馨提示模块会在系统判定驾驶员情绪处于异常状态时发出相应的温馨提示，安抚驾驶员的情绪。

与现有技术相比，本发明的优势之处在于：

1、本发明采用心电传感器、面部肌电传感器和脑电传感器采集人体对应的3种生理信号，相比收集视频数据及音频数据而言，其所遭受的外部干扰相当少。

2、本发明融合了心电信号、面部肌电信号及脑电信号，获取的驾驶员信息更加全面。

3、本发明利用了双层神经网络，每层网络均为ConvLSTM，该网络既可以像CNN一样提取空间特征，还具有了LSTM的优点，因此该网络可以同时提取3种生理信号的时空特征，进一步提高了驾驶员情绪识别的准确度。

4、在检测到驾驶员情绪异常时，给予适当的温馨提醒来安抚其情绪，避免事故的发生。

附图说明

图1为本发明实施例中基于双层神经网络模型的驾驶员情绪识别系统的流程示意图；

图2为本发明实施例中标准LSTM系统的流程示意图；

图3为本发明实施例中ConvLSTM系统的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案作进一步地说明。

本发明提出一种基于双层神经网络模型的驾驶员情绪识别系统，包括数据采集模块、数据处理模块、双层神经网络模块和温馨提示模块；

如图1所示，数据采集模块采集包括驾驶员心电信号、面部肌电信号以及脑电信号传输至数据处理模块进行预处理，数据处理模块将预处理的信号传输至双层神经网络模块进行驾驶员情绪的准确判断，温馨提示模块实时地响应双层神经网络模块的处理结果。

在本实施例中，数据采集模块由于各个生理信号均有其各自的特点，所以对3种信号分别采用了小波包去噪，滑动平均去噪和独立成分分析去噪；其后对去噪后的三种信号进行了数据分割，采用的是滑动窗口算法，且相邻窗口之间有50％的重叠。

在本实施例中，对心电信号进行预处理：利用小波包去噪，其具体步骤为，首先采用三层小波包分解心电信号，其次对设定中各层细节有较大起伏的频带进行删除，最后重构其他子频带信号并求和。

在本实施例中，对肌电信号进行预处理：首先选择合适的窗口尺寸，然后滑动窗口通过所有的肌电信号数据点，并在每一次滑动窗口后求取超出窗口范围值的平均值，将该平均值作为中心点异常值以去除基线漂移。其次采用巴特沃斯滤波器进行带通滤波，通过设置带通滤波器的通带区波纹系数Rp＝3，设置阻带区的波纹系数Rs＝30，得到巴特沃斯滤波器的通带为50-200Hz，且波动小于3dB，可在通带两侧50Hz范围内使信号衰减达到40dB，以选取50-200Hz频段内有效的肌电信号，满足该信号滤波要求。

在本实施例中，对脑电信号进行预处理：采用独立成分分析方法去除脑电信号中的眼电伪迹。观测信号x(t)＝As(t)，其中s(t)为脑电源信号，A为混合矩阵。在混合矩阵A与脑电源信号s(t)未知的情况下，仅利用观测信号和脑电源信号之间存在统计独立性的假设，求解分离矩阵W使得s(t)＝Wx(t)以去除眼电伪迹。

在本实施例中，数据处理模块还包括数据分割部分，本发明采用了窗口尺寸为100*3的滑动窗口，其中100表示每个窗口内含有每种生理信号的数据个数，3表示每个窗口内含有的生理信号的种类数，即经过数据分割后，我们将获得驾驶员各种情绪的训练样本以及测试样本数据。

在本实施例中，将经过预处理后的三种信号输入双层神经网络中进行训练分类以识别驾驶员的情绪；所述双层神经网络中的每一层分类网络均包含ConvLSTM；所述第一层神经网络侧重于对常见的驾驶员易混淆情绪进行分类，具体做法为将易混淆情绪各自作为一类，其余情绪作为单独的一类；所述第二层神经网络侧重于对易混淆情绪之外的其他情绪进行分类；经过双层ConvLSTM的分类识别，驾驶员情绪的检测识别精度将会有极大的提高。

如图2和图3所示，本发明采用的ConvLSTM网络是LSTM的一种变体，两者的核心本质相差不大，均是将上一层的输出作为下一层的输入，不同点是前者将LSTM中的全连接权重改为卷积，相比仅能提取序列时间信息的LSTM来说，改进后的ConvLSTM还具有类似卷积层的功能，可提取序列的空间特征，这样就能够同时获取序列的时空特征，因此将对提高分类任务的精度和准确率等指标具有极大的意义。

1、在本实施例中，本发明所采用的ConvLSTM网络包括CNN的卷积单元和RNN的时序单元。其中CNN的卷积单元中，先后通过连续2组的一维卷积(Conv1D)、批归一化(BatchNormalization)、一维最大池化(MaxPooling1D)、Dropout的组合操作，对原始的高维数据进行降维，以提取数据中的高级特征。对于RNN的时序单元，通过连续2次的LSTM操作，且每个LSTM操作中的隐含层神经元数均设置为多个，将低维的卷积特征转换为高维的时序特征，再执行Dropout操作。其后执行全连接(Dense)、批归一化(BatchNormalization)等操作，最后利用Softmax激活函数，输出驾驶员处于各个情绪类别的概率，选择概率较大的类别，作为最终预测的驾驶员情绪类别。

在本实施例中，所述CNN卷积单元部分的第一个卷积层，其输入形状为(100，3)，其中100表示单个样本中每种生理信号的数据个数，3表示单个样本中包含3种生理信号，filter为128个，kernel_size＝3，padding＝‘same’，激活函数为relu；批归一化层的输入与输出shape均为(100，128)；第一个最大池化层的pool_size＝2，后接一个Dropout层，其参数dropout_rate＝0.2。其后的第二个卷积层，filter为64个，kernel_size＝3，padding＝‘same’，激活函数为relu；批归一化层的输入与输出shape均为(50，64)；第二个最大池化层的pool_size＝2，后接一个Dropout层，其参数dropout_rate＝0.2。对前述各个网络层按序依次进行连接，经过上述连续的2组操作后，得到的输出shape为(25，32)，即获取了25维的高级特征。

在本实施例中，所述RNN时序单元部分，执行连续2组的LSTM操作。其中第一组LSTM操作的隐含层神经元数设置为100个，且对于参数return_sequences设置为True；至于第二组LSTM操作其隐含层神经元数仍设置为100个，但将其参数return_sequences设置为Flase；经过本单元处理后，将25维的卷积特征转换为100维的时序特征，再执行Dropout操作。

在上述CNN的卷积单元和RNN的时序单元后面，执行全连接(Dense)、批归一化(BatchNormalization)等操作，最后再执行Softmax进行分类。对于前面搭建好的ConvLSTM网络，采用的损失函数为categorical_crossentropy，优化器为rmsprop，根据所述代价损失函数迭代优化本网络中包含的权重系数与偏置系数，达到提升网络性能的目的。

在本实施例中，根据上述情绪识别结果，若驾驶员处于焦虑、愤怒及烦躁等不良情绪时，发出温馨提示使其注意调整心态，安全驾车。

为实现上述目的，本发明还提出一种驾驶员情绪识别装置，包括数据采集模块，存储器模块、处理器模块和温馨提示模块。数据采集模块采用了心电传感器、面部肌电传感器与脑电传感器以实时地采集相应的人体生理信号；存储器模块含有如上所述的驾驶员情绪识别程序，以及采集到的原始生理数据信号；处理器模块将会读取存储器中的情绪识别程序以及原始数据，然后按照所述的驾驶员情绪识别方法的步骤执行相应的指令，并将处理结果实时发送至温馨提示模块；温馨提示模块将实时响应处理器发送的结果，若驾驶员情绪异常，则即时发出相应的温馨提示以安抚驾驶员情绪，有助于驾驶员放松心态，安全驾车，确保了驾乘人员的安全及道路交通安全。

上述仅为本发明的优选实施例而已，并不对本发明起到任何限制作用。任何所属技术领域的技术人员，在不脱离本发明的技术方案的范围内，对本发明揭露的技术方案和技术内容做任何形式的等同替换或修改等变动，均属未脱离本发明的技术方案的内容，仍属于本发明的保护范围之内。