一种列车司机疲劳状态识别及监控系统

技术领域

本发明涉及轨道交通列车驾驶安全技术领域，尤其是涉及一种列车司机疲劳状态识别及监控系统。

背景技术

作为地铁中关键岗位的作业人员，列车司机对现场情况的感知判断和突发情况时的随机应变影响着列车的运行安全，而连续重复的枯燥驾驶和无法避免的倒班制度使地铁管理面临疲劳驾驶带来的安全风险问题。为了克服这一问题，开发一种列车司机疲劳监测系统对事故的预防有着重要意义。然而，大多数现有的方法都是只使用一个信息源进行检测，例如司机面部表情、行为特征或生理特征，在准确率和可靠性方面有一定的局限性，例如张嘴的程度越大并不一定意味着疲劳，这可以通过心率变异性和睁眼程度而重新评估，且面部特征的数据获取很依赖于驾驶环境。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种列车司机疲劳状态识别及监控系统，该系统融合心率变异性、睁眼程度和张嘴程度，利用支持向量机构建多元特征的疲劳识别模型，可显著提高疲劳识别结果的准确性和可靠性。

本发明的目的可以通过以下技术方案来实现：

一种列车司机疲劳状态识别及监控系统，该系统包括：

监测终端，采集列车司机的ECG信号、人脸特征图像和PERCLOS数据；

云端平台，根据采集的信号识别列车司机的疲劳状态，并将疲劳状态结果进行存储、显示、查新及提醒；

远程客户端，通过登录前端页面获取实时疲劳状态信息及历史数据。

所述云端平台包括：

后端处理模块，对接收到的ECG信号、人脸特征图像和PERCLOS数据进行处理，基于ECG技术和人脸识别技术，分别提取ECG、眼部和嘴部的疲劳指标，并利用SVM构建多元特征疲劳识别模型，将实时测得的ECG、眼部和嘴部的疲劳指标代入模型中，获取预测结果，并将获取的预测结果发送至数据库；

数据库，获取并存储列车信息和司机信息，并存储从云端平台接收的预测结果；

前端页面，与数据库进行实时交互，对符合登录的用户，提供疲劳状态显示、提醒及历史数据查询通道。

后端处理模块中，提取ECG的疲劳指标的过程包括下列步骤：

11)根据采集的列车司机的ECG信号获取ECG数据；

12)对ECG数据依次进行小波降噪和R峰数据检测处理；

13)对处理后的ECG数据计算时域指标；

14)将时域指标输入利用SVM构建的多元特征疲劳识别模型。

提取眼部和嘴部的疲劳指标的过程包括下列步骤：

21)对采集的人脸特征图像提取人脸特征点；

22)根据提取的人脸特征点计算眼睛张开度和嘴巴张开度；

23)将计算得到的眼睛张开度和嘴巴张开度输入利用SVM构建的多元特征疲劳识别模型。

所述SVM构建的多元特征疲劳识别模型利用预先储存的数据进行训练，SVM构建的多元特征疲劳识别模型的核函数为高斯核函数。其中，预先储存的数据包括监测终端测得的RMSSD、SDSD、SDNN、Mean_NN、Std_hr、Mean_hr、眼睛长宽比和嘴巴长宽比。

所述监测终端包括：

ECG信号监测终端，采集列车司机的ECG数据；

人脸指标监测终端，采集列车司机的人脸特征图像；

眼动仪，采集列车司机的PERCLOS数据；

无线传输模块，将采集的各个数据传输至云端平台进行处理。

所述前端页面包括：

登录模块，提供用户登录平台，对符合登录要求的用户开放显示模块、提醒模块和查询模块；

显示模块，对数据库中存储的各类信息进行实时显示；

提醒模块，对云端平台判断的疲劳状态信息进行警报；

查询模块，提供各类历史数据的查询通道。

进一步地，所述ECG信号监测终端采用智能手环，所述人脸指标监测终端采用网络摄像头。

进一步地，所述数据库采用MySQL数据库。

相较于现有技术，本发明基于心电和人脸图像识别技术将多个信息源结合起来，以心率变异性、眼睛睁开度和嘴巴张开度为疲劳指标进行疲劳识别，不同于以往基于单一信息源的疲劳识别，本发明提高了疲劳识别结果的准确性和可靠性；该疲劳状态识别及监控系统能对列车司机的疲劳状态进行实时监测并进行声音预警，从而提高地铁运营安全水平。

附图说明

图1为实施例中列车司机疲劳状态识别及监控系统的原理框图；

图2为实施例中云端平台进行疲劳状态识别的流程示意图；

图3为实施例中列车司机疲劳状态识别及监控系统的网络拓扑图；

图4为实施例中的脸谱特征示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图1所示，本发明涉及一种列车司机疲劳状态识别及监控系统，通过设备采集心电特征(RMSSD、SDSD、SDNN、Mean_NN、Std_hr、Mean_hr)，通过网络摄像头采集人脸特征(眼睛长宽比和嘴巴长宽比)，将这些特征一起作为支持向量机的特征值，进行疲劳预测，可克服基于单一信息源的方法在准确性和可靠性方面的局限性，例如张嘴的程度越大并不一定意味着疲劳，这可以通过心率变异性和睁眼程度而重新评估，面部特征的数据获取也依赖于驾驶环境(例如，白天、夜晚、天气)。具体地，该系统包括监测终端、云端平台和远程客户端。

监测终端，用于采集ECG、眼部和嘴部的特征数据。

云端平台，包括：

后端处理模块，用于对接收到的各个疲劳指标进行处理，基于心电(ECG)和人脸识别技术，分别提取ECG、眼部和嘴部的疲劳指标，利用SVM构建的多元特征疲劳识别模型，将实时测得的ECG、眼部和嘴部的疲劳指标代入模型中，得到预测结果；得到的数据发送至数据库；

数据库，获取并存储列车信息及司机信息，并存储从云端平台接收的数据；

前端页面，与数据库进行实时交互，对符合登录的用户，提供疲劳状态显示、提醒及历史数据查询通道。

远程客户端，登录前端页面，实时获取疲劳状态信息及历史数据。

本发明的监测终端包括：

ECG指标监测终端，用于采集列车司机的ECG数据；

眼动仪，采集列车司机的PERCLOS数据，PERCLOS表示单位时间内眼睛闭合所占的时间百分比；

人脸指标监测终端，用于采集列车司机的人脸特征图像；

无线传输模块，用于将采集的各个数据传输至云端平台进行处理。

本发明的前端页面包括：

登录模块，用于提供用户登录平台，将符合登录要求的用户开放显示模块、提醒模块和查询模块；

显示模块，用于对数据库中存储的各类信息进行实时显示；

提醒模块，用于对云端平台判断的疲劳状态信息进行警报；

查询模块，用于对各类历史数据进行查询。

具体如图3所示，监测终端可设置多个，分别用于采集不同列车司机的心电信号和面部图像并进行数据处理，再将数据上传至云端平台；云端平台根据心电数据和面部图像做出疲劳识别，一方面以网页平台(前端页面的显示模块)的形式将疲劳监测结果展现，一方面可以以声音的形式(前端页面的提醒模块)对疲劳人员进行预警；远程客户端可通过台式PC、智能手机等设备，在前端页面上获取各个岗位人员实时数据，或检索得到历史数据。监测终端主要包含心电传感器、单片机和网络摄像头；云端平台依托远程服务器，由数据库和网页平台组成。

在云端平台的处理中，首先进行ECG疲劳指标的提取和眼部和嘴部的疲劳指标提取。其中：

ECG的疲劳指标的提取过程依次包括获取ECG数据、小波降噪、R峰检测数据、计算时域指标和疲劳识别。ECG监测终端包括心电单片机、心电传感器和无线传输模块，在实际使用中，ECG监测终端具体可优选智能手环采集ECG数据。并利用心电监测程序的下位机后台获取ECG数据，在上位机后台实现滤波处理；围绕RR间期的变化通过统计学离散趋势分析法分析心率变异性特征，计算RMSSD、SDSD、SDNN、Mean_NN、Std_hr、Mean_hr时域指标，即为心电指标。各指标的含义如下表所示。

表1心电数据时域指标定义

眼部和嘴部的疲劳指标的提取过程依次包括获取人脸图像数据、提取人脸特征点、计算眼睛长宽比、计算嘴巴长宽比。人脸图像数据通过网络摄像头采集，并利用眼动仪测得PERCLOS数据；对采集的人脸图像数据利用人脸识别方法识别图像中的人脸，并提取脸部的特征点，可优选提取脸部68个特征点。然后利用脸部特征点对上眼皮、下眼皮和上嘴唇、下嘴唇进行定位，进而计算上眼皮、下眼皮和上嘴唇、下嘴唇的重点，再利用hypot函数计算眼睛长宽比和嘴巴长宽比，得到眼部和嘴部的疲劳指标。在利用人脸特征进行疲劳识别时，首先需要对人脸进行定位。通过68个特征点可以定位人脸，利用dlib库识别图片中的人脸，获取人脸检测器，提取脸部68个特征点，其68个特征点如图4所示。

1、计算上眼皮和下眼皮的重点：

定位人脸之后，需要对眼睛和嘴巴进行定位。通过上眼皮和下眼皮的位置可以做到眼睛定位，通过上嘴皮和下嘴皮的位置可以做到嘴巴定位。所以需要获取上图中的37～42和43～48的特征点位置，计算上眼皮和下眼皮的重点。获取49～62的特征点位置，计算上嘴皮的下嘴皮的重点。

2、计算眼睛和嘴巴长宽比：

定位眼睛和嘴巴之后，需要获取眼睛和嘴巴状态。利用脸谱特征图上的点，获得人脸上眼睛两边的坐标、眼睛上下眼皮的坐标和嘴巴两边的坐标、嘴巴上下嘴皮的坐标，同时计算中间点的坐标。再将眼睛左右与上下连成线，将嘴巴左右与上线连成线，利用hypot函数计算得出线段的长度，得到眼睛长宽比和嘴巴长宽比。

利用SVM构建多元特征疲劳识别模型，将实时测得的ECG、眼部和嘴部的疲劳指标代入模型中，得到预测结果，其流程如图2所示。SVM构建的多元特征疲劳识别模型包括以预先储存的数据进行训练，选择的核函数为高斯核函数。预先储存的数据为由心电硬件测得的RMSSD、SDSD、SDNN、Mean_NN、Std_hr、Mean_hr和由网络摄像头测得的眼睛长宽比、嘴巴长宽比。具体地，图2中，将预先收集的RMSSD、SDSD、SDNN、Mean_NN、Std_hr、Mean_hr、眼睛长宽比、嘴巴长宽比作为支持向量机的特征值，将PERCLOS作为支持向量机的标签，进行训练，得到特征值和标签的一一对应关系。在测试时只需要收集司机实时的RMSSD、SDSD、SDNN、Mean_NN、Std_hr、Mean_hr、眼睛长宽比、嘴巴长宽比数据，代入模型中即可得到PERCLOS数据，其中0代表不疲劳，1代表疲劳。然后将上述新采集的数据再添加到支持向量机的训练集中，随着训练集数据的增多，模型的准确率也会越来越高。

已有的研究表明，司机的PERCLOS大于0.15时表明疲劳，因此PERCLOS可以作为疲劳的衡量标准，但是PERCLOS这个指标的测量需要很精密的设备，并且对司机的侵入性很强，在实际中难以应用。本发明的创新思路是利用容易获得的心电和脸部指标代替PERCLOS指标来衡量疲劳。在进行最初的数据采集时，利用心电设备测每秒的RMSSD、SDSD、SDNN、Mean_NN、Std_hr、Mean_hr，利用网络摄像头测每秒的眼睛长宽比的嘴巴长宽比，利用眼动仪测PERCLOS数据，并将大于0.15的数据记为1，小于等于0.15的数据记为0。因此，RMSSD、SDSD、SDNN、Mean_NN、Std_hr、Mean_hr、眼睛长宽比、和嘴巴长宽比和PERCLOS就有一一一对应的关系。

本发明的远程客户端可以通过台式PC、智能手机等设备，通过登录前端页面获取各个岗位人员信息，包括用户登录、实时疲劳状态显示和声音提醒、历史数据查询。

作为优选方案，本实施例的云端平台包括利用Labview开发的心电监测程序、利用python开发的人脸识别程序、利用python开发的疲劳识别模型。进一步地，心电监测程序用于获取所述心电硬件采集到的ECG数据，得到心电特征值；人脸识别程序用于获取人脸图像硬件采集到人脸特征值；疲劳识别模型即为利用SVM构建的多元特征疲劳识别模型。进一步地，前端页面展示司机的姓名、工号、班组、班次、疲劳状态。

作为优选方案，数据库采用MySQL数据库，该数据库存储内容包含列车司机的姓名、工号、班组、班次、心电特征值、人脸特征值、疲劳状态。

本发明基于心电和人脸图像识别技术将多个信息源结合起来，以心率变异性、眼睛睁开度和嘴巴张开度为疲劳指标进行疲劳识别，不同于以往基于单一信息源的疲劳识别，本发明提高了疲劳识别结果的准确性和可靠性；该疲劳状态识别及监控系统能对列车司机的疲劳状态进行实时监测并进行声音预警，从而提高地铁运营安全水平。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。