疲劳驾驶检测方法及系统、机器可读存储介质

技术领域

本发明涉及疲劳检测领域，特别是涉及一种疲劳驾驶检测方法及系统、机器可读存储介质。

背景技术

疲劳后继续驾驶车辆，会感到困倦瞌睡，四肢无力，注意力不集中，判断能力下降，出现动作迟误或过早，操作停顿或修正时间不当等不安全因素，极易发生道路交通事故。据统计，疲劳驾驶造成的交通事故占比达到20％以上。

驾驶员疲劳检测系统(Driver Monitor System，简称DMS)目前在乘用车应用领域广泛被应用，现有DMS技术应用最广泛的方案是IR-camera(Infrared camera，红外补光摄像头)，即采用带有IR红外补光功能的RGB高清摄像头，采集驾驶员的面部图像，采用神经网络算法模型提取关键特征点并进行分析，判断驾驶员的疲劳状态，并根据疲劳状态发出报警提示。这种方案在环境光照的适应性方面存在不足，尤其对于光线较暗等拍摄条件不好的场景，采集的图像效果不佳，会导致误报漏报。

另外，现有技术中还出现了一种基于毫米波雷达的疲劳驾驶检测技术，毫米波雷达发射出电磁波，探测驾驶员胸腔的轻微振动，并对反射回来的电磁波进行换算和频谱分析，得到驾驶员的呼吸频率和心率，根据设定的驾驶员疲劳状态下的心率和呼吸频率阈值，判断驾驶员此时的疲劳状态。但是这种疲劳驾驶检测技术受限于杂波干扰以及器件性能，对于驾驶舱内微震动的检测会产生的一定概率的误判。另外不同驾驶员的身体条件、生理特征也存在差异，毫米波雷达对某些特殊身体条件的驾驶员也会容易出现误判。

因此，现有技术的疲劳驾驶检测方法普遍存在不足，准确性一般。

发明内容

本发明的一个目的是提高疲劳驾驶检测的准确性，降低错检误检率。

本发明一个进一步的目的是避免疲劳检测受到驾驶舱环境以及驾驶员个体差异的影响，提高适用性。

根据本发明的一个方面，提供了一种疲劳驾驶检测方法，其包括：

获取驾驶员的面部图像，并从面部图像中提取预设的疲劳特征信息；

获取毫米波雷达对驾驶员胸腔振动的探测信号，根据探测信号分析计算得出驾驶员的生命体征数据；

将疲劳特征信息以及生命体征数据作为预设的疲劳状态估计模型的输入数据，疲劳状态估计模型通过对疲劳样本数据进行监督学习训练得到；

由疲劳状态估计模型进行融合分类计算，得到驾驶员疲劳等级。

可选地，获取驾驶员的面部图像的步骤包括：

探测图像拍摄换环境的环境亮度；

在环境亮度低于设定亮度阈值的情况下，启动红外光源进行拍摄补光。

可选地，从面部图像中提取预设的疲劳特征信息的步骤包括：

实时提取面部图像中的面部特征点的坐标信息；

根据坐标信息估算疲劳特征信息，疲劳特征信息包括以下任一项或多项：眨眼的幅度和/或频率和/或持续时长、张口的幅度和/或频率和/或持续时长、点头的幅度和/或频率和/或持续时长。

可选地，根据探测信号分析计算得出驾驶员的生命体征数据的步骤包括：

将探测信号进行频域转换，得到频域信号；

对频域信号进行杂波过滤，得到生命体征对应的特征频谱；

对特征频谱进行分析，得到生命体征数据，生命体征数据包括呼吸数据和/或心率数据。

可选地，疲劳状态估计模型的训练过程包括：

获取采集的原始数据，原始数据包括测试人员的疲劳特征信息、生命体征数据、疲劳状态；

对原始数据按照分类标记，形成疲劳样本数据；

使用深度学习算法对疲劳样本数据进行训练，得到疲劳状态估计模型。

可选地，在得到疲劳状态估计模型的步骤之后还包括：

使用独立于疲劳样本数据的测试数据对疲劳状态估计模型进行验证及调优，对疲劳状态估计模型进行更新。

可选地，在得到驾驶员疲劳等级之后还包括：

根据驾驶员疲劳等级生成对应的提醒信号，以提醒驾驶员，从而降低疲劳驾驶的风险。

根据本发明的另一个方面，还提供了一种机器可读存储介质，其上存储有机器可执行程序，机器可执行程序被处理器执行时实现上述任一种疲劳驾驶检测方法。

根据本发明的另一个方面，还提供了一种疲劳驾驶检测系统，其包括：

摄像头模组，配置成拍摄驾驶员的面部图像；

毫米波雷达，配置成检测驾驶员胸腔振动，得到探测信号；

控制单元，其包括处理器以及存储器，存储器上存储有机器可执行程序，机器可执行程序被处理器执行时实现上述任一种的疲劳驾驶检测方法。

可选地，摄像头模组通过LVDS信号方式向控制单元提供面部图像；

毫米波雷达通过CAN总线向控制单元提供探测信号；并且疲劳驾驶检测系统还包括：

车身报警器，与控制单元通过CAN总线连接，并配置成发出与疲劳等级对应的提醒信号。

本发明的疲劳驾驶检测方法及系统，将从驾驶员面部图像中提取出的疲劳特征信息以及从毫米波雷达对驾驶员胸腔振动的探测信号分析计算得出的驾驶员生命体征数据进行融合，从而采用数据紧耦合的方式融合两个不同检测装置检测到的数据，实现了多维度综合评估，提升了驾驶员疲劳检测结果的准确性，有效降低了误报的概率。

进一步地，本发明的疲劳驾驶检测方法及系统，使用摄像头模组以及毫米波雷达作为检测部件，采用非接触、非穿戴的手段进行探测，不会给驾驶员带来负担和额外操作，可接受程度高，提高了应用体验。

更进一步地，本发明的疲劳驾驶检测方法及系统，对疲劳状态估计模型训练过程还进行了优化，利用分类标记的样本数据使用深度学习算法进行训练，多维度模型还使用独立的测试数据进行验证及调优，为准确疲劳等级评定提供了基础。

更进一步地，本发明的疲劳驾驶检测方法及系统，对摄像头模组、毫米波雷达、以及控制单元的连接方式、运行方式也进行了相应优化，数据处理高效，最终由车身报警器发出与疲劳等级对应的提醒信号，对驾驶员进行有效的提醒。

根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本发明一个实施例的疲劳驾驶检测系统的架构示意图；

图2是根据本发明一个实施例的疲劳驾驶检测方法的示意图；

图3是根据本发明一个实施例的疲劳驾驶检测方法中处理面部图像的流程图；

图4是根据本发明一个实施例的疲劳驾驶检测方法中处理毫米波雷达数据的流程图；以及

图5是根据本发明一个实施例的疲劳驾驶检测方法中数据融合分析的流程图；以及

图6是根据本发明一个实施例的机器可读存储介质的示意图。

具体实施方式

本领域技术人员应当理解的是，下文所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，该一部分实施例旨在用于解释本发明的技术原理，并非用于限制本发明的保护范围。基于本发明提供的实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本发明的保护范围之内。

图1是根据本发明一个实施例的疲劳驾驶检测系统10的架构示意图。本实施例的疲劳驾驶检测系统10一般性地可以包括：摄像头模组110、毫米波雷达120、控制单元130。

摄像头模组110配置成拍摄驾驶员的面部图像。在一些实施例中，摄像头模组100可以包括红外光源(IR-LED)111、摄像头112。摄像头模组100可以安装在车内可以拍摄到驾驶员完整面部图像的位置，例如可以安装在主驾驶位的A柱或者仪表板的上方位置。红外光源111可以在光线不足的情况下，进行补光，适应光线较暗的车内环境。摄像头模组100通过LVDS(Low Voltage Differential Signaling，即低电压差分信号)方式传输拍摄得到图像。LVDS是一种低摆幅的差分信号技术，使得信号能在差分PCB线对或平衡电缆上以几百Mbps的速率传输，其低压幅和低电流驱动输出实现了低噪声和低功耗。LVDS传输可以提高数据的传输速率，保证了实时性，又有很好的屏蔽抗干扰的能力。

毫米波雷达120配置成检测驾驶员胸腔振动，得到探测信号。毫米波雷达120可以同样布置在驾驶舱内，通过毫米波发送部件121向驾驶员发送电磁波。电磁波可以采用77G-81GHz/60-64GHz的频段，毫米波的波长介于微波和厘米波之间，因此毫米波雷达兼有微波雷达和光电雷达的一些优点。毫米波雷达能分辨识别较小的振动，因此适用于本方案中对驾驶员胸腔振动的探测。毫米波接收部件122接收经过反射回来的电磁波信号，MMIC(Monolithic Microwave Integrated Circuit，)123以及雷达MCU124对电磁波信号进行初步处理，然后将初步处理后的探测信号通过CAN(Controller Area Network，控制器局域网总线)传送给控制单元130。毫米波雷达120的供电可由控制单元130供电，也可以有车身供电系统直接供电。

控制单元130也可以称为DMS控制单元，其可以包括处理器131以及存储器132，存储器132上存储有机器可执行程序133，机器可执行程序133被处理器131执行时实现上述本实施例任一种的疲劳驾驶检测方法。控制单元130还可以设置有系统级芯片(System onChip，简称SOC)，内置疲劳状态估计模型，用于进行特征融合判断，确定驾驶员疲劳等级。

处理器131适于执行存储的指令；存储器132在操作期间为所述指令的操作提供存储空间；处理器131可以是单核处理器、多核处理器、计算集群或任何数量的其他配置。存储器132可以包括随机存取存储器(RAM)、只读存储器、闪存或任何其他合适的存储系统。

疲劳驾驶检测系统10还可以包括车身报警器140。车身报警器140与控制单元130通过CAN总线连接，并配置成发出与疲劳等级对应的提醒信号。车身报警器140可以通过以声音，视觉或者振动的形式提醒驾驶员，降低或者避免因疲劳驾驶而可能导致的风险。车身报警器140的提醒方式可以根据疲劳等级设置为不同，通过刺激驾驶员，避免风险。在一些实施例中，在驾驶员极端疲惫的情况下，车身报警器140可以通过车辆控制系统干预行驶状态，防止出现事故。

相比于现有技术中单一的检测手段或者多个检测手段通过简单的逻辑进行疲劳判断，本实施例的疲劳驾驶检测系统10采用数据紧耦合的方式融合两个不同检测装置检测到的数据，实现了多维度综合评估，提升了驾驶员疲劳检测结果的准确性，有效降低了误报的概率。

本实施例还提供了一种疲劳驾驶检测方法。图2是根据本发明一个实施例的疲劳驾驶检测方法的示意图。该疲劳驾驶检测方法一般性地可以包括：

步骤S201，获取驾驶员的面部图像，并从面部图像中提取预设的疲劳特征信息。

驾驶员的面部图像可以由具有红外光源的摄像头模组拍摄得到。在一些实施例中，在获取驾驶员的面部图像的过程中，还可以探测图像拍摄换环境的环境亮度；在环境亮度低于设定亮度阈值的情况下，启动红外光源进行拍摄补光。红外光源可以补充拍摄光源，避免较暗环境对拍摄效果的影响。

从面部图像中提取预设的疲劳特征信息的步骤可以包括：实时提取面部图像中的面部特征点的坐标信息；根据坐标信息估算疲劳特征信息，疲劳特征信息包括以下任一项或多项：眨眼的幅度和/或频率和/或持续时长、张口的幅度和/或频率和/或持续时长、点头的幅度和/或频率和/或持续时长。

疲劳特征可以包括基于眨眼行为的EAR和PERCLOS特征、基于哈欠行为的MAR和FOM特征、基于点头行为的头部姿态自由度特征。

步骤S202，获取毫米波雷达对驾驶员胸腔振动的探测信号，根据探测信号分析计算得出驾驶员的生命体征数据。

生命体征数据可以包括呼吸数据和/或心率数据。一种对探测信号分析得出驾驶员的生命体征数据的过程可以包括：将探测信号进行频域转换，得到频域信号；对频域信号进行杂波过滤，得到生命体征对应的特征频谱；对特征频谱进行分析，得到生命体征数据，生命体征数据包括呼吸数据和/或心率数据。频域转换可以使用快速傅立叶变换(Frequency-Modulated Continuous Wave，简称FFT)或者类似频域算法，将毫米波雷达接收的电磁波信号从时域转换成频域，得到频谱便于分析，从而发现电磁波被物体反射后回波的变化规律。

上述数据由摄像头模组以及毫米波雷达采用非接触、非穿戴的手段进行探测，不会给驾驶员带来负担和额外操作，可接受程度高，提高了应用体验。

步骤S203，将疲劳特征信息以及生命体征数据作为预设的疲劳状态估计模型的输入数据，疲劳状态估计模型通过对疲劳样本数据进行监督学习训练得到。

疲劳状态估计模型的训练过程可以包括：获取采集的原始数据，原始数据包括测试人员的疲劳特征信息、生命体征数据、疲劳状态；对原始数据按照分类标记，形成疲劳样本数据；使用深度学习算法对疲劳样本数据进行训练，得到疲劳状态估计模型。

在得到疲劳状态估计模型的步骤之后还可以包括：使用独立于疲劳样本数据的测试数据对疲劳状态估计模型进行验证及调优，对疲劳状态估计模型进行更新。疲劳状态估计模型训练过程还进行了优化，利用分类标记的样本数据使用深度学习算法进行训练，多维度模型还使用独立的测试数据进行验证及调优，为准确疲劳等级评定提供了基础。

步骤S204，由疲劳状态估计模型进行融合分类计算，并得到驾驶员疲劳等级。

在得到驾驶员疲劳等级之后还可以根据驾驶员疲劳等级生成对应的提醒信号，以提醒驾驶员，从而降低疲劳驾驶的风险。提醒信号可以为声音、视觉或者振动形式。

本实施例的方法，将从驾驶员面部图像中提取出的疲劳特征信息以及从毫米波雷达对驾驶员胸腔振动的探测信号分析计算得出的驾驶员生命体征数据进行融合，从而采用数据紧耦合的方式融合两个不同检测装置检测到的数据，实现了多维度综合评估，提升了驾驶员疲劳检测结果的准确性，有效降低了误报的概率。

图3是根据本发明一个实施例的疲劳驾驶检测方法中处理面部图像的流程图，面部图像的处理流程包括：

步骤S301，红外光源补光，拍摄面部图像；

步骤S302，图像预处理，消除图像中无关的信息，便于后续处理；

步骤S303，提取面部特征关键点，特别是眼角、眼球、嘴角等关键位置；

步骤S304，提取计算疲劳特征信息，疲劳特征信息包括眨眼的幅度和/或频率和/或持续时长、张口的幅度和/或频率和/或持续时长、点头的幅度和/或频率和/或持续时长。

图4是根据本发明一个实施例的疲劳驾驶检测方法中处理毫米波雷达数据的流程图，毫米波雷达数据的处理流程包括：

步骤S401，毫米波雷达采集胸腔振动的电磁波反射信号；通过相位的变化来测量胸腔微小的振动和位移。

步骤S402，对电磁波反射信号进行FFT转换，进行滤波。FFT转换得到频域分布图。

步骤S403，对频域信号进行相位分离以及相位展开；相位展开后可以根据曲线的循环周期的变化将相位区分开，通过滤波算法根据波峰，波谷等特点将不规则的杂波过滤掉，分离出呼吸和心率的曲线图

步骤S404，分析得到单位时间内的驾驶员的呼吸和心率数据。

图5是根据本发明一个实施例的疲劳驾驶检测方法中数据融合分析的流程图，数据融合分析的流程包括：

步骤S501，疲劳特征信息以及生命体征数据输入疲劳状态估计模型；

步骤S502，疲劳状态估计模型多维度融合，输出驾驶员疲劳等级；

步骤S503，根据驾驶员疲劳等级生成对应的提醒信号；

步骤S504，车身报警器输出提醒信号，以视觉、听觉、振动等方式提醒驾驶员。

本实施例提供的流程图并不旨在指示方法的操作将以任何特定的顺序执行，或者方法的所有操作都包括在所有的每种情况下。此外，方法可以包括附加操作。在本实施例方法提供的技术思路的范围内，可以对上述方法进行附加的变化。

本实施例还提供了一种机器可读存储介质。图6是根据本发明一个实施例的机器可读存储介质60的示意图。机器可读存储介质60上存储有机器可执行程序133，机器可执行程序133被处理器执行时实现上述任一种疲劳驾驶检测方法。

就本实施例的描述而言，机器可读存储介质60可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。