一种基于数据融合的疲劳驾驶识别方法

技术领域

本发明涉及安全驾驶技术领域，具体涉及一种基于数据融合的疲劳驾驶识别方法。

背景技术

现有市场化应用的疲劳驾驶警示技术主要分为两类，一类是基于对车辆运行状态的分析技术，该类方法一般通过分析转向角度、油门等数据来识别疲劳驾驶。其实现方式简单，但由于车辆行驶需求和驾驶环境的复杂性和多样性，导致该类方法的准确率较低。另一类是基于图像识别的驾驶员脸部生理状态分析技术，通过基于深度神经网络的机器视觉技术对驾驶员头部图像中的眼、嘴等状态进行分析来识别疲劳驾驶。该类方法其精度比第一类方法精度高，目前已经成为该领域应用研究热点。但该类方法存在几个主要问题：

(1)基于机器视觉的疲劳驾驶识别效果容易受驾驶员人脸位置变化、生理习惯、穿戴物、照明光线等因素影响，此外，各种非疲劳因素引起的眨眼、交谈、唱歌等偶发事件也会对其造成干扰。

(2)基于深度神经网络的疲劳驾驶建模需要大量高质量的疲劳驾驶训练样本做支撑，获取难度大、成本高。

(3)疲劳是一种具有累积效应的时变过程，基于深度神经网络的机器视觉模型方法只能在离散的时间点识别眯眼、哈欠等行为，没有考虑其在时域上的结构信息。

循环深度神经网络虽然在理论上可以记忆任意长的历史数据，但其存储能力在计算成本敏感的车载环境中受到较大约束，导致历史特征被弱化，影响疲劳驾驶的识别精度。

发明内容

发明目的：为了克服现有技术的不足，本发明公开基于数据融合的疲劳驾驶识别方法，其可以解决特征分析准确率低、识别精度低和误报率高的问题。

技术方案：本发明所述的基于数据融合的疲劳驾驶识别方法，该方法包括：

获取驾驶员的人脸图像，并根据所述人脸图像进行轮廓特征点提取；

获取车辆操纵数据，对车辆操纵行为进行特征提取，并采用SVM对指定时间段内的车辆操纵行为的频度进行分析，以识别出清醒状态车辆操纵行为和疲劳状态车辆操纵行为，进而得到清醒状态车辆操纵行为特征集和疲劳状态车辆操纵行为特征集；

根据提取的轮廓特征点进行人脸疲劳特征抽取，并得到对应的疲劳驾驶样本集；

将人脸疲劳特征和车辆操纵行为特征融合，并构建疲劳风险指数模型，该模型的输出用于判断疲劳驾驶的可能性；

判断驾驶员是否为危险驾驶，若是危险驾驶，则发出预警信号。

进一步的，包括：

所述疲劳风险指数模型表示为：

δΔ

其中，t为当前时刻，t

进一步的，包括：

所述驾驶员睡醒指数表示为：

swp(t)＝10.9-0.6(S+C+U)

其中，

进一步的，包括：

提取的轮廓特征点进行人脸疲劳特征抽取，包括：

首先，根据眯眼行为特征得到眯眼行为特征函数，具体的：

设在时域(t

令

如

如

则在T

定义眯眼行为特征函数：

其次，根据哈欠行为特征得到哈欠行为特征函数，具体的：

设在时域(t

如

如

则在T

定义哈欠行为特征函数：

其中，参数值表示为：

且基于疲劳驾驶样本集提取以下特征：

其中，

进一步的，包括：

衰减函数

因为眯眼行为的发生间隔为随机变量，因此，设

令

若在t

其中，mnz(F

同理，若在t

则

进一步的，包括：

衰减系数α、β表示为：

进一步的，包括：

所述采用SVM对指定时间段内的车辆操纵行为的频度进行分析，以识别出清醒状态车辆操纵行为和疲劳状态车辆操纵行为，其中，SVM判别函数表示为：

其返回值Lab

进一步的，包括：

参数ω

首先，表示清醒状态车辆操纵行为特征集和疲劳状态车辆操纵行为特征集：

设清醒状态车辆操纵行为特征集：

设疲劳状态车辆操纵行为特征集：

其中，CF为转向特征表示，EB为制动特征表示，Lab用来判断车辆操纵行为是否异常，Lab

其次，通过输入的训练样本和Lab值，训练F

有益效果：本发明与现有技术相比，其显著优点是：

1、本发明提出一种融合驾驶员人脸疲劳特征和车辆操控状态特征的疲劳特征抽取方法，通过时变模型对疲劳驾驶程度进行估算以实现疲劳驾驶警示。基于成熟卷积神经网络获取人脸轮廓特征点，进而从中提取人脸疲劳特征，避免了对人脸疲劳特征训练样本的需求量，且保证了特征分析的准确率；

2、融合基于车载网络采样的车辆运行参数中提取的车辆操控状态特征，有效降低非疲劳因素产生的人脸特征对整个模型的干扰。

3、基于时域冲击模型能够记忆长时间的历史特征数据，在不明显增加计算资源成本的前提下提高疲劳驾驶识别精度，降低误报率。

附图说明

图1为本发明所述的识别方法流程图；

图2为本发明所述的人脸轮廓特征点分布图；

图3为本发明多任务操作系统分布示意图；

图4为本发明疲劳驾驶识别系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

本发明所述的基于数据融合的疲劳驾驶识别方法，该方法包括：

S1获取驾驶员的人脸图像，并根据所述人脸图像进行轮廓特征点提取。

本实施例中，如图2所示的采用基于Dlib库的人脸特征点检测API获取近红外图像中驾驶员脸部68个轮廓特征点，其中，x

S2获取车辆操纵数据，对车辆操纵行为进行特征提取，并采用SVM对指定时间段内的车辆操纵行为的频度进行分析，以识别出清醒状态车辆操纵行为和疲劳状态车辆操纵行为，进而得到清醒状态车辆操纵行为特征集和疲劳状态车辆操纵行为特征集。

车辆操纵行为特征的提取在滑动时间窗模式下进行，包括：

(1)转向特征

方向盘操纵特征的提取基于方向盘转向角度值(SW)实现。车辆保持直线前进时，方向盘转向角度传感器输出的SW值为0，顺时针转动方向盘时方向盘转向角度传感器输出的SW值为正值，反之为负值。转向特征通过方向盘角度修正频度CF来表征。设：

其为时间窗W

其中，SW

(2)制动特征

制动器操纵特征的提取基于制动压力值(BP)实现。在驾驶员采取制动行为时，制动压力传感器输出的值为制动液压油的压力值；在驾驶员未采取制动行为时，制动压力传感器输出的值为0。设

EB

为制动特征值，其值为时间窗W

(3)提取特征

现有研究资料表明，驾驶员在疲劳驾驶状态下对方向盘和制动器的操纵频度会明显有别于正常情况。因此采用SVM(核函数为径向基)对指定时间段内的转向与制动频度进行分析，以识别出异常。

SVM判别函数

其返回值Lab

参数ω

首先，表示清醒状态车辆操纵行为特征集和疲劳状态车辆操纵行为特征集：

设清醒状态车辆操纵行为特征集：

设疲劳状态车辆操纵行为特征集：

其中，CF为转向特征表示，EB为制动特征表示，Lab用来判断车辆操纵行为是否异常，Lab

其次，通过输入的训练样本和Lab值，迭代训练F

S3根据提取的轮廓特征点进行人脸疲劳特征抽取，并得到对应的疲劳驾驶样本集；

S31计算缩放因子

由于驾驶员在实际驾驶时，其脸部与摄像头的距离坐姿、座椅位置会发生变化，导致人脸特征点在欧式空间中的分布也发生变化，干扰后续基于特征点空间的人脸疲劳特征分析。以驾驶员在某一正常坐姿状态下的人脸特征点值为基准，采用公式(1)计算缩放比例因了

其中，x′

S32眯眼行为特征(公式2)：

设在时域(t

如

如

则在T

定义眯眼行为特征函数：

S33哈欠行为特征(公式3)：

设在时域(t

如

如

则在T

定义哈欠行为特征函数：

S4将人脸疲劳特征和车辆操纵行为特征融合，并构建疲劳风险指数模型，该模型的输出用于判断疲劳驾驶的可能性；

根据生理疲劳特点，本发明提出通过疲劳驾驶指数模型I

δΔ

其中，t为当前时刻，t

驾驶员睡醒指数表示为：

swp(t)＝10.9-0.6(S+C+U)

其中，

为了减轻偶发性的非疲劳性眨眼、交谈等行为对疲劳驾驶分析的干扰，采用衰减函数

模型参数

基于疲劳驾驶样本集提取以下特征：

C

因为眯眼事件的发生间隔为随机变量。

设

令

Nm，同上

则τ(P

如在t

其中，mnz(F

同理，如在t

S5判断驾驶员是否为危险驾驶，若是危险驾驶，则发出预警信号。

分别采集驾驶员在清醒和疲劳驾驶状态下的人脸轮廓特征点、转向角度值和制动压力值数据流样本。

原始样本来源于YawDD数据集和现场数据集。现场数据集的车辆驾驶环境为：车辆行驶道路中96％为直行车道，平均车速30-50km/h。人脸视频采样率为10HZ；车辆操纵行为数据流样本采样率为5hz，其采样时间窗长度默认值为10s。

设疲劳风险指数值I

取样本总量的90％用于模型参数估计，其在测试样本集上的疲劳驾驶平均识别精度达到86.23％，平均误报率为5.97％。

上述S1-S5的实现是基于多任务的操作系统，创建多个并发任务实现对车辆操控状态和驾驶员人脸状态等疲劳特征的实时提取和分析处理，如图1和图4中，任务A：实现人脸疲劳特征提取功能；任务B：实现方向盘和制动器操纵特征提取功能；任务C：实现疲劳驾驶识别和警示功能。

本发明同时对驾驶员脸部生理特征和车辆操纵行为特征进行抽取和融合，特征计算过程简单高效，人脸疲劳特征基于眼部和嘴部轮廓的几何比例变化状态进行分析，车辆操纵特征基于基本统计量进行分析。提出了疲劳指数模型，用于反映疲劳眯眼、哈欠与睡醒指数对疲劳驾驶程度估计的实现方法。该方法既保证了疲劳驾驶识别精度，也降低了非疲劳因素引起的眯眼、谈话、唱歌等事件产生的干扰，降低了误报率，且有更好的鲁棒性和实用性，有明显的现实意义和运用价值。

在该方法的基础上，还保护一种疲劳驾驶识别器，其安装在识别系统中，系统的输入部分由红外摄像头和车载OBD接口组成，红外摄像头负责实时采集驾驶员人脸红外图像数据，OBD接口负责从车辆CAN总线提取车辆的相关操控数据。两类数据传入疲劳驾驶识别器，由识别器驱动警示设备发出疲劳驾驶警告。如图3所示。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。