基于时空同步驾驶员特征一致性的危险驾驶行为检测方法

技术领域

本发明涉及图像处理技术领域，具体为一种基于时空同步的驾驶员特征一致性的危险驾驶行为检测方法。

背景技术

驾驶员的危险驾驶行为是导致交通事故的主要因素，对人身安全、财产安全和社会管理造成了巨大威胁。

随着深度学习以及各种识别技术的发展，目前公开了基于云平台大算力的危险驾驶行为检测方案(CN113744498A)，基于人脸关键点的疲劳驾驶检测方案(CN114241453A)，基于驾驶员视线和头部姿态的注意力监测方案(CN111709264A)等。这些方案都能有效识别驾驶员的危险驾驶行为，避免各种交通事故，但是很难同时满足车载、实时性和准确性的现实要求，基于人脸关键点的疲劳驾驶检测方案在识别无面部遮挡的驾驶员注意力监测可以取得不错精度，但只适用于驾驶员面部注意力监测领域，而且关键点检测模型一般比2D检测模型推理时间更长，需要使用模型蒸馏和TensorRT技术提高推理速度，综合比较，关键点检测模型检测精度高，但适用检测领域较窄且部署到车载终端实时检测难度大；基于驾驶员视线和头部姿态的注意力监测方案，根据驾驶区域的驾驶员脸部图像来确定注视区域，会在驾驶员闭眼打瞌睡，张嘴打哈欠时较难确定司机注视区域，可能会产生漏报与误报。同时在实际工程应用过程中，目前大多数驾驶员危险驾驶行为检测系统长时间运行会产生大量的误报，尤其该系统具有通过CAN总线给整车控制器发送制动信号的功能，严重影响司机的驾驶舒适感，为危险驾驶行为检测系统实际工程应用带来巨大阻碍。

发明内容

针对现有技术存在的不足，本发明目的是提供基于时空同步驾驶员特征一致性的危险驾驶行为检测方法，以解决上述背景技术中提出的问题，本发明使用的危险驾驶行为时间序列与驾驶员特征一致性的方法可以有效减少误报，提升驾驶员的驾驶舒适感。

为了实现上述目的，本发明是通过如下的技术方案来实现：基于时空同步驾驶员特征一致性的危险驾驶行为检测方法，包括以下步骤：

步骤1：摄像头采集指定空间区域的图像，为该图像添加时间戳信息；

步骤2：将图像输入到目标检测神经网络，得到预定义标签的多个输出类别；

步骤3：将每帧图像的时间戳与输出类别建立对应关系，设定时间序列长度，保存该时间段内的时间戳和类别信息；

步骤4：针对具有空间包含性的特征类别，采用特征一致性对驾驶员行为特征进行最终判断；

步骤5：计算设定时间序列内危险驾驶行为类别占所有类别的比例，综合判断驾驶员是否构成危险驾驶行为。

步骤6：当驾驶员构成危险驾驶行为时，根据危险驾驶行为时长进行分级预警。

进一步的，所述步骤1中，将红外摄像头置于驾驶室前方，保证摄像头的水平和垂直视场能够覆盖驾驶员上半身区域，为红外摄像头录制的每一帧图像添加当前时间戳信息。

进一步的，所述步骤2中，目标检测神经网络采用Yolo检测驾驶员危险驾驶行为特征，并设定预定义危险行为标签。

进一步的，所述预定义危险行为标签包括打哈欠、打瞌睡、打电话、抽烟、不系安全带、头部离开检测区和驾驶员离位。

进一步的，所述步骤3中，将每帧图像的时间戳与危险驾驶行为类别建立对应关系，针对多种危险驾驶行为，根据驾驶员注意力监测标准，设定相应的时间序列长度。

进一步的，该序列内包含该时间段内的所有时间戳对应的类别信息。

进一步的，所述步骤4中具有空间包含性的特征，如头部特征包含眼睛和嘴巴等特征，当Yolo神经网络检测到头部、眼睛和嘴巴任何一种特征，根据特征一致性，存在头部特征，有效避免误报头部离开检测区。

进一步的，所述步骤5中，对检测为空的图像帧，采用最近邻插值，得到最终的时间序列。

进一步的，计算最终时间序列长度l的总帧数m与危险驾驶行为的总帧数n，当n/m的比值大于危险驾驶行为阈值T，判定存在危险驾驶行为。

进一步的，所述步骤6中，当驾驶员构成危险驾驶行为时，根据报警时长执行预警、缓慢制动、快速制动和急刹，并保存报警图片、视频以及日志，并上传到监控平台。

本发明的有益效果：

1.本发明提出将空间上的每帧危险驾驶行为类别与该帧时间戳同步，并添加进相应的危险驾驶行为类别中，再针对序列中检测为空的图像做最近邻插值，能够有效提升车载终端检测的准确性。

2.本发明提出利用驾驶员特征一致性来检测较难特征和需要持续检测的特征，能够有效减少漏报与误报次数。

3.本发明提出将驾驶员一致性特征添加进时间同步序列中，能够有效提升车载终端检测的准确性，同时减少漏报与误报次数，增强系统的适应性和鲁棒性，提升驾驶舒适感，在交通安全领域有重要的工程应用价值。

附图说明

图1为本发明基于时空同步驾驶员特征一致性的危险驾驶行为检测方法的检测流程图；

图2(a)(b)为本发明的摄像头简易安装示例图；

图3为本发明中不同危险驾驶行为的样例图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

请参阅图1至图3，本发明提供一种技术方案：一种基于时空同步的驾驶员特征一致性的危险驾驶行为检测方法，包括以下步骤：

步骤1：摄像头采集指定空间区域的图像，并为该图像添加时间戳信息；

本实施例步骤1具体为：将红外摄像头置于驾驶室前方，保证摄像头的水平和垂直视场能够覆盖驾驶员上半身区域，为红外摄像头录制的每一帧图像记录当前时间戳信息。

步骤2：将图像输入到目标检测神经网络，得到预定义标签的多个输出类别；

本实施例步骤2具体为：目标检测神经网络采用Yolo检测驾驶员危险驾驶行为特征，预定义危险行为标签包括打哈欠、打瞌睡、打电话、抽烟、不系安全带、头部离开检测区和驾驶员离位。

步骤3：将每帧图像的时间戳与输出类别建立对应关系，设定时间序列长度，保存该时间段内的时间戳和类别信息；

本实施例步骤3具体为：将每帧图像的时间戳与危险驾驶行为类别建立对应关系，针对多种危险驾驶行为，根据驾驶员注意力监测标准，设定相应的时间序列长度，包含该时间段内的所有时间戳对应的类别信息。

步骤4：针对具有空间包含性的特征类别，采用特征一致性对驾驶员行为特征进行最终判断；

本实施例步骤4具体为：具有空间包含性的特征，如头部特征包含眼睛和嘴巴等特征，当Yolo神经网络检测到头部、眼睛和嘴巴任何一种特征，根据特征一致性，存在头部特征，有效避免误报头部离开检测区。

步骤5：计算设定时间序列内危险驾驶最终行为类别占所有类别的比例，综合判断驾驶员是否构成危险驾驶行为。

本实施例步骤5具体为：对检测为空的图像帧，采用最近邻插值，得到最终的时间序列。计算当前时间序列长度l的总帧数m与危险驾驶行为的总帧数n，当n/m的比值大于危险驾驶行为阈值T，判定存在危险驾驶行为。

步骤6：当驾驶员构成危险驾驶行为时，根据危险驾驶行为时长进行分级预警。

本实施例步骤6具体为：当驾驶员构成危险驾驶行为时，根据报警时长执行语音预警、缓慢制动、快速制动以及急刹，并保存报警图片、视频以及日志，并上传到监控平台。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。