一种疲劳驾驶的识别方法、装置及电子设备

技术领域

本申请涉及数据识别技术领域，具体而言，涉及一种疲劳驾驶的识别方法、装置及电子设备。

背景技术

主动安全智能防控系统的重要组成部分，疲劳状态检测越精准越快速，更加可以有效防止交通事故的发生，并且拥有广阔的市场空间，因此驾驶员的疲劳检测技术研究对于预防和减少交通事故的发生具有重要现实意义，可以有效保护驾驶员和乘客的人身安全以及财产安全。

目前为止，驾驶员疲劳状态检测可以分为：基于驾驶员生理参数的检测方法、基于车辆参数的驾驶行为检测、基于视觉特征的面部疲劳检测方法三大类。其中，基于视觉特征的面部疲劳检测方法大多是基于PERCLOS方法的，其通过判断在一定时间内眼睛闭合所占的时间比例来判定驾驶员的疲劳程度。但是，驾驶员存在个体差异，仅仅根据眼睛的特征来判断驾驶员的疲劳程度，不够准确。

发明内容

有鉴于此，本申请的目的在于提供一种疲劳驾驶的识别方法、装置及电子设备，识别出人脸图像中的人脸姿态角以确定分神状态，基于分神状态、嘴巴张合状态和眼睛闭合状态综合判断驾驶员是否疲劳驾驶，判断结果更加全面、准确。

本申请实施例提供的一种疲劳驾驶的识别方法，所述识别方法包括：

获取驾驶员的驾驶过程中的人脸图像，并处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角；其中，一种人脸朝向类别对应一基准姿态角；

根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态；

处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；

融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果。

在一些实施例中，所述的疲劳驾驶的识别方法中，处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角，包括：

基于车辆行驶速度，对上一帧人脸图像中的人脸识别区域进行放大处理，确定候选人脸识别区域；其中，车辆行驶速度越高，放大比例越小；

在所述候选人脸识别区域中进行人脸检测，确定目标人脸识别区域；

基于目标人脸识别区域内的人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角。

在一些实施例中，所述的疲劳驾驶的识别方法中，，处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角，包括：

将所述人脸图像输入至训练好的姿态角识别模型，通过姿态角识别模型中的卷积层和池化层，提取不同尺度人脸图像的人脸特征；

基于不同尺度人脸图像的人脸特征，确定人脸朝向类别、人脸朝向类别对应的置信度和人脸姿态角。

在一些实施例中，所述的疲劳驾驶的识别方法中，所述姿态角识别模型，是通过以下方法训练的：

获取人脸样本训练集；所述人脸样本中包括样本图像、以及样本图像对应的人脸朝向类别、各种人脸姿态角的角度；其中，所述人脸姿态角包括表征人脸左右偏转程度的偏航角、表征人脸俯仰程度的俯仰角、表征人脸倾斜程度的翻滚角；

对样本图像中人脸姿态角符合预设偏转条件的样本图像进行增强处理，并更新人脸样本训练集，以使人脸样本训练集中各种人脸朝向类别对应的样本图像数量均衡；

基于更新后的人脸样本训练集训练构建好的姿态角识别模型，得到训练好的姿态角识别模型。

在一些实施例中，所述的疲劳驾驶的识别方法中，对样本图像中人脸姿态角符合预设偏转条件的样本图像进行增强处理，包括：

对偏航角在预设偏航角范围内的样本图像进行复制处理；

对俯仰角在预设俯仰角范围内的样本图像进行复制处理；

对翻滚角在预设翻滚角范围内的样本图像进行旋转处理。

在一些实施例中，所述的疲劳驾驶的识别方法中，根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态，包括：

判断人脸朝向类别的人脸姿态角和基准姿态角之间的差值是否大于预设角度偏移阈值；

若是，则确定所述人脸图像的分神状态为分神；

若否，则确定所述人脸图像的分神状态为正常。

在一些实施例中，所述的疲劳驾驶的识别方法中，处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；包括：

将所述人脸图像输入至训练好的疲劳识别模型，通过所述疲劳识别模型提取眼睛特征和嘴巴特征；

基于所述眼睛特征和嘴巴特征判断所述人脸图像中驾驶员嘴巴张合状态和眼睛闭合状态。

在一些实施例中，所述的疲劳驾驶的识别方法中，融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果，包括：

根据所述预设时间段内多帧人脸图像对应嘴巴张合状态、眼睛闭合状态和/或分神状态，确定预设时间段内驾驶员符合的疲劳检测结果；所述疲劳检测结果包括闭眼、眨眼、打哈欠、睡觉；

根据所述预设时间段内多帧人脸图像对应的分神状态，确定分神时长，并根据所述分神时长，确定预设时间段内驾驶员的分神检测结果；

根据所述疲劳检测结果、分神检测结果和预先配置的疲劳关系表，确定驾驶员的疲劳驾驶级别；其中，所述疲劳关系表表征了疲劳检测结果、分神检测结果与疲劳驾驶级别的关系。

在一些实施例中，还提供一种疲劳驾驶的识别装置，所述识别装置包括：

获取模块，用于获取驾驶员的驾驶过程中的人脸图像，并处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角；其中，一种人脸朝向类别对应一基准姿态角；

第一确定模块，用于根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态；

第二确定模块，用于处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；

第三确定模块，用于融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果。

在一些实施例中，还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行所述的疲劳驾驶的识别方法的步骤。

本申请实施例提出一种疲劳驾驶的识别方法、装置及电子设备，所述识别方法获取驾驶员的驾驶过程中的人脸图像，并处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角；根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态；同时处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；最后，融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果，从而根据人脸朝向判断驾驶员是否分神，根据嘴巴闭合状态判断驾驶员是否打哈欠，根据眼睛闭合状态判断驾驶员的眨眼状态以及是否睡觉，从而根据分神、打哈欠、眨眼频率和睡觉等多个维度，综合判断驾驶员是否疲劳，以及进一步区分驾驶员的疲劳程度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例所述疲劳驾驶的识别方法的流程图；

图2示出了本申请实施例所述确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角的流程图；

图3示出了本申请实施例所述车辆行驶速度与候选人脸识别区域大小的关系示意图；

图4示出了本申请实施例所述当放大人脸检测框为原来大小2倍时所需要的阈值速度随放大参数θ的变化曲线；

图5示出了本申请实施例所述设定θ=0.43，则放大倍数与车辆行驶速度之间的关系示意图；

图6示出了本申请实施例所述偏航角对应的样本图像数量分布图；

图7示出了本申请实施例所述俯仰角对应的样本图像数量分布图；

图8示出了本申请实施例所述翻滚角对应的样本图像数量分布图；

图9示出了本申请实施例所述进行增强处理后偏航角对应的样本图像分布图；

图10示出了本申请实施例所述进行增强处理后俯仰角对应的样本图像分布图；

图11示出了本申请实施例所述进行增强处理后翻滚角对应的样本图像分布图；

图12示出了本申请实施例所述构建好的姿态角识别模型的结构示意图；

图13示出了本申请实施例中多种损失函数的梯度随输入数据

图14示出了本申请实施例所述疲劳驾驶的识别装置的结构示意图；

图15示出了本申请实施例所述电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。 应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。 此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

主动安全智能防控系统的重要组成部分，疲劳状态检测越精准越快速，更加可以有效防止交通事故的发生，并且拥有广阔的市场空间，因此驾驶员的疲劳检测技术研究对于预防和减少交通事故的发生具有重要现实意义，可以有效保护驾驶员和乘客的人身安全以及财产安全。

目前为止，驾驶员疲劳状态检测可以分为：基于驾驶员生理参数的检测方法、基于车辆参数的驾驶行为检测、基于视觉特征的面部疲劳检测方法三大类。基于驾驶员生理参数的检测方法，通常需要采集驾驶员的脑电信号、心电信号、肌电信号、脉搏信号、眼电信号、呼吸频率等，以此判断驾驶员是否疲劳驾驶；这种方法准确性一般，但是实用性很好；基于车辆参数的驾驶行为检测，通常需要采集车道偏航、行驶速度、前方车距、转向盘扭矩、油门踩踏力、制定踏板力等参数，以此判断驾驶员是否疲劳驾驶，这种方法准确性很好，但是实用性一般；基于视觉特征的面部疲劳检测方法需要采集眼睛闭合状态、眨眼频率、嘴巴状态、点头频率等检测结果，以此判断驾驶员是否疲劳驾驶，这种方法准确性和实用性都很好。

因为生理状态感应方法需要驾驶员佩戴很多仪器，会造成驾驶员的不适，且可能造成驾驶行为受阻，难以真正实际应用。车载传感器的检测方法则是需要在驾驶舱中安装多种传感器，但是其很可能存在器件测量造成误差，且硬件成本较高。基于视觉的驾驶员行为特征方法通过使用摄像头实时采集驾驶员的面部图像，并对采集到的人脸进行图像处理和机器视觉技术处理，提取人眼、嘴巴、头部运动等，综合判断驾驶员的疲劳状态。由于其准确性好，并且不接触驾驶员身体，所以实用性很好。

目前视觉判定疲劳程度的系统中，大多是基于PERCLOS方法的，其通过判断在一定时间内眼睛闭合所占的时间比例来判定驾驶员的疲劳程度。在实际应用中有三种测量眼睛为闭合状态的测量方式，P70为眼皮盖过瞳孔的面积超过70%所占的时间比例，P80为眼皮盖过瞳孔的面积超过80%所占的时间比例，Em为眼皮盖过瞳孔的面积超过50%所占的时间比例。基于这种方法计算眼睛闭合时间、眨眼频率等，判断驾驶员疲劳程度；但是，不同驾驶员的面部特征不同，比如某些驾驶员眼睛特别小等情况；而且，眼睛闭合或者眨眼并非人疲劳时必然行为，有些驾驶员轻度疲劳时可能仅仅是打哈欠、跑神不看路等等，只有重度疲劳才会打瞌睡。因此，现有的疲劳检测方法精确度较低，无法准确识别驾驶员的疲劳程度。

基于此，本申请实施例提出一种疲劳驾驶的识别方法、装置及电子设备，所述识别方法获取驾驶员的驾驶过程中的人脸图像，并处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角；根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态；同时处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；最后，融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果，从而根据人脸朝向判断驾驶员是否分神，根据嘴巴闭合状态判断驾驶员是否打哈欠，根据眼睛闭合状态判断驾驶员的眨眼状态以及是否睡觉，从而根据分神、打哈欠、眨眼频率和睡觉等多个维度，综合判断驾驶员是否疲劳，以及进一步区分驾驶员的疲劳程度。

请参照图1，图1示出了本申请实施例所述疲劳驾驶的识别方法的流程图；具体的，所述疲劳驾驶的识别方法包括步骤S101-S104；

S101、获取驾驶员的驾驶过程中的人脸图像，并处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角；其中，一种人脸朝向类别对应一基准姿态角；

S102、根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态；

S103、处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；

S104、融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果。

本申请实施例提出一种疲劳驾驶的识别方法，获取驾驶员的驾驶过程中的人脸图像，并处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角；根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态；同时处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；最后，融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果，从而根据人脸朝向判断驾驶员是否分神，根据嘴巴闭合状态判断驾驶员是否打哈欠，根据眼睛闭合状态判断驾驶员的眨眼状态以及是否睡觉，从而根据分神、打哈欠、眨眼频率和睡觉等多个维度，综合判断驾驶员是否疲劳，以及进一步区分驾驶员的疲劳程度。

在本申请实施例中，所述疲劳驾驶的识别方法可以运行于终端设备或者是服务器；其中，终端设备可以为本地终端设备，当疲劳驾驶的识别方法运行于服务器时，该疲劳驾驶的识别方法则可以基于云交互系统来实现与执行，其中，云交互系统至少包括服务器和客户端设备（也即终端设备）。

具体的，以应用于终端设备为例，当疲劳驾驶的识别方法运行于终端设备上时，疲劳驾驶的识别方法用于在驾驶员驾驶过程中，及时识别出驾驶员的疲劳状态，以提醒驾驶员，防止驾驶员疲劳驾驶，保证驾驶安全。

在所述步骤S101中，获取驾驶员的驾驶过程中的人脸图像，并处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角；其中，一种人脸朝向类别对应一基准姿态角。

在获取驾驶员的驾驶过程中的人脸图像之前，需要通过拍摄装置在驾驶员的驾驶过程中拍摄驾驶员的人脸图像。具体的，所述拍摄装置可以为红外相机。

具体的，所述的拍摄装置拍摄驾驶员的人脸图像，可以为按照一定频率直接拍摄人脸图像；或者，拍摄驾驶员的人脸视频，并通过视频解码，抽取出视频帧作为人脸图像。

具体的，请参照图2，本申请实施例中，处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角，包括以下步骤S201-S203：

S201、基于车辆行驶速度，对上一帧人脸图像中的人脸识别区域进行放大处理，确定候选人脸识别区域；其中，车辆行驶速度越高，放大比例越小；

S202、在所述候选人脸识别区域中进行人脸检测，确定目标人脸识别区域；

S203、基于目标人脸识别区域内的人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角。

在驾驶员开车时，一般头部的移动较小，并且不会占图像很大的空间，利用这一特点，对图片提取感兴趣区域(ROI)来适应疲劳检测场景的需求。ROI的设置对于人脸检测的精度及速度有很大的帮助，既可以使驾驶员位置突出，不会出现检测到多个人脸导致疲劳状态检测的误检，又可以减少人脸检测的算法复杂度，大大减少处理时间。

根据疲劳检测场景，当车辆行驶速度较快时，驾驶员应该更加集中精力目视前方，所以头部移动应该很小，当速度较慢时，驾驶员可能会更关注周围的车辆以及道路信息，所以头部移动允许有相对大的移动，提出在上一帧检测到的人脸矩形进行缩放以提取感兴趣区域(ROI)，该方法可以在不损失图像分辨率的前提下有效的提高人脸检测的效率。

具体的，车辆行驶速度越高，放大倍数越小，即感兴趣区域(ROI)（候选人脸识别区域）越小。请参照图3，图3示出了车辆行驶速度从10km/h增加到60km/h时，候选人脸识别区域大小变化示意图。

这里，所述人脸识别区域，即人脸窗口，或者说框选出人脸的检测框。

具体的，根据行驶速度，对上一帧检测到的人脸识别区域的长宽进行放大，使尺寸变为原人脸识别区域的

(1)

其中，

具体的，在执行以上步骤S201-S203时，首先获取上一帧人脸检测框信息、当前的车辆行驶速度；然后基于当前的车辆行驶速度，计算放大倍数；根据放大倍数和上一帧人脸检测框信息，得到候选人脸识别区域；提取当前帧中候选人脸识别区域的图像，并在提取的图像中进行人脸检测，框选出候选人脸识别区域中的人脸图像，确定目标人脸识别区域；同时，输出当前帧人脸检测框信息，以供下次检测使用。这样，基于上一帧检测到的人脸矩形进行缩放以提取感兴趣区域(ROI)，在不损失图像分辨率的前提下有效的提高人脸检测的效率。

当放大参数

分析图4，可以看到当

本申请实施例所述的疲劳驾驶的识别方法中，处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角，包括：

将所述人脸图像输入至训练好的姿态角识别模型，通过姿态角识别模型中的卷积层和池化层，提取不同尺度人脸图像的人脸特征；

基于不同尺度人脸图像的人脸特征，确定人脸朝向类别、人脸朝向类别对应的置信度和人脸姿态角。

具体的，所述姿态角识别模型，是通过以下方法构建的：

获取人脸样本训练集；所述人脸样本中包括样本图像、以及样本图像对应的人脸朝向类别、各种人脸姿态角的角度；其中，所述人脸姿态角包括表征人脸左右偏转程度的偏航角、表征人脸俯仰程度的俯仰角、表征人脸倾斜程度的翻滚角；

对样本图像中人脸姿态角符合预设偏转条件的样本图像进行增强处理，并更新人脸样本训练集，以使人脸样本训练集中各种人脸朝向类别对应的样本图像数量均衡；

基于更新后的人脸样本训练集训练构建好的姿态角识别模型，得到训练好的姿态角识别模型。

人脸样本训练集来源于VGG Face，包含了9131个人的3.31百万张图片，平均每一个人有362.6张图。这个数据集人物ID较多，且每个ID包含的图片个数也较多。数据集覆盖了大范围的姿态、年龄，其中约有59.7%的男性。除了身份信息之外，数据集还包括人脸框，5个关键点、以及估计的年龄和人脸朝向；通过人脸朝向对样本集进行分析。分别对三个人脸姿态角偏航角、俯仰角、翻滚角进行统计；统计结果如下图6、图7和8所示；其中，图6表征了偏航角对应的样本图像数量分布图；图7表征了俯仰角对应的样本图像数量分布图；图8表征了翻滚角对应的样本图像数量分布图。

分析图6、图7和图8，可以看到样本图像中正脸的数据占了很大比重，而侧脸很少；基于这样的样本训练集训练得到的姿态角识别模型，在检测正脸图像时准确率很高，而在侧脸检测上效果很差。

因为在驾驶员疲劳检测系统中，需要检测驾驶员侧脸、低头、抬头等动作，所以应该在一定角度内，人脸特征点的检测依然准确。我们采用数据增强的方法增加侧脸样本，使得偏航角Yaw在[-45°,45°]、俯仰角Pitch在[-45°,45°]、翻滚角Roll在[-45°,45°]内的样本均衡。

因为偏航角Yaw、俯仰角Pitch是三维的角度变换，不能通过二维变换得到，所以复制那些占比较少的样本。首先复制偏航角Yaw在[-45°,45°]内占比较少的样本，使得在该范围内Yaw角度样本均衡；请参照图9，图9示出了进行增强处理后偏航角对应的样本图像分布图。

在复制Yaw之后复制俯仰角Pitch在

在进行上述复制操作之后，因为翻滚角Roll可以通过旋转图片得到，所以将上面得到的样本图像进行旋转，使得所有样本均衡。

旋转样本图像主要可以分为两种策略：

策略一：将原始图像直接保持原始大小进行旋转

策略二：将原始图像旋转后将生成的图像的四个边向外扩充，使得生成的图像不会切掉原始图像的四个边。

旋转类型主要分为±15°，±30°，±45°，±60°四种旋转类型

请参照图11，图11示出了进行增强处理后翻滚角对应的样本图像分布图。

也就是说，本申请实施例中，对样本图像中人脸姿态角符合预设偏转条件的样本图像进行增强处理，包括：

对偏航角在预设偏航角范围内的样本图像进行复制处理；

对俯仰角在预设俯仰角范围内的样本图像进行复制处理；

对翻滚角在预设翻滚角范围内的样本图像进行翻转处理。

其中，对翻滚角在预设翻滚角范围内的样本图像进行旋转处理时，所述进行旋转处理的样本图像包括原始的人脸样本训练集中的样本图像和/或复制处理得到样本图像，以使各种人脸姿态的样本均衡，例如，向左侧偏转同时歪头的人脸姿态。

请参照图12，图12示出了本申请实施例所述构建好的姿态角识别模型的结构示意图；其中特征提取层使用23个卷积层进行卷积提取图片特征，来保证了图片的在各个尺度上的局部特征都能被充分利用。中间使5个池化层来减少模型参数，增强模型的鲁棒性。经过调整特征提取层的结构后，在卷积层加入了批归一化操作，目的为了在特征提取中的特征分布更为均匀，便于训练。

具体的，通过池化层改变图片的尺度，以使图片的在各个尺度上的局部特征都能被充分利用。

所述姿态角识别模型分别预测人脸朝向类别，人脸朝向类别对应的置信度和人脸姿态角；本申请实施例中的姿态角识别模型使用三个损失函数，分别评价人脸朝向类别、置信度、以及人脸姿态的三个角度的学习效果，以更新模型参数。

针对人脸朝向类别，将人脸朝向类别定义为0-7，8个朝向分别为左、左上、左下、上、下、右上、右下、右。

人脸朝向类别对应的损失函数为：

其中c为目标所属人脸朝向类别，

针对人脸朝向类别对应的置信度，损失函数为：

其中

针对人脸姿态角，首先对比

这里，

其中，x表征损失函数输入数据。

根据该特性，针对本申请实施例中的姿态角识别模型设计一判断人脸姿态角的损失函数，判断人脸姿态角的损失函数对满足预设阈值范围的输入数据，基于第一算法计算损失函数值，对不满足预设阈值范围的输入数据，基于第二算法计算损失函数值。

本申请实施例中针对人脸姿态角的损失函数为：

其中

yaw、pitch、roll为预测出的人脸姿态角的值，

请参照图13，图13为本申请实施例中多种损失函数的梯度随输入数据

在所述步骤S103中，根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态。

本申请实施例中，每一种人脸姿态角对应一基准姿态角。

其中，基准姿态角是根据多帧人脸图像中相应种类人脸姿态角的均值确定的。例如汽车在行进状态时，先取驾驶员10s内，三种姿态角的平均角度为每种姿态角对应的基准姿态角；示例性的， Pitch对应的基准姿态角为-5°，Roll对应的基准姿态角为5°，Yaw对应的基准姿态角为5°。

即不同驾驶员对应的各个基准姿态角不同，与驾驶员的驾驶习惯有关。

当驾驶员集中精力驾驶时，应该朝向正前方，也就是每一人脸姿态角和对应基准姿态角之间的差值不大于预设角度偏移阈值，不低头或者左顾右盼；因此，当人脸姿态角和基准姿态角之间的差值大于预设角度偏移阈值，说明这张图像中的驾驶员低头了或者左顾右盼，属于分神。

基于此，本申请实施例中，根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态，包括：

判断人脸朝向类别的人脸姿态角和基准姿态角之间的差值是否大于预设角度偏移阈值；

若是，则确定所述人脸图像的分神状态为分神；

若否，则确定所述人脸图像的分神状态为正常。

需要说明的是，这里，只是将该张人脸图像标记为正常或分神，至于驾驶员是否分神，则需要综合多张人脸图像的分神状态检测结果来确定。

示例性的，本申请实施例中，具体对分神状态为分神进行以下定义：针对俯仰角，基准姿态角 - 当前人脸姿态角>20°，则确定所述人脸图像的分神状态为低头；基准姿态角- 当前人脸姿态角>20°，则确定所述人脸图像的分神状态为左看，当前人脸姿态角 -基准姿态角>20°，则确定所述人脸图像的分神状态为右看。

在所述步骤S104中，处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；包括：

将所述人脸图像输入至训练好的疲劳识别模型，通过所述疲劳识别模型提取眼睛特征和嘴巴特征；

基于所述眼睛特征和嘴巴特征判断所述人脸图像中驾驶员嘴巴张合状态和眼睛闭合状态。

具体的，采用基于回归树的方法进行人脸特征点的检测，在得到眼睛、嘴巴的特征点之后，确认眼睛检测区域和嘴巴检测区域的范围；然后对眼睛检测区域和嘴巴检测区域进行扩展，得到扩展后的眼睛检测区域和扩展后的嘴巴检测区域，以获得眼睛、嘴巴周围更多的信息，减少由于特征点检测不准确造成的影响，为疲劳状态判断提高精度。

示例性的，扩展前眼睛检测区域的宽度为e-w，高度为e-h，嘴巴检测区域宽度为m-w，高度为m-h；扩展后眼睛检测区域的宽度为E-w，高度为E-h，嘴巴检测区域宽度为M-w，高度为M-h；扩展规则为：

；

基于扩展后眼睛检测区域内的眼睛图像，提取眼睛特征，判断眼睛是否闭合；基于扩展后嘴巴检测区域内的眼睛图像，提取嘴巴特征，判断嘴巴是否闭合。

这里，所述疲劳识别模型为基于通过训练径向基的SVM模型，针对提取出的眼睛图像和嘴巴图像，提取出眼睛图像和嘴巴图像的Hog特征，Hog即方向梯度直方图（Histogramof Oriented Gradient, HOG），将提取出的Hog特征输入至训练好的SVM模型，SVM模型输出嘴巴张合状态和眼睛闭合状态。

这里，所述疲劳识别模型是通过以下训练的：针对样本眼睛图像和样本嘴巴图像，提取出样本眼睛图像和样本嘴巴图像的Hog特征，将基于所述样本眼睛图像和样本嘴巴图像的Hog特征训练SVM模型，调整SVM模型的参数，直至SVM模型达到训练结束条件；所述训练结束条件为训练次数达到预设次数，SVM模型的损失函数输出值满足预设精度条件等。

这里，提取图像的Hog特征，是通过以下方法实现的：输入图像，处理图像得到图像的灰度图，对灰度图进行颜色空间归一化处理，计算归一化处理后像素点的梯度，确定出每个cell内梯度直方图，然后确定出每个block内梯度直方图，得到HoG特征。

在所述步骤S104中，融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果。

具体的，融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果，包括：

根据所述预设时间段内多帧人脸图像对应嘴巴张合状态、眼睛闭合状态和/或分神状态，确定预设时间段内驾驶员符合的疲劳检测结果；所述疲劳检测结果包括闭眼、眨眼、打哈欠、睡觉；

根据所述预设时间段内多帧人脸图像对应的分神状态，确定分神时长，并根据所述分神时长，确定预设时间段内驾驶员的分神检测结果；

根据所述疲劳检测结果、分神检测结果和预先配置的疲劳关系表，确定驾驶员的疲劳驾驶级别；其中，所述疲劳关系表表征了疲劳检测结果、分神检测结果与疲劳驾驶级别的关系。

针对根据所述预设时间段内多帧人脸图像对应嘴巴张合状态、眼睛闭合状态和/或分神状态，确定预设时间段内驾驶员符合的疲劳检测结果，示例性的，以下表一示出了驾驶员符合的疲劳检测结果的定义：

表一

根据所述预设时间段内多帧人脸图像对应的分神状态，确定分神时长，并根据所述分神时长，确定预设时间段内驾驶员的分神检测结果，示例性的，以下表二示出了驾驶员符合的分神检测结果的定义：

表二

根据所述预设时间段内多帧人脸图像对应的分神状态，确定分神时长，即根据每帧图像对应的时长与帧数，确定分神时长。

根据所述分神时长，确定预设时间段内驾驶员的分神检测结果，即当分神时长大于预设分神时长阈值，则确定驾驶员的分神检测结果为分神。

这里，根据所述疲劳检测结果、分神检测结果和预先配置的疲劳关系表，确定驾驶员的疲劳驾驶级别，示例性的，所述疲劳关系表如以下表三所示：

表三

这里，当一定时间段内重度疲劳的时长累积至预设危险时长阈值时，则确定疲劳驾驶程度为危险，对驾驶员进行警告，例如进行持续1分钟的警报灯。

本申请实施例所述疲劳驾驶识别方法，基于眼睛睁闭、嘴巴开合、分神状态等多个人脸特征来从多个角度共同判断是否疲劳驾驶，可以更加及时的对驾驶员状态进行判断，对驾驶员状态有更精准的判断；在框选人脸图像时，根据车速来提取ROI，缩小ROI的检测范围，可以有效提高算法速度；并且提出驾驶员的姿态角识别模型，可以通过人脸姿态角更好的判断疲劳状态。

基于同一发明构思，本申请实施例中还提供了与所述的疲劳驾驶的识别方法对应的疲劳驾驶的识别装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述所述的疲劳驾驶的识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

请参照图14，图14示出了本申请实施例所述疲劳驾驶的识别装置的结构示意图，具体的，所述识别装置包括：

获取模块1401，用于获取驾驶员的驾驶过程中的人脸图像，并处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角；其中，一种人脸朝向类别对应一基准姿态角；

第一确定模块1402，用于根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态；

第二确定模块1403，用于处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；

第三确定模块1404，用于融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果。

本申请实施例提出一种疲劳驾驶的识别装置，获取驾驶员的驾驶过程中的人脸图像，并处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角；根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态；同时处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态；最后，融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果，从而根据人脸朝向判断驾驶员是否分神，根据嘴巴闭合状态判断驾驶员是否打哈欠，根据眼睛闭合状态判断驾驶员的眨眼状态以及是否睡觉，从而根据分神、打哈欠、眨眼频率和睡觉等多个维度，综合判断驾驶员是否疲劳，以及进一步区分驾驶员的疲劳程度。

在一些实施例中，所述的疲劳驾驶的识别装置中的所述获取模块，在处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角时，具体用于：

基于车辆行驶速度，对上一帧人脸图像中的人脸识别区域进行放大处理，确定候选人脸识别区域；其中，车辆行驶速度越高，放大比例越小；

在所述候选人脸识别区域中进行人脸检测，确定目标人脸识别区域；

基于目标人脸识别区域内的人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角。

在一些实施例中，所述的疲劳驾驶的识别装置中的获取模块，在处理所述人脸图像，确定所述人脸图像中的人脸朝向类别和对应所述人脸朝向类别的人脸姿态角时，具体用于：

将所述人脸图像输入至训练好的姿态角识别模型，通过姿态角识别模型中的卷积层和池化层，提取不同尺度人脸图像的人脸特征；

基于不同尺度人脸图像的人脸特征，确定人脸朝向类别、人脸朝向类别对应的置信度和人脸姿态角。

在一些实施例中，所述的疲劳驾驶的识别装置中还包括训练模块，

所述训练训练，具体用于获取人脸样本训练集；所述人脸样本中包括样本图像、以及样本图像对应的人脸朝向类别、各种人脸姿态角的角度；其中，所述人脸姿态角包括表征人脸左右偏转程度的偏航角、表征人脸俯仰程度的俯仰角、表征人脸倾斜程度的翻滚角；

对样本图像中人脸姿态角符合预设偏转条件的样本图像进行增强处理，并更新人脸样本训练集，以使人脸样本训练集中各种人脸朝向类别对应的样本图像数量均衡；

基于更新后的人脸样本训练集训练构建好的姿态角识别模型，得到训练好的姿态角识别模型。

在一些实施例中，所述的疲劳驾驶的识别装置中的训练模块，对样本图像中人脸姿态角符合预设偏转条件的样本图像进行增强处理时，具体用于：

对偏航角在预设偏航角范围内的样本图像进行复制处理；

对俯仰角在预设俯仰角范围内的样本图像进行复制处理；

对翻滚角在预设翻滚角范围内的样本图像进行旋转处理。

在一些实施例中，所述的疲劳驾驶的识别装置中的第一确定模块，在根据人脸朝向类别的人脸姿态角和基准姿态角之间的差值和预设角度偏移阈值，确定所述人脸图像的分神状态时，具体用于：

判断人脸朝向类别的人脸姿态角和基准姿态角之间的差值是否大于预设角度偏移阈值；

若是，则确定所述人脸图像的分神状态为分神；

若否，则确定所述人脸图像的分神状态为正常。

在一些实施例中，所述的疲劳驾驶的识别装置中的第二确定模块，处理所述人脸图像，确定出所述人脸图像中的嘴巴张合状态和眼睛闭合状态时，具体用于：

将所述人脸图像输入至训练好的疲劳识别模型，通过所述疲劳识别模型提取眼睛特征和嘴巴特征；

基于所述眼睛特征和嘴巴特征判断所述人脸图像中驾驶员嘴巴张合状态和眼睛闭合状态。

在一些实施例中，所述的疲劳驾驶的识别装置中的第三确定模块，在融合预设时间段内多帧人脸图像对应的分神状态、嘴巴张合状态和眼睛闭合状态，确定疲劳驾驶识别结果时，具体用于：

根据所述预设时间段内多帧人脸图像对应嘴巴张合状态、眼睛闭合状态和/或分神状态，确定预设时间段内驾驶员符合的疲劳检测结果；所述疲劳检测结果包括闭眼、眨眼、打哈欠、睡觉；

根据所述预设时间段内多帧人脸图像对应的分神状态，确定分神时长，并根据所述分神时长，确定预设时间段内驾驶员的分神检测结果；

根据所述疲劳检测结果、分神检测结果和预先配置的疲劳关系表，确定驾驶员的疲劳驾驶级别；其中，所述疲劳关系表表征了疲劳检测结果、分神检测结果与疲劳驾驶级别的关系。

基于同一发明构思，本申请实施例中还提供了与所述的疲劳驾驶的识别方法对应的电子设备，由于本申请实施例中的电子设备解决问题的原理与本申请实施例上述所述的疲劳驾驶的识别方法相似，因此电子设备的实施可以参见方法的实施，重复之处不再赘述。

请参照图15，图15示出了本申请实施例所述电子设备的结构示意图，所述电子设备1500包括：处理器1501、存储器1502和总线，所述存储器1502存储有所述处理器1501可执行的机器可读指令，当电子设备1500运行时，所述处理器1501与所述存储器1502之间通过总线通信，所述机器可读指令被所述处理器1501执行时执行所述的疲劳驾驶的识别方法的步骤。

基于同一发明构思，本申请实施例中还提供了与所述的疲劳驾驶的识别方法对应的计算机可读存储介质，由于本申请实施例中的计算机可读存储介质解决问题的原理与本申请实施例上述所述的疲劳驾驶的识别方法相似，因此计算机可读存储介质的实施可以参见方法的实施，重复之处不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行所述的疲劳驾驶的识别方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，平台服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。