基于视频帧的多特征感知驾驶疲劳状态检测方法及系统

技术领域

本发明涉及疲劳驾驶检测技术领域，具体是涉及一种基于视频帧的多特征感知驾驶疲劳状态检测方法及系统。

背景技术

疲劳驾驶是影响车辆驾驶安全的重要因素，对驾驶员进行疲劳驾驶检测以防止疲劳驾驶对防止交通事故等具有重大意义。现阶段实施疲劳驾驶检测的方法主要通过检测驾驶员眼睛的眨眼频率以及驾驶时长来实现的。有的驾驶员眨眼频率较高，有的驾驶员长时间驾驶后依然精神饱满或者有的驾驶员较短时间驾驶后也会疲劳，导致疲劳驾驶的检测不够准确。因此，需要提供一种基于视频帧的多特征感知驾驶疲劳状态检测方法及系统，旨在解决上述问题。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于视频帧的多特征感知驾驶疲劳状态检测方法及系统，以解决上述背景技术中存在的问题。

本发明是这样实现的，一种基于视频帧的多特征感知驾驶疲劳状态检测方法，所述方法包括以下步骤：

当检测到车辆启动时，采集主驾驶位的人脸视频，根据主驾驶位的人脸视频确定标定人脸图像；

每间隔设定时间值采集一段主驾驶位的面部视频，对所述面部视频进行视频帧提取得到设定数量的面部图像；

识别所述面部图像的眼部特征和嘴部特征，得到面部分析信息，所述面部分析信息包括眼特征数据和嘴特征数据；

计算标定人脸图像的眼标定数值和嘴标定数值，将面部分析信息与标定人脸图像的眼标定数值和嘴标定数值进行对比，判定面部分析信息是否存在疲劳迹象；

根据所有面部分析信息的疲劳情况，判定驾驶员是否存在疲劳驾驶的风险，当存在时，生成预警信息。

作为本发明进一步的方案：所述根据主驾驶位的人脸视频确定标定人脸图像的步骤，具体包括：

将主驾驶位的人脸视频与人脸图像库进行匹配，当匹配成功时，确定相匹配的人脸图像为标定人脸图像；

当匹配失败时，根据主驾驶位的人脸视频确定一个标定人脸图像。

作为本发明进一步的方案：识别所述面部图像的眼部特征和嘴部特征，得到面部分析信息的步骤，具体包括：

对眼部特征进行描边确定眼部轮廓，得到眼部轮廓的左右端点，左右端点将眼部轮廓划分为上轮廓和下轮廓，确定上轮廓的中点和下轮廓的中点；

计算得到眼特征数据，眼特征数据的计算公式为：

对嘴部特征进行描边确定嘴唇弧线，得到嘴唇弧线的左右端点，左右端点将嘴唇弧线划分为上弧线和下弧线，确定上弧线的中点和下弧线的中点；

计算得到嘴特征数据，嘴特征数据的计算公式为：

根据眼特征数据和嘴特征数据整合得到面部分析信息。

作为本发明进一步的方案：将面部分析信息与标定人脸图像的眼标定数值和嘴标定数值进行对比，判定面部分析信息是否存在疲劳迹象的步骤，具体包括：

将眼特征数据的计算值

将嘴特征数据的计算值

作为本发明进一步的方案：所述根据所有面部分析信息的疲劳情况，判定驾驶员是否存在疲劳驾驶的风险的步骤，具体包括：

确定主驾驶位的面部视频对应的一组面部分析信息中存在疲劳迹象的疲劳综合值；

对所述疲劳综合值进行判定，当疲劳综合值大于预设疲劳值时，确定驾驶员存在疲劳驾驶的风险。

本发明的另一目的在于提供一种基于视频帧的多特征感知驾驶疲劳状态检测系统，所述系统包括：

标定人脸图像模块，用于当检测到车辆启动时，采集主驾驶位的人脸视频，根据主驾驶位的人脸视频确定标定人脸图像；

面部图像采集模块，用于每间隔设定时间值采集一段主驾驶位的面部视频，对所述面部视频进行视频帧提取得到设定数量的面部图像；

面部分析信息模块，用于识别所述面部图像的眼部特征和嘴部特征，得到面部分析信息，所述面部分析信息包括眼特征数据和嘴特征数据；

疲劳迹象判定模块，用于计算标定人脸图像的眼标定数值和嘴标定数值，将面部分析信息与标定人脸图像的眼标定数值和嘴标定数值进行对比，判定面部分析信息是否存在疲劳迹象；

疲劳驾驶判定模块，用于根据所有面部分析信息的疲劳情况，判定驾驶员是否存在疲劳驾驶的风险，当存在时，生成预警信息。

作为本发明进一步的方案：所述标定人脸图像模块包括：

第一标定图像单元，用于将主驾驶位的人脸视频与人脸图像库进行匹配，当匹配成功时，确定相匹配的人脸图像为标定人脸图像；

第二标定图像单元，用于当匹配失败时，根据主驾驶位的人脸视频确定一个标定人脸图像。

作为本发明进一步的方案：所述面部分析信息模块包括：

眼部轮廓识别单元，用于对眼部特征进行描边确定眼部轮廓，得到眼部轮廓的左右端点，左右端点将眼部轮廓划分为上轮廓和下轮廓，确定上轮廓的中点和下轮廓的中点；

眼特征数据单元，用于计算得到眼特征数据，眼特征数据的计算公式为：

嘴唇弧线识别单元，用于对嘴部特征进行描边确定嘴唇弧线，得到嘴唇弧线的左右端点，左右端点将嘴唇弧线划分为上弧线和下弧线，确定上弧线的中点和下弧线的中点；

嘴特征数据单元，用于计算得到嘴特征数据的计算公式为：

面部分析信息单元，用于根据眼特征数据和嘴特征数据整合得到面部分析信息。

作为本发明进一步的方案：所述疲劳迹象判定模块包括：

第一疲劳迹象单元，用于将眼特征数据的计算值

第二疲劳迹象单元，用于将嘴特征数据的计算值

作为本发明进一步的方案：所述疲劳驾驶判定模块包括：

疲劳综合值计算单元，用于确定主驾驶位的面部视频对应的一组面部分析信息中存在疲劳迹象的疲劳综合值；

疲劳综合值判定单元，用于对所述疲劳综合值进行判定，当疲劳综合值大于预设疲劳值时，确定驾驶员存在疲劳驾驶的风险。

与现有技术相比，本发明的有益效果是：

本发明通过采集一段主驾驶位的面部视频，对所述面部视频进行视频帧提取得到设定数量的面部图像，识别面部图像的眼部特征和嘴部特征，得到面部分析信息，将面部分析信息与标定人脸图像的眼标定数值和嘴标定数值进行对比，判定面部分析信息是否存在疲劳迹象；根据所有面部分析信息的疲劳情况，判定驾驶员是否存在疲劳驾驶的风险。如此，能够精准的判定驾驶员是否存在疲劳驾驶，避免偶然因素。

附图说明

图1为一种基于视频帧的多特征感知驾驶疲劳状态检测方法的流程图。

图2为一种基于视频帧的多特征感知驾驶疲劳状态检测系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

如图1所示，本发明实施例提供了一种基于视频帧的多特征感知驾驶疲劳状态检测方法，所述方法包括以下步骤：

S100，当检测到车辆启动时，采集主驾驶位的人脸视频，根据主驾驶位的人脸视频确定标定人脸图像；

S200，每间隔设定时间值采集一段主驾驶位的面部视频，对所述面部视频进行视频帧提取得到设定数量的面部图像；

S300，识别所述面部图像的眼部特征和嘴部特征，得到面部分析信息，所述面部分析信息包括眼特征数据和嘴特征数据；

S400，计算标定人脸图像的眼标定数值和嘴标定数值，将面部分析信息与标定人脸图像的眼标定数值和嘴标定数值进行对比，判定面部分析信息是否存在疲劳迹象；

S500，根据所有面部分析信息的疲劳情况，判定驾驶员是否存在疲劳驾驶的风险，当存在时，生成预警信息。

本发明实施例中，为了保证驾驶员开车时注意力集中，避免疲劳驾驶，当检测到车辆启动时，自动采集主驾驶位的人脸视频，根据主驾驶位的人脸视频确定标定人脸图像，标定人脸图像是驾驶员在清醒状态下的人脸图像。接着，在车辆行驶过程中，每间隔设定时间值（例如每间隔20分钟）采集一段主驾驶位的面部视频，对所述面部视频进行视频帧提取得到设定数量的面部图像，例如每次采集两分钟的面部视频，对该两分钟的面部视频进行提取得到10个面部图像，然后识别这些面部图像的眼部特征和嘴部特征，得到面部分析信息，一个面部图像对应一个面部分析信息，所述面部分析信息包括眼特征数据和嘴特征数据，接着计算标定人脸图像的眼标定数值和嘴标定数值，将面部分析信息与标定人脸图像的眼标定数值和嘴标定数值进行对比，判定面部分析信息是否存在疲劳迹象，最后根据所有面部分析信息的疲劳情况，判定驾驶员是否存在疲劳驾驶的风险，当存在时，生成预警信息，如此，能够精准的判定驾驶员是否存在疲劳驾驶，及时预防危险的发生。

作为本发明一个优选的实施例，所述根据主驾驶位的人脸视频确定标定人脸图像的步骤，具体包括：

S101，将主驾驶位的人脸视频与人脸图像库进行匹配，当匹配成功时，确定相匹配的人脸图像为标定人脸图像；

S102，当匹配失败时，根据主驾驶位的人脸视频确定一个标定人脸图像。

本发明实施例中，建立有人脸图像库，人脸图像库中包含可能驾驶该车辆人员在清醒状态下的人脸图像，将主驾驶位的人脸视频与人脸图像库进行匹配，当匹配成功时，确定相匹配的人脸图像为标定人脸图像；当匹配失败时，说明驾驶该车辆的驾驶员不是常用的，例如代驾，此时根据主驾驶位的人脸视频确定一个标定人脸图像即可。

作为本发明一个优选的实施例，识别所述面部图像的眼部特征和嘴部特征，得到面部分析信息的步骤，具体包括：

S301，对眼部特征进行描边确定眼部轮廓，得到眼部轮廓的左右端点，左右端点将眼部轮廓划分为上轮廓和下轮廓，确定上轮廓的中点和下轮廓的中点；

S302，计算得到眼特征数据，眼特征数据的计算公式为：

S303，对嘴部特征进行描边确定嘴唇弧线，得到嘴唇弧线的左右端点，左右端点将嘴唇弧线划分为上弧线和下弧线，确定上弧线的中点和下弧线的中点；

S304，计算得到嘴特征数据，嘴特征数据的计算公式为：

S305，根据眼特征数据和嘴特征数据整合得到面部分析信息。

本发明实施例中，为了确定面部分析信息，首先会对眼部特征进行描边确定眼部轮廓，得到眼部轮廓的左右端点，并计算得到眼特征数据；然后对嘴部特征进行描边确定嘴唇弧线，得到嘴唇弧线的左右端点，并计算得到嘴特征数据，如此，根据眼特征数据和嘴特征数据就可以整合得到面部分析信息了。

作为本发明一个优选的实施例，将面部分析信息与标定人脸图像的眼标定数值和嘴标定数值进行对比，判定面部分析信息是否存在疲劳迹象的步骤，具体包括：

S401，将眼特征数据的计算值

S402，将嘴特征数据的计算值

本发明实施例中，容易理解，在疲劳状态下，眼皮下垂时，眼特征数据会减小，此时

作为本发明一个优选的实施例，所述根据所有面部分析信息的疲劳情况，判定驾驶员是否存在疲劳驾驶的风险的步骤，具体包括：

S501，确定主驾驶位的面部视频对应的一组面部分析信息中存在疲劳迹象的疲劳综合值；

步骤S501具体包括如下子步骤：

S5011，当判断到面部分析信息存在眼特征项疲劳迹象时，计算得到眼特征项疲劳指数；

在本步骤中，眼特征项疲劳指数的计算公式表示为：

；

其中，

S5012，当判断到面部分析信息存在嘴特征项疲劳迹象时，计算得到嘴特征项疲劳指数；

在本步骤中，嘴特征项疲劳指数的计算公式表示为：

；

其中，

S5013，根据眼特征项疲劳指数与嘴特征项疲劳指数计算得到疲劳综合值；

在本步骤中，疲劳综合值的计算公式表示为：

；

其中，

S502，对所述疲劳综合值进行判定，当疲劳综合值大于预设疲劳值时，确定驾驶员存在疲劳驾驶的风险。

本发明实施例中，容易理解，疲劳状态是个长期的状态，为了避免偶然因素的影响，会确定主驾驶位的面部视频对应的一组面部分析信息中存在疲劳迹象的疲劳综合值，只有当疲劳综合值大于预设疲劳值时，才会确定驾驶员存在疲劳驾驶的风险，进一步降低了误判的风险，结果更加精确。

如图2所示，本发明实施例还提供了一种基于视频帧的多特征感知驾驶疲劳状态检测系统，所述系统包括：

标定人脸图像模块100，用于当检测到车辆启动时，采集主驾驶位的人脸视频，根据主驾驶位的人脸视频确定标定人脸图像；

面部图像采集模块200，用于每间隔设定时间值采集一段主驾驶位的面部视频，对所述面部视频进行视频帧提取得到设定数量的面部图像；

面部分析信息模块300，用于识别所述面部图像的眼部特征和嘴部特征，得到面部分析信息，所述面部分析信息包括眼特征数据和嘴特征数据；

疲劳迹象判定模块400，用于计算标定人脸图像的眼标定数值和嘴标定数值，将面部分析信息与标定人脸图像的眼标定数值和嘴标定数值进行对比，判定面部分析信息是否存在疲劳迹象；

疲劳驾驶判定模块500，用于根据所有面部分析信息的疲劳情况，判定驾驶员是否存在疲劳驾驶的风险，当存在时，生成预警信息。

作为本发明一个优选的实施例，所述标定人脸图像模块100包括：

第一标定图像单元，用于将主驾驶位的人脸视频与人脸图像库进行匹配，当匹配成功时，确定相匹配的人脸图像为标定人脸图像；

第二标定图像单元，用于当匹配失败时，根据主驾驶位的人脸视频确定一个标定人脸图像。

作为本发明一个优选的实施例，所述面部分析信息模块300包括：

眼部轮廓识别单元，用于对眼部特征进行描边确定眼部轮廓，得到眼部轮廓的左右端点，左右端点将眼部轮廓划分为上轮廓和下轮廓，确定上轮廓的中点和下轮廓的中点；

眼特征数据单元，用于计算得到眼特征数据，眼特征数据的计算公式为：

嘴唇弧线识别单元，用于对嘴部特征进行描边确定嘴唇弧线，得到嘴唇弧线的左右端点，左右端点将嘴唇弧线划分为上弧线和下弧线，确定上弧线的中点和下弧线的中点；

嘴特征数据单元，用于计算得到嘴特征数据，嘴特征数据的计算公式为：

面部分析信息单元，用于根据眼特征数据和嘴特征数据整合得到面部分析信息。

作为本发明一个优选的实施例，所述疲劳迹象判定模块400包括：

第一疲劳迹象单元，用于将眼特征数据的计算值

第二疲劳迹象单元，用于将嘴特征数据的计算值

作为本发明一个优选的实施例，所述疲劳驾驶判定模块500包括：

疲劳综合值计算单元，用于确定主驾驶位的面部视频对应的一组面部分析信息中存在疲劳迹象的疲劳综合值；

疲劳综合值判定单元，用于对所述疲劳综合值进行判定，当疲劳综合值大于预设疲劳值时，确定驾驶员存在疲劳驾驶的风险。

以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。