一种使用深度学习模型检测睡意的方法、设备及系统

技术领域

本申请涉及睡意检测技术领域，尤其涉及一种使用深度学习模型检测睡意的方法、设备及系统。

背景技术

驾驶途中驾驶者出现睡意会为各道路使用者带来危险，睡意侦测系统可以侦查到驾驶者睡意而发出合适的声音警告去提醒驾驶者，从而减低交通意外发生机会。相关技术中运用图像分析的方法(例如眼部张开程度、口部张开程度等)检测驾驶者是否有睡意。但传统的图像分析方法在驾驶者戴眼镜、戴口罩情况下可靠度会大幅下降。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种使用深度学习模型检测睡意的方法、设备及系统。

第一方面，本申请提供了一种使用深度学习模型检测睡意的方法，包括：通过方向盘角度仪检测方向盘方向改变的频率和幅度；使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意；以及，通过光学图像传感器获取驾驶者的面部实时图像；使用第二深度学习模型，根据一个时间窗内的面部实时图像，识别驾驶者的点头动作和/或哈欠动作；根据点头动作和/或哈欠动作的频率确定驾驶者是否有睡意。

在某些实施例中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意，包括：使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者有睡意的概率；根据识别得到驾驶者有睡意的概率判断驾驶者是否有睡意；如果识别得到驾驶者有睡意的概率大于预设值，确定驾驶者有睡意。

在某些实施例中，还包括：根据面部实时图像分析驾驶者的眼部张开百分比和口部张开百分比；根据眼部张开百分比和口部张开百分比判断驾驶者是否有睡意；如果一个时间窗内检测到，眼部张开百分比小于等于第一眼部张开预设值超过第一眼部次数，或者口部张开百分比持续小于等于第一口部张开预设值，确定驾驶者有睡意；如果一个时间窗内检测到，眼部张开百分比持续大于等于第二眼部张开预设值，以及口部张开百分比持续大于等于第二口部张开预设值，根据眼部张开百分比和口部张开百分比的加权平均确定有睡意的概率；如果概率大于预设值时，确定驾驶者有睡意。

在某些实施例中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意，包括：使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者有睡意的概率；检测睡意的方法还包括：根据眼部张开百分比、口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率；其中，如果检测到驾驶者佩戴口罩，根据眼部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率；和/或，如果检测到驾驶者佩戴有色眼镜，根据口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。

在某些实施例中，还包括检测驾驶者是否在笑，其中，如果检测到驾驶者在笑，根据口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。

在某些实施例中，还包括检测驾驶速度；其中，如果检测到驾驶速度大于预设速度，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意。

在某些实施例中，还包括：根据面部实时图像分析驾驶者的面部是否持续朝下；如果驾驶者的面部持续朝下，确定驾驶者有睡意。

第二方面，本申请提供了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；计算机程序被处理器执行时实现检测睡意的方法的步骤。

第三方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有睡意检测程序，睡意检测程序被处理器执行时实现检测睡意的方法的步骤。

第四方面，本申请提供了一种检测睡意的系统，包括：方向盘角度仪；光学图像传感器；计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；其中，计算机程序被处理器执行时实现检测睡意的方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例提供的该方法，使用深度学习模型识别驾驶者是否有睡意，并且该方法既包括使用深度学习模型的点头和哈欠识别，又包括根据方向盘数据通过使用深度学习模型识别睡意，提高了睡意识别的可靠性和准确度，并且适用于驾驶者戴眼镜、戴口罩的情况。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的睡意检测系统一种实施方式的硬件结构示意图；

图2为本申请实施例提供的计算机设备一种实施方式的硬件示意图；

图3为本申请实施例提供的睡意检测程序一种实施方式的结构框图；以及

图4为本申请实施例提供的检测睡意的方法一种实施方式的流程图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

图1为本申请实施例提供的睡意检测系统一种实施方式的硬件结构示意图，如图1所示，睡意检测系统100包括：方向盘角度仪10、光学图像传感器20和计算机设备30。方向盘角度仪10，设置于方向盘，检测方向盘的转动。光学图像传感器20，采集驾驶者的面部图像。计算机设备30可包括车辆内的控制系统，或者其他计算机设备。计算机设备30与方向盘角度仪10及光学图像传感器20通信连接。

在某些实施例中，光学图像传感器20为红外摄像头。作为示例性说明，红外摄像头通过红外线滤光片实现日夜转换，即在白天时打开滤光片，以阻挡红外线进入电荷耦合器件(CCD)，让CCD只能感应到可见光；夜视或光照条件不好的状态下，滤光片停止工作，不再阻挡红外线进入CCD，红外线经物体反射后进入镜头进行成像。

在某些实施例中，计算机设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器，或者多个服务器所组成的服务器集群)等。如图2所示，本实施例的计算机设备30至少包括但不限于：可通过系统总线相互通信连接的存储器31、处理器32。需要指出的是，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

本实施例中，存储器31(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器31可以是计算机设备30的内部存储单元，例如该计算机设备30的硬盘或内存。在另一些实施例中，存储器31也可以是计算机设备30的外部存储设备，例如该计算机设备30上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器31还可以既包括计算机设备30的内部存储单元也包括其外部存储设备。本实施例中，存储器31通常用于存储安装于计算机设备30的操作系统和各类应用软件，例如检测睡意的程序代码等。此外，存储器31还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器32在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器32通常用于控制计算机设备30的总体操作。本实施例中，处理器32用于运行存储器31中存储的程序代码或者处理数据，例如睡意检测程序，以实现检测睡意的方法的步骤。

图3为本申请提供的一种睡意检测程序的结构框图，如图3所示，睡意检测程序包括：方向盘检测模块311、点头动作检测模块312、哈欠动作检测模块313、眼部张开检测模块314、口部张开检测模块315，以及决策模块316。

方向盘检测模块311，根据方向盘方向改变的频率和幅度，使用第一深度学习模型40，识别驾驶者是否有睡意。在某些实施例中，识别出驾驶者有睡意或无睡意。在另一些实施例中，识别出驾驶者有睡意的概率。作为示例性说明，第一深度学习模型40由方向盘数据预先训练得到，方向盘数据包括方向盘方向改变的频率和幅度，以及驾驶者是否有睡意的标签。作为示例性说明，第一深度学习模型40为卷积层网络架构，有24卷积层和2层全连结层。

点头动作检测模块312和哈欠动作检测模块313，根据一个时间窗内的面部实时图像，使用第二深度学习模型50识别驾驶者是否有点头动作和哈欠动作。一个时间窗内包含多帧连续的图像。在某些实施例中，第二深度学习模型50由面部实时图像训练所得。作为示例性说明，第二深度学习模型50为卷积层网络架构，有24卷积层和2层全连结层。

眼部张开检测模块314，根据面部实时图像，分析驾驶者眼部张开的百分比。口部张开检测模块315，根据面部实时图像，分析驾驶者口部张开的百分比。

在本申请实施例中，关于模型训练数据的内容和形式，模型训练方法是用约5000张真实图片去训练模型辨认口罩，笑，眼镜，打呵欠。训练方法是用上了24层卷积层接上2层全积层去计算。

在本申请实施例中，关于口部及眼部的百分比计算，通过用了图像分析方法的面部标志(face landmark)分析面部特征，分别用了face landmark中的点去计算口部及眼部像素点(pixel)作为面积。分别用了第37-42点去计算右眼的pixel，再用43-48点去计算左眼的pixel，而口部pixel则用第61-68点去计算。具体参考相关技术，本申请对此不做赘述。

作为示例性说明，最初先用10秒时间用上述方法得出正常情况下的口部，眼部的pixel作为正常情况下的口部，眼部面积，之后再实时侦测口部，眼部的pixel变化，就可以得出口部，眼部的面积变化。

决策模块316，根据方向盘检测模块311、点头动作检测模块312、哈欠动作检测模块313、眼部张开检测模块314、口部张开检测模块315中至少部分检测结果，确定驾驶者是否有睡意。

图4为本申请实施例提供的检测睡意的方法一种实施方式的流程图，如图4所示，检测睡意的方法包括步骤S402至步骤S404。

步骤S402，通过方向盘角度仪检测方向盘方向改变的频率和幅度；使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意。

步骤S404，通过光学图像传感器获取驾驶者的面部实时图像；使用第二深度学习模型，根据一个时间窗内的面部实时图像，识别驾驶者的点头动作和/或哈欠动作；根据点头动作和/或哈欠动作的频率确定驾驶者是否有睡意。

在某些实施例中，步骤S404中，如果5秒内侦测到3次或以上的点头，则确认为有睡意。

在某些实施例中，步骤S402中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意，包括：使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者有睡意的概率；根据识别得到驾驶者有睡意的概率判断驾驶者是否有睡意；如果识别得到驾驶者有睡意的概率大于预设值(例如80％)，确定驾驶者有睡意。

在某些实施例中，检测睡意的方法还包括：根据面部实时图像分析驾驶者的眼部张开百分比和口部张开百分比；根据眼部张开百分比和口部张开百分比判断驾驶者是否有睡意。

其中，如果一个时间窗(例如3秒)内检测到，眼部张开百分比持续小于等于第一眼部张开预设值(例如20％)，或者口部张开百分比持续小于等于第一口部张开预设值(例如30％)，确定驾驶者有睡意。

其中，如果一个时间窗(例如5秒)内检测到，眼部张开百分比大于等于第二眼部张开预设值(例如40％)超过第二眼部次数，以及口部张开百分比大于等于第二口部张开预设值超过第二口部次数，根据眼部张开百分比和口部张开百分比的加权平均确定有睡意的概率；如果该概率(例如95％)大于预设值时，确定驾驶者有睡意。

在某些实施例中，步骤S402中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意，包括：使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者有睡意的概率。检测睡意的方法还包括：根据眼部张开百分比、口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。如果该概率大于预设值(例如95％)时，确定驾驶者有睡意。

在某些实施例中，还包括检测驾驶者是否佩戴口罩，如果检测到驾驶者佩戴口罩，根据眼部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。在某些实施例中，还包括检测驾驶者是否佩戴有色眼镜，如果检测到驾驶者佩戴有色眼镜，根据口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。

在某些实施例中，检测睡意的方法还包括检测驾驶者是否在笑，其中，如果检测到驾驶者在笑，则根据口部张开百分比和第一深度学习模型识别所得概率之间的加权平均值，确定驾驶者有睡意的概率。如果该概率大于预设值(例如95％)时，确定驾驶者有睡意。

在某些实施例中，检测睡意的方法还包括检测驾驶速度。如果检测到驾驶速度大于预设速度(例如10Km/h)，则步骤S402中，使用第一深度学习模型，根据一个时间窗内的方向盘方向改变的频率和幅度，识别驾驶者是否有睡意；否则，不使用方向盘方向改变的频率和幅度识别驾驶者是否有睡意。

在某些实施例中，检测睡意的方法还包括：根据面部实时图像分析驾驶者的面部是否持续朝下。如果驾驶者的面部持续朝下，确定驾驶者有睡意。

本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于存储睡意检测程序，被处理器执行时实现检测睡意的方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。