驾驶员脚部行为违规检测方法、装置、设备及存储介质

技术领域

本发明属于行车安全检测技术领域，尤其涉及一种驾驶员脚部行为违规检测方法、装置、设备及存储介质。

背景技术

通常对驾驶员的违规行为的检测主要集中在驾驶员是否疲劳驾驶以及危险驾驶，比如是否在驾驶过程中抽烟、打电话等，但是还有一个非常重要的部分常常被忽略，那就是驾驶员的脚部行为，当脚从刹车踏板移到油门踏板后，脚后跟还在刹车踏板上，或者脚从油门踏板移到刹车踏板后，脚后跟还在油门踏板上，这些行为非常危险，很容易造成事故。目前还没有针对性的违规检测技术。

发明内容

基于此，针对上述技术问题，提供一种驾驶员脚部行为违规检测方法、装置、设备及存储介质。

本发明采用的技术方案如下：

作为本发明的第一方面，提供一种驾驶员脚部行为违规检测方法，包括：

实时获取驾驶员的脚部视频；

在每一个脚部视频帧中，识别右脚目标，确定所述右脚目标与油门踏板的第一重合占比以及所述右脚目标与刹车踏板的第二重合占比；

判断在预设数量的连续多个脚部视频帧中，所述第一重合占比以及第二重合占比是否均大于阈值，若是，则当前脚部行为违规。

作为本发明的第二方面，提供一种驾驶员脚部行为违规检测装置，包括：

视频获取模块，用于实时获取驾驶员的脚部视频；

重合占比确定模块，用于在每一个脚部视频帧中，识别右脚目标，确定所述右脚目标与油门踏板的第一重合占比以及所述右脚目标与刹车踏板的第二重合占比；

违规判断模块，用于判断在预设数量的连续多个脚部视频帧中，所述第一重合占比以及第二重合占比是否均大于阈值，若是，则当前脚部行为违规。

作为本发明的第三方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述第一方面的一种驾驶员脚部行为违规检测方法。

作为本发明的第四方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述第一方面的一种驾驶员脚部行为违规检测方法。

本发明可以针对驾驶员的脚部行为进行实时地违规检测，填补了技术上的空白，并且有助于及时避免事故的发生。

附图说明

下面结合附图和具体实施方式对本发明进行详细说明：

图1为本发明实施例提供的一种驾驶员脚部行为违规检测方法的流程图；

图2为本发明的右脚目标框的示意图；

图3为本发明的右脚目标图的示意图；

图4为本发明的右脚轮廓的示意图；

图5为本发明的去噪后的右脚轮廓的示意图；

图6为本发明实施例提供的一种驾驶员脚部行为违规检测装置的示意图；

图7为本发明实施例提供的一种电子设备的示意图。

具体实施方式

以下将结合说明书附图对本发明的实施方式予以说明。需要说明的是，本说明书中所涉及的实施方式不是穷尽的，不代表本发明的唯一实施方式。以下相应的实施例只是为了清楚的说明本发明专利的发明内容，并非对其实施方式的限定。对于该领域的普通技术人员来说，在该实施例说明的基础上还可以做出不同形式的变化和改动，凡是属于本发明的技术构思和发明内容并且显而易见的变化或变动也在本发明的保护范围之内。

如图1所示，本发明实施例提供一种驾驶员脚部行为违规检测方法，其具体流程如下：

S101、从摄像头实时获取驾驶员的脚部视频。

摄像头设置在油门踏板和刹车踏板的斜上方。

S102、在每一个脚部视频帧中，识别右脚目标，确定右脚目标与油门踏板的第一重合占比以及右脚目标与刹车踏板的第二重合占比。

其中，在识别右脚目标时，将当前脚部视频帧输入深度学习目标检测模型，如yolov5模型，得到右脚目标框，参见图2。上述模型预先通过大量的右脚样本图片进行训练优化。

上述第一重合占比和第二重合占比的确定过程如下：

1、由于直接从图2所示图像中提取轮廓的干扰性较高，故以右脚目标框为边界，在当前脚部视频帧中截取右脚目标图，参见图3。

2、通过Sobel算子对右脚目标图进行边缘检测，确定右脚轮廓，参见图4，为了排除干扰信息，可以对右脚轮廓进一步进行去噪处理，去噪后的右脚轮廓参见图5。

3、由于油门踏板和刹车踏板在摄像机画面中的位置是固定，故可以预先确定并保存油门踏板轮廓和刹车踏板轮廓，在实际检测时，根据右脚轮廓以及预先确定的油门踏板轮廓和刹车踏板轮廓，计算右脚轮廓面积、右脚轮廓和油门踏板轮廓的重合区域的第一面积以及右脚轮廓和刹车踏板轮廓的重合区域的第二面积，具体计算过程为：

a、根据右脚轮廓、油门踏板轮廓以及刹车踏板轮廓，分别生成右脚轮廓二值图、油门踏板轮廓二值图以及刹车踏板轮廓二值图，在二值图中，位于轮廓内的像素点的像素值为1，其余像素点的像素值为0。

b、计算右脚轮廓二值图中像素值为1的所有像素点所构成区域的面积，得到右脚轮廓面积。

c、对右脚轮廓二值图和油门踏板轮廓二值图进行相与计算，得到第一重合图，计算第一重合图中像素值为1的所有像素点所构成区域的面积，得到第一面积，对右脚轮廓二值图和刹车踏板轮廓二值图进行相与计算，得到第二重合图，计算第二重合图中像素值为1的所有像素点所构成区域的面积，得到第二面积。

4、将第一面积除以右脚轮廓面积，得到第一重合占比，将第二面积除以右脚轮廓面积，得到第二重合占比。

S103、判断在预设数量的连续多个脚部视频帧中(如连续5帧)，第一重合占比以及第二重合占比是否均大于阈值，若是，则当前脚部行为违规。

由于脚部行为是一个连续动作，在完成时会有段时间的停顿，所以当在连续多个脚部视频帧中都出现第一重合占比以及第二重合占比均大于阈值的情况时，认为当前脚部行为违规，此时可以进行相应的告警处理，以提醒驾驶员及时纠正违规行为，从而及时避免事故的发生。

在本实施例中，上述阈值可以设置为50％。

由上可知，本实施例方法可以针对驾驶员的脚部行为进行实时地违规检测，填补了技术上的空白，并且有助于及时避免事故的发生。

以下将详细描述本发明的一个或多个实施例的驾驶员脚部行为违规检测装置。本领域技术人员可以理解，这些检测装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。图6示出了本发明实施例提供的一种驾驶员脚部行为违规检测装置，如图6所示，该检测装置包括视频获取模块11、重合占比确定模块12以及违规判断模块13。

视频获取模块11，用于从摄像头实时获取驾驶员的脚部视频。

重合占比确定模块12，用于在每一个脚部视频帧中，识别右脚目标，确定右脚目标与油门踏板的第一重合占比以及右脚目标与刹车踏板的第二重合占比。

其中，在识别右脚目标时，将当前脚部视频帧输入深度学习目标检测模型，如yolov5模型，得到右脚目标框，参见图2。上述模型预先通过大量的右脚样本图片进行训练优化。

上述第一重合占比和第二重合占比的确定过程如下：

1、由于直接从图2所示图像中提取轮廓的干扰性较高，故以右脚目标框为边界，在当前脚部视频帧中截取右脚目标图，参见图3。

2、通过Sobel算子对右脚目标图进行边缘检测，确定右脚轮廓，参见图4，为了排除干扰信息，可以对右脚轮廓进一步进行去噪处理，去噪后的右脚轮廓参见图5。

3、由于油门踏板和刹车踏板在摄像机画面中的位置是固定，故可以预先确定并保存油门踏板轮廓和刹车踏板轮廓，在实际检测时，根据右脚轮廓以及预先确定的油门踏板轮廓和刹车踏板轮廓，计算右脚轮廓面积、右脚轮廓和油门踏板轮廓的重合区域的第一面积以及右脚轮廓和刹车踏板轮廓的重合区域的第二面积，具体计算过程为：

a、根据右脚轮廓、油门踏板轮廓以及刹车踏板轮廓，分别生成右脚轮廓二值图、油门踏板轮廓二值图以及刹车踏板轮廓二值图，在二值图中，位于轮廓内的像素点的像素值为1，其余像素点的像素值为0。

b、计算右脚轮廓二值图中像素值为1的所有像素点所构成区域的面积，得到右脚轮廓面积。

c、对右脚轮廓二值图和油门踏板轮廓二值图进行相与计算，得到第一重合图，计算第一重合图中像素值为1的所有像素点所构成区域的面积，得到第一面积，对右脚轮廓二值图和刹车踏板轮廓二值图进行相与计算，得到第二重合图，计算第二重合图中像素值为1的所有像素点所构成区域的面积，得到第二面积。

4、将第一面积除以右脚轮廓面积，得到第一重合占比，将第二面积除以右脚轮廓面积，得到第二重合占比。

违规判断模块13，用于判断在预设数量的连续多个脚部视频帧中(如连续5帧)，第一重合占比以及第二重合占比是否均大于阈值，若是，则当前脚部行为违规。

由于脚部行为是一个连续动作，在完成时会有段时间的停顿，所以当在连续多个脚部视频帧中都出现第一重合占比以及第二重合占比均大于阈值的情况时，认为当前脚部行为违规，此时可以进行相应的告警处理，以提醒驾驶员及时纠正违规行为，从而及时避免事故的发生。

在本实施例中，上述阈值可以设置为50％。

综上，上述实施例提供的驾驶员脚部行为违规检测装置可以执行前述各实施例中提供的驾驶员脚部行为违规检测方法。

与上述构思相同，上述图6所示的驾驶员脚部行为违规检测装置的结构可实现为一电子设备，图7示出了本发明实施例提供的一种电子设备的结构示意性框图。

示例性的，电子设备包括存储模块21以及处理器22，存储模块21包括由处理器22加载并执行的指令，指令在被执行时使处理器22执行本说明书上述一种驾驶员脚部行为违规检测方法部分中描述的根据本发明各种示例性实施方式的步骤。

应当理解的是，处理器22可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器22还可以是其它通用处理器、数字信号处理器

(DigitalSignalProcessor，DSP)、专用集成电路

(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例中还提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现上述一种驾驶员脚部行为违规检测方法部分中描述的根据本发明各种示例性实施方式的步骤。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读存储介质上，计算机可读存储介质可以包括计算机可读存储介质(或非暂时性介质)和通信介质(或暂时性介质)。

如本领域普通技术人员公知的，术语计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机可读存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

示例性的，计算机可读存储介质可以是前述实施例的电子设备的内部存储单元，例如电子设备的硬盘或内存。计算机可读存储介质也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。

前述各实施例提供的电子设备和计算机可读存储介质，可以针对驾驶员的脚部行为进行实时地违规检测，填补了技术上的空白，并且有助于及时避免事故的发生。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。