一种驾驶员注意力检测方法、装置、电子设备及存储介质

技术领域

本申请涉及车辆驾驶技术领域，尤其涉及一种驾驶员注意力检测方法、装置、电子设备及存储介质。

背景技术

对于驾驶员的注意力检测，其判断方法为驾驶员视线是否落在前方车道上，在视线落在前方车道上时判定为注意力正常。

但现有技术无法应对部分场景，在转向时，驾驶员会自然地检查车辆左右方情况，从而视线不一定会落在前方道路上，则此时当前分心检测的方法失效。

可见，现有技术对于驾驶员的注意力检测不够准确。

发明内容

本申请实施例的目的是提供一种驾驶员注意力检测方法、装置、电子设备及存储介质，以解决现有技术对于驾驶员的注意力检测不够准确的问题。

为了解决上述技术问题，本发明实施例是这样实现的：

第一方面，本申请实施例提供了一种驾驶员注意力检测方法，包括：

通过预设的视觉检测方法，从驾驶员图像中得到与驾驶员的视线对应的第一射线；

通过预设的目标检测方法，从道路图像中得到从车辆到检测目标的第二射线；

根据所述第一射线与第二射线相互间的位置关系，确定所述驾驶员的注意力是否分散。

第二方面，本发明实施例提供了一种驾驶员注意力检测装置，包括：

视觉检测模块，用于通过预设的视觉检测方法，从驾驶员图像中得到与驾驶员的视线对应的第一射线；

目标检测模块，用于通过预设的目标检测方法，从道路图像中得到从车辆到检测目标的第二射线；

注意力判断模块，用于根据所述第一射线与第二射线相互间的位置关系，确定所述驾驶员的注意力是否分散。

第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的驾驶员注意力检测方法步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的驾驶员注意力检测方法步骤。

由以上本发明实施例提供的技术方案可见，本发明实施例通过预设的视觉检测方法，从驾驶员图像中得到与驾驶员的视线对应的第一射线；通过预设的目标检测方法，从道路图像中得到从车辆到检测目标的第二射线；根据所述第一射线与第二射线相互间的位置关系，确定所述驾驶员的注意力是否分散。通过本发明实施例，实现了对驾驶员注意力的准确判断，降低了漏检率和误检率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的驾驶员注意力检测方法的第一种流程示意图；

图2为本发是实施例提供的第一射线与第二射线的关系示意图；

图3为本发明实施例提供的驾驶员注意力检测方法的第二种流程示意图；

图4为本发明实施例提供的道路图像示意图；

图5为本发明实施例提供的形成第二射线示意图；

图6为本发明实施例提供的驾驶员注意力检测方法的第三种流程示意图；

图7为本发明实施例提供的驾驶员注意力检测装置的模块组成示意图；

图8为本发明实施例提供的电子设备的结构示意图。

具体实施方式

本发明实施例提供了一种驾驶员注意力检测方法、装置、电子设备及存储介质。

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1所示，本发明实施例提供一种驾驶员注意力检测方法，该方法的执行主体为注意力检测装置。该方法具体可以包括以下步骤：

步骤S01、通过预设的视觉检测方法，从驾驶员图像中得到与驾驶员的视线对应的第一射线。

通过在车辆内部安装的图像采集装置获取驾驶员图像。利用计算机视觉技术，通过预设的视觉检测方法对驾驶员图像进行分析处理，确定驾驶员的眼球的位置坐标及视线方向。具体的分析处理过程可由视觉检测方法确定，例如，可以先对驾驶员图像进行人脸特征分析，利用特征分类器检测出驾驶员图像中的脸部图像，然后对脸部图像中眼眶进行定位，接下来通过对左、右眼球中心进行定位来作为左、右眼球的位置坐标，最后通过视线方向估计算法，得到驾驶员的视线方向。

将所述左右眼球的位置坐标的平均值和视线方向分别作为起始点和方向，得到所述驾驶员的视线对应的第一射线。

步骤S02、通过预设的目标检测方法，从道路图像中得到从车辆到检测目标的第二射线。

在采集驾驶员图像的同时，通过设置在车辆前方的图像采集设备采集车辆前方的道路图像。通过预设的目标检测方法，从所述道路图像中识别出检测目标，并得到车辆到所检测目标的第二射线。

应理解的是，若所述检测目标为车辆还可以进一步识别出所述检测目标的车辆信息，包括：品牌、型号、车牌等，并可通过例如，增强现实抬头显示器AR-HUD对车辆信息进行呈现。

所述步骤S01和S02不分前后，可同时进行。

步骤S03、根据所述第一射线与第二射线相互间的位置关系，确定所述驾驶员的注意力是否分散。

如图2所示，通过上述步骤分别得到了当前的第一射线和第二射线，从中分析所述第一射线与第二射线之间的位置关系，来判断驾驶员的视线是否正对着所述检测目标，即驾驶员是否正注视着所述检测目标。若判定所述驾驶员正注视着所述检测目标，则确定所述驾驶员的注意力集中，未出现注意力分散的情况。

由以上本发明实施例提供的技术方案可见，本发明实施例通过预设的视觉检测方法，从驾驶员图像中得到与驾驶员的视线对应的第一射线；通过预设的目标检测方法，从道路图像中得到从车辆到检测目标的第二射线；根据所述第一射线与第二射线相互间的位置关系，确定所述驾驶员的注意力是否分散。通过本发明实施例，实现了对驾驶员注意力的准确判断，降低了漏检率和误检率。

进一步的，如图3所示，上述步骤S02的具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以参见下述步骤S021-S022的处理。

步骤S021、根据由位于车辆前方的图像采集设备获取的道路图像，通过预设的目标检测方法，识别出位于前方道路的检测目标。

通过位于车辆前方的图像采集设备获取如图4所示的道路图像，并从中识别出检测目标。所述检测目标为在道路图像中能够成功识别的物体或标识，例如，机动或非机动车辆、行人、在道路中的障碍物、车道上或车道边的道路标识等。

步骤S022、从所述图像采集设备向所述检测目标进行连线，得到第二射线。

从图像采集设备的光心向所述检测目标的中心进行连线，得到所述第二射线。具体的连线过程如图5所示，计算图片中心点到摄像头光心的距离：L_c＝0.5*L*ctan(0.5*a_fov)，其中L为图像尺寸长度，a_fov为摄像头FOV角参数；检测目标的方向角a_o＝arctan(l/L_c)，其中l为检测目标在图像内的边界框的中心距离图像中心的距离；分别对图像的x和y方向进行上述计算，即得到摄像头到检测目标的第二射线。所述这第二射线的起点为摄像头的光心位置，所述光心位置可由实验标定得到。

由以上本发明实施例提供的技术方案可见，本发明实施例通过根据由位于车辆前方的图像采集设备获取的道路图像，通过预设的目标检测方法，识别出位于前方道路的检测目标；根据所述图像采集设备和所述检测目标的连线，得到第二射线。通过本发明实施例，实现了对驾驶员注意力的准确判断，降低了漏检率和误检率。

进一步的，如图6所示，上述步骤S03的具体处理方式可以多种多样，以下再提供一种可选的处理方式，具体可以参见下述步骤S031-S032的处理。

步骤S031、计算所述第一射线与第二射线之间的距离，若所述距离小于预设的距离阈值，则判定所述驾驶员的注意力集中。

在分析所述第一射线与第二射线之间的位置关系时，可以通过计算第一射线与第二射线之间的距离。将得到的距离与预设的距离阈值进行比较，若小于所述预设的距离阈值，则判定所述驾驶员的视线对准所述检测目标，驾驶员的注意力集中。此时，即使驾驶员的视线未落在前方车道上，依然可认为驾驶员的视线集中在所述检测目标，所述驾驶员注意力集中。

应理解的是，所述第一射线与第二射线之间的距离具体为，所述第一射线和第二射线在三维空间中的最短距离，可通过分别计算用于组成第一射线和第二射线的各点之间的距离，并取其中的最小值，又或者，可以在第一射线和第二射线间划出一条分别垂直于第一射线和第二射线的线段，并计算该线段的距离。所述第一射线和第二射线之间的最短距离可根据实际的需要进行设定，具体的计算过程可由预先编写的计算机程序实现。

步骤S032、若在预设的时间段内，未识别出距离小于所述预设的距离阈值的检测目标，则判定所述驾驶员的注意力分散。

若所述第一射线与第二射线之间的距离不小于所述距离阈值，则判定所述驾驶员的视线并未对准所述检测目标。需要从所述道路图像中重新识别出新的检测目标，构建与新的检测目标对应的第二射线，并重新计算第一射线与第二射线之间的距离，再与所述距离阈值进行比较。直到识别出第一射线与第二射线的距离小于所述距离阈值的检测目标，从而判定所述驾驶员的注意力集中。

而若在预设的时间段内，未识别出距离小于预设阈值的检测目标，则判定所述驾驶员的视线未对准任一检测目标，所述驾驶员的注意力处于分散的状态，需要发出相应的警示信息。

进一步的，所述步骤S032具体为：

步骤S033、若依次识别的预设数量的检测目标对应的第一射线与第二射线之间的距离均不小于预设距离阈值，则确定所述驾驶员的注意力分散。

同样，若在所述预设时间段内，连续识别出预设数量的检测目标，但计算得到的第一射线与第二射线的距离均不小于所述距离阈值，则同样可判定所述驾驶员的视线未对准任一检测目标，所述驾驶员的注意力处于分散的状态，需要发出相应的警示信息。

由以上本发明实施例提供的技术方案可见，本发明实施例通过计算所述第一射线与第二射线之间的距离，并与预设的距离阈值进行比较从而来确定驾驶员的注意力状态。通过本发明实施例，实现了对驾驶员注意力的准确判断，降低了漏检率和误检率。

进一步的，在所述步骤S031后，所述方法还包括：

步骤S04、将所述第一射线与第二射线之间的距离对应的线段的中心，作为所述检测目标的位置。

通过所述检测目标的位置的坐标可确定检测目标相对车辆的位置关系。

由以上本发明实施例提供的技术方案可见，本发明实施例通过将所述第一射线与第二射线之间的距离对应的线段的中心，作为所述检测目标的位置。通过本发明实施例，提高了目标检测的可靠性，同时可以通过明确原理计算出检测目标的位置。

对应上述实施例提供的驾驶员注意力检测方法，基于相同的技术构思，本发明实施例还提供了一种驾驶员注意力检测装置，图7为本发明实施例提供的驾驶员注意力检测装置的模块组成示意图，该驾驶员注意力检测装置用于执行图1至图6描述的驾驶员注意力检测方法，如图7所示，该驾驶员注意力检测装置包括：视觉检测模块701、目标检测模块702和注意力判断模块703。

视觉检测模块701用于通过预设的视觉检测方法，从驾驶员图像中得到与驾驶员的视线对应的第一射线；

目标检测模块702用于通过预设的目标检测方法，从道路图像中得到从车辆到检测目标的第二射线；

注意力判断模块703用于根据所述第一射线与第二射线相互间的位置关系，确定所述驾驶员的注意力是否分散。

由以上本发明实施例提供的技术方案可见，本发明实施例通过预设的视觉检测方法，从驾驶员图像中得到与驾驶员的视线对应的第一射线；通过预设的目标检测方法，从道路图像中得到从车辆到检测目标的第二射线；根据所述第一射线与第二射线相互间的位置关系，确定所述驾驶员的注意力是否分散。通过本发明实施例，实现了对驾驶员注意力的准确判断，降低了漏检率和误检率。

进一步的，所述目标检测模块，包括：

第一检测单元，用于根据由位于车辆前方的图像采集设备获取的道路图像，通过预设的目标检测方法，识别出位于前方道路的检测目标；

第二检测单元，用于从所述图像采集设备向所述检测目标进行连线，得到第二射线。

由以上本发明实施例提供的技术方案可见，本发明实施例通过根据由位于车辆前方的图像采集设备获取的道路图像，通过预设的目标检测方法，识别出位于前方道路的检测目标；根据所述图像采集设备和所述检测目标的连线，得到第二射线。通过本发明实施例，提高了目标检测的可靠性，同时可以通过明确原理计算出检测目标的位置，实现了对驾驶员注意力的准确判断，降低了漏检率和误检率。

进一步的，所述注意力判断模块，包括：

第一判断单元，用于计算所述第一射线与第二射线之间的距离，若所述距离小于预设的距离阈值，则判定所述驾驶员的注意力集中；

第二判断单元，用于若在预设的时间段内，未识别出距离小于所述预设的距离阈值的检测目标，则判定所述驾驶员的注意力分散。

进一步的，所述第二判断单元还用于，若依次识别的预设数量的检测目标对应的第一射线与第二射线之间的距离均不小于预设距离阈值，则确定所述驾驶员的注意力分散。

由以上本发明实施例提供的技术方案可见，本发明实施例通过计算所述第一射线与第二射线之间的距离，并与预设的距离阈值进行比较从而来确定驾驶员的注意力状态。通过本发明实施例，实现了对驾驶员注意力的准确判断，降低了漏检率和误检率。

进一步的，所述装置还包括：位置确定模块，用于将所述第一射线与第二射线之间的距离对应的线段的中点，作为所述检测目标的位置。

由以上本发明实施例提供的技术方案可见，本发明实施例通过将所述第一射线与第二射线之间的距离对应的线段的中心，作为所述检测目标的位置。通过本发明实施例，提高了目标检测的可靠性，同时可以通过明确原理计算出检测目标的位置。

本发明实施例提供的驾驶员注意力检测装置能够实现上述驾驶员注意力检测方法对应的实施例中的各个过程，为避免重复，这里不再赘述。

需要说明的是，本发明实施例提供的驾驶员注意力检测装置与本发明实施例提供的驾驶员注意力检测方法基于同一发明构思，因此该实施例的具体实施可以参见前述驾驶员注意力检测方法的实施，重复之处不再赘述。

对应上述实施例提供的驾驶员注意力检测方法，基于相同的技术构思，本发明实施例还提供了一种电子设备，该电子设备用于执行上述的驾驶员注意力检测方法，图8为实现本发明各个实施例的一种电子设备的结构示意图，如图8所示。电子设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对电子设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在电子设备上执行存储器802中的一系列计算机可执行指令。电子设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806。

具体在本实施例中，电子设备包括有处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现以下方法步骤：

通过预设的视觉检测方法，从驾驶员图像中得到与驾驶员的视线对应的第一射线；

通过预设的目标检测方法，从道路图像中得到从车辆到检测目标的第二射线；

根据所述第一射线与第二射线相互间的位置关系，确定所述驾驶员的注意力是否分散。

本申请实施例还提供一种计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下方法步骤：

通过预设的视觉检测方法，从驾驶员图像中得到与驾驶员的视线对应的第一射线；

通过预设的目标检测方法，从道路图像中得到从车辆到检测目标的第二射线；

根据所述第一射线与第二射线相互间的位置关系，确定所述驾驶员的注意力是否分散。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，电子设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、装置或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。