一种危险驾驶行为检测方法、装置、设备及存储介质

技术领域

本申请涉及图像信号处理技术领域，具体涉及一种危险驾驶行为检测方法、装置、设备及存储介质。

背景技术

目前，危险驾驶行为导致的车辆事故逐年上升，人们对汽车行驶过程中的安全问题迫切关注。在现有的危险驾驶行为检测任务中，通常将驾驶行为红外图像缩小至深度学习神经网络对应的输入图像尺寸的大小，再基于深度学习神经网络对缩小的红外图像进行危险驾驶行为检测。

然而，由于红外图像的RGB三个通道的像素值是一样的，深度学习神经网络对红外图像的三个通道进行特征提取时，相当于对一个通道进行特征提取，这就导致在其余两个通道提取的信息是冗余的，在造成模型计算资源浪费的同时，影响了危险驾驶行为检测的准确率。

发明内容

本申请提供了一种危险驾驶行为检测方法、装置、设备及存储介质，可以在输入模型的图像尺寸不变的情况下，使得输入图像能够包含更多的信息量，从而在避免模型计算资源浪费的同时，可以提升行为检测结果的准确率，本申请技术方案如下：

一方面，提供了一种危险驾驶行为检测方法，所述方法包括：

在车辆行驶过程中，获取驾驶员对应的初始驾驶行为图像，所述初始驾驶行为图像为初始多通道红外图像；

从所述初始驾驶行为图像对应的多个初始单通道红外图像中提取任一初始单通道红外图像作为目标图像，所述多个初始单通道红外图像各自的像素值相同；

基于所述目标图像进行图像转化处理，得到所述目标图像对应的多个目标子图像，所述多个目标子图像各自的像素值不同；

对所述多个目标子图像进行图像通道合并，得到目标驾驶行为图像；

将所述目标驾驶行为图像输入危险驾驶行为检测模型进行危险驾驶行为检测，得到行为检测结果。

另一方面，提供了一种危险驾驶行为检测装置，所述装置包括：

图像获取模块，用于在车辆行驶过程中，获取驾驶员对应的初始驾驶行为图像，所述初始驾驶行为图像为初始多通道红外图像；

目标图像提取模块，用于从所述初始驾驶行为图像对应的多个初始单通道红外图像中提取任一初始单通道红外图像作为目标图像，所述多个初始单通道红外图像各自的像素值相同；

图像转化处理模块，用于基于所述目标图像进行图像转化处理，得到所述目标图像对应的多个目标子图像，所述多个目标子图像各自的像素值不同；

图像通道合并模块，用于对所述多个目标子图像进行图像通道合并，得到目标驾驶行为图像；

危险驾驶行为检测模块，用于将所述目标驾驶行为图像输入危险驾驶行为检测模型进行危险驾驶行为检测，得到行为检测结果。

另一方面，提供了一种危险驾驶行为检测设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的危险驾驶行为检测方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的危险驾驶行为检测方法。

本申请提供的危险驾驶行为检测方法、装置、设备及存储介质，具有如下技术效果：

利用本申请提供的技术方案，在车辆行驶过程中，获取驾驶员对应的初始驾驶行为图像，该初始驾驶行为图像为包含有多个初始单通道红外图像的初始多通道红外图像，多个初始单通道红外图像各自的像素值相同；再基于多个初始单通道红外图像中的任一初始单通道红外图像进行图像转化处理，得到目标图像对应的多个目标子图像，多个目标子图像各自的像素值不同；与现有技术中直接将红外驾驶行为图像进行缩小处理得到的缩小红外图像相比，对多个目标子图像进行图像通道合并得到的目标多通道红外图像的像素值的熵值更大，包含的信息量更多，因此，将该目标多通道红外图像输入危险驾驶行为检测模型进行危险驾驶行为检测，能够提升危险驾驶行为检测的准确率；此外，由于目标多通道红外图像对应的多个单通道红外图像各自的像素值不同，能够避免危险驾驶行为检测模型的冗余计算，从而避免计算资源的浪费。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种危险驾驶行为检测方法的流程示意图；

图2是本申请实施例提供的一种基于目标图像进行图像转化处理，得到目标图像对应的多个目标子图像的流程示意图；

图3是本申请实施例提供的一种图像尺寸缩放的示意图；

图4是本申请实施例提供的一种对目标图像进行目标方向的像素采样，得到所述目标图像中多个采样像素点对应的像素值的流程示意图；

图5a-c是本申请实施例提供的一组像素采样的示意图；

图6是本申请实施例提供的一种将目标驾驶行为图像输入危险驾驶行为检测模型进行危险驾驶行为检测，得到行为检测结果的流程示意图；

图7是本申请实施例提供的一种基于上述危险驾驶行为检测方法得到的危险驾驶行为预警方法的流程图；

图8是本申请实施例提供的一种模型训练方法的流程示意图；

图9是本申请实施例提供的另一种模型训练方法的流程示意图；

图10是本申请实施例提供的另一种模型训练方法的流程示意图；

图11是本申请实施例提供的一种危险驾驶行为检测方法装置示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

以下介绍本申请实施例提供的一种危险驾驶行为检测方法，图1为本申请实施例提供的一种危险驾驶行为检测方法的流程示意图。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示，上述方法可以包括：

S101，在车辆行驶过程中，获取驾驶员对应的初始驾驶行为图像，初始驾驶行为图像为初始多通道红外图像。

在本说明书实施例中，初始驾驶行为图像可以为对驾驶员的驾驶行为进行拍摄得到的初始多通道红外图像。

在一个具体的实施例中，上述获取驾驶员对应的初始驾驶行为图像可以包括：利用单目红外摄像头，采集驾驶员在主驾位置驾驶车辆的红外图像帧序列；从红外图像帧序列中提取一帧红外图像帧，作为原始驾驶行为图像；基于原始驾驶行为图像，得到初始驾驶行为图像。

在一个具体的实施例中，基于原始驾驶行为图像，得到初始驾驶行为图像可以包括：对原始驾驶行为图像帧进行缩放处理，得到初始驾驶行为图像。

S102，从初始驾驶行为图像对应的多个初始单通道红外图像中提取任一初始单通道红外图像作为目标图像，多个初始单通道红外图像各自的像素值相同。

在本说明书实施例中，初始驾驶行为图像可以为包含多个图像通道的红外图像。在一个可选的实施例中，多个图像通道可以包括三个图像通道。

在实际应用中，RGB红外图像对应三个图像通道的像素值都是相同的，即三个图像通道的亮度相同。在一个具体的实施例中，上述三个图像通道可以分别为R通道、G通道和B通道，相应的，初始驾驶行为图像对应的多个初始单通道红外图像可以包括：初始R通道红外图像、初始G通道红外图像和初始B通道红外图像；从初始驾驶行为图像对应的多个初始单通道红外图像中提取任一初始单通道红外图像作为目标图像可以包括：从初始R通道红外图像、初始G通道红外图像和初始B通道红外图像中提取任一图像作为目标图像。

S103，基于目标图像进行图像转化处理，得到目标图像对应的多个目标子图像，多个目标子图像各自的像素值不同。

在本说明书实施例中，目标子图像可以为基于目标图像中的部分像素值进行填充得到的图像。

在本说明书实施例中，这里的图像转化处理可以为将对目标图像进行像素采样后得到的像素值填充至多个待填充单通道图像，得到多个目标子图像。

在一个具体的实施例中，如图2所示，上述基于目标图像进行图像转化处理，得到目标图像对应的多个目标子图像可以包括：

S201，获取多个待填充单通道图像；

S202，对目标图像进行目标方向的像素采样，得到目标图像中多个采样像素点对应的像素值；

S203，将多个采样像素点对应的像素值填充至多个待填充单通道图像中，得到多个目标子图像；

其中，第一图像尺寸为第二图像尺寸与第一数量的乘积，第一图像尺寸为目标图像的图像尺寸，第二图像尺寸为多个待填充单通道图像中任一待填充单通道图像对应的图像尺寸，第一数量为多个待填充单通道图像的数量。

在一个具体的实施例中，待填充单通道图像可以为用于像素填充的预设单通道图像。

在一个具体的实施例中，目标方向可以为像素点的采样方向，具体的，目标方向可以包括：水平采样方向、垂直采样方向和对角线采样方向。

在一个具体的实施例中，第一图像尺寸可以为目标图像的图像尺寸，具体的，第一图像尺寸可以包括：第一图像长度和第一图像宽度，可选的，第一图像长度等于第一图像宽度。

在一个具体的实施例中，第二图像尺寸可以为待填充单通道图像的图像尺寸，由于目标子图像是对待填充单通道图像进行像素填充后得到的图像，因此，第二图像尺寸也可以为目标子图像的图像尺寸。具体的，第二图像尺寸可以包括：第二图像长度和第二图像宽度，可选的，第二图像长度等于第二图像宽度。

在一个具体的实施例中，第一数量可以结合实际应用中图像处理需求进行设置。例如，第一数量可以为3，相应的，第一图像尺寸可以为3倍的第二图像尺寸；第一数量可以为4，相应的，第一图像尺寸可以为4倍的第二图像尺寸。

在一个具体的实施例中，可以将危险驾驶行为检测模型的输入图像尺寸，作为第二图像尺寸，然后确定第一数量，再根据第一数量和第二图像尺寸，得到第一图像尺寸。

由以上实施例可见，通过对目标图像(像素值相同的多个初始单通道红外图像中的任一初始单通道红外图像)进行像素采样和像素值填充，得到多个像素值不同的子图像，能够提升后续合成的目标多通道红外图像所包含的信息量。

在一个具体的实施例中，在上述获取驾驶员对应的初始驾驶行为图像之前，上述方法还可以包括：

根据危险驾驶行为检测模型的输入图像尺寸，确定第二图像尺寸；确定第一数量；根据第一数量和第二图像尺寸，确定第一图像尺寸；

相应的，获取驾驶员对应的初始驾驶行为图像可以包括：

获取原始驾驶行为图像，并对原始驾驶行为图像进行缩放处理，得到第一图像尺寸的初始驾驶行为图像。

具体的，这里的原始驾驶行为图像可以为基于红外摄像头采集的红外图像帧序列中任一帧图像。

参见图3，图3是本申请实施例提供的一种图像尺寸缩放的示意图，以第一数量为3作为示例，假设原始驾驶行为图像的图像尺寸为M×N，危险驾驶行为检测模型的输入图像尺寸为n×n，则确定第二图像尺寸为n×n，得到第一图像尺寸为(3×n)×(3×n)，对原始驾驶行为图像进行缩放处理，得到尺寸为(3×n)×(3×n)的初始驾驶行为图像，即可以得到尺寸为(3×n)×(3×n)的多个初始单通道红外图像，并从中提取一个初始单通道红外图像作为目标图像。

在一个具体的实施例中，如图4所示，上述对目标图像进行目标方向的像素采样，得到所述目标图像中多个采样像素点对应的像素值可以包括：

S401，确定目标图像中第二数量个待采样区域，第二数量为第二图像尺寸的平方。

在一个具体的实施例中，待采样区域可以为正方形采样区域，相应的，待采样区域的边长可以为第一数量的整数倍。例如，第一数量为3，待采样区域可以为边长为3的九宫格采样区域。

在一个具体的实施例中，该第二数量个待采样区域均不存在像素点的重叠

S402，遍历第二数量个待采样区域。

S403，对当前遍历到的待采样区域进行目标方向的像素采样，得到当前遍历到的待采样区域中第一数量个采样像素点对应的像素值。

相应的，上述将多个采样像素点对应的像素值填充至多个待填充单通道图像中，得到多个目标子图像可以包括：

S404，确定第一数量个采样像素点中各采样像素点与第一数量个待填充单通道图像中各待填充单通道图像的对应关系。

在一个具体的实施例中，该对应关系可以为各采样像素点与各待填充单通道图像的一一对应关系。

S405，基于对应关系，将各采样像素点对应的像素值填充至各待填充单通道图像中，得到第一数量个填充单通道图像。

S406，在遍历第二数量个待采样区域结束后，将当前的第一数量个填充单通道图像作为多个目标子图像。

在一个示例中，目标图像的尺寸为6×6，待填充单通道图像和目标子图像的尺寸为2×2，对目标图像进行目标方向的像素采样，再将采样像素点对应的像素值填充至待填充单通道图像，得到目标子图像，其中，目标方向可以包括：水平采样方向、垂直采样方向和对角线采样方向。具体的，水平方向采样、垂直方向采样和对角线方向采样方式分别如图5a、图5b和图5c所示。以多个目标子图像为三个目标子图像为例，三个待填充单通道图像分别表示待填充R通道图像、待填充G通道图像和待填充B通道图像。

具体的，参见图5a，水平方向采样方式的步骤如下：确定目标图像中4个待采样区域，该4个待采样区域分别为九宫格1，九宫格2，九宫格3和九宫格4；遍历该4个九宫格，第一个遍历的为九宫格1，对九宫格1进行水平方向的像素采样，得到九宫格1第一行的三个像素值：0、1和2，将三个像素值分别填充到待填充R通道图像、待填充G通道图像和待填充B通道图像各自对应的左上角像素点；第二个遍历的为九宫格2，对九宫格2进行水平方向的像素采样，得到九宫格2第一行的三个像素值：10、11和12，将三个像素值分别填充到待填充R通道图像、待填充G通道图像和待填充B通道图像各自对应的右上角像素点，……以此类推，在遍历该4个九宫格结束后，得到3个目标子图像分别为：R通道子图像、G通道子图像和B通道子图像。

具体的，参见图5b，垂直方向采样方式的步骤如下：确定目标图像中4个待采样区域，该4个待采样区域分别为九宫格1，九宫格2，九宫格3和九宫格4；遍历该4个九宫格，第一个遍历的为九宫格1，对九宫格1进行水平方向的像素采样，得到九宫格1第一列的三个像素值：0、3和6，将三个像素值分别填充到待填充R通道图像、待填充G通道图像和待填充B通道图像各自对应的左上角像素点；第二个遍历的为九宫格2，对九宫格2进行垂直方向的像素采样，得到九宫格2第一列的三个像素值：10、13和16，将三个像素值分别填充到待填充R通道图像、待填充G通道图像和待填充B通道图像各自对应的右上角像素点，……以此类推，在遍历该4个九宫格结束后，得到3个目标子图像分别为：R通道子图像、G通道子图像和B通道子图像。

具体的，参见图5c，对角线方向采样方式的步骤如下：确定目标图像中4个待采样区域，该4个待采样区域分别为九宫格1，九宫格2，九宫格3和九宫格4；遍历该4个九宫格，第一个遍历的为九宫格1，对九宫格1进行对角线方向的像素采样，得到九宫格1对角线的三个像素值：0、4和8，将三个像素值分别填充到待填充R通道图像、待填充G通道图像和待填充B通道图像各自对应的左上角像素点；第二个遍历的为九宫格2，对九宫格2进行对角线方向的像素采样，得到九宫格2对角线的三个像素值：10、14和18，将三个像素值分别填充到待填充R通道图像、待填充G通道图像和待填充B通道图像各自对应的右上角像素点，……以此类推，在遍历该4个九宫格结束后，得到3个目标子图像分别为：R通道子图像、G通道子图像和B通道子图像。

由以上实施例可见，通过多个采样方式进行图像转化处理，得到提升图像转化方法的适用性。

S104，对多个目标子图像进行图像通道合并，得到目标驾驶行为图像。

在本说明书实施例中，目标驾驶行为图像可以为包含有多个目标图像通道的红外图像。该多个目标图像通道可以为多个目标子图像各自对应的图像通道。

相关现有技术中，通常将初始驾驶行为图像直接缩放得到目标驾驶行为图像，在此，继续以初始驾驶行为图像的尺寸为6×6，目标驾驶行为图像的尺寸为2×2为例，直接缩放的过程类似于从初始驾驶行为图像的36个像素点中采样4个像素点，得到目标驾驶行为图像，即目标驾驶行为图像包含了4个像素点的信息量；由于红外图像中R、G、B三个通道的像素值相同，本申请中从初始驾驶行为图像的三个通道图像(R通道图像、G通道图像和B通道图像)中选择一个通道图像作为目标图像，基于如图5a-c所示的任一种采样方法，从目标图像的36个像素点中一共采样了12个像素点的像素值，分别填充至3个2×2的单通道图像中，基于填充后的3个单通道图像进行图像通道合并，得到目标驾驶行为图像，即目标驾驶行为图像包含了12个像素点的信息量，因此，本申请的技术方案，在危险驾驶行为检测模型的输入图像尺寸不变的情况下，输入模型的图像能够包含更多的信息量，从而提升检测结果的准确率。

S105，将目标驾驶行为图像输入危险驾驶行为检测模型进行危险驾驶行为检测，得到行为检测结果。

在本说明书实施例中，上述危险驾驶行为检测模型可以包括：人脸检测模型、人脸关键点定位模型和行为检测模型，如图6所示，上述将目标驾驶行为图像输入危险驾驶行为检测模型进行危险驾驶行为检测，得到行为检测结果可以包括：

S601，将目标驾驶行为图像输入人脸检测模型进行人脸检测，得到驾驶员人脸信息。

具体的，驾驶员人脸信息可以为目标驾驶行为图像中的人脸检测框信息。

具体的，人脸检测模型可以包括但不限于OpenCV模型、深度卷积神经网络等，本申请对此不作限定。

在一个具体的实施例中，人脸检测模型可以为基于样本驾驶行为图像和样本驾驶行为图像对应的标注驾驶员人脸信息对预设人脸检测模型进行人脸检测训练后得到的。

在一个具体的实施例中，样本驾驶行为图像可以为基于步骤S102-S104的图像转化方式得到的多通道红外图像，该多通道红外图像对应的多个单通道红外图像各自的像素值不同。

S602，将驾驶员人脸信息输入人脸关键点定位模型进行关键点定位，得到人脸关键点位置信息；

具体的，人脸关键点位置信息可以表征目标驾驶行为图像中驾驶员脸部特征点的位置信息。其中，脸部特征点可以包括但不限于：眉毛、眼睛、鼻子、嘴巴、脸部轮廓区域的点。

具体的，人脸关键点定位模型可以包括但不限于ERT算法模型、Top-Bottom模型、深度学习回归模型等，本申请对此不作限定。

在一个具体的实施例中，人脸关键点定位模型可以为基于样本驾驶员人脸信息和样本驾驶员人脸信息对应的标注人脸关键点位置信息对预设人脸关键点定位模型进行人脸关键点定位训练后得到的。

S603，基于人脸关键点位置信息，从目标驾驶行为图像中截取出目标区域图像。

在本说明书实施例中，目标检测区域图像可以为危险驾驶行为的ROI(Regions ofInterest,感兴趣的区域)图像。

在一个具体的实施例中，可以利用预设ROI尺寸信息和人脸关键点位置信息，从目标驾驶行为图像中截取出目标区域图像。

具体的，预设ROI尺寸信息可以结合危险驾驶行为的类型进行预先设置，预设ROI尺寸信息可以包括：ROI高度和ROI宽度，以危险驾驶行为为吸烟为例，目标区域图像可以为驾驶员的嘴部周围图像，可以通过鼻子关键点和下巴关键点控制ROI的高，利用嘴角左右关键点控制ROI的宽，利用宽高在目标驾驶行为图像中截取出嘴部周围图像。

具体的，图像截取过程可以通过预设脚本实现，预设脚本可以为基于python语言编写的小程序，根据预设ROI尺寸信息和人脸关键点位置信息，从目标驾驶行为图像中截取出目标区域图像。

S604，将目标区域图像输入行为检测模型进行危险驾驶行为检测，得到行为检测结果。

在本说明书实施例中，行为检测结果用于指示驾驶员是否存在危险驾驶行为。具体的，危险驾驶行为可以包括但不限于：驾驶员吸烟、驾驶员未系安全带、驾驶员双手脱离安全盘、驾驶员玩手机等。在一个具体的实施例中，行为检测结果可以包括：行为检测标签。

具体的，行为检测模型可以包括但不限于深度卷积神经网络等，本申请对此不作限定。

在一个具体的实施例中，行为检测模型可以为基于样本目标区域图像和样本目标区域图像对应的标注行为检测结果对预设行为检测模型进行危险驾驶行为检测训练后得到的。

由以上实施例可见，将基于步骤S102-S104的图像转化方式得到的目标多通道红外图像输入危险驾驶行为检测模型进行危险驾驶行为检测，由于目标多通道红外图像包含了更多的信息量，危险驾驶行为检测模型可以从目标多通道红外图像提取出更多的特征，从而提升危险驾驶行为检测的准确性。

参见图7，图7是本申请实施例提供的一种基于上述危险驾驶行为检测方法得到的危险驾驶行为预警方法的流程图。

S701，利用单目红外摄像头采集车辆行驶时，驾驶员在主驾位置驾驶车辆的原始三通道红外图像帧序列，利用步骤S102-S104的图像变换方式对原始三通道红外图像训练集进行图像转化处理，得到目标三通道红外图像，将目标三通道红外图像作为输入，训练人脸检测模型、人脸关键点定位模型和行为检测模型。

S702，利用S701变换后的目标三通道红外图像生成训练集1，通过标注工具标注训练集1中人脸框信息，再将训练集1和训练集1中人脸框信息输入到预设人脸检测模型中进行人脸检测训练，得出人脸检测模型。

S703，以训练集1为输入，利用标注工具生成数据集1中的人脸关键点信息。以数据集1和数据集1的人脸关键点信息做输入，输入到预设人脸关键点定位模型中进行人脸关键点定位训练，得出人脸关键点定位模型。

S704，以数据集1和数据集1的人脸关键点信息为输入，利用脚本生成危险驾驶行为的ROI数据集。以危险驾驶行为ROI数据集为输入，输入到预设图像分类深度学习模型中进行危险驾驶行为检测训练，得出行为检测模型。

S705，在车辆行驶过程中，单目摄像头会采集驾驶员在主驾位置实时的原始三通道红外图像帧序列，将原始三通道红外图像帧序列通过步骤S102-S104的图像变换方式转换成目标三通道红外图像帧序列，将目标三通道红外图像帧序列输入步骤S702生成的人脸检测模型，得出驾驶员人脸信息，将驾驶员的人脸信息输入到步骤S703生成的人脸关键点定位模型中，得出驾驶员的人脸关键点位置信息；利用人脸关键点位置信息，截取目标三通道红外图像帧序列中危险驾驶行为检测区域的ROI图像，将ROI图像输入到步骤S704生成的行为检测模型中，得出该ROI图像区域内是否存在安全驾驶行为，如模型检测存在危险驾驶行为，则向驾驶员发出语音提示，如不存在危险驾驶行为，则继续检测下一帧图像帧序列。

在本说明书实施例中，如图8所示，上述危险驾驶行为检测模型是通过如下方式进行训练的：

S801，获取样本驾驶行为图像和样本驾驶行为图像对应的第一标注检测结果，样本驾驶行为图像对应的多个样本单通道红外图像各自的像素值不同。

S802，将样本驾驶行为图像输入第一预设检测模型进行危险驾驶行为检测，得到第一样本检测结果。

在一个具体的实施例中，这里的第一预设检测模型可以包括：预设人脸检测模型、预设人脸关键点定位模型和预设行为检测模型，具体的，这里“将样本驾驶行为图像输入第一预设检测模型进行危险驾驶行为检测，得到第一样本检测结果”的具体细化步骤与S105的具体细化步骤相似，在此不再赘述。

S803，基于第一标注检测结果和第一样本检测结果，训练第一预设检测模型，得到危险驾驶行为检测模型。

在一个具体的实施例中，上述基于第一标注检测结果和第一样本检测结果，训练第一预设检测模型，得到危险驾驶行为检测模型可以包括：

基于第一标注检测结果和第一样本检测结果，确定检测结果损失信息；基于检测结果损失信息，训练第一预设检测模型，得到危险驾驶行为检测模型。

在一个可选的实施例中，第一标注检测结果可以包括样本驾驶行为图像的危险行为标注标签，第一样本检测结果可以包括样本驾驶行为图像的危险行为预测标签，相应的，检测结果损失信息可以包括：标签损失信息。

在一个具体的实施例中，上述基于第一标注检测结果和第一样本检测结果，确定检测结果损失信息可以包括基于预设损失函数，确定危险行为标注标签和危险行为预测标签间的标签损失信息。

在一个具体的实施例中，标签损失信息可以表征危险行为标注标签和危险行为预测标签间的差异。在一个具体的实施例中，预设损失函数可以包括但不限于交叉熵损失函数、逻辑损失函数、指数损失函数等。

在一个可选的实施例中，基于检测结果损失信息，训练第一预设检测模型，得到危险驾驶行为检测模型可以包括：基于检测结果损失信息，更新第一预设检测模型的网络参数；基于更新后的第一预设检测模型，重复步骤S802至基于检测结果损失信息，更新第一预设检测模型的网络参数的训练迭代操作，直至达到训练收敛条件；将达到训练收敛条件的情况下得到的第一预设检测模型，作为危险驾驶行为检测模型。

在一个可选的实施例中，上述达到训练收敛条件可以为训练迭代操作的次数达到预设训练次数。可选的，达到目标点检测收敛条件也可以为当前位置损失信息小于指定阈值。本说明书实施例中，预设训练次数和指定阈值可以结合实际应用中对网络的训练速度和精准度预先设置。

由以上实施例可见，通过检测结果损失信息进行模型训练，可以提升模型的泛化学习能力和危险驾驶检测的准确率。

在实际应用中，当模型训练的训练集数量较大，例如达到百万时，训练出来的模型无法学习到特定场景下少量样本的特征，因此，需要精简模型训练集，剔除冗余数据，基于精简后的训练集进行模型训练。

在一个具体的实施例中，上述样本驾驶行为图像可以为初始样本图像集中的任意样本图像。具体的，初始样本图像集可以为危险驾驶行为特征明显的样本图像集，初始样本图像集可以包括正样本图像和负样本图像。可选的，初始样本图像集可以包括：3000张正样本图像和3000张负样本图像。

在一个具体的实施例中，如图9所示，在上述样本驾驶行为图像可以为初始样本图像集中的任意样本图像的情况下，上述基于第一标注检测结果和第一样本检测结果，训练第一预设检测模型，得到危险驾驶行为检测模型可以包括：

S901，基于第一标注检测结果和第一样本检测结果，训练第一预设检测模型，得到初始检测模型。

S902，获取待筛选样本图像集，并确定待筛选样本图像集对应的样本筛选概率阈值。

具体的，待筛选样本图像集可以为待精简的较大数量的样本图像集。

具体的，样本筛选概率阈值可以为用于进行样本筛选而设定的样本预测概率的阈值。

在一个具体的实施例中，样本筛选概率阈值可以包括正样本筛选概率阈值和负样本筛选概率阈值，可选的，正样本筛选概率阈值可以为0.1，负样本筛选概率阈值可以为0.9。

S903，将待筛选样本图像集输入初始检测模型进行危险驾驶行为检测，得到待筛选样本图像集对应的第二样本检测结果，第二样本检测结果包括样本预测概率。

具体的，每次可以从待筛选样本图像集中各选取10％的正负样本图像输入初始检测模型进行危险驾驶行为检测。

S904，从待筛选样本图像集中筛选出对应样本预测概率满足样本筛选概率阈值的目标筛选样本图像；将目标筛选样本图像加入初始样本图像集，得到更新后的初始样本图像集。

具体的，在正样本筛选概率阈值为0.1，负样本筛选概率阈值为0.9的情况下，筛选正样本时，样本预测概率低于0.1的正样本图像加进初始训练集中训练；筛选负样本时，样本预测概率大于0.9的负样本图像加进初始训练集中训练。

具体的，加入初始训练集前，会对要加入的正负样本图像进行浏览，在正样本里掺杂负样本，负样本里掺杂正样本。

S905，基于更新后的初始样本图像集，对初始检测模型进行危险驾驶行为检测训练，得到训练后的初始检测模型。

S906，基于训练后的初始检测模型，跳转至将待筛选样本图像集输入初始检测模型进行危险驾驶行为检测，得到待筛选样本图像集对应的第二样本检测结果，直至当前目标筛选样本图像的第三数量满足预设筛选结束条件。

具体的，预设筛选结束条件可以结合实际应用中的样本筛选需求进行预先设置。例如，在待筛选样本图像集的样本数量为100万的情况下，预设筛选结束条件可以为当前目标筛选样本图像的第三数量小于1000。

S907，将当前的初始检测模型，作为危险驾驶行为检测模型。

由以上实施例可见，通过样本筛选，使得初始检测模型可以用更少的数据集学习到更多的特征，更有利于模型学习特殊场景下少量样本的图像特征，从而降低模型的误报率，提升模型的泛化学习能力和危险驾驶检测的准确率。

在一个具体的实施例中，如图10所示，在上述当前目标筛选样本图像的第三数量满足预设筛选结束条件之后，上述方法还可以包括：

S908，将第三数量满足预设筛选结束条件时的初始检测模型，作为目标检测模型。

S909，更新样本筛选概率阈值，得到更新后的样本筛选概率阈值。

S910，基于更新后的样本筛选概率阈值和目标检测模型，跳转至将待筛选样本图像集输入初始检测模型进行危险驾驶行为检测，得到待筛选样本图像集对应的第二样本检测结果，直至当前的样本筛选概率阈值满足阈值更新条件。

S911，将当前的目标检测模型，作为危险驾驶行为检测模型。

具体的，可以依次更新正样本筛选概率阈值为0.1、0.2、0.3和0.4来筛选正样本图像，以及依次更新负样本筛选概率阈值为0.9、0.8、0.7和0.6来筛选负样本图像。

在一个可选的实施例中，在得到危险驾驶行为检测模型之后，利用危险驾驶行为检测模型去检测车载视频中提取的视频帧误报样本，将未检测的正负样本添加进精简数据集中训练，并将检测过的正负样本添加到未精简的较大数据集中，用作后期迭代。将未检出的正负样本添加进精简训练集时，浏览添加的数据，在正样本里掺杂负样本，负样本里掺杂正样本，提高模型精度和提供最终稳定的危险驾驶行为检测模型。

由以上实施例可见，通过更新样本筛选概率阈值，使得模型能够学习到更多的样本特征，从而提高了模型的泛化学习能力。

由以上说明书实施例中可见，利用本说明书实施例提供的技术方案，在车辆行驶过程中，获取驾驶员对应的初始驾驶行为图像，该初始驾驶行为图像为包含有多个初始单通道红外图像的初始多通道红外图像，多个初始单通道红外图像各自的像素值相同；再基于多个初始单通道红外图像中的任一初始单通道红外图像进行图像转化处理，得到目标图像对应的多个目标子图像，多个目标子图像各自的像素值不同；与现有技术中直接将红外驾驶行为图像进行缩小处理得到的缩小红外图像相比，对多个目标子图像进行图像通道合并得到的目标多通道红外图像的像素值的熵值更大，包含的信息量更多，因此，将该目标多通道红外图像输入危险驾驶行为检测模型进行危险驾驶行为检测，能够提升危险驾驶行为检测的准确率；此外，由于目标多通道红外图像对应的多个单通道红外图像各自的像素值不同，能够避免危险驾驶行为检测模型的冗余计算，从而避免计算资源的浪费；此外，通过样本筛选，使得初始检测模型可以用更少的数据集学习到更多的特征，更有利于模型学习特殊场景下少量样本的图像特征，从而降低模型的误报率，进一步提升模型的泛化学习能力和危险驾驶检测的准确率。

本申请实施例提供了一种危险驾驶行为检测装置，如图11所示，上述装置可以包括：

图像获取模块1110，用于在车辆行驶过程中，获取驾驶员对应的初始驾驶行为图像，初始驾驶行为图像为初始多通道红外图像；

目标图像提取模块1120，用于从初始驾驶行为图像对应的多个初始单通道红外图像中提取任一初始单通道红外图像作为目标图像，多个初始单通道红外图像各自的像素值相同；

图像转化处理模块1130，用于基于目标图像进行图像转化处理，得到目标图像对应的多个目标子图像，多个目标子图像各自的像素值不同；

图像通道合并模块1140，用于对多个目标子图像进行图像通道合并，得到目标驾驶行为图像；

危险驾驶行为检测模块1150，用于将目标驾驶行为图像输入危险驾驶行为检测模型进行危险驾驶行为检测，得到行为检测结果。

在一个具体的实施例中，上述图像转化处理模块1130可以包括：

待填充单通道图像获取单元，用于获取多个待填充单通道图像；

第一像素采样单元，用于对目标图像进行目标方向的像素采样，得到目标图像中多个采样像素点对应的像素值；

第一像素填充单元，用于将多个采样像素点对应的像素值填充至多个待填充单通道图像中，得到多个目标子图像。

其中，第一图像尺寸为第二图像尺寸与第一数量的乘积，第一图像尺寸为目标图像的图像尺寸，第二图像尺寸为多个待填充单通道图像中任一待填充单通道图像对应的图像尺寸，第一数量为多个待填充单通道图像的数量。

在一个具体的实施例中，上述第一像素采样单元可以包括：

待采样区域确定单元，用于确定目标图像中第二数量个待采样区域，第二数量为第二图像尺寸的平方；

待采样区域遍历单元，用于遍历第二数量个待采样区域；

第二像素采样单元，用于对当前遍历到的待采样区域进行目标方向的像素采样，得到当前遍历到的待采样区域中第一数量个采样像素点对应的像素值；

相应的，上述第一像素填充单元可以包括：

对应关系确定单元，用于确定第一数量个采样像素点中各采样像素点与第一数量个待填充单通道图像中各待填充单通道图像的对应关系；

第二像素填充单元，用于基于对应关系，将各采样像素点对应的像素值填充至各待填充单通道图像中，得到第一数量个填充单通道图像；

目标子图像单元，用于在遍历第二数量个待采样区域结束后，将当前的第一数量个填充单通道图像作为多个目标子图像。

在本说明书实施例中，上述危险驾驶行为检测模型可以包括：人脸检测模型、人脸关键点定位模型和行为检测模型，上述危险驾驶行为检测模块1150可以包括：

人脸检测单元，用于将目标驾驶行为图像输入人脸检测模型进行人脸检测，得到驾驶员人脸信息；

关键点定位单元，用于将驾驶员人脸信息输入人脸关键点定位模型进行关键点定位，得到人脸关键点位置信息；

目标区域图像截取单元，用于基于人脸关键点位置信息，从目标驾驶行为图像中截取出目标区域图像；

危险驾驶行为检测单元，用于将目标区域图像输入行为检测模型进行危险驾驶行为检测，得到行为检测结果。

在本说明书实施例中，上述危险驾驶行为检测模型通过如下装置进行训练：

样本获取模块，用于获取样本驾驶行为图像和样本驾驶行为图像对应的第一标注检测结果，样本驾驶行为图像对应的多个样本单通道红外图像各自的像素值不同；

第一样本检测结果模块，用于将样本驾驶行为图像输入第一预设检测模型进行危险驾驶行为检测，得到第一样本检测结果；

模型训练模块，用于基于第一标注检测结果和第一样本检测结果，训练第一预设检测模型，得到危险驾驶行为检测模型。

在一个具体的实施例中，上述样本驾驶行为图像可以为初始样本图像集中的任意样本图像，上述模型训练模块可以包括：

初始检测模型单元，用于基于第一标注检测结果和第一样本检测结果，训练第一预设检测模型，得到初始检测模型；

样本筛选概率阈值确定单元，用于获取待筛选样本图像集，并确定待筛选样本图像集对应的样本筛选概率阈值；

第二样本检测结果单元，用于将待筛选样本图像集输入初始检测模型进行危险驾驶行为检测，得到待筛选样本图像集对应的第二样本检测结果，第二样本检测结果包括样本预测概率；

样本筛选单元，用于从待筛选样本图像集中筛选出对应样本预测概率满足样本筛选概率阈值的目标筛选样本图像；将目标筛选样本图像加入初始样本图像集，得到更新后的初始样本图像集；

模型训练单元，用于基于更新后的初始样本图像集，对初始检测模型进行危险驾驶行为检测训练，得到训练后的初始检测模型；

第一重复执行单元，用于基于训练后的初始检测模型，跳转至将待筛选样本图像集输入初始检测模型进行危险驾驶行为检测，得到待筛选样本图像集对应的第二样本检测结果，直至当前目标筛选样本图像的第三数量满足预设筛选结束条件；

第一危险驾驶行为检测模型单元，用于将当前的初始检测模型，作为危险驾驶行为检测模型。

在一个具体的实施例中，上述装置还可以包括：

目标检测模型单元，用于将第三数量满足预设筛选结束条件时的初始检测模型，作为目标检测模型；

样本筛选概率阈值更新单元，用于更新样本筛选概率阈值，得到更新后的样本筛选概率阈值；

第二重复执行单元，用于基于更新后的样本筛选概率阈值和目标检测模型，跳转至将待筛选样本图像集输入初始检测模型进行危险驾驶行为检测，得到待筛选样本图像集对应的第二样本检测结果，直至当前的样本筛选概率阈值满足阈值更新条件；

第二危险驾驶行为检测模型单元，用于将当前的目标检测模型，作为危险驾驶行为检测模型。

需要说明的是，装置实施例中的装置与方法实施例基于同样的发明构思。

本申请实施例提供了一种危险驾驶行为检测设备，该危险驾驶行为检测设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的危险驾驶行为检测方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据上述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的方法实施例可以在车载终端或者类似的运算装置中执行，即上述计算机设备可以包括车载终端或者类似的运算装置。

本申请实施例还提供了一种存储介质，上述存储介质可设置于服务器之中以保存用于实现方法实施例中一种的危险驾驶行为检测方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的危险驾驶行为检测方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供危险驾驶行为检测方法、装置、设备或存储介质的实施例可见，利用本说明书实施例提供的技术方案，在车辆行驶过程中，获取驾驶员对应的初始驾驶行为图像，该初始驾驶行为图像为包含有多个初始单通道红外图像的初始多通道红外图像，多个初始单通道红外图像各自的像素值相同；再基于多个初始单通道红外图像中的任一初始单通道红外图像进行图像转化处理，得到目标图像对应的多个目标子图像，多个目标子图像各自的像素值不同；与现有技术中直接将红外驾驶行为图像进行缩小处理得到的缩小红外图像相比，对多个目标子图像进行图像通道合并得到的目标多通道红外图像的像素值的熵值更大，包含的信息量更多，因此，将该目标多通道红外图像输入危险驾驶行为检测模型进行危险驾驶行为检测，能够提升危险驾驶行为检测的准确率；此外，由于目标多通道红外图像对应的多个单通道红外图像各自的像素值不同，能够避免危险驾驶行为检测模型的冗余计算，从而避免计算资源的浪费；此外，通过样本筛选，使得初始检测模型可以用更少的数据集学习到更多的特征，更有利于模型学习特殊场景下少量样本的图像特征，从而降低模型的误报率，进一步提升模型的泛化学习能力和危险驾驶检测的准确率。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，上述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。