驾驶行为的检测方法、装置、车辆及存储介质

技术领域

本申请涉及情绪检测技术领域，特别涉及一种驾驶行为的检测方法、装置、车辆及存储介质。

背景技术

在现代交通中，由于驾驶员的不文明行为，导致交通事故的频繁发生。在车辆行驶过程中，部分驾驶员在受到外界因素干扰时，往往会做出一些过激驾驶行为，从而对其他正常行驶的车辆造成干扰，影响自身和其它车辆的行驶安全。因此，研究如何对驾驶员出现路怒情绪时进行及时提醒，并采取安抚措施可以有效减少事故的发生。

然而，现有技术中车辆仅单独安装DMS(DriverMonitorSystem，驾驶监测系统)，并未进行相应的组合分析统计，功能单一，且并未应用到驾驶员“路怒”情绪的检测场景中，极大影响驾驶员路怒情绪的检测效果，亟待解决。

发明内容

本申请提供一种驾驶行为的检测方法、装置、车辆及存储介质，以解决现有技术中车辆仅单独安装DMS，并未进行相应的组合分析统计，功能单一，且未应用于路怒情绪检测场景，极大影响驾驶员路怒情绪的检测效果等问题。

本申请第一方面实施例提供一种驾驶行为的检测方法，包括以下步骤：采集驾驶员的面部图像和语音信息；根据所述面部图像和所述语音信息进行检测提取所述驾驶员的表情特征和语音特征；根据所述表情特征和所述语音特征判断驾驶员是否满足预设路怒情绪条件，并在所述驾驶员满足所述预设路怒情绪条件的情况下，根据所述表情特征和所述语音特征识别所述驾驶员的实际路怒等级，并根据所述路怒等级匹配对应的安抚策略，以控制车辆执行所述安抚策略以对所述驾驶员进行安抚。

可选地，在本申请的一个实施例中，所述根据所述表情特征和所述语音特征识别所述驾驶员的实际路怒等级，并根据所述路怒等级匹配对应的安抚策略，包括：获取满足所述预设路怒情绪条件下的表情路怒持续时长和/或语言路怒持续时长；根据所述表情特征、所述语音特征、路怒持续时长表情路怒持续时长和/或语言路怒持续时长识别所述驾驶员的实际路怒等级；根据所述实际路怒等级匹配所述对应的安抚策略。

可选地，在本申请的一个实施例中，所述根据所述面部图像和所述语音信息进行检测提取所述驾驶员的表情特征和语音特征，包括：将所述面部图像和所述语音信息输入至预设特征识别模型中，输出所述表情特征和语音特征；或者，基于所述面部图像，利用预设数据挖掘策略得到所述表情特征，并基于所述语音信息，利用短时傅里叶变换策略得到所述语音特征。

可选地，在本申请的一个实施例中，在识别所述驾驶员的实际路怒等级之后，还包括：采集所述车辆的实际车速；根据所述实际车速优化所述实际路怒等级。

可选地，在本申请的一个实施例中，在识别所述驾驶员的实际路怒等级之后，还包括：采集所述车辆的实际转向；根据所述实际转向优化所述实际路怒等级。

可选地，在本申请的一个实施例中，在根据所述路怒等级匹配所述对应的安抚策略之前，还包括：检测所述实际路怒等级是否满足预设危险条件；在检测到满足所述预设危险条件的情况下，控制所述车辆进入自动驾驶模块。

可选地，在本申请的一个实施例中，还包括：根据所述路怒等级匹配对应的乘客安抚策略，以控制车辆执行所述乘客安抚策略以对所述乘客进行安抚。

本申请第二方面实施例提供一种驾驶行为的检测装置，包括：第一采集模块，用于采集驾驶员的面部图像和语音信息；提取模块，用于根据所述面部图像和所述语音信息进行检测提取所述驾驶员的表情特征和语音特征；识别模块，用于根据所述表情特征和所述语音特征判断驾驶员是否满足预设路怒情绪条件，并在所述驾驶员满足所述预设路怒情绪条件的情况下，根据所述表情特征和所述语音特征识别所述驾驶员的实际路怒等级，并根据所述路怒等级匹配对应的安抚策略，以控制车辆执行所述安抚策略以对所述驾驶员进行安抚。

可选地，在本申请的一个实施例中，所述识别模块包括：获取单元，用于获取满足所述预设路怒情绪条件下的表情路怒持续时长和/或语言路怒持续时长；检测单元，用于根据所述表情特征、所述语音特征、路怒持续时长表情路怒持续时长和/或语言路怒持续时长识别所述驾驶员的实际路怒等级；匹配单元，用于根据所述实际路怒等级匹配所述对应的安抚策略。

可选地，在本申请的一个实施例中，所述提取模块包括：输入单元，用于将所述面部图像和所述语音信息输入至预设特征识别模型中，输出所述表情特征和语音特征；或者，处理单元，用于基于所述面部图像，利用预设数据挖掘策略得到所述表情特征，并基于所述语音信息，利用短时傅里叶变换策略得到所述语音特征。

可选地，在本申请的一个实施例中，还包括：第二提取模块，用于在识别所述驾驶员的实际路怒等级之后采集所述车辆的实际车速；第一优化模块，用于根据所述实际车速优化所述实际路怒等级。

可选地，在本申请的一个实施例中，还包括：第三采集模块，用于在识别所述驾驶员的实际路怒等级之后采集所述车辆的实际转向；第二优化模块，用于根据所述实际转向优化所述实际路怒等级。

可选地，在本申请的一个实施例中，还包括：分析模块，用于在根据所述路怒等级匹配所述对应的安抚策略之前检测所述实际路怒等级是否满足预设危险条件；控制模块，用于在检测到满足所述预设危险条件的情况下，控制所述车辆进入自动驾驶模块。

可选地，在本申请的一个实施例中，还包括：安抚模块，用于根据所述路怒等级匹配对应的乘客安抚策略，以控制车辆执行所述乘客安抚策略以对所述乘客进行安抚。

本申请第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的驾驶行为的检测方法。

本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的驾驶行为的检测方法。

由此，本申请的实施例具有以下有益效果：

本申请的实施例可通过采集驾驶员的面部图像和语音信息；根据面部图像和语音信息进行检测提取驾驶员的表情特征和语音特征；根据表情特征和语音特征判断驾驶员是否满足预设路怒情绪条件，并在驾驶员满足预设路怒情绪条件的情况下，根据表情特征和语音特征识别驾驶员的实际路怒等级，并根据路怒等级匹配对应的安抚策略，以控制车辆执行安抚策略以对驾驶员进行安抚。本申请通过驾驶监测系统检测驾驶员是否存在路怒情绪，并根据相应的等级算法执行相应的安抚措施及安全驾驶辅助操作，从而极大提高了驾驶安全，提升了车辆的可靠程度和智能化水平。由此，解决了现有技术中车辆仅单独安装DMS，并未进行相应的组合分析统计，功能单一，且未应用于路怒情绪检测场景，极大影响驾驶员路怒情绪的检测效果等问题。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例提供的一种驾驶行为的检测方法的流程图；

图2为本申请的一个实施例提供的一种DMS系统的功能逻辑示意图；

图3为本申请的一个实施例提供的一种语音信号特征提取示意图；

图4为本申请的一个实施例提供的一种原始音频文件获取流程示意图；

图5为本申请的一个实施例提供的一种语音识别逻辑示意图；

图6为本申请的一个实施例提供的一种基于语音信号的自然语言处理流程示意图；

图7为本申请的一个实施例提供的一种驾驶行为的检测方法的整体架构示意图；

图8为根据本申请实施例的驾驶行为的检测装置的示例图；

图9为本申请实施例提供的车辆的结构示意图。

其中，10-驾驶行为的检测装置、100-第一采集模块、200-提取模块、300-识别模块、901-存储器、902-处理器、1103-通信接口。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的驾驶行为的检测方法、装置、车辆及存储介质。针对上述背景技术中提到的问题，本申请提供了一种驾驶行为的检测方法，在该方法中，通过采集驾驶员的面部图像和语音信息；根据面部图像和语音信息进行检测提取驾驶员的表情特征和语音特征；根据表情特征和语音特征判断驾驶员是否满足预设路怒情绪条件，并在驾驶员满足预设路怒情绪条件的情况下，根据表情特征和语音特征识别驾驶员的实际路怒等级，并根据路怒等级匹配对应的安抚策略，以控制车辆执行安抚策略以对驾驶员进行安抚。本申请通过驾驶监测系统检测驾驶员是否存在路怒情绪，并根据相应的等级算法执行相应的安抚措施及安全驾驶辅助操作，从而极大提高了驾驶安全，提升了车辆的可靠程度和智能化水平。由此，解决了现有技术中车辆仅单独安装DMS，并未进行相应的组合分析统计，功能单一，且未应用于路怒情绪检测场景，极大影响驾驶员路怒情绪的检测效果等问题。

具体而言，图1为本申请实施例所提供的一种驾驶行为的检测方法的流程图。

如图1所示，该驾驶行为的检测方法包括以下步骤：

在步骤S101中，采集驾驶员的面部图像和语音信息。

本申请的实施例可利用DMS采集驾驶员的面部图像，并通过麦克风等收音设备采集驾驶员的语音信息，并将所采集的驾驶员的面部图像和语音信息保存到车机本地存储，其中，DMS系统可通过主驾的一个非广角摄像头和一个车内广角摄像头检测驾驶员在行车过程中的状态，其主要包括faceID、疲劳检测、分心检测、表情识别、手势识别、危险动作识别、视线追踪等功能，可用于对驾驶员路怒等情绪的识别检测，如图2所示。

由此，本申请的实施例通过采集驾驶员的面部图像和语音信息，从而为后续对驾驶员在行车过程中路怒等情绪的分析提供了可靠的数据支撑。

在步骤S102中，根据面部图像和语音信息进行检测提取驾驶员的表情特征和语音特征。

在采集驾驶员的面部图像和语音信息后，进一步地，本申请的实施例还可对采集的面部图像和语音信息分别进行预处理，并通过支持向量机等算法和自然语言处理策略从预处理后的驾驶员的面部图像和语音信息中提取驾驶员的表情特征和语音特征，从而为路怒情绪的判断提供可靠的依据和指导。

可选地，在本申请的一个实施例中，根据面部图像和语音信息进行检测提取驾驶员的表情特征和语音特征，包括：将面部图像和语音信息输入至预设特征识别模型中，输出表情特征和语音特征；或者，基于面部图像，利用预设数据挖掘策略得到表情特征，并基于语音信息，利用短时傅里叶变换策略得到语音特征。

具体地，本申请的实施例分别对驾驶员的面部图像和语音信息进行处理，并提取驾驶员的表情特征和语音特征的过程如下所述：

1、驾驶员面部图像处理和分析：

(1)图像处理：通过车内摄像头采集的行面部图像需经过去噪、标准化等预处理操作，以保证图像的质量和可靠性；图像预处理处理完成后，本申请的实施例可使用主成分分析法(PCA，Principal Component Analysis)提取图像中的面部特征，其中，PCA方法是一种在数据分析中常用的降维技术，其可通过将原始数据中的多个变量进行线性变换，转换成另外一组彼此之间无关的变量，这些新的变量被称为主成分，PCA的主要目标是通过找出主成分，以描述原始数据中的变量关系，具体地，PCA分析法的具体过程如下：

1)将原始数据进行标准化处理，即每个变量的均值为0，标准差为1；

2)计算样本的协方差矩阵；

3)计算协方差矩阵的特征值和特征向量；

4)将特征向量按其对应的特征值大小进行排序，最大的特征值对应的特征向量为第一主成分，以此类推；

5)选择前k个主成分，形成一个新的数据投影矩阵；

6)将原始数据通过这个投影矩阵转换到新的k维空间中，得到降维后的数据。

(2)特征提取和分析：

在对采集的驾驶员面部图像进行预处理和PCA处理等操作后，本申请的实施例还可通过数据处理和分析工具，对整合的数据进行报表生成、数据挖掘和预测分析等处理。

作为一种可以实现的方式，本申请的实施例可使用支持向量机(SVM，SupportVector Machine)算法进行处理，对每个表情图像训练一个SVM模型，并使用测试集上的识别率来调整模型的参数，从而实现对面部表情的识别。SVM分类器中涉及到两个关键问题：其一是如何选择合适的核函数和参数；其二是如何构造一个能够充分利用样本信息的非线性分类器。

由于人脸是由许多非平面纹理构成的，因此通过提取纹理特征对面部表情进行识别时需要把图像转换到一维空间。这就需要对人脸图像进行降维处理。而采用支持向量机方法进行降维处理，可以在不增加空间复杂度的前提下，得到一个更具推广能力的分类模型，具体地，本申请的实施例利用SVM进行图像处理的过程如下：

1)数据准备：将训练集中的样本数据进行预处理，包括特征提取、归一化等操作，以便于后续计算和优化；

2)构建核函数：选择一个适当的核函数，将样本数据映射到高维空间中，使得样本数据在高维空间中更容易分割。常见的核函数有线性核、多项式核、径向基核等；

3)构建最优超平面：在高维空间中，根据训练样本所构成的向量，构建最优超平面，使得正负样本能够最好的被分隔开来。最优超平面的构建是通过求解一个二次规划问题来实现；

4)计算支持向量：支持向量是距离最优超平面最近的样本数据点，也是构成最优超平面的关键点，通过求解拉格朗日乘子，可以得到支持向量；

5)确定决策函数：根据支持向量及对应的权重系数，构建决策函数，用于分类或回归预测。

识别之后传输到面部表情检测的主控单元，面部表情检测主单元通过驾驶员的动作、皱眉、嘴角上扬、瞳孔放大等面部表情进行一定的算法计算，得出是否“路怒”的结论。

本申请的实施例利用DMS的图像处理技术对采集的驾驶员面部图像进行预处理和PCA处理等操作后，可将处理后的图像数据传输到面部表情检测的主控单元，并对驾驶员在行车过程中所产生的面部表情、瞳孔变化进行提取与分析。

2、语音处理和识别：

在本申请的实施例中，驾驶员语音信息的处理和识别主要包括：语音信号获取(将语音转化成电信号)、语音信号处理(包括模数转换，降噪、增强、端点检测等)、特征提取(可通过MFCC、FB、PLP、BN等算法实现)、声学模型建模，如图3所示。

具体地，本申请的实施例可利用汽车语音识别系统通过高灵敏度的麦克风采集车内的声音，并将声音转换成数字信号进行处理，该数字信号包括声音的频率、振幅、相位等。在输入语音后，本申请的实施例可通过麦克风拾音生成原始模拟信号，并通过采样将时间轴上连续的信号每隔一定的时间间隔抽取出一个信号的幅度样本，将连续的模拟量用一个个离散的点表示出来，使其成为时间上离散的脉冲序列；其次可进行量化使离散音频要转化为计算机能够表示的数据范围；最后通过编码使信号转换成数字编码脉冲，并利用滤波器、统计降噪等降噪技术处理后在计算机的存储设备中生成了原始音频文件，如图4所示。

进而，本申请的实施例可进行声音音量变大检测。由于语音信号具有时变性和非线性等特点，需要对其进行语音信号预处理和分析，本申请的实施例可通过短时傅里叶变换等技术，对语音信号进行处理，得到语音信号在不同时间点的频率分布和幅度等信息，从而识别声音的变化；此外，由于声音的响度与振幅有关，表现在波形图上就是波形的幅度越大，声音的响度就越大，反之，波形的幅度越小，声音的响度就越小。

之后，本申请的实施例还可采用自然语言处理技术，如词性标注、句法分析、语义理解等，如图5和图6所示，以进一步分析理解用户的语音信息，识别驾驶员语音信息是否存在“路怒”咒骂等信息。

由此，本申请的实施例通过利用DMS和自然语言处理等技术手段，从而有效提高了所提取的驾驶员的面部表情特征和语音特征的可靠性，保障了驾驶员情绪分析的可靠性。

在步骤S103中，根据表情特征和语音特征判断驾驶员是否满足预设路怒情绪条件，并在驾驶员满足预设路怒情绪条件的情况下，根据表情特征和语音特征识别驾驶员的实际路怒等级，并根据路怒等级匹配对应的安抚策略，以控制车辆执行安抚策略以对驾驶员进行安抚。

本领域技术人员应当了解的是，在驾驶过程中，因交通堵塞、天气因素、道路条件、身体状况、乘客言语、旁车驾驶行为等因素刺激，驾驶人的情绪由高兴变为愤怒时，其驾驶行为将会发生一定程度的变化。

因此，在提取驾驶员的表情特征和语音特征后，进一步地，本申请的实施例可通过对其面部表情、瞳孔变化、语言变化、方向盘压力以及驾驶行为等方面进行综合分析与处理，以判断分析驾驶员是否产生了路怒情绪。

举例而言，本申请的实施例可采用数据挖掘方法对提取的面部表情特征，如瞳孔变化等进行分类，以通过分类结果判断其是否产生路怒情绪，例如，当出现驾驶员存在皱眉、嘴角上扬、瞳孔放大、面部肌肉放松或僵硬、头部向右倾斜等表情动作时，本申请的实施例可通过服务器进行分析计算，当判断三个以上行为同时出现时，即满足路怒情绪条件，驾驶员就有可能产生路怒情绪，当路怒情绪积累到一定程度时，驾驶员就可能出现暴力驾驶行为。

由此，本申请的实施例通过对驾驶员的表情特征和语音特征进行分析，并在检测到驾驶员处于路怒情绪中时，及时采取预先制定的相应提醒措施和必要的减速操作纠正驾驶行为，从而极大保证了车辆的行驶安全，提高了车辆的安全性和可靠性。

可选地，在本申请的一个实施例中，根据表情特征和语音特征识别驾驶员的实际路怒等级，并根据路怒等级匹配对应的安抚策略，包括：获取满足预设路怒情绪条件下的表情路怒持续时长和/或语言路怒持续时长；根据表情特征、语音特征、路怒持续时长表情路怒持续时长和/或语言路怒持续时长识别驾驶员的实际路怒等级；根据实际路怒等级匹配对应的安抚策略。

作为一种可以实现的具体方式，本申请的实施例首先可采集驾驶员表情路怒持续时长以及语言路怒持续时长，进而在检测到驾驶员短时间内(例如3秒内恢复)存在皱眉、瞳孔放大，面部表情僵硬、咬牙动作等表情变化组合时，则说明驾驶员情绪短暂激动，即实际路怒等级处于轻度路怒情绪状态，此时本申请的实施例可根据轻度路怒情绪匹配相应的安抚策略，如播放舒缓音乐或者播放父母、爱人或孩子等亲人的安全爱心提醒录音等。

当检测到驾驶员长时间内(例如持续3秒钟以上还未恢复)持续存在皱眉、瞳孔放大、面部表情僵硬、咬牙动作，并出现咒骂行为，且驾驶员音量变大(大于60分贝)等组合动作时，则说明驾驶员情绪持续激动，即实际路怒等级处于中度路怒情绪状态，此时本申请的实施例可控制车辆播放安全驾驶警示语录音，并可通过在车载终端或仪表盘中不断闪烁路怒警示图标，以对驾驶员进行路怒情绪提醒和安抚。

由此，本申请的实施例通过对用户的面部表情和语音信息进行分析处理，判断驾驶员是否存在路怒情绪，并控制车辆对驾驶员进行提醒安抚，从而极大保证了驾乘人员的行驶安全，提高了车辆的可靠程度和智能化水平。

可选地，在本申请的一个实施例中，在识别驾驶员的实际路怒等级之后，还包括：采集车辆的实际车速；根据实际车速优化实际路怒等级。

需要说明的是，本申请的实施例在识别驾驶员的实际路怒等级，如上述轻度路怒情绪和中度路怒情绪后，本申请的实施例还可采集车辆实际车速，并与车辆静止时采集的三轴加速度和角速度数据所得到的标准比对数据进行比较，以判断当前车辆是否存在急加速或急减速等驾驶行为，从而根据急加速或急减速等危险驾驶指标，分析驾驶员的驾驶情绪，优化驾驶员的实际路怒等级，提高实际路怒等级划分的可靠性，避免路怒识别错误而导致误报警提醒情况的发生。

可选地，在本申请的一个实施例中，在识别驾驶员的实际路怒等级之后，还包括：采集车辆的实际转向；根据实际转向优化实际路怒等级。

在实际执行过程中，本申请的实施例在采集车辆的实际车速外，还可采集车辆的三轴加速度数据、角速度数据以及驾驶员手部在方向盘中的位置和动作，从而确定车辆实际转向等相应数据，进一步优化驾驶员的实际路怒等级。

具体地，本申请的实施例首先可对驾驶员在驾驶过程中对方向盘施加的压力进行实时监测和分析。本申请的实施例可在方向盘表面或内部安装压力传感器，当驾驶员手握方向盘时，传感器则会感应到压力，并将压力信号转换为电信号输出；通过数据采集器接收传感器输出的电信号传输到处理单元进行分析处理，数据采集器通常包括放大器、滤波器、模数转换器等组件，用于将传感器输出的电信号转换为计算机或处理器可以处理的数字信号；方向盘电容传感器是由两个电极组成的一种能够测量电容值的传感器，当两个电极之间有物体靠近时，电容值会发生变化。在电容方向盘中，电容传感器被安装在方向盘的表面，当驾驶员手部接触方向盘时，电容传感器会检测到电容值的变化，从而确定驾驶员手部的位置和动作。

其次，本申请的实施例可通过对车辆的状态数据进行采集和分析，以对车辆是否存在急加速、急减速、急转弯驾驶行为进行识别检测。本申请的实施例首先首先可采集车辆的三轴加速度数据和角速度数据，以及车辆的状态信息，如车速、转速等，其中，在数据采集过程中，通常会在车辆静止时采集三轴加速度和角速度数据，作为标准数据进行后续比对。

在车辆行驶过程中，通过对实时采集的数据与静止时采集的数据进行比对，可以计算出三轴与标准三轴的夹角，该夹角可用来判断车辆是否正在进行急加速、急减速或急转弯，其中，该夹角的计算公式如下：

θ＝atan((a

其中，a

此外，根据夹角θ的大小，本申请额实施例还可设定相应的阈值，如果夹角θ的值超过设定的阈值，则可判断出驾驶员正在进行急加速、急减速或急转弯等行为。

在对车辆进行急加速、急减速或急转弯等驾驶行为检测识别后，本申请的实施例可根据识别结果对上述驾驶员的实际路怒等级的分析进行扩展和优化。具体地，本申请的实施例可在检测到驾驶员长时间内(例如持续3秒钟以上还未恢复)皱眉、瞳孔放大、面部表情僵硬、出现咬牙动作，并出现连续咒骂，音量变大(如大于80分贝)，且方向盘传感器数据变大，同时出现急加速、急减速等驾驶行为组合时，则说明驾驶员情绪长时间持续激动，即处于严重路怒情绪状态，此时本申请的实施例可根据该严重路怒情绪状态，执行相应的安抚策略，如播放安全驾驶警示语录音、打开双闪，并适当刹车减速等。

由此，本申请的实施例通过DMS系统、语音识别、方向盘压力检测等技术，并分析车辆是否存在急加速、急减速或急转弯等驾驶行为，且在整车SOC中将不同入口的数据结果进行汇总计算，以判断此时驾驶员是否处于路怒情绪，进一步优化驾驶员路怒情绪的分类，并完善相应的安抚措施及安全驾驶辅助，从而极大提高驾驶安全，减少交通事故发生的概率。

可选地，在本申请的一个实施例中，在根据路怒等级匹配对应的安抚策略之前，还包括：检测实际路怒等级是否满足预设危险条件；在检测到满足预设危险条件的情况下，控制车辆进入自动驾驶模块。

需要说明的是，在根据路怒等级匹配对应的安抚策略之前，本申请的实施例还可对驾驶员的实际路怒等级是否满足预设的危险条件，即该路怒等级是否超出严重路怒情绪状态这一最高路怒等级的任一判断标准，如车速超过预设的危险阈值，如120km/h等，若超出，则说明驾驶员可能无视车辆的提醒与安抚，进行执行非常危险的驾驶行为，对自身与周边车辆的安全造成了极大的威胁。

此时，本申请的实施例可及时接管车辆的控制权，控制车辆进入自动驾驶模块，使得车辆减速行驶，并在不影响他车正常行驶的前提下，将车辆停放在路边安全区域，并持续监测驾驶员的情绪状态，直至其情绪满足安全情绪标准，如面部表情平和、音量稳定且在安全分贝区间内等时，再由驾驶员接管车辆。

由此，本申请的实施例可在检测到驾驶员情绪处于失控状态时，及时控制车辆进入自动驾驶模块，从而极大保障了车辆、驾乘人员以及当前行驶环境中其他车辆的安全，提高了车辆的可靠性，满足了用户的使用需求。

可选地，在本申请的一个实施例中，还包括：根据路怒等级匹配对应的乘客安抚策略，以控制车辆执行乘客安抚策略以对乘客进行安抚。

在具体执行过程中，本申请的实施例在检测到驾驶员存在路怒情绪状态时，可根据驾驶员实际路怒等级，及时对乘客进行相应的安抚和提醒。

举例而言，当驾驶员处于严重路怒情绪状态时，车辆在对驾驶员进行安抚的同时，可通过语音播报等形式对乘客进行安全提醒，如“当前驾驶员路怒等级过高，自动驾驶功能即将开启，请系好安全带并抓好扶手！”等；当驾驶员处于轻度路怒情绪状态时，车辆可对乘客进行安全提醒，如“当前驾驶员存在轻度路怒，请您系好安全带！”等；此外，还可提醒乘客对驾驶员进行安抚。

由此，本申请的实施例根据驾驶员的实际路怒等级，通过不同的安抚提醒策略对乘客进行安抚和提醒，从而保证了驾乘人员的安全，提高了车辆的人性化程度和智能化水平。

综上所述，本申请的实施例可融合人脸检测、语音识别、整车驾驶行为等多种技术策略，如图7所示，以促进不同技术领域的整合和优化，并综合分析多渠道数据，创造了更高效、更节省资源的路怒检测和安抚策略，更为准确地判断驾驶员处于何种路怒情绪状态，从而采取相应的提醒安抚措施，使驾驶员恢复平和心态，以营造安全、和谐的道路交通环境。

根据本申请实施例提出的驾驶行为的检测方法，通过在行车过程中实时采集驾驶员的面部表情、瞳孔变化、说话音量、词语解析、方向盘压力传感器数据差异以及行车参数等数据，检测驾驶员是否存在路怒情绪，并对驾驶员产生路怒情绪时进行及时提醒，且可自动播放优美静心的音乐，或者播放父母、爱人或孩子的安全爱心提醒录音一级安全驾驶警示语录音，此外还可通过自动打开双闪灯、主动刹车等安全措施以减少事故的发生，从而极大提高了驾驶安全，提升了车辆的可靠程度和智能化水平。

其次，参照附图描述根据本申请实施例提出的驾驶行为的检测装置。

图8是本申请实施例的驾驶行为的检测装置的方框示意图。

如图8所示，该驾驶行为的检测装置10包括：第一采集模块100、提取模块200以及识别模块300。

其中，第一采集模块100，用于采集驾驶员的面部图像和语音信息。

提取模块200，用于根据面部图像和语音信息进行检测提取驾驶员的表情特征和语音特征。

识别模块300，用于根据表情特征和语音特征判断驾驶员是否满足预设路怒情绪条件，并在驾驶员满足预设路怒情绪条件的情况下，根据表情特征和语音特征识别驾驶员的实际路怒等级，并根据路怒等级匹配对应的安抚策略，以控制车辆执行安抚策略以对驾驶员进行安抚。

可选地，在本申请的一个实施例中，识别模块300包括：获取单元、检测单元以及匹配单元。

其中，获取单元，用于获取满足预设路怒情绪条件下的表情路怒持续时长和/或语言路怒持续时长。

检测单元，用于根据表情特征、语音特征、路怒持续时长表情路怒持续时长和/或语言路怒持续时长识别驾驶员的实际路怒等级。

匹配单元，用于根据实际路怒等级匹配对应的安抚策略。

可选地，在本申请的一个实施例中，提取模块200包括：输入单元或者处理单元。

其中，输入单元，用于将面部图像和语音信息输入至预设特征识别模型中，输出表情特征和语音特征。

处理单元，用于基于面部图像，利用预设数据挖掘策略得到表情特征，并基于语音信息，利用短时傅里叶变换策略得到语音特征。

可选地，在本申请的一个实施例中，本申请实施例的驾驶行为的检测装置10还包括：第二提取模块和第一优化模块。

其中，第二提取模块，用于在识别驾驶员的实际路怒等级之后采集车辆的实际车速。

第一优化模块，用于根据实际车速优化实际路怒等级。

可选地，在本申请的一个实施例中，本申请实施例的驾驶行为的检测装置10还包括：第三采集模块和第二优化模块。

其中，第三采集模块，用于在识别驾驶员的实际路怒等级之后采集车辆的实际转向。

第二优化模块，用于根据实际转向优化实际路怒等级。

可选地，在本申请的一个实施例中，本申请实施例的驾驶行为的检测装置10还包括：分析模块和控制模块。

其中，分析模块，用于在根据路怒等级匹配对应的安抚策略之前检测实际路怒等级是否满足预设危险条件。

控制模块，用于在检测到满足预设危险条件的情况下，控制车辆进入自动驾驶模块。

可选地，在本申请的一个实施例中，本申请实施例的驾驶行为的检测装置10还包括：安抚模块，用于根据路怒等级匹配对应的乘客安抚策略，以控制车辆执行乘客安抚策略以对乘客进行安抚。

需要说明的是，前述对驾驶行为的检测方法实施例的解释说明也适用于该实施例的驾驶行为的检测装置，此处不再赘述。

根据本申请实施例提出的驾驶行为的检测装置，包括第一采集模块，用于采集驾驶员的面部图像和语音信息；提取模块，用于根据面部图像和语音信息进行检测提取驾驶员的表情特征和语音特征；识别模块，用于根据表情特征和语音特征判断驾驶员是否满足预设路怒情绪条件，并在驾驶员满足预设路怒情绪条件的情况下，根据表情特征和语音特征识别驾驶员的实际路怒等级，并根据路怒等级匹配对应的安抚策略，以控制车辆执行安抚策略以对驾驶员进行安抚。本申请通过驾驶监测系统检测驾驶员是否存在路怒情绪，并根据相应的等级算法执行相应的安抚措施及安全驾驶辅助操作，从而极大提高了驾驶安全，提升了车辆的可靠程度和智能化水平。

图9为本申请实施例提供的车辆的结构示意图。该车辆可以包括：

存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序。

处理器902执行程序时实现上述实施例中提供的驾驶行为的检测方法。

进一步地，车辆还包括：

通信接口903，用于存储器901和处理器902之间的通信。

存储器901，用于存放可在处理器902上运行的计算机程序。

存储器901可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器901、处理器902和通信接口903独立实现，则通信接口903、存储器901和处理器902可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选地，在具体实现上，如果存储器901、处理器902及通信接口903，集成在一块芯片上实现，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。

处理器902可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的驾驶行为的检测方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或N个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。