驾驶环境监测方法、装置、计算机存储介质及车辆

技术领域

本申请涉及安全驾驶监测技术领域，尤其涉及一种驾驶环境监测方法、装置、计算机存储介质及车辆。

背景技术

近几年，关于驾驶员受到干扰驾驶而造成多人伤亡的新闻越来越多。随着私家车、营运车的数量快速增长，在车辆行驶过程中需要对车辆驾驶员安全进行实时检测和针对暴力威胁进行预警，以保证驾驶员及乘车人员的安全是毋庸置疑的。因此，亟需一种驾驶环境状态的监测方案，来保证车辆以及车辆内人员的行驶安全。

发明内容

本申请实施例提供了一种驾驶环境监测方法、装置、计算机存储介质及车辆，可以监测车辆驾驶员本身及其驾驶环境，保证驾驶员及乘车人员的安全。

第一方面，本申请实施例提供了一种驾驶环境监测方法，包括：

监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为；

当存在特定干扰行为，采集车辆内部的语音信息，基于语音信息判断驾驶员所处的驾驶环境状态；

若驾驶环境状态为危险状态，则进行预设预警处理。

第二方面，本申请实施例提供了一种驾驶环境监测装置，包括：

图像采集模块，用于监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为；

语音采集模块，用于当存在特定干扰行为，采集车辆内部的语音信息，基于语音信息判断驾驶员所处的驾驶环境状态；

预警模块，用于若驾驶环境状态为危险状态，则启动危险状态对应的预设预警处理。

第三方面，本申请实施例提供了一种计算机存储介质，计算机存储介质存储有多条指令，指令适于由处理器加载并执行本申请实施例第一方面提供的方法步骤。

第四方面，本申请实施例提供一种车辆，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序适于由处理器加载并执行上述的方法的步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

本申请实施例公开了一种驾驶环境监测的方法，监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为；当存在特定干扰行为，采集车辆内部的语音信息，基于语音信息判断驾驶员所处的驾驶环境状态；若驾驶环境状态为危险状态，则进行预设预警处理。通过对驾驶员以及驾驶室内的驾驶环境进行实时监测，同时通过图像数据和语音信息综合判断，及时发现驾驶员出现的安全问题，并且针对该问题快速预警，保证了驾驶员及乘车人员的安全，提高了判断的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种驾驶环境监测方法的示例性系统架构图；

图2是本申请实施例提供的一种驾驶环境监测方法的示意性流程图；

图3是本申请实施例提供的一种驾驶环境监测方法的示意性流程图；

图4为本申请实施例提供的一种驾驶环境监测方法的逻辑框架示意图；

图5为本申请实施例提供的一种驾驶环境监测装置的结构框图；

图6为本申请实施例提供的一种车辆的结构示意图。

具体实施方式

为使得本申请的特征和优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在现代社会中，对于某些特定职业如出租车司机、专车司机等，驾驶员可能会面临来自乘客或外部环境的潜在威胁，例如干扰、胁迫等，车内的驾驶环境会影响到驾驶员的驾驶状态，以及其他的驾驶员自身原因，也可能导致驾驶员状态不佳，例如疲劳、突发疾病等，驾驶员的驾驶状态以及车辆内的驾驶环境直接决定了驾驶员自身以及乘客的出行安全。因此，实时监测和预警司机的驾驶环境，具有重要的社会价值和实际意义。

目前，传统的安全防护措施，主要是通过视频监控来实现对驾驶环境的监测，但由于视频获取和分析的滞后性，危险事件持续发展到一定程度才能得到较准确的判定结果，而无法在危险事件发生的第一时间进行及时预警，同时仅仅依靠图像数据难以完全体现出驾驶环境的氛围、状态，可能会出现误判的情况，无法保证其判断的准确性。

有鉴于此，本申请实施例提供了一种驾驶环境监测方法、装置、计算机存储介质及车辆。旨在通过摄像头获取的图像数据和车内语音模块获取的语音信息，结合上述的图像识别和语音识别技术，多维度判断驾驶员以及驾驶室内的驾驶环境的状态，并且本方案能够实时检测和预警危险事件，大大提升了司机的工作安全，也有助于提高司机的工作效率和满意度，保障了驾驶员以及乘车人员的人生安全，同时也减少了误判的可能性，提高了判断的准确性。

图1示例性地示出了本申请实施例提供的一种驾驶环境监测方法的示例性系统架构图。如图1所示，该场景主要包括车辆101，网络102、云端103。网络102用于在车辆101和云端103之间提供通信链路的介质。网络102可以包括各种类型的无线通信链路，例如：包括无线保真(Wireless-Fidelity，Wi-Fi)通信链路或微波通信链路等。通常而言，为了保护隐私信息，防止信息泄露，车辆101通常采用汽车远程服务提供商(Telematics ServiceProvider，TSP)提供的车内专用网络以连接云端103。

车辆101可以通过网络102与云端103交互，以接收来自云端103的消息或向云端103发送消息。车辆101也被称为车辆的车机系统，具有数据收发和数据处理能力。该车辆101上运行有支持人机交互的应用程序和装置，用户能够通过该应用程序实现人机交互。

在本申请实施例中，车辆101首先监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为；然后，车辆101当存在特定干扰行为时，采集车辆内部的语音信息，基于语音信息判断驾驶员所处的驾驶环境状态；车辆101若驾驶环境状态为危险状态，则启动危险状态对应的预设预警处理。

云端103是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。云端103能够为车辆101提供必要的算力支持，比如为车辆101上运行的应用程序提供后台服务。

应理解，图1中的车辆101和网络102的数目仅是示例性的，根据实现需要，可以是任意数量的车辆101和网络102。

请参阅图2，图2为本申请实施例提供的一种驾驶环境监测方法的示意流程图。本申请实施例的执行主体可以是执行驾驶环境监测方法的车辆，也可以是执行驾驶环境监测方法的车辆中的处理器，还可以是执行驾驶环境监测方法的车辆中的驾驶环境监测服务。为方便描述，下面以执行主体是车辆中的处理器为例，介绍界面显示方法的具体执行过程。

如图2所示，驾驶环境监测方法至少可以包括：

S202、监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为。

可选地，驾驶员所处的驾驶环境直接影响了驾驶员的驾驶状态，那么为了保证车辆在行驶过程中，驾驶员及乘客的安全，可以对驾驶员的驾驶环境、是否存在针对驾驶员的干扰行为进行监测，以快速准确地捕捉车内发生的危险事件。图像能够在一定程度上反映出当前所拍摄环境以及拍摄目标的状态，因此，首先可以监测驾驶员在车辆内部的驾驶环境图像，驾驶环境图像也就可以反映出驾驶员的驾驶状态以及驾驶环境状态。其中，特定干扰行为是指妨碍驾驶员正常驾驶的任何干扰行为，可以是例如但不限于干扰驾驶操作、攻击驾驶员。

具体地，为了采集车辆内部的驾驶环境图像，车辆中可以安装车载内部摄像头，其中，车载内部摄像头设置于遮阳板相对于驾驶员左侧的位置，这样可以完整地拍摄到驾驶员以及驾驶室内的驾驶环境。其中，通过车载内部摄像头进行图像获取，不仅有利于稳定准确地获取目标图像，而且也无需另外添加设备。当车辆启动时，通过车载内部摄像头持续采集驾驶员在车辆内部的驾驶环境图像，驾驶环境图像中就可以包括驾驶员本人以及驾驶室内的驾驶环境。具体来说，首先车辆内的车机系统需要初始化摄像头，以确保摄像头能够正常工作，这通常包括启动摄像头驱动程序和调整摄像头设置。摄像头初始化完成之后，车辆可以通过摄像头捕获驾驶环境图像，这可以通过调用摄像头中的预设函数或使用特定的图像捕获库来实现。

进一步地，采集到驾驶环境图像之后，根据驾驶环境图像可以分析驾驶员的驾驶状态，也即基于驾驶环境图像监测驾驶员是否受到特定干扰行为。在监测到驾驶员受到特定干扰行为的情况下，则说明此时驾驶员所处的驾驶环境可能存在危险情况，需要对特定干扰行为进行进一步验证和响应，以保证车内人员的安全。

S204、当存在特定干扰行为，采集车辆内部的语音信息，基于语音信息判断驾驶员所处的驾驶环境状态。

可选地，当驾驶员受到特定干扰行为时，表明已经初步判断发生了异常状况，然而单一的图像可能存在误判的情况，那么为了从多个角度判断驾驶员是否处于危险，提高驾驶环境状态监测的准确性，考虑到语音信息可以记录车内驾驶员与乘客等之间的交流、交互情况，也就能进一步说明车内驾驶环境的氛围和状态，基于此，可以进一步通过车内的语音信息来分析驾驶员所处的驾驶环境状态。

可选地，确定存在特定干扰行为之后，可以立即启动车辆内部的语音识别模块，收集语音信息，对该语音信息进行分析、处理，从中获取车辆内部的人员交流情况，以此来判断驾驶员所处的驾驶环境状态。具体来说，车内的接收设备收集语音信息，语音识别模块对语音信息进行预处理，包括但不限于去除噪声、放大信号，以保证基于语音信息的环境状态判断结果的准确性。这样通过语音信息对图像检测结果进行二次校验，可以从多维度实现对车内危险情况的准确判断，提高危险事件检测的准确性和可靠性。

S206、若驾驶环境状态为危险状态，则进行预设预警处理。

可选地，若驾驶环境状态为危险状态，则说明此时驾驶员以及车内乘客存在安全风险，此时需要对危险状态进行响应，在一种可行的实施方式中，可以预设危险状态对应的预警处理，在监测到危险状态时，则进行预设预警处理。进一步，对于不同种类的危险状态，可以提前预设不同响应方式的预警处理，根据危险状态的具体情况采取适应性的预设预警处理。举例来说，当驾驶员由于他人因素而处于异常驾驶状态时，例如但不限于驾驶操作被干扰、受到攻击等，可以及时记录当前车内信息，以及进行关联外部响应系统的预警处理，以保障驾驶员的个人权益。

可选地，若驾驶环境状态为安全状态，则说明图像检测出的存在针对驾驶员的特定干扰行为可能为误判，因此此时可以认为没有发生危险事件，继续执行监测驾驶员在车辆内部的驾驶环境图像。

本申请实施例提供了一种驾驶环境监测方法，监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为；当存在特定干扰行为，采集车辆内部的语音信息，基于语音信息判断驾驶员所处的驾驶环境状态；若驾驶环境状态为危险状态，则启动危险状态对应的预设预警处理。通过对驾驶员以及驾驶室内的驾驶环境进行实时监测，同时通过图像数据和语音信息综合判断，及时发现驾驶员出现的安全问题，并且针对该问题快速预警，保证了驾驶员及乘车人员的安全，提高了判断的准确性。

请参阅图3，图3为本申请实施例提供的一种驾驶环境监测方法的示意性流程图。

如图3所示，驾驶环境监测方法至少可以包括：

S302、监测驾驶员在车辆内部的驾驶环境图像，确定驾驶环境图像的类别，类别用于表征驾驶环境中针对所述驾驶员的外部行为特征。

具体地，通过车载内部摄像头，实时采集驾驶员以及驾驶室内的驾驶环境的图像。在获取驾驶环境图像时，摄像头的拍摄频率可以根据具体的应用需求和设备性能进行调整。在获取驾驶环境图像时，摄像头通常会以例如但不限于为30帧每秒的频率进行拍摄，这样可以确保在进行获取驾驶环境图像时，图像质量较为稳定，不会出现画面模糊的情况，并让设备在短时间内完成识别和检测过程。

请参阅图4，图4为本申请实施例提供的一种驾驶环境监测方法的逻辑框架示意图。如图4所示，监测驾驶员在车辆内部的驾驶环境图像，将该图像输入到图像检测模型中，基于图像检测模型对驾驶环境图像进行检测，确定驾驶环境图像的类别。具体来说，将摄像头采集到的驾驶环境图像输入到该模型中，该模型对输入的图像进行预处理，包括但不限于增强对比度，缩放，使图像更加清晰，易于识别。该模型将图像分割成多个小块，根据训练好的分类器对每个小块进行分类识别，提取出关键特征，若存在符合预设特征的行为或物品，该模型则判断检测到异常驾驶环境图像。采集到驾驶环境图像后，图像检测模型对每一帧图像进行检测，将该图像进行分类。其中，图像检测模型为暴力检测模型，可以将该图像分类为异常驾驶环境图像和正常驾驶环境图像。当驾驶员肢体受到除驾驶员以外的其他人使用工具或肢体的直接或间接的限制时，则判定该驾驶环境图像为异常驾驶环境图像。举例来说，暴力检测模型可以采用例如但不限于yolov5、retina的深度学习的图像识别模型。

S304、当驾驶环境图像为异常驾驶环境图像，则确定异常驾驶环境图像对应的异常连续帧数，异常连续帧数为包括异常驾驶环境图像在内的连续异常驾驶环境图像的帧数。

可选地，当驾驶环境图像为异常驾驶环境图像，则确定该异常驾驶环境图像对应的异常连续帧数。请继续参阅图4，当图像检测模型检测出异常驾驶环境图像时，计算出该异常驾驶环境图像对应的异常连续帧数，该异常连续帧数为包括异常驾驶环境图像在内的连续异常驾驶环境图像的帧数。举例来说，在图像检测模型检测出异常驾驶环境图像时，若该异常驾驶环境图像的前14帧图像全部被确定为异常驾驶环境图像，那么该异常驾驶环境图像对应的异常连续帧数为15帧。

S306、若异常连续帧数大于预设帧数阈值，则确定存在特定干扰行为。

可选地，若异常连续帧数大于预设帧数阈值，则确定存在特定干扰行为。通过上述方案确定出异常连续帧数，当存在异常驾驶环境图像对应的异常连续帧数大于预设帧数阈值时，即确定存在针对驾驶员的特定干扰行为。举例来说，当摄像头的帧率为30帧每秒，可以设置预设帧数阈值为15帧，此时若异常连续帧数大于15帧，即大于摄像头帧率对应的每秒帧数的50％，则可以确定存在针对驾驶员的特定干扰行为。

可选地，如图4所示，若异常状态帧数大于预设帧数阈值，则说明此时驾驶员的状态不符合常规安全的驾驶状态，确定存在针对驾驶员的特定干扰行为。

S308、若异常状态帧数小于预设帧数阈值，则确定不存在针对驾驶员的特定干扰行为，以及执行监测驾驶员在车辆内部的驾驶环境图像。

可选地，如图4所示，若异常状态帧数小于预设帧数阈值，则可以认为没有发生危险事件，确定不存在针对驾驶员的特定干扰行为，驾驶员处于正常驾驶状态，以及继续执行实时采集图像数据。

S310、当存在特定干扰行为，采集车辆内部的语音信息，对语音信息进行文字识别，得到语音信息对应的文字内容。

具体地，监测到存在特定干扰行为之后，可以立即启动车辆内部的语音识别模块，收集语音信息，对该语音信息进行特征提取，提取出语音中的关键特征，将提取出的特征送入训练好的声学模型和语言模型，分别求得声学模型和语言模型得分，综合这2个得分，进行特征的匹配，输出语言识别最相似的结果，将识别结果转换为对应的文字内容。

S312、基于语言分析模型对文字内容进行分析，确定驾驶员所处的驾驶环境状态。

具体地，基于语言分析模型对得到的文字内容进行语义分析和情感分析，确定驾驶员的驾驶环境状态。具体来说，语言分析模型将文字内容拆分成一个个单独的字、词语或短语，为了方便描述，下面用词代替单独的字、词语或短语。在开源语言模型数据集中，对每个词进行预处理，包括但不限于词性标注和去除停用词，其中，词性标注是指确定每个词的词性，例如动词、名词等。将预处理后的词进行极性分析，确定每个词的情感极性，结合每个词的情感极性和词性标注，对整个句子的情感进行分析，确定整个句子的情感倾向。使用有标签的数据集训练分类器，将文本分类成是否含有极端情绪的句子，最终判断该文字内容的性质，从而确定驾驶员的驾驶环境状态。其中，语言分析模型可以采用例如但不限于Chatglm、moss的大语言分析模型。

在一些可能的实施方式中，可以将识别到的文字内容上传至云端，基于云端的大语言模型，针对识别到的文字内容进行情感分析和语义分析。由于云端具有更强的算力和更好的扩展性，可以更加准确和全面地对文字内容进行分析，进一步提高了准确性。同时，使用云端的语言模型能更加高效地共享和利用数据资源，提供更快速的服务响应和处理速度。

请参阅图4，当驾驶环境状态为危险状态，则说明此时驾驶员以及车内乘客存在安全风险，可以启动预设预警处理；若驾驶环境状态为安全状态，则认为此时驾驶环境安全，继续执行监测驾驶员在车辆内部的驾驶环境图像。

S314、若驾驶环境状态为危险状态，保存异常视频至非易失存储器，异常视频为从第一帧异常驾驶环境图像开始的视频。

可选地，通过上述方案确定驾驶环境状态，若该驾驶环境状态为危险状态，则保存异常视频到非易失存储器，记录事情原因和经过，协助调查人员了解事件本身。其中，异常视频的时长为预设时长，可以是15秒到3分钟的任意时间段。需要说明的是，非易失存储器是指当设备掉电后，所存储的数据不会丢失的存储器，由于车辆实时运行数据是以缓存的形式保留的，没有存入非易失存储器的缓存数据在车辆掉电之后会自动清除，因此，为了保证异常视频的完整，需要将其存入非易失存储器，以使得车辆掉电之后依然能够从车辆中读取到完整的异常视频。

S316、确定车辆的定位信息，将定位信息上传至云端预警系统。

具体地，根据定位系统获取车辆的定位信息，将定位信息上传至云端的预警系统。其中，定位信息包括车辆的位置信息和轨迹信息，位置信息包括车辆所处的经纬度信息以及具体所处位置信息，轨迹信息包括车辆继续行驶的方向信息，例如车辆处于经度11709.112、纬度3403.868，某某大道某某路，沿路继续向南方行驶。

可选地，定位系统包括全球定位系统(Global Positioning System，GPS)、北斗卫星导航系统(BeiDou Navigation Satellite System，BDS)、全球导航卫星系统(GlobalNavigation Satellite System，GNSS)、伽利略卫星导航系统(GalileoSatelliteNavigation System，GSNS)等任意一种，本申请实施例对此不做限定。

在另一种可行的实施方式中，接入外部告警响应系统；确定车辆的定位信息，将定位信息发送至外部告警响应系统。接入外部告警响应系统，将车辆的定位信息发送至外部告警响应系统，该外部告警响应系统可以将车辆的定位信息，事件发生的时间信息发送给预设的用户终端。预设的用户终端可以是例如但不限于公安机关、公交车的乘务主任等。其中，若驾驶员签署隐私协议，可以将异常视频同步发送至外部告警响应系统，外部告警响应系统发送至预设的用户终端。

本申请实施例提供了一种驾驶环境监测方法，通过上述方案，采用了基于单帧图像的检测方法，可以在一秒内确定出驾驶员的驾驶环境，极大地提高了响应速率。同时在出现针对驾驶员的特定干扰行为时保存相应的异常视频，记录事件原因和经过，协助调查人员了解事件本身，方便定责。并且本方案包含预警系统，通过这一实时预警机制，可以在第一时间为驾驶员提供帮助，让相关人事更快地响应并处理事件。

请参阅图5，图5为本申请实施例提供的一种驾驶环境监测装置的结构框图。如图5所示：驾驶环境监测装置500包括：图像采集模块510、语音采集模块520和预警模块530。其中：

图像采集模块510，用于监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为；

语音采集模块520，用于当存在特定干扰行为，采集车辆内部的语音信息，基于语音信息判断驾驶员所处的驾驶环境状态；

预警模块530，用于若驾驶环境状态为危险状态，则启动危险状态对应的预设预警处理。

在一些可能的实施例中，图像采集模块510，具体用于监测驾驶员在车辆内部的驾驶环境图像，确定驾驶环境图像的类别，所述类别用于表征驾驶环境中针对所述驾驶员的外部行为特征；

在一些可能的实施例中，图像采集模块510还包括：

第一确定单元，具体用于当驾驶环境图像为异常驾驶环境图像，则确定异常驾驶环境图像对应的异常连续帧数，异常连续帧数为包括异常驾驶环境图像在内的连续异常驾驶环境图像的帧数；

第二确定单元，具体用于若异常连续帧数大于预设帧数阈值，则确定存在特定干扰行为。

在一些可能的实施例中，图像采集模块510，具体用于监测驾驶员在车辆内部的驾驶环境图像，基于图像检测模型对驾驶环境图像进行检测，确定驾驶环境图像的类别。

在一些可能的实施例中，图像采集模块510，包括：比较模块，具体用于若异常状态帧数小于预设帧数阈值，则确定不存在特定干扰行为，以及执行监测驾驶员在车辆内部的驾驶环境图像。

在一些可能的实施例中，语音采集模块520，包括：识别模块，具体用于对语音信息进行文字识别，得到语音信息对应的文字内容；

文字分析模块，具体用于基于语言分析模型对文字内容进行分析，确定驾驶员所处的驾驶环境状态。

在一些可能的实施例中，预警模块530，包括：

保存模块，具体用于若驾驶环境状态为危险状态，保存异常视频至非易失存储器，异常视频为从第一帧异常驾驶环境图像开始的视频；

定位模块，具体用于确定车辆的定位信息，将定位信息上传至云端预警系统。

在一些可能的实施例中，预警模块530，包括：

接入模块，具体用于接入外部告警响应系统；

确定模块，具体用于确定车辆的定位信息，将定位信息发送至外部告警响应系统。

本申请实施例提供了一种驾驶环境监测装置，其中，图像采集模块，用于监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为；语音采集模块，用于确定存在所述特定干扰行为，采集车辆内部的语音信息，基于语音信息判断驾驶员所处的驾驶环境状态；预警模块，用于若驾驶环境状态为危险状态，则启动危险状态对应的预设预警处理。通过对驾驶员以及驾驶室内的驾驶环境进行实时监测，同时通过图像数据和语音信息综合判断，及时发现驾驶员出现的安全问题，并且针对该问题快速预警，保证了驾驶员及乘车人员的安全，提高了判断的准确性。

需要说明的是，上述实施例提供的驾驶环境监测装置在执行驾驶环境监测方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的驾驶环境监测装置与驾驶环境监测方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

请参阅图6，图6为本申请实施例提供的一种车辆的结构示意图。如图6所示，车辆600可以包括：至少一个处理器601，至少一个网络接口604，用户接口603，存储器605，至少一个通信总线602。

其中，通信总线602用于实现这些组件之间的连接通信。

其中，用户接口603可以包括显示屏(Display)、摄像头(Camera)，可选用户接口603包括标准的有线接口、无线接口。

其中，网络接口604可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。

其中，处理器601可以包括一个或者多个处理核心。处理器601利用各种借口和线路连接整个车辆600内的各个部分，通过运行或执行存储在存储器605内的指令、程序、代码集或指令集，以及调用存储在存储器605内的数据，执行车辆600的各种功能和处理数据。可选的，处理器601可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器601可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器601中，单独通过一块芯片进行实现。

其中，存储器605可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器606包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器605可用于存储指令、程序、代码、代码集或指令集。存储器605可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器605可选的还可以是至少一个位于远离前述处理器601的存储装置。如图6所示，作为一种计算机存储介质的存储器605中可以包括操作系统、网络通信模块、用户接口模块以及驾驶环境监测应用程序。

在图6所示的车辆600中，用户接口603主要用于为用户提供输入的接口，获取用户输入的数据；而处理器601可以用于调用存储器605中存储的驾驶环境监测应用程序，并具体执行以下操作：

监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为；

当存在特定干扰行为，采集车辆内部的语音信息，基于语音信息判断驾驶员所处的驾驶环境状态；

若驾驶环境状态为危险状态，则进行预设预警处理。

在一些可能的实施例中，处理器601执行监测驾驶员在车辆内部的驾驶环境图像，基于驾驶环境图像监测是否存在针对驾驶员的特定干扰行为时，具体用于执行：监测驾驶员在车辆内部的驾驶环境图像，确定驾驶环境图像的类别，类别用于表征驾驶环境中针对所述驾驶员的外部行为特征；当驾驶环境图像为异常驾驶环境图像，则确定异常驾驶环境图像对应的异常连续帧数，异常连续帧数为包括异常驾驶环境图像在内的连续异常驾驶环境图像的帧数；若异常连续帧数大于预设帧数阈值，则确定存在特定干扰行为。

在一些可能的实施例中，处理器601执行监测驾驶员在车辆内部的驾驶环境图像，确定驾驶环境图像的类别时，还具体用于执行：监测驾驶员在车辆内部的驾驶环境图像，基于图像检测模型对驾驶环境图像进行检测，确定驾驶环境图像的类别。

在一些可能的实施例中，处理器601执行当驾驶环境图像为异常驾驶环境图像，则确定异常驾驶环境图像对应的异常连续帧数之后，还具体用于执行：若异常状态帧数小于预设帧数阈值，则确定不存在特定干扰行为，以及执行监测驾驶员在车辆内部的驾驶环境图像。

在一些可能的实施例中，处理器601执行基于语音信息判断驾驶员所处的驾驶环境状态时，还具体用于执行：对语音信息进行文字识别，得到语音信息对应的文字内容；基于语言分析模型对文字内容进行分析，确定驾驶员所处的驾驶环境状态。

在一些可能的实施例中，处理器601执行若驾驶环境状态为危险状态，则进行预设预警处理时，还具体用于执行：若驾驶环境状态为危险状态，保存异常视频至非易失存储器，异常视频为从第一帧异常驾驶环境图像开始的视频；确定车辆的定位信息，将定位信息上传至云端预警系统。

在一些可能的实施例中，处理器601执行若驾驶环境状态为危险状态，则进行预设预警处理时，还具体用于执行：接入外部告警响应系统；确定车辆的定位信息，将定位信息发送至外部告警响应系统。

本申请实施例提供了一种驾驶环境监测车辆，可以实时监测驾驶员以及驾驶室内的驾驶环境，保障了驾驶员以及乘车人员的生命安全，及时应对紧急状况，使相关人员能及时采取对应措施，在一定程度上，促进社会和谐，较少社会矛盾。同时，通过图像数据和语音信息多维度去判断驾驶员以及驾驶室内的驾驶环境的状态，减少了误判的可能性，提高了判断的准确性。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述图2或图3所示实施例中的一个或多个步骤。上述驾驶环境监测装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在计算机可读取存储介质中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机指令可以从一个网站站点、计算机、云端或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、云端或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的云端、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(Digital Versatile Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：制度存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。在不冲突的情况下，本实施例和实施方案中的技术特征可以任意组合。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。