车内异常行为识别方法、系统、电子设备及存储介质

技术领域

本申请涉车辆安全技术领域，尤其涉及一种车内异常行为识别方法、系统、电子设备及存储介质。

背景技术

在现实生活中，各种各样的车辆行驶在道路上，给我们的生活带来极大便利。但是目前不管是何种公共交通工具或出租车，几乎都需要人来驾驶或操作，这就要求驾驶员在驾驶或操作车辆的时候必须全神贯注，不能出现任何异常行为。驾驶员的异常行为可能引起非常严重的后果，有的甚至需要付出生命的代价。现有的车内异常行为识别方法都是只识别驾驶员异常行为，事实上常常发生乘客干扰或威胁驾驶员的事件，给行驶安全带来巨大的隐患。

发明内容

本申请实施例提供一种车内异常行为识别方法、系统、电子设备及存储介质，能够在对驾驶员异常行为进行识别的同时，识别乘客影响驾驶员的异常行为，提升行车安全以及驾驶员的人身安全。

第一方面，本申请一实施例提供了一种车内异常行为识别方法，包括：

获取第一图像采集装置采集的驾驶区域的第一图像；

识别驾驶员在所述第一图像中的目标位置，基于所述目标位置将所述第一图像划分为包含驾驶员的驾驶员图像和不包含驾驶员的干扰区域图像；

基于所述驾驶员图像确定驾驶员是否存在异常行为；

基于所述干扰区域图像确定乘客是否存在针对驾驶员的异常行为；

当存在异常行为时，输出异常行为对应的告警信息。

可选地，所述基于所述驾驶员图像确定驾驶员是否存在异常行为，具体包括：

识别所述驾驶员图像中的人脸位置和手部位置；

基于所述人脸位置处的图像，确定所述驾驶员是否存在异常行为；

基于所述手部位置处的图像，确定所述驾驶员是否存在异常行为。

可选地，所述基于所述干扰区域图像确定乘客是否存在针对驾驶员的异常行为，具体包括：

判断所述干扰区域图像中是否包含乘客的人体部位；

若所述干扰区域图像中包含人体部位，则确定乘客存在针对驾驶员的异常行为。

可选地，当所述人体部位为手时，所述方法还包括：

基于乘客手部周围的图像，确定乘客是否手持物品；

若乘客没有手持物品，则确定乘客存在干扰驾驶员的异常行为；

若乘客手持物品，则判断所述手持物品是否为危险品；

若所述手持物品为危险品，则确定乘客存在威胁驾驶员的异常行为，否则确定乘客存在干扰驾驶员的异常行为。

可选地，所述方法还包括：

若所述干扰区域图像中不包含人体部位，则识别所述干扰区域图像中是否包含危险品；

若所述干扰区域图像中存在危险品，则确定乘客存在威胁驾驶员的异常行为。

可选地，所述方法还包括：

获取第二图像采集装置采集的乘客区域的第二图像；

基于所述第二图像确定乘客是否存在异常行为。

可选地，所述第二图像采集装置包括多个摄像头，每个摄像头分别对应所述乘客区域中的一个子区域；

所述基于所述第二图像确定乘客是否存在异常行为，具体包括：

根据每个摄像头采集的图像，确定每个子区域中的乘客是否存在异常行为。

第二方面，本申请一实施例提供了一种车内异常行为识别系统，包括：第一图像采集装置和图像处理装置和语音报警装置；

所述第一图像采集装置用于采集驾驶区域的图像，以获得第一图像；

所述图像处理装置用于：获取第一图像采集装置采集的驾驶区域的第一图像；识别驾驶员在所述第一图像中的目标位置，基于所述目标位置将所述第一图像划分为包含驾驶员的驾驶员图像和不包含驾驶员的干扰区域图像；基于所述驾驶员图像确定驾驶员是否存在异常行为；基于所述干扰区域图像确定乘客是否存在针对驾驶员的异常行为；当存在异常行为时，输出异常行为对应的告警信息；

所述语音报警装置用于播放异常行为对应的告警信息。

可选地，所述系统还包括第二图像采集装置，所述第二图像采集装置用于采集乘客区域的图像，以获得第二图像：

所述图像处理装置还用于：获取第二图像采集装置采集的乘客区域的第二图像；基于所述第二图像确定乘客是否存在异常行为。

第三方面，本申请一实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。

第四方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。

第五方面，本申请一实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现上述任一种方法的步骤。

本申请实施例提供的车内异常行为识别方法、系统、电子设备及存储介质，能够在对驾驶员异常行为进行识别的同时，识别乘客影响驾驶员的异常行为，提升行车安全以及驾驶员的人身安全，而且分区域进行不同的识别任务，可提高不同类型的异常行为的识别准确度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的车内异常行为识别方法的流程示意图；

图2为本申请实施例提供的基于干扰区域图像确定乘客是否存在针对驾驶员的异常行为的流程示意图；

图3为本申请实施例提供的识别乘客是否存在针对驾驶员的异常行为的流程示意图；

图4为本申请实施例提供的车内异常行为识别系统的结构示意图；

图5为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

深度学习：深度学习的概念源于人工神经网络的研究，含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，通过模仿人脑的机制来解释数据，例如图像，声音和文本等。常用的深度学习模型包括：卷积神经网络(ConvolutionalNeuralNetworks，CNN)、循环神经网络(Recurrent Neural Network，RNN)、是长短期记忆网络(Long Short-Term Memory，LSTM)、深度神经网络(Deep Neural Network，DNN)、深度置信网(Deep Belief Nets，DBNs)等神经网络。数据在神经网络中的传播有两种方式，一种是沿着输入到输出的路径，被称为前向传播(Forwardpropagation)，另一种是从输出返回到输入，被成为反向传播(Backpropagation)。在正向传播过程中，输入信息通过神经网络逐层处理并传向输出层，通过损失函数描述输出值与期望之间的误差，转入反向传播，逐层求出损失函数对各神经元的权重的偏导数，构成损失函数对权值向量的权重梯度数据，作为更新权重参数的依据，在不断更新权重参数的过程中完成神经网络的训练。

人体关键点是指人体的各个部位的关键位置点，人体关键点对于描述人体姿态、预测人体行为至关重要。人体关键点主要包括：手腕(可以分为右手腕和左手腕)、手肘(可以分为左胳膊肘关节和右胳臂肘关节)、肩部(可分为左肩和右肩)、脚腕(可分为左脚腕和右脚腕)、膝盖(可分为左膝盖和右膝盖)、胯骨、髋部、臀部(可分为左臀部和右臀部)、胸部、头部、眼睛、下巴、头顶等。传统方法主要采用图形结构来解决人体关键点检测问题，例如，树模型(TreeModels)和随机森林模型(Random Forest Models)。近年来，深度学习技术得到了广泛的应用，产生了一系列人体关键点检测算法，例如DeepPose、CPM、SHN、PAFs、RMPE、CPN及其一系列衍生算法。基于深度学习方法，获得人体关键点检测模型的训练过程包括：获取训练样本集合，训练样本包括样本人体图像和样本人体图像中显示的人体的至少一个部位的关键点的位置信息；获取初始人体关键点检测模型，初始人体关键点检测模型包括特征提取网络、与至少一个部位对应的至少一个关键点检测网络；利用深度学习方法，将训练样本集合中的训练样本的样本人体图像作为特征提取网络的输入，将特征提取网络输出的特征信息分别输入至少一个关键点检测网络，将输入的样本人体图像中显示的人体的至少一个部位的关键点的位置信息分别作为对应的关键点检测网络的期望输出，训练得到人体关键点检测模型。

现有的车内异常行为识别方法都是只识别驾驶员异常行为，事实上常常发生乘客干扰或威胁驾驶员的事件，给行驶安全带来巨大的隐患。基于此，本申请实施例扩大了采集驾驶员图像的摄像头的图像采集区域，使其覆盖驾驶员本身和周边的区域，在对驾驶员异常行为进行识别的同时，识别乘客影响驾驶员的异常行为，提升行车安全以及驾驶员的人身安全。

基于此，本申请实施例提供一种车内异常行为识别方法，参考图1，具体包括以下步骤：

S101、获取第一图像采集装置采集的驾驶区域的第一图像。

其中，第一图像采集装置可以是设置在驾驶区域的摄像头，具体布设位置可根据车辆的情况确定。例如，第一图像采集装置可采集驾驶员与扶手箱附近的区域。第一图像采集装置可选择高清、广角摄像头，以获取驾驶员清晰的面部图像以及肢体图像，同时扩大第一图像的视场角覆盖范围，以获知驾驶员周边的环境情况。

S102、识别驾驶员在第一图像中的目标位置，基于目标位置将第一图像划分为包含驾驶员的驾驶员图像和不包含驾驶员的干扰区域图像。

具体实施时，可基于现有的人脸识别、人体识别等技术，从第一图像中确定出人体位置，然后将第一图像中人体位置对应的区域单独划分为驾驶员图像，将第一图像中剩余的区域划分为干扰区域图像。或者，可基于目标跟踪技术对该驾驶员进行跟踪识别，进而从第一图像中确定出驾驶员所在的目标位置，基于目标位置将第一图像分割为驾驶员图像和干扰区域图像。其中，采用的目标跟踪技术可以是DeepSort(Simple Online and RealtimeTracking with a DeepAssociation Metric，具有深度关联度量的简单在线实时跟踪)或KCF(KernelCorrelation Filter，核相关滤波算法)等，本申请实施例不作限定。

S103、基于驾驶员图像确定驾驶员是否存在异常行为。

具体实施时，可预先采集大量驾驶员在驾驶过程中的图像，其中一部分图像中的驾驶员不存在异常行为，另一部分图像中的驾驶员存在异常行为，基于图像中驾驶员的异常行为对这些图像进行标注，标注的类别可包括不存在异常行为和存在异常行为。然后，基于标注好的驾驶员图像，训练驾驶员异常行为识别模型，获得驾驶员异常行为识别模型能够识别驾驶员是否存在异常行为。

S104、基于干扰区域图像确定乘客是否存在针对驾驶员的异常行为。

具体实施时，可预先采集大量干扰驾驶员行为的原始图像以及驾驶员未被干扰的原始图像，从这些原始图像中分割出不包含驾驶员的干扰区域图像，具体划分方式可参考步骤S102。基于原始图像中是否存在干扰驾驶员的行为，对原始图像对应的干扰区域图像进行标注，标注的类别可包括存在针对驾驶员的异常行为和不存在针对驾驶员的异常行为。然后，基于标注好的干扰区域图像训练干扰区异常行为识别模型，获得的干扰区异常行为识别模型能够识别乘客是否存在针对驾驶员的异常行为。

需要说明的是，步骤S103和步骤S104之间没有固定的先后顺序，可以先执行步骤步骤S103再执行步骤S104，也可以先执行步骤步骤S104再执行步骤S103，还可以同时执行步骤S103和步骤S104。

S105、当存在异常行为时，输出异常行为对应的告警信息。

具体实施时，不同类别的异常行为可对应不同的告警信息。例如，如果识别到驾驶员存在异常行为，则输出提醒驾驶员的告警信息；如果识别到乘客针对驾驶员存在异常行为，则输出提醒乘客的告警信息，同时也可以输出提醒驾驶员注意的告警信息。

具体实施时，可在驾驶员区域和乘客区域分别设置语音报警装置。驾驶员区域的语音报警装置用于播放提醒驾驶员的告警信息，乘客区域的语音报警装置用于播放提醒乘客的告警信息。

当不存在异常行为或完成步骤S105时，继续对第一图像采集装置采集的新的图像进行异常行为识别。

本申请实施例提供的车内异常行为识别方法，扩大了采集驾驶员图像的摄像头的图像采集区域，使采集的第一图像覆盖驾驶员本身和其周边区域，并基于识别驾驶员在第一图像中的位置，将第一图像划分为驾驶员图像和干扰区域图像，基于驾驶员图像对驾驶员的异常行为进行识别，基于干扰区域图像对乘客影响驾驶员的异常行为进行识别。因此本申请实施例的车内异常行为识别方法，能够在对驾驶员异常行为进行识别的同时，识别乘客影响驾驶员的异常行为，提升行车安全以及驾驶员的人身安全，而且分区域进行不同的识别任务，可提高不同类型的异常行为的识别准确度。此外，还可以基于不同识别任务对应的样本图像，有针对性的进行模型训练，从而得到识别准确度更高的驾驶员异常行为识别模型和干扰区异常行为识别模型。

进一步地，在训练驾驶员异常行为识别模型时，还可以对驾驶员的异常行为进行分类，例如驾驶员的异常行为包括但不限于打瞌睡、双手离开方向盘等，即驾驶员图像的标注类别可包括不存在异常行为、打瞌睡、双手离开方向盘等。然后基于标注好的驾驶员图像训练驾驶员异常行为识别模型，获得的驾驶员异常行为识别模型不仅能够识别驾驶员是否存在异常行为，还能识别驾驶员异常行为的类别，进而有针对性的对驾驶员进行提示。即驾驶员不同的异常行为对应不同的告警信息，例如当驾驶员打瞌睡时，可输出提醒驾驶员不要疲劳驾驶的告警信息；当驾驶员双手离开方向盘时，可输出提醒驾驶员双手不要离开方向盘的告警信息。

为了进一步提高驾驶员异常行为的识别准确度，可对驾驶员的各个关键部位分别进行识别，例如可以分开识别驾驶员的面部动作和手部动作。

基于此，步骤S103可具体包括如下步骤：识别驾驶员图像中的人脸位置和手部位置；基于人脸位置处的图像，确定驾驶员是否存在异常行为；基于手部位置处的图像，确定驾驶员是否存在异常行为。

具体实施时，可基于现有的人体关键点识别、人脸识别等技术，从识别驾驶员图像中定位出人脸位置和手部位置。然后，基于预先训练的驾驶员脸部识别模型，识别驾驶员是否存在异常行为。

可预先采集大量驾驶员在驾驶过程中的脸部图像，其中一部分脸部图像中的驾驶员不存在异常行为，另一部分脸部图像中的驾驶员存在异常行为，如打瞌睡，基于脸部图像中驾驶员的异常行为，对这些脸部图像进行类别标注。然后，基于标注好的脸部图像，训练驾驶员脸部识别模型，获得的驾驶员脸部识别模型能够基于驾驶员的脸部图像，识别驾驶员是否存在打瞌睡等异常行为。

同样地，可预先采集大量驾驶员在驾驶过程中的手部图像，其中一部分手部图像中的驾驶员不存在异常行为，另一部分手部图像中的驾驶员双手离开了方向盘，基于手部图像中驾驶员的异常行为，对这些手部图像进行类别标注。然后，基于标注好的手部图像，训练驾驶员手部识别模型，获得的驾驶员手部识别模型能够基于驾驶员的手部图像，识别驾驶员是否存在双手离开了方向盘的异常行为。

对驾驶员手部和脸部分开进行模型训练和异常行为识别，有助于提高识别模型的识别准确度。

在上述任一实施方式的基础上，参考图2，步骤S104具体包括如下步骤：

S201、判断干扰区域图像中是否包含乘客的人体部位；若干扰区域图像中包含人体部位，则执行步骤S202，若干扰区域图像中不包含人体部位，则执行步骤S203。

其中，人体部位包括但不限于：头部、手部、脚等。具体实施时，可基于人体关键点检测技术，识别目标对象干扰区域图像中是否包含人体部位；也可以预先训练能够识别图像中是否包含人体部位的人体识别模型，基于人体识别模型判断干扰区域图像中是否包含乘客的人体部位。

S202、确定乘客存在针对驾驶员的异常行为。

进一步地，可根据干扰区域图像中的人体部位的类别，确定乘客针对驾驶员的异常行为的类别。可基于预训练的人体识别模型，识别干扰区域图像中的人体部位的类别。

当干扰区域图像中包含乘客的头部时，表明乘客可能正在与驾驶员聊天或乘客过于靠近驾驶区域(这会影响驾驶员)，确定乘客存在干扰驾驶员的异常行为。此时可输出提醒乘客不要干扰驾驶员的告警信息。

当干扰区域图像中包含乘客的脚时，确定乘客存在威胁驾驶员的异常行为。因为，第一图像采集装置的拍摄角度被调整到无法获取乘客脚部的位置，当干扰区域图像中出现乘客的脚时，表明乘客可能用脚袭击驾驶员。此时可输出提醒乘客不要干扰驾驶员的告警信息，并输出提醒驾驶员注意保护自身安全的告警信息。

当干扰区域图像中包含乘客的手时，参考图3，可通过如下方式识别乘客是否存在针对驾驶员的异常行为：

S301、从干扰区域图像中定位出乘客手部周围的图像。

具体实施时，可基于人体关键点识别技术定位出乘客手部周围的图像。

S302、基于乘客手部周围的图像判断乘客是否手持物品；若乘客没有手持物品，则执行步骤S303，若乘客手持物品，则执行步骤S304。

具体实施时，可基于一个已训练的手持物品判别模型，判断乘客手部周围的图像中是否包含手持物品，其中，手持物品判别模型可以是一个二分类深度神经网络。获取大量包含手持物品的手部图像和不包含手持物品的手部图像，并为每个图像标注好表征是否包含手持物品的标签，基于标注好的图像对手持物品判别模型进行训练，使得训练后的手持物品判别模型能够识别输入图像中是否包含手持物品。

S303、确定乘客存在干扰驾驶员的异常行为。

S304、判断手持物品是否为危险品；若手持物品为危险品，则执行步骤S305，否则执行步骤S303。

具体实施时，可基于已训练的物品识别模型，识别图像中包含的手持物品是否为危险品。为了提高物品识别模型的精度，用于训练的图像可以是手握物品的图像。由于危险分子常常手持的物品大致可分为以下几类：刀具、棍棒、枪械等，为此，可收集手持刀具、棍棒、枪械等危险品的图像，将这些图像标注为危险品，并收集手持不是危险品的图像，将这些图像标注为不是危险品，基于上述标注好的图像对物品识别模型进行训练，获得能够识别手持物品是否为危险品的物品识别模型。实际应用中，危险品可根据应用场景进行调整，不限于上述列举的类别。

S305、确定乘客存在威胁驾驶员的异常行为。

实际应用中，存在乘客手部被遮挡的情况，此时无法准确获取到手部位置，甚至无法获取到手部位置，或者截取的局部图像不清晰，导致无法准确识别手持物品的类别。为此，可从多个包含乘客的干扰区域图像中提取乘客的手部位置，进而获取到多个局部图像，对多个局部图像进行手持物品的识别，综合多次识别结果最终确认乘客是否手持物品、以及手持物品是否为危险品，以提高物品识别的准确度。

S203、识别干扰区域图像中是否包含危险品；若干扰区域图像中存在危险品，则执行步骤S204，否则对下一个干扰区域图像进行判断。

具体实施时，可基于已训练的危险品识别模型，识别图像中是否包含危险品。由于危险分子常常手持的物品大致可分为以下几类：刀具、棍棒、枪械等，为此，可收集包含刀具、棍棒、枪械等危险品的图像，将这些图像标注为危险品，并收集不是危险品的图像，将这些图像标注为不是危险品，基于上述标注好的图像对危险品识别模型进行训练，获得能够识别图像是否包含危险品的危险品识别模型。实际应用中，危险品可根据应用场景进行调整，不限于上述列举的类别。

S204、确定乘客存在威胁驾驶员的异常行为。

基于图2、图3所示的实施方式，采用更细粒度的分类划分，对干扰区域图像进行异常行为分析，可更加准确度地识别乘客干扰驾驶员和威胁驾驶员的异常行为，快速作出告警提醒，提升行车安全以及驾驶员的人身安全。

实际应用中，难免会发乘客身体探出车窗外、争吵打架、手持危险品等危险行为，或者乘客将物品或小孩遗落在车辆上，驾驶员在全身贯注的开车过程中无法及时注意到乘客的异常行为，影响行车安全以及乘客人身安全。为此，在车辆内还设置了用于采集乘客区域图像的第二图像采集装置，以识别乘客的异常行为。

其中，第二图像采集装置的具体布设位置可根据车辆内部情况确定。例如，当车辆较小时，如出租车或小型面包车，第二图像采集装置可仅包括在前排作为和后排座位之间的车顶上设置摄像头，以覆盖后排的乘客区域；当车辆较大时，如大型客车、公交车，第二图像采集装置可包括在车辆内不同区域的顶部设置的多个摄像头，以检测车内所有乘客区域的情况。

基于此，在上述任一实施方式的基础上，本申请实施例的车内异常行为识别方法还包括如下步骤：获取第二图像采集装置采集的乘客区域的第二图像；基于第二图像确定乘客是否存在异常行为。

具体实施时，可预先采集各种场景下乘客区域的图像，一部分图像中的乘客不存在异常行为，另一部分图像中的乘客存在异常行为，基于图像中驾驶员的异常行为这些图像进行类别标注，标注的类别可包括不存在异常行为和存在异常行为。然后，基于标注好的乘客区域图像，训练乘客异常行为识别模型，获得的乘客异常行为识别模型能够识别乘客是否存在异常行为。

进一步地，在乘客异常行为识别模型时，还可对乘客的异常行为进行分类，如探出车窗外、争吵打架、手持危险品、遗落物品或遗落小孩等。然后，获取各种场景下包含上述任一异常行为的图像，基于图像中的异常行为的类别对这些图像进行标注，然后基于标注好的图像训练乘客异常行为识别模型，训练获得的乘客异常行为识别模型不仅能够识别乘客是否存在异常行为，还能识别乘客异常行为的类别，进而有针对性的对驾驶员或乘客进行提示。即不同的异常行为对应不同的告警信息，例如当乘客探出车窗外时，可输出提醒乘客不要探出车窗外的告警信息，同时可输出提醒驾驶员有乘客探出窗外的告警信息；当乘客手持危险品时，可输出提醒驾驶员乘客手持危险品的告警信息；当遗落物品或遗落小孩时，可输出提醒驾驶员有乘客遗落物品或小孩的告警信息。

进一步地，当第二图像采集装置包括多个摄像头时，每个摄像头分别对应乘客区域中的一个子区域。此时，上述步骤中的基于第二图像确定乘客是否存在异常行为，具体包括：根据每个摄像头采集的图像，确定每个子区域中的乘客是否存在异常行为。

需要说明的是，本申请实施例中提及的驾驶员异常行为识别模型、干扰区异常行为识别模型、驾驶员脸部识别模型、驾驶员手部识别模型、人体识别模型、手持物品判别模型、物品识别模型、危险品识别模型、乘客异常行为识别模型等各种模型，均可以通过训练现有的深度学习网络获得，可使用的深度学习网络包括但不限于CNN(ConvolutionalNeural Network，卷积神经网络)、VGG(VisualGeometry Group Network，视觉几何群网络)等，深度学习网络的训练过程为现有技术，不再赘述。

本申请实施例提供的车内异常行为识别方法，可应用于任何一种车辆中，如轿车、面包车、小型客车、大型客车、公交车等。

如图4所示，基于与上述车内异常行为识别方法相同的发明构思，本申请实施例还提供了一种车内异常行为识别统40，包括第一图像采集装置401和图像处理装置402和语音报警装置403。

第一图像采集装置401用于采集驾驶区域的图像，以获得第一图像。其中，第一图像采集装置可以是设置在驾驶区域的摄像头，具体布设位置可根据车辆的情况确定。例如，第一图像采集装置可采集驾驶员与扶手箱附近的区域。第一图像采集装置可选择高清、广角摄像头，以获取驾驶员清晰的面部图像以及肢体图像，同时扩大第一图像的视场角覆盖范围，以获知驾驶员周边的环境情况。

图像处理装置402用于：获取第一图像采集装置采集的驾驶区域的第一图像；识别驾驶员在第一图像中的目标位置，基于目标位置将第一图像划分为包含驾驶员的驾驶员图像和不包含驾驶员的干扰区域图像；基于驾驶员图像确定驾驶员是否存在异常行为；基于干扰区域图像确定乘客是否存在针对驾驶员的异常行为；当存在异常行为时，输出异常行为对应的告警信息。

其中，图像处理装置402可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以执行本申请实施例中公开的各方法、步骤及逻辑框图。

语音报警装置403用于播放异常行为对应的告警信息。

具体实施时，可在驾驶员区域和乘客区域分别设置语音报警装置。驾驶员区域的语音报警装置用于播放提醒驾驶员的告警信息，乘客区域的语音报警装置用于播放提醒乘客的告警信息。

可选地，图像处理装置402具体用于：识别驾驶员图像中的人脸位置和手部位置；基于人脸位置处的图像，确定驾驶员是否存在异常行为；基于手部位置处的图像，确定驾驶员是否存在异常行为。

可选地，图像处理装置402具体用于：判断干扰区域图像中是否包含乘客的人体部位；若干扰区域图像中包含人体部位，则确定乘客存在针对驾驶员的异常行为。

进一步地，图像处理装置402还用于：当人体部位为手时，基于乘客手部周围的图像，确定乘客是否手持物品；若乘客没有手持物品，则确定乘客存在干扰驾驶员的异常行为；若乘客手持物品，则判断手持物品是否为危险品；若手持物品为危险品，则确定乘客存在威胁驾驶员的异常行为，否则确定乘客存在干扰驾驶员的异常行为。

进一步地，图像处理装置402还用于：若干扰区域图像中不包含人体部位，则识别干扰区域图像中是否包含危险品；若干扰区域图像中存在危险品，则确定乘客存在威胁驾驶员的异常行为。

可选地，本申请实施例的车内异常行为识别统还包括第二图像采集装置，第二图像采集装置用于采集乘客区域的图像，以获得第二图像。其中，第二图像采集装置的具体布设位置可根据车辆内部情况确定。例如，当车辆较小时，如出租车或小型面包车，第二图像采集装置可仅包括在前排作为和后排座位之间的车顶上设置摄像头，以覆盖后排的乘客区域；当车辆较大时，如大型客车、公交车，第二图像采集装置可包括在车辆内不同区域的顶部设置的多个摄像头，以检测车内所有乘客区域的情况。

基于此，图像处理装置402还用于：获取第二图像采集装置采集的乘客区域的第二图像；基于所述第二图像确定乘客是否存在异常行为。

进一步地，第二图像采集装置可包括多个摄像头，每个摄像头分别对应乘客区域中的一个子区域。

基于此，图像处理装置402具体用于：根据每个摄像头采集的图像，确定每个子区域中的乘客是否存在异常行为。

上述图像处理装置402的具体用途可参考上述方法实施例中的车内异常行为识别方法，不再赘述。

本申请实施例提的车内异常行为识别装置与上述车内异常行为识别方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。

基于与上述车内异常行为识别方法相同的发明构思，本申请实施例还提供了一种电子设备，如图5所示，该电子设备50可以包括处理器501和存储器502。

处理器501可以是通用处理器，例如中央处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

本申请实施例提供了一种计算机可读存储介质，用于储存为上述电子设备所用的计算机程序指令，其包含用于执行上述车内异常行为识别方法的程序。

上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请实施例的方法，不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本申请实施例的保护范围之内。