一种公交车内异常行为智能监控系统

技术领域

本发明涉及一种公交车内异常行为智能监控系统，属于智能车联网技术领 域。

背景技术

面对公交车内的突发安全事件，仅依靠驾驶员或乘客主动报警是不够完善 的。对于驾驶员的危害公共安全行为和乘客的妨碍安全驾驶行为，需对其进行 实时监督并适时发出警报。然而，传统的视频监控方法仅具备简单的监控、存 储等功能，需要在视频上传后人工对其进行观看，这极大地消耗了人力和资源， 而且人工观看监控难免会出现遗漏和失误。若能够利用智能视频监控技术并配 合通讯技术进行自动报警，便能够大大降低事故发生的风险，更快速地处理紧 急突发事件，有效保证驾驶员和群众的生命财产安全。

综上所述，如何提出一种实时的车载智能监控系统判别车内人员出现的异 常行为并进行有效的预警，是目前本领域亟待解决的问题。

发明内容

1、发明要解决的技术问题

针对现有技术中公交车内车载视频监控的不足，本发明提供一种公交车内 异常行为智能监控系统及其装置，以解决现有技术中不能实时自动识别公交车 内异常行为和根据异常情况主动报警的问题。

2、技术方案

为解决上述问题，本发明提供的技术方案为：

一种公交车内异常行为智能监控系统，包括

车载终端；

对象层，包括有车辆异常行为库和异常物品库；

采集层，包括有视频数据采集模块，所述视频数据采集模块用于根据车辆车 厢内的空间信息建立模型，划分区域并安装摄像头，通过角度调整和相机标定采 集车厢内各个位置的视频数据；

分析层，包括有视频数据分析模块，所述视频数据分析模块利用深度神经网 络对采集的视频数据进行人脸检测、人头检测、异常行为检测，获取车辆内异常 行为信息；

终端决策层，包括有车辆异常预警模块，所述车辆异常预警模块结合车辆 行驶信息，对车辆内异常行为进行分级预警，对于不同的预警级别发出不同的 提示信息并做出紧急报警措施；

云端决策层，包括有终端服务器和车辆异常事件响应模块，所述车辆异常 事件响应模块检测到车辆内异常行为后，对车辆下发紧急处理指令。

其中，对象层中，异常行为库和异常物品库可以根据实际情况进行拓展， 通过在训练异常检测算法的过程中增加异常行为的样本，以此增加可以判别的 异常行为的种类；

采集层中，单个摄像头可对目标进行异常检测和定位，多个摄像头可对同 一目标联合检测并跟踪，多角度地采集了车内的视频信息，有效提升了异常行 为检测的准确率；

分析层中，多个异常检测算法被应用于不同的摄像头，全方位的监测了车 厢内各类人员和物品的实时信息；

终端决策层中，通过结合车速信息、路况信息、路况信息等，通过当前出 现的异常行为计算当前车辆的异常积分，再根据制定的异常预警规则，判别当 前车辆的异常警报等级，做出相应的异常响应；

云端决策层中，在接收到了终端报警信号后，经过人工商讨并决策做出异 常事件紧急处理，下发相应的紧急处理指令。

优选地，所述视频数据采集模块根据车辆车厢内的空间信息进行建模，设 计车厢内多个摄像头的安装位置和角度；通过相机标定技术，实现世界坐标系 与图像坐标系之间的转换，并对车厢空间进行区域划分；通过应用嵌入式设备， 实现单帧图像在视频流中的提取，进而采集车厢内各个位置的视频数据。

优选地，所述视频数据分析模块功能包括：通过对输入视频流的人脸检测 并跟踪，筛选出最佳质量的人脸图片，并上传人脸图片进行保存；训练乘客异 常行为检测网络，通过提取车厢空间内乘客的特征进行分类，从而获得乘客行 为的类别；训练驾驶员异常行为检测网络，通过采集驾驶员正常驾驶时的行为 的图片并制作标签对图像数据进行标注，利用标注数据对网络进行训练，网络 对输入的视频流进行提取关键帧检测，实现驾驶员的行为识别；训练可疑物品 检测网络，通过采集违禁物品的图片，对目标检测网络进行训练，在应用时将 视频流输入可疑物品检测网络，判断每帧图片中是否包含可疑物品，若检测到可疑物品，则输出物品所在位置信息和类别置信度；异常视频的保存与上传， 建立异常行为视频记录库和异常报警记录库。

优选地，车辆异常预警模块结合车辆行驶信息设计积分预警机制，构造车 辆危险指数函数；根据计算出的危险指数和异常检测结果，对车辆内异常行为 进行分级预警，不同级别警报对应不同的提醒方式和处理策略。

优选地，所述异常积分预警机制包括：

采集当前车辆的行驶速度、车辆所属的地理位置、驾驶员的异常行为、乘 客的异常行为和可疑物品的出现情况；

对采集的路况和行为信息进行量化，对车内的异常检测情况进行评估，构 建车辆危险指数函数；

对车辆内的异常情况划分等级进行报警，对于不同级别的警报，做出不同 的响应方式。

优选地，计算车辆的危险指数函数包括：

其中，R表示某一时刻车辆的危险指数；v表示车辆当前时刻的运行速度； r表示车辆当前行驶的路况所对应的积分；Dactivity

优选地，所述车辆异常事件响应模块包括如下功能：

接收到车载终端发出的报警指令，并根据情况发出异常事件处理指令；

指令通过交互服务器传送到车载终端，由车载终端发出控制信号，连接车 辆厢内的软硬件设备执行下发的减速迫停指令、远程破窗指令和远程开门指令；

在执行完下发的指令后，车载终端通过服务器向平台端发出反馈信号，确 认任务完成。

有益效果

采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：

通过在公交车车厢内安装摄像头获取车内的视频信息，并基于此信息实现 人脸检测、人数估计、异常行为检测、异常物品检测、异常警报等，有效地解 决了传统视频监控系统不能够实时监控并判别异常行为的问题。此外，本发明 提出的车辆异常行为预警机制有效地解决了异常行为判别中出现的误检和漏检 情况，提升了异常行为报警的准确率，降低了异常事件的误报率，更好地规避 了车辆行驶中异常行为带来的风险。

附图说明

图1为本发明的框架图；

图2为视频采集模块的流程图；

图3为视频分析模块的示意图；

图4为视频检测算法的流程图；

图5为人脸检测算法的流程图；

图6为目标检测算法的流程图；

图7为乘客异常行为检测算法的流程图；

图8为车辆异常预警机制示意图。

具体实施方式

为进一步了解本发明的内容，结合附图1-8及实施例对本发明作详细描述。

本发明一种公交车内异常行为智能监控系统，主要包括以下步骤：

S1、建立车辆异常行为库和异常物品库；

S2、构建视频数据采集模块：根据车辆(公交车)车厢内的空间信息建立模 型，划分区域并安装摄像头，通过角度调整和相机标定采集车厢内各个位置的视 频数据；

S3、构建视频数据分析模块：利用深度神经网络对采集的视频数据进行人脸 检测、人头检测、异常行为检测，获取车辆内异常行为信息；

S4、构建车辆异常预警模块：结合车辆行驶信息，对车辆内异常行为进行 分级预警，对于不同的预警级别发出不同的提示信息并做出紧急报警措施；

S5、构建公交异常事件响应模块：检测到车辆内异常行为后，对车辆下发 紧急处理指令。

优选的，车辆异常行为库包括乘客异常行为库和驾驶员异常行为库。

优选的，构建乘客异常行为库时，乘客异常行为包括：区域入侵、徘徊、 越界、快速移动、打斗、摔倒、聚集。

优选的，构建驾驶员异常行为库时，驾驶员异常行为包括：驾驶员在公共 交通工具行驶过程中，抽烟、打电话、超速驾驶、闭眼超过T1秒、T2分钟内打 哈欠超过X次、与乘客厮打、违规操作、擅离职守。

优选的，构建异常物品库时，异常物品包括管制刀具、枪支、体积过于巨 大的物品、尖锐物品。

优选的，构建视频数据采集模块时，包括：

S21、根据车辆车厢内的空间信息进行建模，设计车厢内多个摄像头的安装 位置和角度；

S22、通过相机标定技术，实现世界坐标系与图像坐标系之间的转换，同时， 对车厢空间进行区域划分；

S23、通过应用嵌入式设备，实现单帧图像在视频流中的提取，进而采集车 厢内各个位置的视频数据。

优选的，构建视频数据分析模块时，包括：

S31、训练人脸检测网络，对输入视频流的人脸检测并跟踪，筛选出最佳质 量的人脸图片，并上传人脸图片进行保存；

S32、训练乘客异常行为检测网络，通过提取车厢空间内乘客的特征进行分 类，获得乘客行为的类别；

S33、训练驾驶员异常行为检测网络，通过采集驾驶员正常驾驶和抽烟、喝 水、打哈欠等行为的图片并制作标签对图像数据进行标注，利用标注数据对网 络进行训练，网络对输入的视频流进行提取关键帧检测，实现驾驶员的行为识 别；

S34、训练可疑物品检测网络，通过采集多种违禁物品的图片，对目标检测 网络进行训练，在应用时将视频流输入可疑物品检测网络，判断每帧图片中是 否包含可疑物品，若检测到可疑物品，则输出物品所在位置信息和类别置信度；

S35、异常视频的保存与上传，建立异常行为视频记录库和异常报警记录库。

优选的，构建车辆异常预警模块时，包括：

S41、结合车辆行驶信息设计积分预警机制，构造车辆危险指数函数；

S42、根据计算出的危险指数和异常检测结果，对车辆内异常行为进行分级 预警，不同级别警报对应不同的提醒方式和处理策略。

优选的，车辆的异常积分预警机制包括：

采集当前车辆的行驶速度、车辆所属的地理位置、驾驶员的异常行为、乘 客的异常行为和可疑物品的出现情况；

对采集的路况和行为信息进行量化，对车内的异常检测情况进行评估，构 建车辆危险指数函数；

对车内的异常情况划分等级进行报警，分为一级警报、二级警报和三级警 报。对于不同级别的警报，终端的响应方式不同，一级警报，仅提醒驾驶员注 意车内存在异常情况；二级警报，提醒驾驶员同时提示其是否需要报警；三级 警报，不用征求驾驶员意见直接报警。

优选的，计算车辆的危险指数函数包括：

其中，R表示某一时刻车辆的危险指数，该值越高，车辆内出现风险的可 能性越大。v表示车辆当前时刻的运行速度，r表示车辆当前行驶的路况所对应 的积分，Dactivity

优选的，车辆异常事件响应模块，包括：

S51、接收到车载终端发出的报警指令，并根据情况发出异常事件处理指令；

S52、指令通过交互服务器传送到车载终端，由车载终端发出控制信号，连 接车辆厢内的软硬件设备执行下发的减速迫停指令、远程破窗指令和远程开门 指令等。

S53、在执行完下发的指令后，车载终端通过服务器向平台端发出反馈信号， 确认任务完成。

本发明的一种公交车内异常行为智能监控装置，组成如下：

对象层，包括异常行为库及异常物品库：对公交车内的乘客异常行为、驾 驶员异常行为及可疑物品等进行定义，建立公交车异常行为库和异常物品库；

其中，乘客异常行为主要包括：在公共交通工具行驶过程中，抢夺方向盘、 变速杆等操纵装置，殴打、拉拽驾驶人员；随意殴打其他乘客，追逐、辱骂他 人，或者起哄闹事等。结合这些行为引发的后果并落实到具体的动作可对乘客 异常行为做出如下定义，即乘客异常行为库包括：区域入侵、徘徊、越界行为、 快速移动行为、打斗行为、摔倒行为、聚集行为等。

对于驾驶员异常行为做出如下定义，驾驶员异常行为库包括：驾驶人员在 公共交通工具行驶过程中，抽烟、打电话、超速驾驶、闭眼超过2秒、5分钟内 打哈欠超过3次、与乘客厮打、互殴、违规操作或者擅离职守等。

异常物品包括枪支、弹药、管制刀具或者爆炸性、易燃性、放射性、毒害 性、腐蚀性物品。异常物品库包括：管制刀具、枪支、体积过于巨大物品和尖 锐物品等。

以上异常行为库和异常物品库可以根据实际环境的需要进行改进和扩充。

视频数据采集模块：根据公交车车厢内的空间信息进行建模，设计车内多 个摄像头的安装位置和角度，通过相机标定，多相机联合的方式共同对车厢内 的人、物进行检测；并将采集的视频数据送入车载终端，利用嵌入式设备的计 算和处理功能，对获取的图像数据进行分析和识别。

具体的，在获取公交车厢的形状、大小、空间等信息后，对车辆内部空间 进行建模，针对车厢空间将车内划分为多个区域，包括驾驶员操作区、乘客上 车区、乘客下车区、车厢前部、车厢后部。分别在这五个区域内安装摄像头， 本发明采用的是单目红外可见光摄像头，经过多次调整摄像机的角度后，为确 定车厢内目标表面某点的三维几何位置与其在图像中对应点之间的相互关系， 需分别对每个摄像机进行标定，利用张正友标定法分别对相机进行标定，建立 相机成像的几何模型，获取相机的内部和外部参数和畸变系数，从而建立世界 坐标系与图像坐标系之间的转换关系。

车厢内每个摄像头均可对其视野范围内的目标进行检测和识别。基于单摄 像头的多目标跟踪系统由于自身的局限性，不可避免的存在摄像头视野有限、 不能对目标进行全程跟踪、难以解决目标遮挡等问题。而基于多摄像头的多目 标跟踪系统可以利用多摄像头的优势较好的解决这些问题。多摄像头协同跟踪 阶段，采用基于平面单应性、极线几何约束和摄像机重叠区域约束的目标一致 性标定系统，对不同摄像头之间的目标进行映射，从而方便地实现多摄像头融 合和协同跟踪。此外，借助于目标检测网络与典型人员数据库，对多摄像头中 的目标进行匹配，可大大提高再识别的精度。

将摄像头采集的视频数据分别输入到车载终端Jetson Xavier NX进行处理， 将视频流分别输入相应的异常行为检测网络，以获取异常检测的结果。

对于单帧图像，嵌入式设备通过调用底层V4L2驱动库实现从图像采集卡中 读取视频流。算法设计从内存分配的角度出发，构建临时FIFO队列用于存储视 频流的每一帧图像。由底层V4L2库传递的视频流，首先进行标号，伸缩变换尺 寸，转换帧格式等步骤，然后存入队列中，等待检测网络的读取。因为检测网 络的处理速度(12帧每秒)小于视频流的帧率(30帧每秒)，所以采用隔帧抽 取的系统，适当丢弃多余帧，以保证队列不会溢出。

视频数据分析模块：

①人脸检测与人数估计算法：通过摄像头采集人体面部信息，并利用人脸 检测算法和跟踪算法筛选出最佳质量的人脸图片，保存并上传终端服务器，将 人脸图片与终端内的人脸数据库进行对比判断是否有可疑人员，同时计算出上 车人数。

具体的，可以将乘客上车处摄像头采集的视频数据输入人脸检测网络，对 于输入的每一帧图片，在通用目标检测系统的基础上，利用改进的one-stage 人脸检测框架对图像中的人脸检测和定位；在检测到人脸后，利用检测出的方 框进一步检测出人脸的5个关键点，包括两眼中心、鼻尖和两个嘴角，之后利 用关键点提取人体的面部特征，实现对人脸信息进行质量判断，并利用核相关 滤波算法实现人脸跟踪，以便筛选出这个目标人员最优的人脸图片，保存并上 传到交互服务器用于与平台的人脸数据库对比和上车乘客的记录。同时，监测 上车的人数，为车厢内的人数估计奠定基础。利用目标检测网络训练人头目标的相关图片，从而获得人头检测网络，将乘客下车处摄像头采集的视频数据输 入人头检测网络，用于检测下车的人数。根据检测到的上下车的人数来估计车 厢内现有的人数。

②异常行为检测算法：该部分包括乘客异常行为检测算法、驾驶员异常行 为检测算法和异常物品的检测算法，利用异常行为检测算法对输入视频流进行 检测，获得检测目标的异常情况；

具体的，包含3个部分：

第一部分为驾驶员异常行为检测。本实施例中，驾驶员行为检测部分包括 疲劳驾驶检测和注意力分散检测，例如采集驾驶员正常驾驶和抽烟、喝水、打 哈欠等行为的图片，对每张图片中的驾驶员、香烟、水瓶、手机等通讯设备进 行标注并制作标签，用于深度神经网络模型的训练，将10万张经过处理的图片 输入yolo目标检测网络，通过预处理、推断、计算损失等步骤对检测网络进行 训练，获得较为合适的模型参数；在测试阶段将视频流输入训练好的网络中， 检测图像中是否存在训练的物品，从而获得驾驶员的位置信息和行为信息。

第二部分为乘客异常行为检测。本实施例中，乘客异常检测部分包括乘客 的跌倒行为检测、快速移动行检测、人群聚集行为检测及打斗行为检测等，例 如收集乘客摔倒、聚集、快速移动、打斗等行为的视频，经过处理和筛选后制 作数据集，并划分出训练集和测试集，在输入图像序列后，应用自下而上的人 体姿态估计算法检测出每个人体目标的18个骨骼关键点，对于连续多帧图像， 构造骨骼关键点序列，利用卷积神经网络构造异常检测网络学习骨骼序列的特 征，并实现这些行为的分类判别。在应用阶段，通过人体姿态估计算法检测多 个目标乘客，并通过目标跟踪算法对人体目标进行跟踪，之后利用异常检测算法，判别乘客是否发生打斗、摔倒、快速移动等行为。由于输入视频帧频率足 够高、实时性强，为满足公交车内算法实时检测的要求，此处跟踪算法选择IOU tracker，通过计算前后两帧检测框的重合度判断二者是否为同一目标，并对连 续多帧图像中的骨骼点进行匹配，获取多人的骨骼序列和编号。最后，分别将 多个人体目标的骨骼序列输入训练好的卷积神经网络进行异常行为的判别，输 出异常行为的种类和具体的异常人员的编号。

第三部分为可疑物品检测，通过采集多种违禁物品的图片，对这些图片进 行标注和制作标签，将处理后的图片输入yolo目标检测网络，对yolo进行训 练，获得合适的模型参数。在应用时将视频流输入可疑物品检测网络，判断每 帧图片中是否包含可疑物品，若检测到可疑物品，则输出物品所在位置信息和 所属种类的概率，即类别置信度。

③异常视频存储与上传：将包含异常行为的视频截取并存储，自动上传到 服务器；建立异常警报数据库，记录车辆的异常报警日志。

具体的，可以在检测到视频内出现异常情况后，保留出现异常的帧和视频 段并通过交互服务器上传到平台，告知有关部门。在平台端建立异常警报数据 库，用于记录车辆的异常信息和报警日志。

车辆异常预警模块：结合车辆行驶信息(包括车速、位置、路况等信息)， 设计积分预警机制，对车内异常行为进行分级预警，对于不同的预警级别发出 不同的提示信息并做出紧急报警措施；

具体的，在通过前述检测模块之后，根据车厢内的视频分析情况对公交车 的危险性进行评分包括：采集当前车辆的行驶速度、车辆所属的地理位置、驾 驶员的异常行为、乘客的异常行为和可疑物品的出现情况。同时，需要将路况 信息量化，如正常路段对应积分60，事故高发路段对应积分90，根据一般事故 发生的实际情况对公交车的风险进行评估，若公交车运行一个周期的时间为 [T1,T2]，公交车的危险指数表示为：

其中，R表示某一时刻公交车的危险指数，该值越高，公交车内出现风险 的可能性越大。v表示车辆当前时刻的运行速度，r表示车辆当前行驶的路况所 对应的积分，Dactivity

由于刀具、枪支类异常物品具有较大的危险性，因此对于异常物品模块进 行单独预警，若检测到的异常物品的类别置信度大于设置的阈值，则直接发出 警报。

为节约人力和准确判断公交车内出现的情况，可将车厢内的异常情况划分 等级，并实现多等级多方式的异常报警，根据计算出的危险指数，设置一级警 报、二级警报和三级警报。对于不同级别的警报，终端的响应方式不同，一级 警报，仅提醒驾驶员注意车内存在异常情况；二级警报，提醒驾驶员同时提示 其是否需要报警；三级警报，不用驾驶员同意直接报警。

车辆异常事件响应模块：在检测到公交车内异常行为后，云端平台通过交 互服务器可以对车辆下发无线指令，迫使车辆破窗、开门、紧急停车等。

具体的，当平台端收到车载终端发出的报警信号后，根据情况发出异常事 件处理指令，指令通过交互服务器传送到车载终端，再由车载终端发出控制信 号，连接公交车厢内的软硬件设备执行下发指令，主要包括减速迫停指令、远 程破窗指令和远程开门指令。在执行完下发的指令后，车载终端通过服务器向 平台端发出反馈信号，确认任务完成。

本实施例中，视频采集设备是单目红外可见光摄像头，多个摄像头分布在 车厢的各个位置，在车载终端中将多个视频流中的数据进行融合，利用多摄像 头同时追踪车厢内同一个目标的运动，多角度地实现目标的异常行为判别。

本实施例中，由于在边缘端处理视频数据需要强大的计算能力，因此车载 终端选择外形较小的人工智能超级计算机，如Jetson Xavier NX，该设备在嵌 入式系统和边缘系统的应用极大地提升了处理视频数据的速度。同时，设备具 有大容量存储能力，能够实现检测数据的本地存储，设备具有无线通信和应急 通信能力，可保证报警信号和云端指令的实时传输。

本实施例具有以下优点：

在对象层中，异常行为库和异常可以根据实际情况进行拓展，通过在训练 异常检测算法的过程中增加异常行为的样本，以此增加可以判别的异常行为的 种类。

采集层中，单个摄像头可对目标进行异常检测和定位。此外，多个摄像头 可对同一目标联合检测并跟踪，多角度地采集了车内的视频信息，有效提升了 异常行为检测的准确率。

分析层中，多个异常检测算法被应用于不同的摄像头，全方位的监测了车 厢内各类人员和物品的实时信息。

终端决策层中，通过结合车速信息、路况信息、路况信息等，通过当前出 现的异常行为计算当前车辆的异常积分，再根据制定的异常预警规则，判别当 前车辆的异常警报等级，做出相应的异常响应。

云端决策层中，在接收到了终端报警信号后，经过人工商讨并决策做出异 常事件紧急处理，下发相应的紧急处理指令，包括一键破窗、一键迫停、一键 开门等。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附 图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以， 如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不 经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的 保护范围。