一种基于高位视频监控的车位占用检测方法

技术领域

本发明涉及服务区车位占用检测技术，具体涉及一种基于高位视频监控的车位占用检测方法。

背景技术

随着汽车数量的不断增加，计算机视觉算法的快速发展与应用，视频分析算法广泛应用于车位监控等实际任务，提高了服务区车位管理的效率。

现有的车位监控解决方案大多依赖于良好的监控角度所带来的视觉条件，如架设在服务区建筑物的高处，获得视野良好的正视图或鸟瞰图，捕捉到清晰的车辆特征，从而获得良好的检测结果。

在实际的设计过程中，由于美观，建筑物通常不被允许安装监控，更多的监控摄像机被要求架设在高杆上，例如灯杆或电线杆。此外，由于需要避免额外立杆，满足停车场集约化的设计要求，摄像机通常只能获得倾斜照射视角的车位或车辆透视图，这造成了较差的监测环境，与视频检测算法需要强感受野的部署条件相互矛盾，最终导致目标漏检或误检的现象，影响车位占用检测及其相关功能的落地实现。

发明内容

本发明的目的在于提供一种基于高位视频监控的车位占用检测方法。

实现本发明目的的技术方案为：一种基于高位视频监控的车位占用检测方法，包括摄像机标定与车位线标定，车辆目标检测模型的训练与测试、摄像机视频流的读取、识别定位车辆目标，停车位匹配与占用判断，具体包括以下步骤：

步骤1：通过摄像机标定获取其内参和畸变参数，并修正镜头畸变；

步骤2：对车位区域进行图片采样，标定每个车位的4个角点；建立大地坐标系、相机坐标系和图像坐标系，并确定坐标系之间的映射关系；

步骤3：训练车辆目标检测模型，并对训练得到的模型进行测试，使其能够准确识别、定位车辆目标；

步骤4：将实时视频流输入车辆目标检测模型，输出车位检测结果；

步骤5：将大地坐标系中车位角点坐标转换到图像坐标系中，利用车位角点和车辆重心点坐标，判断停车位是否被占用。

与现有技术相比，本发明的有益效果在于：

(1)对不完全可见的车辆目标，尤其是倾斜视角下，车位线不可见的情况下，仍能实时准确的判断相应车位是否占用；

(2)采用单目摄像头进行车位监测，依托既有车位资料/相机参数和常用目标检测模型进行快速部署，原理简单，对于提升改造现有设备或新设功能都较为方便；

(3)由于能够根据斜向照射的透视图进行车位占用监测，使得摄像机部署条件更加友好，更符合停车场集约化的设计要求。

下面结合附图与具体实施方式对本发明作进一步描述。

附图说明

图1为本发明的一种基于高位视频监控的车位占用检测方法流程图。

图2为本发明中大地坐标系、相机坐标系和图像坐标系示意图。

图3为本发明中大地坐标系到图像坐标系的转换示意图。

图4为本发明中图像坐标系中车位点及车辆重心点到标准车位的转换示意图。

图5-图7为本发明中实施例的检测效果图。

具体实施方式

一种基于高位视频监控的车位占用检测方法，包括以下步骤：

步骤1：通过摄像机标定获取其内参和畸变参数，并修正镜头畸变；

相机内参为：

其中f

步骤2：对车位区域进行图片采样，标定每个车位的4个角点；建立大地坐标系、相机坐标系和图像坐标系，并确定坐标系之间的映射关系；

所述图片采样具体为：

选择区域无车或少车时对车位区域进行拍摄采样，所采样图片需能完整的显示区域内各车位线的形态，包括每个车位区域的四个顶点；并对每个车位区域的四个顶点进行标注，标注时应逐个车位标注，以某一固定顶点作为车位的第一个标记点，按某一固定方向标注角点，记录坐标信息、对应的摄像头id、监测的车位数量信息，并录入数据库保存。

所述摄像机设置在高杆上，且摄像机进行图片采样时姿态是固定的。

步骤2-1：设置摄像机坐标系原点为O

设车位区域的四个点A、B、C、D在相机成像面图像上的对应点为a、b、c、d，其中O

灭点对应的世界坐标为(-tanγ，1，0)、(1，tanγ，0)，将其带入下式：

可得：

其中，k为比例系数；

则大地坐标与图像坐标(x

β＝tan

γ＝tan

步骤3：训练车辆目标检测模型，并对训练得到的模型进行测试，使其能够准确识别、定位车辆目标，具体为：

收集模型训练采用的数据集，包括公共车辆数据集，和自采集的服务区停车场景图片，其中包括不同光照、不同天气、不同车型等条件下的车辆图片；

采用预训练分类模型作为初始训练模型，以便于更快的拟合参数，学习物体的特征；设置验证集，当验证集准确率上升到设定的阈值时，停止训练，此时得到训练车辆目标检测模型。

对训练得到的模型进行测试和调整，使其能够准确识别、定位车辆目标，具体为：

将模型文件、超参数配置文件、相应的车位信息记录，存储于后台服务器；对各摄像头的实际部署位置进行各类参数微调，如置信度阈值调整，摄像机负责监控区域微调；

步骤4：将实时视频流输入车辆目标检测模型，基于RTSP协议实读取视频帧，调整读取到的视频帧尺寸，输入特征提取网络，如此逐帧进行推理，输出车位检测结果，包括停车区域内车辆的角点坐标和中心点坐标。

步骤5：将大地坐标系中车位角点坐标转换到图像坐标系中，利用车位角点和车辆重心点坐标，判断停车位是否被占用，具体为：

步骤5-1：依据物体三维包围框和二维包围框的约束关系，大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点；读取已知的车位角点信息{(X

步骤5-2：将车位4个角点和中心点与对应车型车辆重心在同一平面高度下的新大地坐标{(X′

步骤5-3：利用车位4个角点的图像坐标系的坐标g

步骤5-4：据物体三维包围框和二维包围框的约束关系，大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点，即步骤4中输出的车辆中心点；利用单应性矩阵H，将车辆重心点坐标(x

步骤5-5：计算车辆的标准重心点(x

其中，x和y表示标准车位的尺寸；

若d的值小于设定的阈值d

进一步的，由于车辆检测是在斜向照射的情况下实时进行的，实时监测过程中，视频帧会存在丢失个别目标的现象，因此，当检测到车位状态发生变化时，不会立刻改变车位占用状态，而是记录当前和之后的多个连续帧，形成车位状态时间序列，车位占用状态由多帧中占比较多的状态类型决定，从而对车位状态转变实现“去抖”。

进一步的，所述多个连续帧的帧数n代表需要记录的车位状态时间序列长度，确定公式为：

n＝t×fps

其中，t表示设定的车辆的平均停车时长，fps表示摄像机拍摄视频的帧率。

一种基于高位视频监控的车位占用检测，其特征在于，包括以下模块：

车位采样模块：用于对车位区域进行图片采样，标定出每个车位的4个角点；建立大地坐标系、相机坐标系和图像坐标系，并确定坐标系之间的映射关系；

车辆目标检测模块：用于训练车辆目标检测模型，并利用检测模型检测实时视频流，并输出车位检测结果；

车位占用状态输出模块：利用车位检测结果和坐标系之间的映射关系判断并输出车位占用状态。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

步骤1：通过摄像机标定获取其内参和畸变参数，并修正镜头畸变；

步骤2：对车位区域进行图片采样，标定每个车位的4个角点；建立大地坐标系、相机坐标系和图像坐标系，并确定坐标系之间的映射关系；

步骤3：训练车辆目标检测模型，并对训练得到的模型进行测试，使其能够准确识别、定位车辆目标；

步骤4：将实时视频流输入车辆目标检测模型，输出车位检测结果；

步骤5：将大地坐标系中车位角点坐标转换到图像坐标系中，利用车位角点和车辆重心点坐标，判断停车位是否被占用。

下面结合实施例对本发明作进一步描述。

实施例

本实施例的摄像机设置在智慧灯杆上，所述智慧灯杆安装于服务区室外停车场，每个灯杆依据不同的覆盖范围要求搭载了2-4个摄像机，摄像机的分辨率为1920*1080，为了满足服务区集约化的设计原则，照明范围等条件，摄像机的监控角度几乎都处于斜向照射的视角，航向角范围几乎小于45°。摄像机安装完毕后，不再变动位置，每台摄像机负责某一固定停车区域。

将摄像机固定在智慧灯杆上，高度h约为12米，调整姿态确定其车位监控区域。此外，为了确保车位监测的查全率和精确率，在斜向照射的视野下，每台摄像机负责的车位不宜过多，本实施例中每台摄像机所监测的停车区域范围约为2排10列共20个车位，其中每个车位的长约为5.3米，宽约为2.5米。

如图1所示，一种基于高位视频监控的车位占用检测方法，包括以下步骤：

步骤1：通过摄像机标定获取其内参和畸变参数，并修正镜头畸变；

本实施例首先采用张正友标定法求取相机的内参矩阵和畸变参数，相机内参为：

其中f

每台相机利用9×6的网格标定板，采样不同角度图片约25张，之后对原始采样视频进行校正，获得无畸变的画面；

步骤2：对车位区域进行图片采样，摄像机进行图片采样时姿态是固定的，标定每个车位的4个角点；建立大地坐标系、相机坐标系和图像坐标系，并确定坐标系之间的映射关系；

所述图片采样具体为：

选择区域无车或少车时对车位区域进行拍摄采样，所采样图片需能完整的显示区域内各车位线的形态，包括每个车位区域的四个顶点；并对每个车位区域的四个顶点进行标注，标注时应逐个车位标注，以某一固定顶点作为车位的第一个标记点，按某一固定方向标注角点，记录坐标信息、对应的摄像机id、监测的车位数量信息，并录入数据库保存。

步骤2-1：设置摄像机坐标系原点为O

设车位区域的四个点A、B、C、D在相机成像面图像上的对应点为a、b、c、d，其中O

灭点对应的世界坐标为(-tanγ，1，0)、(1，tanγ，0)，将其带入

可得：

其中，k为比例系数

则大地坐标与图像坐标(x

β＝tan

γ＝tan

步骤3：训练车辆目标检测模型，并对训练得到的模型进行测试，使其能够准确识别、定位车辆目标，本实例采用基于YOLO的目标检测模型，具体为：

收集模型训练采用的数据集，包括公共车辆数据集，和自采集的服务区停车场景图片，其中包括不同光照、不同天气、不同车型等条件下的车辆图片，本实施例中训练主要使用了DETRAC数据集和自采集的服务区停车场景图片，其中包含了不同光照、不同天气、不同车型等条件下的车辆图片；

对图片进行了标注与标签格式解析，其格式为[id x y w h]，其中id代表物体的类别，x、y分别代表物体标注框左上顶点归一化后的坐标值，w、h分别代表物体标注框宽和高归一化后的坐标值；

针对所用训练集特点，采用K-means方法自适应计算预选框的尺寸，即最符合车辆长宽比特征的尺寸大小；具体的，9种预选框尺寸分别为(12，16)、(19，36)、(40，28)、(36，75)、(76，55)、(72，146)、(142，110)、(192，243)、(459，401)

算法采用的主干网络是Darknet53，并在其预训练网络的基础上进行训练，以便于更快的掌握物体的特征，最终利用输出的卷积特征，即对纹理、颜色特征、高级模式特征权重的综合考量后，实现车辆目标的定位和识别；

采用预训练分类模型作为初始训练模型，以便于更快的拟合参数，学习物体的特征；设置验证集，当验证集准确率上升到设定的阈值时，停止训练，此时得到训练车辆目标检测模型。

对训练得到的模型进行测试和调整，使其能够准确识别、定位车辆目标，具体为：

将模型文件、超参数配置文件、相应的车位信息记录，存储于后台服务器；对各摄像头的实际部署位置进行各类参数微调，如置信度阈值调整，摄像机负责监控区域微调；

本事实例中，为车位检测算法提供专用的算法服务器，模型参数文件、模型文件、先验车位标定信息等数据都存储于算法服务器中，算法服务器具备GPU加速计算功能，能够保证多路视频流并行处理，实时呈现检测结果；

针对各摄像头的实际布设场景进行参数微调：置信度阈值设置为0.5，保证管控范围内所有停车车辆均可被捕获，即高查全率，避免丢失目标

步骤4：将实时视频流输入车辆目标检测模型，本实施例通过Opencv的接口函数VideoCapture()，基于RTSP协议实读取视频帧，所用RTSP读取视频的格式一般为：rtsp://[user]:[password]@[ip]//Streaming/Channels/1，调整读取到的视频帧尺寸，输入特征提取网络，如此逐帧进行推理，输出车位检测结果，包括停车区域内车辆的角点坐标和中心点坐标(x

步骤5：将大地坐标系中车位角点坐标转换到图像坐标系中，利用车位角点和车辆重心点坐标，判断停车位是否被占用，具体为：

步骤5-1：依据物体三维包围框和二维包围框的约束关系，大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点；读取已知的车位角点信息{(X

步骤5-2：将车位4个角点和中心点与对应车型车辆重心在同一平面高度下的新大地坐标{(X′

步骤5-3：利用车位4个角点的图像坐标系的坐标g

步骤5-4：据物体三维包围框和二维包围框的约束关系，大地坐标系中车辆目标的重心点即为其在图像坐标中的中心点，即步骤4中输出的车辆中心点；利用单应性矩阵H，将车辆重心点坐标(x

步骤5-5：计算车辆的标准重心点(x

其中，x和y表示标准车位的尺寸，本实施例中每个车位的长约为5.3米，宽约为2.5米；

若d的值小于设定的阈值d

进一步的，由于车辆检测是在斜向照射的情况下实时进行的，实时监测过程中，视频帧会存在丢失个别目标的现象，因此，当检测到车位状态发生变化时，不会立刻改变车位占用状态，而是记录当前和之后的n个连续帧，形成车位状态时间序列，车位占用状态由n帧中占比较多的状态类型决定，从而对车位状态转变实现“去抖”。

其中，n代表需要记录的车位状态时间序列长度，为使所记录序列能够完整并准确的描述车位的停车状态，序列的长度应充分涵盖车辆的停车全过程，本实施例取车辆的平均停车时长为7s，实际监控视频帧率fps为25，因此n＝7*25＝175帧。

本实施例的效果图如图5-图7所示，效果图展示了真实服务区场景下不同时刻的监控画面，该场景下航向角约为20°，后排车辆遮挡较为严重，监控画面右下角展示了7个完整车位占用情况的统计信息：Total Pklot表示总车位数，Occupied表示已占用车位的数量，被监控的车位已在图中相应位置被划线标记。由图可知，本实施例中处于后排，遮挡较为严重的车辆，也可以准确记录其停车状态，说明了本发明的有效性。