用于高速公路监控摄像机的在线自动标定方法

技术领域

本发明属于道路交通技术领域，更具体地说，涉及一种用于高速公路监控摄像机的在线自动标定方法。

背景技术

智能交通系统(ITS)是现代交通系统不可或缺的组成部分，目前，交通监控在城市道路、高速公路、桥梁、隧道等交通场景中大范围覆盖，为ITS的发展与建设提供了充实的硬件与数据支持。与此同时，随着图像与视频处理技术的快速发展，许多基于视觉的工作为智能交通监控作出了巨大贡献，例如车辆识别与跟踪、定位与测速、分类与计数。这些工作在ITS中扮演着基本组成部分的角色，并且与摄像机标定密切相关。

摄像机标定是通过估计摄像机内、外参数以建立图像与实景间映射模型的方法。它直接决定了从图像、视频中获取三维空间信息的准确性，为基于视觉的交通感知任务提供了不可或缺的数据准备。目前，摄像机标定的普遍实施方法是先在摄像机安装场景布置标靶，再收集靶标上若干个目标点与其在摄像机成像平面上投影点间的对应关系，利用此对应关系计算得到摄像机内部、外部参数，从而完成摄像机标定。然而，在日益复杂的道路场景中，复杂的路况、标定方法的要求导致监控摄像机标定的实施过程繁琐、不安全，标靶布设困难，从而限制了标定方法在道路交通应用场景中的适应性。

总之，准确的摄像机标定对于ITS中的视觉感知任务起到了至关重要的先决作用。随着ITS在各种道路交通场景中的广泛应用，目前迫切需要一种适用于交通监控摄像机、且便于计算机运算、理论严密、性价比高的标定方法，实现监控摄像机实时自动标定。

发明内容

为了解决上述技术问题至少之一，根据本发明的一方面，提供了一种用于高速公路监控摄像机的在线自动标定方法，包括如下步骤：

S1、计算机读取高速公路监控视频，获得连续多帧的监控图像；

S2、对每帧图像做分割，得到车辆目标与静态道路场景；

S3、对每帧图像中的车辆目标进行Harris特征点提取；

S4、利用车辆目标的Harris特征点形成车辆轨迹，筛选车辆轨迹得到车辆直线轨迹集合；

S5、利用直线轨迹集合得到第1个灭点；

S6、对每一帧图像中的车辆目标进行边缘提取，筛选车辆边缘得到车辆边缘线集合；

S7、利用车辆边缘线集合得到第2个灭点，过程与S5一致；

S8、在静态道路场景中进行车道线提取；

S9、利用第2个灭点与车道线建立虚拟棋盘；

S10、利用至少6个棋盘角点、2个灭点的位置信息估算摄像机内外参数；

S11、计算机输出摄像机内外参数估计值。

进一步地，S2包括如下步骤：

S21、利用混合高斯模型(GMM)对连续多帧的监控图像进行分割处理，得到每帧图像的静态背景，即不包含运动对象的静态道路场景图像；

S22、对每帧图像与对应的背景图像先做差分获得动态前景目标，再对动态前景目标做中值滤波与闭运算，得到每帧图像中的车辆目标；

进一步地，S3包括如下步骤：

S31、将S2得到的每帧图像中的动态前景目标分为已有目标与新出现目标，如果当前帧得到的动态前景目标中包含当前轨迹的Harris特征点个数超过4个，则认为该动态前景目标是已有目标，反之是新出现目标，在每个新出现目标上提取4个Harris特征点；

S32、对每帧图像进行S31操作，得到每帧图像中车辆目标上的Harris特征点。

进一步地，S4包括如下步骤：

S41、利用光流跟踪法将相邻两帧车辆目标的图像以及前一帧图像的Harris特征点作为光流跟踪算法中的输入，输出为前一帧特征点在后一帧上的对应位置；

S42、初始输入的Harris特征点是新目标的Harris特征点，以此为起点进行跟踪，之后输入的特征点是已存在轨迹的结尾点；

S43、在所有输入遍历后，输出的Harris特征点集合即为跟踪到的车辆轨迹；

S44、对S43得到的车辆轨迹进行筛选，车辆轨迹中Harris特征点数超过15则保留；

S45、对S44得到的每一条车辆轨迹进行最小二乘拟合，将拟合得到的线段及其斜率、截距信息作为最终筛选出的直线轨迹集合，记为L

进一步地，S5包括如下步骤：

S51、记VP

S52、利用最小二乘算法对式(1)进行求解，得到第1个灭点的图像坐标；

S53、计算第1个灭点的估计误差Δ，若误差Δ≤3，则认为第1个灭点估计准确，否则计算L

S54、剔除L

进一步地，S6包括如下步骤：

S61、对每帧图像中的车辆目标进行LSD直线检测，得到车辆目标上的边缘及其斜率与长度信息；

S62、对S61得到的车辆边缘进行筛选，保留长度大于10的车辆边缘；

S63、根据S62得到的车辆边缘斜率正负值，保留垂直于车辆运动方向且平行于道路平面的车辆边缘；

S64、对S63得到的边缘建立“边缘数-斜率”直方图，获取直方图中峰值区间对应的边缘，作为最终筛选得到的边缘线集合，记为L

进一步地，S8包括如下步骤：

S81、对S2得到的静态道路场景图像建立掩膜图像，对道路场景图像与掩膜图像做差分得到道路区域图像；

S82、S81得到的道路区域进行Steger中心线检测，得到车道线段及其斜率、截距、端点坐标、长度信息；

S83、根据S82得到的车道线段斜率、截距信息，利用K-means聚类方法对车道线段分为左、中、右三类车道线段，其中左、右车道线为长实线，中车道线为等间隔交替出现的短实线。

进一步地，S9包括如下步骤：

S91利用第2个灭点与中车道线上的各短实线端点相连，形成多条连线；

S92利用S91得到的多条连线延伸至左、右车道线上，形成虚拟棋盘；

S93根据《道路设计规范标准》，高速公路单车道宽度7.5米，车道线短实线长度6米，间隔9米，如果高速公路场景地形平坦，则默认高速公路场景高程为0米，否则需向计算机输入此高速公路场景中的DEM数据。以虚拟棋盘左下角角点为原点O，道路方向为Y轴方向，垂直道路方向且平行道路平面的方向作为X轴方向，至此可知虚拟棋盘上角点的世界坐标P

进一步地，S10包括如下步骤：

S101、从虚拟棋盘中获取6个及6个以上的角点信息，结合角点的图像坐标p

式(4)中，单应性矩阵H由3个1×4行向量表示，H＝[h

S102、计算内部参数的近似估计值，内部参数表示如下：

式(5)中，(u

S103、利用S101得到的单应性矩阵与S102得到的内部参数近似估计值计算外部参数近似估计值，计算公式如下：

式(7)中，R,t为待估计的外部参数；旋转矩阵R由3个3×1的列向量表示，即R＝[r

S104、结合S103得到的内、外参数近似估计值与虚拟棋盘角点世界坐标，计算虚拟棋盘角点图像坐标近似值

式(8)中，s

S105、结合虚拟棋盘角点的图像坐标近似值与对应的图像坐标实际值，建立重投影误差函数，函数公式如下：

S106、利用Levenberg-Marquarelt算法对公式(9)进行迭代计算，得到内、外参数精确估计值。

根据本发明的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明的用于高速公路监控摄像机的在线自动标定方法中的步骤。

根据本发明的又一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明的用于高速公路监控摄像机的在线自动标定方法中的步骤。

相比于现有技术，本发明至少具有如下有益效果：

本发明通过利用高速公路监控视频中的道路信息便能实现监控摄像机在线自动标定，无需人工参数。本方法强化了摄像机标定技术在道路交通中的实用性，而且流程严密、算法统一、性价比高，能够适应实际工程。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。

图1为用于高速公路监控摄像机的在线自动标定方法流程图；

图2为高速公路监控视频中部分帧(120、140、160帧)图像；

图3为图像分割处理结果；

图4为某帧图像中部分车辆目标Harris特征点提取结果；

图5为道路场景中的车辆直线轨迹；

图6为道路场景中经筛选后得到的车辆边缘；

图7为高速公路场景中的2个消失点的获取结果；

图8为高速公路场景中的车道线提取结果；

图9为高速公路场景中的虚拟棋盘。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。

除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。

如图1-9所示，

实施例1：

本实施案例数据来源于某高速公路路段的监控视频，监控视频时长2min，图像分辨率为960×540，帧率为25fps，采集此视频的摄像机为此路段布设的海康威视高清云台摄像机。

步骤一、计算机读取高速公路监控视频，如图2所示为此视频中的部分帧(120、140、160帧)图像；

步骤二、对每一帧图像做分割处理，得到车辆目标与不含前者的高速公路场景。如图3所示为图像分割处理的部分结果；

步骤三、对每一帧图像中的车辆目标进行Harris特征点提取，得到车辆目标上的Harris特征点，如图4所示为某帧视频图像中部分车辆目标Harris特征点提取结果，不同颜色代表不同车辆目标的Harris特征点；

步骤四、利用每一帧图像中车辆目标上的Harris特征点形成车辆轨迹，对车辆轨迹进行筛选处理，得到车辆直线轨迹集合，记为L

步骤五、利用L

步骤六、利用LSD提取每一帧图像中车辆目标上的边缘。对提取得到的车辆边缘做筛选处理，得到车辆边缘集合，记为L

步骤七、利用L

步骤八、利用Steger提取不含车辆目标的高速公路场景中的车道线，如图8所示为高速公路场景中提取的车道线；

步骤九、利用步骤七得到的第2个消失点与步骤八得到的车道线建立虚拟棋盘，如图9所示为高速公路场景中建立的虚拟棋盘；

步骤十、获取虚拟棋盘上18个角点的图像坐标与世界坐标，并默认高速公路场景高程为0，如表1所示。结合角点的图像、世界坐标与2个消失点的图像坐标先计算得到摄像机内外参数的近似估计值，再利用Levenberg-Marquarelt算法迭代求解重投影误差函数，得到摄像机内外参数精确估计值，如表2所示；

表1虚拟棋盘角点世界坐标与图像坐标

表2摄像机内外参数精确估计结果

步骤十一、计算机输出摄像机内外参数估计值，标定结束。

本发明给出了一种用于高速公路监控摄像机的在线自动标定方法，通过利用高速公路监控视频中的道路信息便能实现监控摄像机在线自动标定。本方法强化了摄像机标定技术在道路交通中的实用性，同时给出了具体的实施方式。

实施例2：

本实施例的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1的用于高速公路监控摄像机的在线自动标定方法中的步骤。

本实施例的计算机可读存储介质可以是终端的内部存储单元，例如终端的硬盘或内存；本实施例的计算机可读存储介质也可以是所述终端的外部存储设备，例如终端上配备的插接式硬盘，智能存储卡，安全数字卡，闪存卡等；进一步地，计算机可读存储介质还可以既包括终端的内部存储单元也包括外部存储设备。

本实施例的计算机可读存储介质用于存储计算机程序以及终端所需的其他程序和数据，计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

实施例3：

本实施例的计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1的用于高速公路监控摄像机的在线自动标定方法中的步骤。

本实施例中，处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等；存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据，存储器的一部分还可以包括非易失性随机存取存储器，例如，存储器还可以存储设备类型的信息。

本领域内的技术人员应明白，实施例公开的内容可提供为方法、系统、或计算机程序产品。因此，本方案可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本方案可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本方案是参照根据本方案实施例的方法、和计算机程序产品的流程图和/或方框图来描述的，应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合；可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

本发明所述实例仅仅是对本发明的优选实施方式进行描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域工程技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的保护范围。