基于视频的车辆尺寸测量方法、装置、终端及存储介质

技术领域

本发明涉及交通监测技术领域，具体涉及基于视频的车辆尺寸测量方法。

背景技术

视频监控领域中，车辆的长宽高信息在很多方面都有应用，包括车辆的超高超限检测，基于车型分类的自动收费系统等等都需要准确的车辆长宽高信息。以往大多数的车辆长宽高测量系统大部分都是通过使用激光雷达或者红外摄像仪来进行测量。

如专利《基于激光测距技术的车辆长宽高测量装置》（专利公开号：CN201620122554.3），公开了一种基于激光测距技术的车辆长宽高测量装置，能够快递准确地获取车辆的长宽高信息，但激光测距设备和安装的成本都比较高。在专利《一种基于RGB-D相机的车辆长宽高尺寸的测量方法》（专利公开号：CN201810298243.6）中公开了一种基于RGB-D相机的车辆长宽高尺寸的测量方法，采用相机近距离安装的方式获取清晰的车辆图像，通过相机深度图像方案，实现车辆目标在世界坐标系下三维点云转化。上述方案都只能对单车道的车辆近距离进行测量。而通过单目摄像机获取车辆的长宽高信息一直以来都是一个难题，特别是远距离测量的情况。在专利《一种基于单目视觉和几何约束的3D车辆目标检测方法》（专利号：CN201910684070.6）中，公开了一种基于单目视觉和几何约束的3D车辆目标检测方法，通过卷积神经网络获取车辆观测角度，根据查表及车载摄像机的相机坐标系获取车辆底面中心在车载单目摄像机Y轴方向平移距离值，和X轴方向平移距离值，从而绘制车辆的三维边界框。但是该专利没有给出相机标定的过程和坐标查询表格的制作方法。

发明内容

本发明解决的技术问题为车辆尺寸测量问题，提供基于视频的车辆尺寸测量方法。

为了解决上述技术问题，本发明提供的技术方案为：

基于视频的车辆尺寸测量方法，包括：

获取视频场景的图像；在所述视频场景中建立第一坐标系，所述第一坐标系为三维坐标系；

获取所述摄像机的标定数据，建立第一坐标系和图像上的点之间的坐标映射关系；

根据所述图像获取待测车辆的前景二值化图及前景掩膜；

获取所述前景掩膜的边界线的交点，根据所述标定数据获取所述交点的坐标，根据所述交点的坐标获取所述车辆尺寸。

将待测车辆的图像二值化，得到前景掩膜，前景掩膜边界线的交点，可以表征车辆的尺寸，通过第一坐标系和图像的映射关系，可以从交点的图像坐标计算其在视频场景中的坐标，从而计算出车辆的尺寸。

通过视频图像即可测定车辆的尺寸，大幅降低了车辆尺寸检测的成本，同时可以对图像内的多个车辆同时进行检测，大幅提高了检测效率。

优选地，在所述第一坐标系中：X坐标在地面上沿道路行车方向，Y坐标在地面上正交于道路行车方向，Z坐标垂直于地面方向；所述第一坐标系原点为图像的中心点，所述摄像机光轴经过所述第一坐标系的原点。以此方式建立第一坐标系，有利于根据摄像机标定后得到的摄像机数据将摄像机拍摄到的图像上点映射为第一坐标系内的坐标。

优选地，获取所述前景掩膜的边界线的交点的方法包括：

获取标定摄像机过程中采用的标定模板，基于所述标定模板获取至少两个灭点；

建立车辆前景掩膜的边界线上所有点与一个灭点的连线，在所有连线中，取最接近车辆底部的连线为底边界，取最接近车辆顶部的连线为顶边界；

建立车辆前景掩膜的边界线上所有点与另一个灭点的连线，在所有连线中，取最接近车辆后部的连线为后边界，取最接近车辆前部的连线为前边界；

所述底边界和所述前边界的交点为第一点，所述顶边界和所述后边界的交点为第二点。先确定前景掩膜的边界，再获取边界的交点，第一点和第二点的距离可以作为车辆尺寸的参考。

优选地，获取所述前景掩膜的边界线的交点的方法还包括：

建立车辆前景掩膜的边界线上所有点的垂直线，在所有垂直线中，取最左侧的线称为左边界，取最右侧的线称为右边界；

所述底边界和所述左边界的交点第三点；所述前边界和所述右边界的交点为第四点；所述顶边界和所述右边界的交点为第五点；所述后边界和所述左边界的交点为第六点。确定前景掩膜的左右边界，可以获取前景掩膜上所有边界交点的坐标，从而根据交点坐标计算车辆尺寸。

优选地，根据所述标定数据获取所述交点的坐标的方法包括：

根据所述交点中高度为零的交点的坐标，获取与高度为零交点X、Y坐标相同的高度不为零的交点的坐标。

优选地，所述标定数据包括旋转矩阵R、平移矩阵T和内部参数矩阵K；

其中，

f为焦距，指从图像平面沿光轴到摄像机镜片中心的距离；

h为摄像机高度，指从摄像机镜头中心到高度为0的平面的垂直高度；

t为俯仰角，指摄像机光轴相对于第一坐标系中高度为0的平面的垂直夹角；

p为转动角，指从第一坐标系中的同行进方向平行的坐标轴逆时针方向到摄像机光轴在高度为0的平面投影线上的水平夹角；

s为旋转角，指摄像机沿着它的光轴的旋转角度；

优选地，所述交点Q的坐标为Q=(X

基于视频的车辆尺寸测量装置，包括：

图像获取模块，所述图像获取模块获取视频场景的图像；在所述视频场景中建立第一坐标系，所述第一坐标系为三维坐标系；

摄像机数据获取模块，所述摄像机数据获取所述摄像机的标定数据，建立第一坐标系和图像上的点之间的坐标映射关系；

图像预处理模块，所述图像预处理模块根据所述图像获取待测车辆的前景二值化图及前景掩膜；

尺寸获取模块，获取所述前景掩膜的边界线的交点，根据所述标定数据获取所述交点的坐标，根据所述交点的坐标获取所述车辆尺寸。

一种终端，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序时实现上述的方法。

一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

与现有技术相比，本发明具有的有益效果为：通过视频图像即可测定车辆的尺寸，大幅降低了车辆尺寸检测的成本，同时可以对图像内的多个车辆同时进行检测，大幅提高了检测效率。

附图说明

图1为用标定车辆装载的标定杆的示意图。

图2为摄像机模型与摄像机外部参数的示意图。

图3为灭点的示意图。

图4为前景掩膜边界的示意图。

图5为前景掩膜的示意图。

图6为基于视频的车辆尺寸测量方法的一种流程图。

图7为基于视频的车辆尺寸测量方法的另一种流程图。

图8为基于视频的车辆尺寸测量装置示意图。

具体实施方式

以下实施例是对本发明的进一步说明，不是对本发明的限制。

基于视频的车辆尺寸测量方法，在本申请的一些实施例中，包括：

S100.获取视频场景的图像；在所述视频场景中建立第一坐标系，所述第一坐标系为三维坐标系；

S200.获取所述摄像机的标定数据，建立第一坐标系和图像上的点之间的坐标映射关系；

S300.根据所述图像获取待测车辆的前景二值化图及前景掩膜；

S400.获取所述前景掩膜的边界线的交点，根据所述标定数据获取所述交点的坐标，根据所述交点的坐标获取所述车辆尺寸。

将待测车辆的图像二值化，得到前景掩膜，前景掩膜边界线的交点，可以表征车辆的尺寸，通过第一坐标系和图像的映射关系，可以从交点的图像坐标计算其在视频场景中的坐标，从而计算出车辆的尺寸。

通常摄像机标定过程包含建立摄像机拍摄的图像上的点与第一坐标坐标系的映射关系。

通过视频图像即可测定车辆的尺寸，大幅降低了车辆尺寸检测的成本，同时可以对图像内的多个车辆同时进行检测，大幅提高了检测效率。

在本申请的一些实施例中，利用混合高斯模型等经典算法，获取视频场景的背景图片，然后通过帧差法，获取待测量的车辆的前景二值化图。

在本申请的一些实施例中，利用Mask R-CNN等深度学习算法获取车辆的二值化前景图。

在本申请的一些实施例中，在所述第一坐标系中：X坐标轴在地面上沿道路行车方向，Y坐标轴在地面上正交于道路行车方向，Z坐标轴垂直于地面方向；所述第一坐标系原点为图像的中心点所述摄像机光轴经过所述第一坐标系原点。

以此方式建立第一坐标系，便于标定摄像机，也有利于根据摄像机标定后得到的摄像机数据将摄像机拍摄到的图像上点映射为第一坐标系内的坐标。

在本申请的一些实施例中，S201.在图像中建立第二坐标系，所述第二坐标系为二维坐标系，图像的行方向为x坐标轴，图像的列方向为y坐标轴，图像中心为第二坐标系的原点。

图像已知的情况下，第二坐标系中，也就是图像上的任一点都是可以表征的。

应当理解，第二坐标系的建立仅是为了方便说明本申请的技术方案，实际应用中可以仅建立第一坐标系即可建立图像上的点与第一坐标系的映射关系。

在本申请的一些实施例中，所述摄像机的标定可以选用道路标线作为标定模板。

当使用道路标线作为标定模板时，取两条平行的道路标线的两端共四个点。获取四个点在图像当中的坐标，并且测量标定模板的长度值L和宽度值W。进而获得摄像机的标定数据。

在本申请的一些实施例中，所述摄像机的标定可以使用专用标定车辆装载的标定杆作为标定模板。

在车辆的显著位置喷涂特定颜色或者纹理以供视频识别算法自动定位特征点，至少两个特征点在一个水平平面上以和行驶方向正交的方向排列。特征点可以在车体上，也可以在车头加装的杆件两端。两个特征点预先测量，离地高度为h`

标定过程中，让标定车辆在道路中沿着行进方向匀速行驶，然后在待标定摄像机视野范围内经过时，截取两帧或以上视频帧，在视频帧中自动识别车辆特征点的图像坐标位置，如图1所示，分别记为A`(

其中,

f为焦距，指从图像平面沿光轴到摄像机镜片中心的距离；

h为摄像机高度，指从摄像机镜头中心到高度为0的平面的垂直高度；

t为俯仰角，指摄像机光轴相对于第一坐标系中高度为0的平面的垂直夹角；

p为转动角，指从第一坐标系中的同行进方向平行的坐标轴逆时针方向到摄像机光轴在高度为0的平面投影线上的水平夹角；

s为旋转角，指摄像机沿着它的光轴的旋转角度；

应当理解，只要能获取上述摄像机数据的标定方法均在本申请的保护范围内。

标定摄像机可以通过单消失或双消失标定法进行标定，从而获取关于摄像机的全面的数据。

在本申请的一些实施例中，所述交点Q的坐标为Q=(X

根据以上公式可以推到出：

交点Q如果位于高度为0的平面，那么Z

应当理解，Q仅为表示方便，Q指代图像中的任意一点。

在本申请的一些实施例中，获取所述前景掩膜的边界线的交点的方法包括：

S301.获取标定摄像机过程中采用的标定模板，基于所述标定模板获取至少两个灭点；

S302.建立车辆前景掩膜的边界线上所有点与一个灭点的连线，在所有连线中，取最接近车辆底部的连线为底边界，取最接近车辆顶部的连线为顶边界；

S303.建立车辆前景掩膜的边界线上所有点与另一个灭点的连线，在所有连线中，取最接近车辆后部的连线为后边界，取最接近车辆前部的连线为前边界；

所述底边界和所述前边界的交点为第一点，所述顶边界和所述后边界的交点为第二点。

先确定前景掩膜的边界，再获取边界的交点，第一点和第二点的距离可以作为车辆尺寸的参考。

在本申请的一些实施例中，获取所述前景掩膜的边界线的交点的方法包括：

标定模板的四个点依次为A'B'C'D'，求出A'B'与C'D'的交点为一个灭点，记作vp1；求出A'C'与B'D'的交点为另一个灭点，记作vp2，如图3所示。

建立车辆前景掩膜的边界线上所有点与灭点vp1连线，在所有连线中，取最接近车辆底部的连线为底边界（图3中线段AB所在的直线），取最接近车辆顶部的连线为顶边界（图3中线段ED所在的直线）；

建立车辆前景掩膜的边界线上所有点与另一个灭点vp2连线，在所有连线中，取最接近车辆后部的连线为后边界（图3中线段EF所在的直线），取最接近车辆前部的连线为前边界（图3中线段BC所在的直线）；

所述底边界和所述前边界的交点为第一点B，所述顶边界和所述后边界的交点为第二点E。

在本申请的一些实施例中，S304.建立车辆前景掩膜的边界线上所有点的垂直线，在所有垂直线中，取最左侧的线称为左边界（图3中线段AF所在直线），取最右侧的线称为右边界（图3中线段CD所在直线）；

所述底边界和所述左边界的交点第三点A；所述前边界和所述右边界的交点为第四点C；所述顶边界和所述右边界的交点为第五点D；所述后边界和所述左边界的交点为第六点F。

所述垂直线同第二坐标系中的列方向（y轴方向）平行。

应当理解，第二坐标系可以图像中心点为原点建立，以其他点为原点建立第二坐标系确定边界线交点的技术方案也应在本申请的保护范围内。

在本申请的一些实施例中，图像中心点为坐标原点（0，0）的第二坐标系中，点A和点B是地面上的点，即高度为零的点，通过公式（4）和公式（5）可以计算出这A点和B点在第一坐标系的X和Y坐标值。

从而计算出AB线段的长度值，也就是车辆的长度值。

其中

在本申请的一些实施例中，以前景二值化图的左上角为坐标原点（0，0）的第二坐标系中，点B和点C是地面上的点，即高度为零的点。

通过公式（4）和公式（5）可以计算出B点和C点在第一坐标系的X和Y坐标值。从而计算出BC线段的长度值，也就是车辆的宽度值。

其中

在本申请的一些实施例中，S305.根据所述标定数据获取所述交点的坐标的方法包括：

根据所述交点中高度为零的交点的坐标，获取与高度为零交点X、Y坐标相同的高度不为零的交点的坐标。在本申请的一些实施例中，以前景二值化图的左上角为坐标原点（0，0）的第二坐标系中，点C是地面上的点，即高度为零的点，通过公式（4）和公式（5）可以计算出这个点在第一坐标系的X和Y坐标值。在第一坐标系中，点D是XY坐标与点C相同、高度未知的点，在XY已知的情况下，通过公式（2）和公式（3）可以计算出这个点的Z坐标值，即线段CD的长度，也是车辆的高度值。

其中，(

应当理解，车辆尺寸可以指长宽高的其中一个或几个，通过本申请的方法测量出长宽高的其中一个或几个以及任意两点的连线的长度都应在本申请的保护范围内。

基于视频的车辆尺寸测量装置，在本申请的一些实施例中，包括：

图像获取模块100，所述图像获取模块100获取视频场景的图像；在所述视频场景中建立第一坐标系，所述第一坐标系为三维坐标系；

摄像机数据获取模块200，所述摄像机数据获取模块200标定摄像机，获取所述摄像机的标定数据，建立第一坐标系和图像上的点之间的坐标映射关系；

图像预处理模块300，所述图像预处理模块300根据所述背景图像获取待测车辆的前景二值化图及前景掩膜；

尺寸获取模块400，所述尺寸获取模块400获取所述前景掩膜的边界线的交点，根据所述标定数据获取所述交点的坐标，根据所述交点的坐标获取所述车辆尺寸。

在本申请的一些实施例中，在所述第一坐标系中：X坐标在地面上沿道路行车方向，Y坐标在地面上正交于道路行车方向，Z坐标垂直于地面方向；所述第一坐标系原点为图像的中心点所述摄像机光轴经过所述第一坐标系原点。

在本申请的一些实施例中，还包括第一交点获取模块，所述第一交点获取模块获取所述前景掩膜的边界线的交点的方法包括：

获取标定摄像机过程中采用的标定模板，基于所述标定模板获取至少两个灭点；

建立车辆前景掩膜的边界线上所有点与一个灭点的连线，在所有连线中，取最接近车辆底部的连线为底边界，取最接近车辆顶部的连线为顶边界；

建立车辆前景掩膜的边界线上所有点与另一个灭点的连线，在所有连线中，取最接近车辆后部的连线为后边界，取最接近车辆前部的连线为前边界；

所述底边界和所述前边界的交点为第一点，所述顶边界和所述后边界的交点为第二点。

在本申请的一些实施例中，还包括第二交点获取模块，所述第二交点获取模块获取所述前景掩膜的边界线的交点的方法包括：

建立车辆前景掩膜的边界线上所有点垂直线，在所有垂直线中，取最左侧的线称为左边界，取最右侧的线称为右边界；

所述底边界和所述左边界的交点第三点；所述前边界和所述右边界的交点为第四点；所述顶边界和所述右边界的交点为第五点；所述后边界和所述左边界的交点为第六点。

在本申请的一些实施例中，所述尺寸获取模块根据所述标定数据获取所述交点的坐标的方法包括：

根据所述交点中高度为零的交点的坐标，获取与高度为零交点X、Y坐标相同的高度不为零的交点的坐标。

在本申请的一些实施例中，所述摄像机数据获取模块获取摄像机的标定数据，所述标定数据包括旋转矩阵R、平移矩阵T和内部参数矩阵K；

其中，

f为焦距，指从图像平面沿光轴到摄像机镜片中心的距离；

h为摄像机高度，指从摄像机镜头中心到高度为0的平面的垂直高度；

t为俯仰角，指摄像机光轴相对于第一坐标系中高度为0的平面的垂直夹角；

p为转动角，指从第一坐标系中的同行进方向平行的坐标轴逆时针方向到摄像机光轴在高度为0的平面投影线上的水平夹角；

s为旋转角，指摄像机沿着它的光轴的旋转角度；

标定摄像机可以通过单消失或双消失标定法进行标定，从而获取关于摄像机的全面的数据。

在本申请的一些实施例中，所述尺寸获取模块包括坐标获取模块所述坐标获取模块获取交点Q的坐标，所述交点Q的坐标为Q=(X

应当理解，Q仅为表示方便，在上述实施例的基础上，Q指代ABCDEF中的任意一点。

一种终端，在本申请的一些实施例中，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序时实现上述的方法。

一种存储介质，在本申请的一些实施例中，存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

上列详细说明是针对本发明可行实施例的具体说明，以上实施例并非用以限制本发明的专利范围，凡未脱离本发明所为的等效实施或变更，均应包含于本案的专利范围中。