基于双目视觉的行驶车辆外廓尺寸检测方法

技术领域

本发明属于计算机视觉技术领域，涉及一种车辆外廓尺寸检测方法，尤其涉及一种基于双目视觉的行驶车辆外廓尺寸检测方法。

背景技术

我国检测车辆外饰违法改装的主要途经为交警巡查，该种方法效率低下，在交通网络中大部分路段处于漏检状态。因此部分货运车主为了经济利益擅改车辆外廓尺寸，部分轿车主擅加车顶箱、行李框等，对道路交通安全造成极大隐患。针对行驶车辆外廓尺寸高效化、智能化检测不仅能及时检测车辆违法改装，在限高限宽等路段也能发挥重要作用。

现有技术中，车辆外廓尺寸检测分为静止状态检测、行驶状态检测两种。如中国发明专利CN111966857A、CN109373928A、CN107167090A为静止状态检测方法，通过多传感器融合方式测量检测区中所停车辆的外廓尺寸。该方法相比人工检测效率有所提高，但效率仍然较低。仅适用于车管所等固定场所，无法在道路上进行设备安装。

行驶状态车辆外廓尺寸检测以激光雷达检测为主。如中国发明专利CN104655249A、CN108592801A、CN111649678A，通过多个激光雷达对行驶车辆进行外廓尺寸测量。该方法测量时不影响车辆正常行驶，能够准确测量车辆外廓尺寸信息。但存在以下缺点：1、激光雷达作为主动式测量设备仅能测量速度小于30km/h的车辆外廓尺寸；2、硬件成本高，中距激光雷达市场价格5000元以上；3、环境适应性差，且无法通过遮罩进行保护，室外环境下需经常清洁；4、无法识别车辆牌照，无法保存车辆管理信息。

双目视觉的物体测量是基于视差原理并由多幅图像获取物体三维几何信息的方法。其非接触、安装方便、成本低、自动化程度高等诸多优点而在工业生产中得到了越来越广泛的应用。如中国发明专利CN110425996A、CN110672007A、CN107588721，在工业环境下通过双目视觉技术对2m内零件进行轮廓尺寸测量。但现有双目视觉三维轮廓测量在硬件上受相机基线、焦距、光轴参数影响，距离越远物体成相效果越差，测量精度越低。在算法上存在弱纹理物体误匹配率高的技术问题。因此无法应用于道路行驶车辆外廓尺寸测量。

发明内容

为了解决背景技术中存在的上述技术问题，本发明提供了一种测量效果不受车速限制以及测量精度高的基于双目视觉的行驶车辆外廓尺寸检测方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于双目视觉的行驶车辆外廓尺寸检测方法，其特征在于：所述基于双目视觉的行驶车辆外廓尺寸检测方法包括以下步骤：

1)对所采集的双目视觉图像进行双目校正，获取左视图集以及右视图集；

2)对左视图集以及右视图集分别进行运动物体识别与追踪，分别获取左视图中车辆特征区以及右视图中车辆特征区；

3)使用边缘检测算子分别将左视图中车辆特征区以及右视图中车辆特征区分割成多个像素子集；不同像素子集通过不同阈值进行灰度增强，增强车体表面纹理；

4)分别以左右视图为基准图像，进行基于时序传播的半全局立体匹配，生成标准视差图；

5)对标准视差图内车辆特征区进行空间坐标转换，生成具有实际空间大小的三维点云图；

6)重复步骤2)至步骤5)，对追踪车辆生成多个三维点云图；基于空间几何特征对多个三维点云图进行坐标拟合，生成车辆外廓三维图。

作为优选，本发明所采用的步骤1)的具体实现方式是：

1.1)对两摄像头分别进行标定，获得相机内参：焦距(f

1.2)对两摄像头进行双目标定，获得相机外参：相对平移量T以及相对转动量R；

1.3)对所采集图像根据径向畸变系数以及切向畸变系数进行畸变校正，根据相机外参进行立体校正，使所获取的左视图、右视图完全共面且像素点对准。

作为优选，本发明所采用的步骤2)的具体实现方式是：

2.1)利用灰度转换函数对左视图集、右视图集进行灰度化；所述灰度转换的公式为：

其中：

R、G、B分别为图像像素三通道的值；

Gray为所计算像素的灰度值；

2.2)灰度化后视图集中第n+1帧、第n帧和第n-1帧的灰度值分别记为f

D

对差分图像D

D′

2.3)对图像D′

其中：

N

T为二值化的阈值，用于分析图像序列的运动特性，确定图像序列中有无物体运动。

D′

λ为光照的抑制系数；

A可设为整帧视图；

添加项

2.4)视图中车辆特征区R

其中：

B是一个适当的结构元。

作为优选，本发明所采用的步骤3)的具体实现方式是：

3.1)使用Sobel算子对左右视图中车辆特征区R

3.2)对车辆像素子区S

S

其中：

T

S

作为优选，本发明所采用的步骤4)的具体实现方式是：

4.1)以左视图为基准图像对右视图进行匹配代价计算；所述匹配代价计算以AD法与Census法相结合的算法进行运算；

所述AD法为左右视图车辆特征区域内S

其中：

C

所述Census法为通过将邻域窗口(窗口大小为n×m，n和m都为奇数)内的像素灰度值与窗口中心像素的灰度值进行比较，将比较得到的布尔值映射到一个比特串中，然后用比特串的值作为中心像素的Census变换值C

其中：

n′和m′分别为不大于n和m的一半的最大整数；

I(x，y)为窗口中心像素的灰度值。

I(x+i，y+j)为窗口内其他像素的灰度值。

基于Census变换的匹配代价计算方法是计算左右影像对应的两个像素的Census变换值的汉明距离，即：

C

其中：

C

C

Hamming(C

所述AD法与Census法相结合的匹配代价计算方法为将AD法匹配代价C

C(x，y)＝ρ(C

其中：

ρ运算公式为：

其中：

c是代价值；

λ是控制参数；

λ

λ

所述控制参数的目的在于，当c和λ都为正值时，这个函数的值区间在[0，1]的。因此可以通过该函数将任意代价值归一化到[0，1]的范围。

4.2)对计算了匹配代价后的左视图进行基于时序传播的代价聚合，使聚合后的代价值能够更准确的反应像素之间的相关性；

所述基于时序传播的代价聚合算法是：基于车辆行驶的特征构件能量函数，将寻找每个像素最优视差的问题转换成求解能量函数最小值得问题；所述基于车辆行驶的特征所构件能量函数为：

其中：

C为匹配代价，公式的第一项是数据项，表示当视差图为D时，所有像素的匹配代价的累加；

第二项和第三项是平滑项，表示对像素p的N

第三项惩罚力度较大(P

第四项为时序传播惩罚项，f

4.3)对代价聚合后的左视图进行视差计算，选取每个像素选择最小聚合代价值所对应的视差值作为最终视差，生成左视差图；

4.4)以右视图为基准图像，左视图为待匹配图像，重复步骤4.1)至步骤4.3)，获得右视图差；基于视差的唯一性约束，将左右视差图中对应像素点视差值进行对比，剔除两视差值之间差值大于1像素的视差值，获得精准视差图D

作为优选，本发明所采用的步骤5)的具体实现方式是：

5.1)由三角测量原理对视差图D

其中：

D为像素在世界坐标系下与相机的距离；

b为两相机之间的基线距离；

f

5.2)对车辆特征区各像素进行空间坐标转换，获得各像素在世界坐标系下x与y坐标；所述空间坐标转换为像素坐标系到图像坐标系转换、图像坐标系到相机坐标系转换、相机坐标系到世界坐标系转换；其转换公式简化为：

其中：

(u，v)为像素坐标；

f

c

(x，y，D)为像素在世界坐标系下坐标；

其中

坐标转换后所得车辆点云图为S(x，y，D)。

作为优选，本发明所采用的步骤6)的具体实现方式是：

6.1)设S

设车辆左右后视镜区域点集为K

其中：

y

l

x

D

所述S

6.2)所述多个三维点云图进行坐标拟合方法为，以S

p(x-x

其中x

对标准点云图以外所有云图根据相对转动角θ

所述q为拟合后坐标；

所有点云图相对标准点云图S

与现有技术相比，本发明具有如下的有益效果：

1)测量效果不受车速限制：车辆驶入双目相机成像范围即可完成测量。

2)测量精度高：相比于传统双目视觉算法，本方法通过识别车辆并增强车体表面纹理提高了左右视图匹配准确度；基于车辆行驶场景提出基于时序传播的立体匹配算法，增强视频帧间车辆特征区相关性，提高视差图精度；提出坐标拟合算法，对车辆进入成像范围期间的多次测量结果进行坐标拟合，解决车辆轮廓测量不全的问题。

3)结构灵活、安装方便：适用于所有路段，安装时只需调整两相机相对位置即可。

4)成本低：由两个相同参数摄像头组成，单个摄像头价格200-500元。

本发明所提供的基于双目视觉的行驶车辆外廓尺寸检测方法是通过双目相机实时采集道路图像，对所采集图像进行运动物体识别与追踪，获取车辆特征区，对所识别车辆特征区进行图像增强，提高图像中车辆与道路对比度，从而提高用于立体匹配的车辆成像效果。对车辆特征区进行边缘检测、区域划分，不同区域按不同阈值进行灰度变换，实现增强车体表面纹理作用，提高立体匹配中像素点匹配准确率。针对车辆行驶场景，提出基于时序传播的立体匹配算法，提高车辆外廓尺寸测量精度。图像进行立体匹配后，进行坐标转换、三维重建生成车辆外廓尺寸三维图。对所追踪车辆多次三维重建、坐标拟合，实现行驶车辆外廓尺寸高精度、高效化测量，且该测量方法不受车速影响。

附图说明

图1为本发明实施例的整理流程图；

图2为本发明实施例的基于时序传播立体匹配算法流程图；

图3为空间中点与双目相机的位置关系图。

具体实施方式

下面将结合附图和实施例对本发明进行详细说明，对本发明实施例中的技术方案进行完整、清晰地描述。

参见图1，本发明所提供的基于双目视觉的行驶车辆外廓尺寸检测方法的具体实施流程，包括：

S110所采集双目视觉图像进行双目校正，获取左视图集、右视图集。

本具体实施方式中，采用张正友标定法对双目摄像头进行标定。张正友标定方法为：1、打印一张棋盘格标定图纸，将其贴在屏幕物体的表；2、通过移动标定图片拍摄一组不同方向棋盘格的图片。3、对于每张拍摄的棋盘图片，检测图片中所有棋盘格的角点。4、定义打印的棋盘图纸位于世界坐标系D＝0的平面上，世界坐标系的原点位于棋盘图纸的固定一角，像素坐标系原点位于图片左上角。5、基于角点信息，利用极大似然估计法求解双目摄像头的内参、外参、畸变系数。6、利用内参、外参、畸变系数对双目摄像头所拍摄图像进行校正，获取左视图集、右视图集。对两摄像头分别进行标定，获得相机内参：焦距(f

S120校正后视图进行运动物体识别与追踪，获取视图中车辆特征区。对所采集图像根据畸变系数进行畸变校正，根据相机外参进行立体校正，使所获取的左视图、右视图完全共面且像素点对准。

本具体实施方式中，运动物体识别与追踪方法可采用背景减法、两帧差分法、三帧差分法。其中三帧差分法进行运动目标检测可以较强地适应动态环境的变化，有效地去除系统误差和噪声的影响，对场景中光照的变化不敏感而且不易受阴影，特别适合本发明的应用场景。

下面将以三帧差分法为例，提供运动物体识别与追踪过程：

步骤S120具体包括图1中未示出的子步骤S1201至S1204。

子步骤S1201，利用灰度转换函数对左视图集、右视图集进行灰度化。灰度转换的公式为：

其中RGB为图像像素三通道的值，Gray为所计算像素的灰度值。

子步骤S1202，灰度化后视图集中第n+1帧、第n帧和第n-1帧的灰度值记为f

D

对差分图像D

D′

子步骤S1203，对图像D′

其中，N

子步骤S1204，视图中车辆特征区R

其中B是一个适当的结构元。

S130使用边缘检测算子将左右视图中车辆特征区分割成多个像素子集。不同像素子集通过不同阈值进行灰度增强，提高车辆表面纹理。

本具体实施方式中，边缘检测算子可采用Sobel算子、Canny算子、Prewitt算子。其中Sobel算子具有对噪声有抑制作用，因此不会出现很多孤立的边缘像素点，适合用来对本发明中车辆特征区进行分区。

下面将以Sobel算子为例子，提供提高车辆表面纹理性的方法：

使用Sobel算子对左右视图中车辆特征区R

对车辆像素子区S

其中，T

S140分别以左右视图为基准图像，进行基于时序传播的立体匹配，生成标准视差图。

本具体实施方式中，结合图2，提供生成标准视差图方法：

S21以左视图为基准图像对右视图进行匹配代价计算。匹配代价计算以AD法与Census法相结合的算法进行运算。

AD法为左右视图车辆特征区域内S

其中C

Census法为通过将邻域窗口(窗口大小为n×m，n和m都为奇数)内的像素灰度值与窗口中心像素的灰度值进行比较，将比较得到的布尔值映射到一个比特串中，然后用比特串的值作为中心像素的Census变换值C

其中，n′和m′分别为不大于n和m的一半的最大整数，

基于Census变换的匹配代价计算方法是计算左右影像对应的两个像素的Census变换值的汉明(Hamming)距离，即：

C

汉明距离即两个比特串的对应位不相同的数量，计算方法为将两个比特串进行亦或运算，再统计亦或运算结果的比特位中不为1的个数。

AD法与Census法相结合的匹配代价计算方法为将AD法匹配代价C

C(x，y)＝ρ(C

其中ρ运算公式为：

其中c是代价值，λ是控制参数。

S22对匹配代价后的左视图进行基于时序传播的代价聚合。

由于S21步骤只考虑了像素间局部的相关性，对噪声非常敏感，因此对计算了匹配代价后的左视图进行基于时序传播的代价聚合，使聚合后的代价值能够更准确的反应像素之间的相关性。

基于时序传播的代价聚合算法为，基于车辆行驶的特征构件能量函数，将寻找每个像素最优视差的问题转换成求解能量函数最小值得问题。基于车辆行驶的特征所构件能量函数为：

其中，C为匹配代价，公式的第一项是数据项，表示当视差图为D时，所有像素的匹配代价的累加。第二项和第三项是平滑项，表示对像素p的N

第四项为时序传播惩罚项，f

S23使用WTA算法计算最优视差，生成左视差图。WTA算法为对像素所对应的视差值进行比较，选取最小视差值作为最终视差，生成左视差图。

S24以右视差图为基准图重复步骤S21-S32，获右视差图。对比左右视差图进行视差优化，获得精准视差图。

基于视差的唯一性约束，将左右视差图中对应像素点视差值进行对比，剔除两视差值之间差值大于1像素的视差值，获得精准视差图D

S150对视差图内车辆特征区进行空间坐标转换，生成具有实际空间大小的三维点云图。

本具体实施方式中，结合图3，提供生成具有实际空间大小的三位点云图方法：

如图3所示，建立世界坐标系(x，y，D)与左摄像头相机坐标系重合。

相机坐标系以摄像机光心为原点，Z

建立图像坐标系，图像坐标系用物理长度单位表示像素的位置，坐标原点为摄像机光轴与图像物理坐标系的交点位置。坐标系为图上x′O′y′。

建立像素坐标系，坐标原点在图像左上角，以像素为单位，用于表示全画面的像素长和像素长宽。坐标系为图上uOv。

如图3所示，物距D为车辆特征区中各像素在世界坐标系下D轴坐标，即车辆外廓距离相机的距离。物距D计算方法为：

对车辆特征区各像素进行空间坐标转换，获得各像素在世界坐标系下x与y坐标。空间坐标转换为像素坐标系到图像坐标系转换、图像坐标系到相机坐标系转换、相机坐标系到世界坐标系转换。其转换公式简化为：

其中(u，v)为像素坐标、f

坐标转换后所得车辆点云图为S(x，y，D)。

S160基于空间几何特征对多个三维点云图进行坐标拟合，生成车辆外廓三维图。

本具体实施方式中，提供车辆外廓三维图生成方法：

设S

设车辆左右后视镜区域点集为K

其中l

S

子步骤620，多个三维点云图进行坐标拟合方法为，以S

p(x-x

对标准点云图以外所有云图根据相对转动角θ

q为拟合后坐标，

综上，本发明提供一种基于双目视觉的行驶车辆外廓尺寸检测方法。通过双目相机实时采集道路图像，对所采集图像进行运动物体识别与追踪，获取车辆特征区。对所识别车辆特征区进行图像增强，提高图像中车辆与道路对比度，从而提高用于立体匹配的车辆成像效果。对车辆特征区进行边缘检测、区域划分，不同区域按不同阈值进行灰度变换，实现增强车体表面纹理作用，提高立体匹配中像素点匹配准确率。

针对车辆行驶场景，提出基于时序传播的立体匹配算法，提高车辆外廓尺寸测量精度。图像进行立体匹配后，进行坐标转换、三维重建生成车辆外廓尺寸三维图。

对所追踪车辆多次三维重建、坐标拟合，实现行驶车辆外廓尺寸高精度、高效化测量。