一种基于双目视觉的车辆外廓尺寸动态测量方法

技术领域

本发明涉及车辆外廓尺寸自动检测领域，尤其涉及一种基于双目视觉的车辆外廓尺寸动态测量方法。

背景技术

随着我国汽车保有量的不断提高，因车辆私自改装而造成的道路交通事故也逐年增多，给行车安全带来了很大的隐患。对于汽车外廓尺寸的测量是判断车辆改装与否的关键，也是汽车综合性能检测的一项重要内容，在一定程度上影响了汽车的通过性与运行安全性，对于我国交通行车安全有着重大的意义。

基于双目视觉的检测算法作为机器视觉领域的一个重要分支，也是当前研究工作开展较多，技术相对比较成熟的一种。其拟人眼的工作方式，可在不同条件下灵活测量不同景物的立体信息，在汽车、人工智能等工程应用中有着极高的研究价值，根据双目视觉原理可以将特征点的二维坐标拓展到三维空间，从而得到目标物体的空间信息。

发明内容

为解决现有的车辆外廓尺寸自动检测精确度较低的问题，本发明提供了一种基于双目视觉的车辆外廓尺寸动态测量方法。

本发明为解决上述技术问题所采用的技术方案是：一种基于双目视觉的车辆外廓尺寸动态测量方法，包括以下步骤：

步骤1：双目标定

对双目相机进行标定，打印标准棋盘格图片，在标定工具库中输入拍摄好的图像对，剔除误差较大的图像对，保留误差较小的图像对进行自动标定，得到双目相机的参数；

步骤2：图像校正

采用公式法对左右图像进行径向和切向上的畸变校正，对图像进行畸变校正后采用立体校正算法将左右图像的对极线在空间中进行修正；

步骤3：图像分割

利用背景差分法对校正后的图像进行目标提取，保持背景图像不变，将车辆前景看作运动状态，比较两者像素点的差异来检测目标车辆，然后利用颜色转换公式对车辆前景RGB图像进行颜色空间转换，选取出现频率最多的3个颜色分量h

步骤4：图像去噪

采用5*5的核对图像进行腐蚀处理，去除非车身物体的干扰；再对腐蚀后的图像进行膨胀处理，直至车身能够完全被分割出来；

步骤5：测量点选取

通过在二值化图像上设定灰度阈值来查找目标车辆的轮廓，从而绘制出最小外接矩形边框。

步骤6：特征点匹配

利用基于半全局约束的SGBM立体匹配算法对双目图像进行特征点匹配；

步骤7：尺寸计算

根据特征点匹配后的双目图像，利用双目视觉坐标转换公式计算得到左图像4个特征点A1、B1、C1、D1和右图像A2、B2、C2、D2对应的4个空间点A、B、C、D的世界坐标值，根据4个空间坐标点对应的差值即可得到车辆的外廓尺寸。

优选的，步骤1中，最终得到双目相机的焦距、中心点、畸变参数、旋转向量、平移向量参数。

优选的，步骤2中，首先将左相机坐标系沿旋转向量R的正方向旋转一半得到左合成旋转矩阵R

优选的，步骤5中，首先寻找二值图像上所有灰度值为255的区域作为目标区域，然后获取目标车辆中心点坐标(x，y)、宽度、高度、旋转角度以及4个角点的坐标，最后根据特征信息对左右图像绘制最小外接矩形框，并标注矩形框的4个角点为特征匹配点。

优选的，步骤6中，首先采用水平Sobel算子对图像进行处理，得到图像的梯度信息，然后利用映射函数将图像上每个像素点映射成一个新的图像；然后先进行基于BT代价方法的代价计算，再进行梯度计算，梯度计算先经过Sobel算子计算处理再投入到BT代价中进行计算；然后根据图像上所有一维路径的约束条件建立全局能量方程，在多个方向上进行能量积累；然后选取视差，并将各个方向上的匹配代价进行叠加得到总体的匹配代价；最后对像素点进行唯一性检测、亚像素插值和左右一致性检测，减少视差图像的不平滑区域。

根据上述技术方案，本发明的有益效果是：

本发明对图像分割算法进行改进，将背景差分法与HSV颜色空间相结合，能够有效排除光照不均或颜色接近等问题的影响。首先利用最大类间方差法确定灰度阈值，再通过统计图像的HSV颜色分量提取出车辆前景，最后经形态学处理去除图像的噪声干扰，填补空洞区域。本发明通过求取双目图像中目标车辆的最小外接矩形，将矩形框的4个特征角点确定为测量点，并对其进行立体匹配从而获得测量点的空间位置坐标，最终得到目标车辆的外廓尺寸。经实验验证，利用该方法测量得到的汽车外廓尺寸平均相对误差保持在4％以内，每帧图像的平均处理耗时保持在0.25s以内，实现了对道路车辆外廓尺寸的实时性精确测量，可以为汽车的通过性提供参考。

附图说明

图1为本发明的基于双目视觉的车辆外廓尺寸测量方法流程图；

图2为标定棋盘格图片；

图3为标定过程中棋盘格图片的空间位置关系；

图4为标定误差结果；

图5为车辆视差图；

图6为双目视觉原理图。

具体实施方式

基于图1-6，对本发明所提供的一种基于双目视觉的车辆外廓尺寸动态测量方法做出详细说明，主要包括如下步骤：

步骤1：双目标定

利用张正友标定法对双目相机进行标定，打印标准棋盘格图片，在标定工具库中输入拍摄好的图像对，剔除误差较大的图像对，保留误差较小的图像对进行自动标定，最终得到双目相机的焦距、中心点、畸变参数、旋转向量、平移向量等参数；

如图2所示，用A4纸打印10×7规格的棋盘格标定板，其角点数为9×6，每个棋盘格大小为25mm×25mm；拍摄30组左右棋盘格图片并输入至标定工具库中，对误差较大的图像对进行剔除，保留误差较小的图像对进行自动标定，最终得到双目相机的焦距、中心点、畸变参数、旋转向量、平移向量等参数。标定板空间位置关系如图3所示，标定误差结果如图4所示。

步骤2：图像校正

采用公式法对左右图像进行径向和切向上的畸变校正，对图像进行畸变校正后采用立体校正算法将左右图像的对极线在空间中进行修正，使其处于同一水平线上。本发明采用公式法对双目图像进行立体校正。由双目标定结果已知旋转矩阵R和平移矩阵T，首先将左相机坐标系沿旋转向量R的正方向旋转一半得到左合成旋转矩阵R

最后通过合成矩阵与旋转矩阵相乘得到左右相机的整体旋转矩阵，具体为：

步骤3：图像分割

在利用背景差分法对校正后的图像进行目标提取时，保持背景图像不变，将车辆前景看作运动状态，比较两者像素点的差异来检测目标车辆。设含有车辆图像的灰度值为f

D(x，y)＝|f

然后将差分图像上每个像素点的灰度值与灰度阈值T进行对比，得到二值化图像R(x，y)，具体如下：

其中灰度值为255的灰度点看作车辆前景，灰度值为0的看作图像背景。接着对二值化图像进行连通性分析即可得到完整的车辆前景。而对于阈值T的选取，采用最大类间方差[13]法确定最佳阈值。假设输入的图像灰度级为L，图像大小为w×h，因此图像总像素数量为N＝w×h，每个灰度级的概率为p

设置一个灰度阈值T，将图像分为C

δ

其中，

接着将RGB图像转换为HSV图像，具体步骤为：首先将图像上所有像素点的R、G、B值除以255转换到0-1范围之间；其次将转化后的值代入转换函数中计算出对应的H、S、V值。转换公式如下：

V＝max(R，G，B)；

由转换公式计算得到的H值可能小于0，因此需要将该值加360，得到最终的H值，其计算公式为：

最后为了方便在OpenCV视觉库中将图像可视化，需要将H、S、V的计算值转换到0-255范围之间，映射公式如下：

利用颜色转换公式对车辆前景RGB图像进行颜色空间转换，选取出现频率最多的3个颜色分量h

步骤4：图像去噪

采用5*5的核对图像进行腐蚀处理，去除非车身物体的干扰；再对腐蚀后的图像进行膨胀处理，使车身能够完全被分割出来。

步骤5：测量点选取

通过在二值化图像上设定灰度阈值来查找目标车辆的轮廓，从而绘制出最小外接矩形边框，具体为：

(1)根据二值化图像的特征，可以确定目标车辆的灰度值为255，因此寻找二值图像上所有灰度值为255的区域作为目标区域；

(2)获取目标车辆中心点坐标(x，y)、宽度、高度、旋转角度以及4个角点的坐标；

(3)根据上述相关特征信息对左右图像绘制最小外接矩形框，并标注矩形框的4个角点为特征匹配点。

步骤6：特征点匹配

利用基于半全局约束的SGBM立体匹配算法对双目图像进行特征点匹配，匹配后得到的视差图如图5所示，具体为：

(1)采用水平Sobel算子对图像进行处理，得到图像的梯度信息。然后利用映射函数将图像上每个像素点映射成一个全新的图像，具体为：

上式中：P表示原本图像的像素值，P

(2)代价计算，由两部分组成：一部分为基于BT代价方法的代价计算，另一部分为先经过Sobel算子计算处理，再投入到BT代价中进行的梯度计算；

(3)代价聚合，首先根据图像上所有一维路径的约束条件建立全局能量方程，在多个方向上进行能量积累；然后选取视差，并将各个方向上的匹配代价进行叠加得到总体的匹配代价，其中代价聚合的计算如下式所示：

其中，E(D)表示视差D对应的匹配代价；N

(4)对像素点进行唯一性检测、亚像素插值和左右一致性检测，减少视差图像的不平滑区域，使图像的边缘信息保存更加完整。

步骤7：尺寸计算

根据双目视觉原理可以将特征点的二维坐标拓展到三维空间，从而得到目标物体的空间信息。根据特征点匹配后的双目图像，利用双目视觉坐标转换公式计算得到左图像4个特征点A1、B1、C1、D1和右图像A2、B2、C2、D2对应的4个空间点A、B、C、D的世界坐标值，如表所示：

由上表可以得知，矩形框的长度与高度分别为2985.55mm、1662.98mm，即为待检测车辆的外廓尺寸。