一种基于平行车道线的动态逆透视变换方法

技术领域

本发明属于汽车辅助驾驶和自动驾驶领域，尤其涉及一种基于平行车道线的动态逆透视变换方法。

背景技术

随着汽车智能化技术的发展，汽车的高级辅助驾驶系统和自动驾驶系统发展得到了巨大的研发投入。

在汽车实际应用中，单目摄像头得益于其低廉的价格和丰富的颜色感知获得了广泛应用，但是相机在成像过程中失去了环境中的位置信息，因此在进行目标检测及车道线检测后还需要进行逆透视变换来计算真实环境中目标物体的距离信息。常规的静态逆透视变换方法主要基于固定的相机姿态参数，然而实际道路会存在坑洼且车辆在行驶过程中其自身的运动状态也会改变，因此当车辆在实际道路行驶时车载相机的俯仰角外参会产生一定的变化，这使得固定参数的静态逆透视变换结果失去准确性。

因此，亟需一种动态的逆透视变换方法，以解决现有技术中的不足之处。

发明内容

针对现有技术中存在的不足，本发明提出了一种基于平行车道线的动态逆透视变换方法，结构上主要分为静态和动态两部分。静态部分根据车载相机模型和标定原理计算获得静态车辆的相机初始俯仰角及其内、外参数。动态部分利用车道线检测算法实时检测的车道线信息，通过鸟瞰视角下相邻车道线的平行性和等距性来计算车载相机的俯仰角偏移量，从而实现动态的俯仰角调节，提供一种相比于传统静态逆透视变换更为准确的算法。

为实现上述目的，本发明提供了一种基于平行车道线的动态逆透视变换方法，包括以下步骤：

采集原始道路图像；

获取坐标系转换关系模型；

利用所述坐标系转换关系模型对车载前视相机进行标定，获取初始俯仰角；

通过车道线检测模型检测所述原始道路图像上的车道线，并获取所述车道线的像素坐标，其中，所述车道线检测模型采用卷积神经网络；

对所述车道线的像素坐标进行拟合，获取平行车道线；

利用所述平行车道线进行计算，获取所述车载前视相机的俯仰角变化量；

根据所述初始俯仰角和所述俯仰角变化量计算最优俯仰角；

将所述最优俯仰角输入逆透视变换模型，获取鸟瞰视角的车道线，完成基于平行车道线的动态逆透视变换。

可选的，采集所述原始道路图像包括:通过所述车载前视相机采集汽车前方的行驶道路图像数据，获取所述原始道路图像。

可选的，获取坐标系转换关系模型包括：

设置若干个坐标系，若干个所述坐标系包括世界坐标系、相机坐标系、图像坐标系和像素坐标系；

基于若干个上所述坐标系之间的对应关系，获取世界坐标系到相机坐标系的转换关系；

根据几何关系，获取所述相机坐标系到所述图像坐标系的转换关系以及所述像素坐标到所述图像坐标系的转换关系；

基于所述世界坐标系到所述相机坐标系的转换公式、所述相机坐标系到所述图像坐标系的转换关系和所述像素坐标到所述图像坐标系的转换关系，获取所述相机坐标系到所述像素坐标系的转换关系、所述世界坐标系到所述像素坐标系的转换关系。

可选的，利用所述坐标系转换关系模型对所述车载前视相机进行标定，获取所述初始俯仰角包括：基于所述坐标系转换关系模型，利用张正友标定法对所述车载前视相机进行标定，获取所述初始俯仰角。

可选的，通过所述车道线检测模型检测所述原始道路图像上的车道线，并获取所述车道线的像素坐标包括：

将所述原始道路图像进行标准化处理，获取处理后的道路图像；

将所述处理后的道路图像输入所述车道线检测模型，提取车道线特征；

利用卷积和双线性插值对所述处理后的道路图像进行上采样，改变所述车道线特征的通道数，并通过所述车道线检测模型进行车道线分割,获取所述车道线的像素坐标。

可选的，对所述车道线的像素坐标进行拟合，获取所述平行车道线包括：

定义若干个车道线点处的拟合误差平方；

基于所述拟合误差平方，利用单条车道线模型，获取误差平方和；

将所述误差平方和拆分成矩阵形式，并通过最小化所述误差平方和，获取最优系数向量；

通过所述最优系数向量，获取所述平行车道线。

可选的，通过最小化所述误差平方和，获取所述最优系数向量需要满足：

其中，E

可选的，利用所述平行车道线进行计算，获取所述车载前视相机的俯仰角变化量包括：

获取若干个相邻的平行车道线，并计算若干个所述相邻的平行车道线同行点的水平距离；

基于所述水平距离，计算所述水平距离的期望；

利用所述水平距离和所述水平距离的期望，定义所述车道线的平行误差函数；

对所述平行误差函数进行最小化，获取所述最优俯仰角。

可选的，根据所述初始俯仰角和所述俯仰角变化量，计算所述最优俯仰角包括：

θ

其中，θ

可选的，所述逆透视变换模型为：

其中，x为因变量，且x＝[x

本发明具有以下有益效果：

本发明动态部分利用车道线检测算法实时检测的车道线信息，通过鸟瞰视角下相邻车道线的平行性和等距性来计算车载相机的俯仰角偏移量，从而实现动态的俯仰角调节，提供了一种相比于传统静态逆透视变换更为准确的方法；本发明将最优俯仰角带入到逆透视变换公式中获取鸟瞰视角的车道线，提高了颠簸道路上的逆透视效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例一种基于平行车道线的动态逆透视变换方法的流程示意图；

图2为本发明实施例提出的相机成像原理图；

图3为本发明实施例提出的基于ResNet的车道线检测模型示意图；

图4为本发明实施例提出的逆透视变换示意图；

图5为本发明实施例提出的鸟瞰视角下平行车道线示意图；

图6为本发明实施例提出的动态逆透视变换可视化结果图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明公开了一种基于平行车道线的动态逆透视变换方法，该方法的静态部分通过对车载相机进行标定获取相机的内、外参数，包括车载相机的初始静态俯仰角。然后动态部分通过车载前视相机采集到的视觉图像提取道路的平行车道线，然后通过平行车道线计算当前帧图像的俯仰角变化量，结合初始静态俯仰角获取当前帧的逆透视最优俯仰角，根据最优俯仰角进行逆透视变换来提高逆透视变换的效果。

如图1所示，本实施例中提供一种基于平行车道线的动态逆透视变换方法，包括以下步骤：

步骤1、通过车载前视相机采集汽车前方的行驶道路图像数据。

步骤2、根据针孔相机模型成像原理得到点在不同坐标系下的转换公式，具体包括以下步骤：

如图2所示的成像原理，设置四个坐标系，其中O

根据坐标系之间的对应关系，得到真实坐标系到相机坐标系之间的转换公式。对于O

其中，R是一个3×3旋转矩阵，O是一个1×3的零矩阵，T是一个3×1的平移矩阵，E矩阵即是相机的外参矩阵。

设O-X

根据图2中的几何关系得到像素坐标与图像坐标系之间的关系：

其中，d

结合图2以及坐标系之间的转换公式，得到相机坐标系以及世界坐标系到像素坐标系的转换公式：

其中，K为相机的内参矩阵，f

步骤3、根据点在不同坐标系下的转换公式，并利用张正友方法对静态下的车载相机进行标定，获取其初始状态下的俯仰角参数θ

步骤4、如图3所示，设计基于卷积的车道线检测网络检测道路图像上的车道线，即通过基于卷积神经网络的车道线检测模型对图像上的车道线进行检测并且获取对应的像素坐标，具体包括以下步骤：

将输入图像的数值进行标准化处理；

利用ResNet深度卷积网络作为骨干网络提取图像中的车道线特征；

利用3×3卷积和双线性插值对标准化处理后的图像进行上采样和改变车道线特征的通道数，最后对可能出现车道线的区域进行检测得到车道线边界点信息，对其中包含的车道线以及像素点信息进行输出，即通过车道线检测模型进行车道线分割并获取相应的像素坐标系。

步骤5、利用最小二乘法对获取的车道线像素坐标进行拟合，具体包括以下步骤：

根据车道线的纵向分布特性，选择纵坐标作为自变量，横坐标作为因变量，因此单条车道模型用二次多项式表示为：

x(y)＝ay

其中，x为因变量，y为自变量，a、b和c分别为方程二次项、一次项和常数项的系数。

采用最小二乘法拟合车道线多项式，其原理是根据检测到的m个车道线点，通过最小化误差的平方和寻找数据的最优系数匹配。为了预测的车道点尽可能地靠近多项式曲线，定义第i个车道线点(x

因此，对于该单车道线中的所有点，其误差平方和E

将误差平方和E

E

其中，w为多项式的系数向量，且w＝[a，b，c]

通过最小化误差平方和获得最优多项式的系数，因此需满足：

因此，求得最优的系数向量w，即平行道路线：

步骤6、利用鸟瞰视图下车道线本身具有的平行性以及等距性，计算车载相机的俯仰角变化量，从而实现自适应的俯仰角调节，具体包括以下步骤：

因为俯仰角的变化会影响鸟瞰视角下车道线的平行性，因此利用鸟瞰视角下车道线的平行性和等距性，实现自适应的俯仰角调节。对于一组相邻的车道线，鸟瞰图下的相邻车道线近似为一对水平等距曲线。

如图5所示，对于鸟瞰平面坐标系下相邻的车道线l

首先计算两条相邻车道线同行点的水平距离：

然后计算水平距离的期望：

最后定义车道线的平行误差函数，其定义为所有车道线水平距离的相对方差：

其中，θ为初始俯仰角，Δθ为俯仰角变化量，N

步骤7、根据初始俯仰角和俯仰角变化量计算得到当前帧的最优俯仰角θ

θ

步骤8、如图4所示，根据静态逆透视变换模型，从像素坐标系到鸟瞰平面坐标系的计算如下：

其中，h为相机的高度，d

步骤9、将步骤7得到的最优俯仰角带入到步骤8对应逆透视变换公式中获取鸟瞰视角的车道线，如图6所示为动态逆透视变换可视化结果，从而提高颠簸道路上的逆透视效果。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。