车辆环视系统的相机外参标定方法、系统及环视系统

技术领域

本申请涉及汽车技术，更为具体地，涉及车辆环视系统的相机外参标定技术。

背景技术

车辆环视能够给驾驶者提供更便捷的驾驶视野，提高驾驶安全性。在将环视摄像头安装到车辆后，需要对其进行标定以获取环视摄像头的参数，从而确保环视全景视图的正确拼接。

常规的标定方法较为复杂，需要制作多个标定棋盘格，还需要按照要求摆放棋盘格的位置并限制车辆的位置。图1示意了常规的环视标定场景。如图1所示，车辆10的周围设置了多个棋盘格101，且棋盘格的摆放是严格相对于车辆的位置设置的。这种方式人为干预较多，不够便捷。

有必要就车辆环视的标定方式提出改进。

发明内容

有鉴于此，本申请提供改进的车辆环视系统的相机的外参标定方法。根据本申请的一个方面，该车辆环视系统的相机外参标定方法包括通过所述相机采集棋盘格的标定图像；其中，所述棋盘格放置在能使所述相机采集的图像中包括两个无遮挡棋盘格图像的位置；对于所采集的每一个标定图像，获得该图像中角点的像素坐标；基于环视相机的相关参数获得所述角点在车辆坐标系统内的第一坐标；对于所述角点中的一组相邻角点，根据该组角点中每个角点的第一坐标确定第一偏差和第二偏差，其中，所述第一偏差为该组角点之间的夹角与90度的差，所述第二偏差为相邻角点的距离与棋盘格真实边长的差；对于该组相邻角点中的每个角点，分别以两个相邻相机所获得的标定图像对应的第一坐标为基础，计算该角点基于两个相机所获得的第一坐标的距离差；以及基于所述第一偏差、第二偏差和所述距离差来对外参进行优化计算，从而得到所述相机的外参。

该方法中，可选地，所述相邻角点位于同一棋盘格上。

该方法中，可选地，基于所述第一偏差、第二偏差和所述距离差来对外参进行优化计算是以所述外参作为待优化变量，并以所述第一偏差、第二偏差和所述距离差的加权和作为优化目标来进行优化计算。

根据本申请的示例，还提供相机外参标定系统，其用于车辆用环视系统。该系统包括设置在车辆上的相机，所述相机被配置为采集棋盘格的标定图像；其中，所述棋盘格放置在能使所述相机采集的图像中包括两个无遮挡棋盘格图像的位置；用于存储指令的存储器，以及用于执行所述指令的处理器。在所述处理器执行这些指令时，以下过程被实现：对于所采集的每一个标定图像，计算该图像中角点的像素坐标；基于环视相机的相关参数获得所述角点在车辆坐标系统内的第一坐标；对于所述角点中的一组相邻角点，根据该组角点中每个角点的第一坐标确定第一偏差和第二偏差，其中，所述第一偏差为该组角点之间的夹角与90度的差，所述第二偏差为相邻角点的距离与棋盘格真实边长的差；对于该组相邻角点中的每个角点，分别以两个相邻相机所获得的标定图像对应的第一坐标为基础，计算该角点基于两个相机所获得的第一坐标的距离差；以及基于所述第一偏差、第二偏差和所述距离差来对外参进行优化计算，从而得到所述相机的外参。

根据本申请的示例，还提供车辆用环视系统，该系统或执行上文描述的外参标定方法，或包括上文描述的外参标定系统。

附图说明

图1示意了常规的环视标定场景。

图2是根据本申请一个示例的车辆环视系统相机外参标定方法的流程图。

图3是示例的棋盘图像中的三个相邻角点a，b和c。

图4是根据本申请示例的相机外参标定系统的结构示意图。

图5a是标定前环视相机采集棋盘格图像后的拼接结果。

图5b是采用了根据本申请的外参标定方法或外参标定系统后的环视系统所采集的图像后的拼接结果。

具体实施方式

下文将结合附图对本发明的具体实施方式做详细描述。应理解，本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。

车辆环视相机通常包括设置在车头、车尾、左侧和右侧的相机。这些相机的内参与畸变参数在安装到车辆之前已标定，因此安装后只需标定摄像头的外参即可，也就是说，只需标定摄像头相对于车辆坐标系的位置/角度参数即可。

需要说明的是，术语“相机”在此应做广义理解，它指的是能够捕获的图像、声音、影像的器件，例如CCD传感器、CMOS传感器、摄像头、或其它包括CCD传感器或CMOS传感器的器件，更为具体地，例如鱼目相机等。

在标定得到了每个相机的位置/角度参数后，其数学表达形式为3X3的旋转矩阵R和3X1的平移矩阵T。如此，对于车辆坐标系中的某一点P(X,Y,Z)，其在摄像头坐标系中的坐标为P′(X′,Y′,Z′)，P’与P之间的关系如等式(1)所示：

在按照等式(1)完成车辆坐标系到摄像头坐标系的坐标变换之后，可根据相机内参与畸变参数，计算得到相机坐标系向像素坐标系的变换，整体即完成了车辆坐标系向相机像素坐标系的变换。简单地说，相机内参是预先标定的，而环视标定的本质就是确定矩阵[R T]的过程。

以上简单描述了车辆环视的基础原理，是本领域已知的技术。

图2是根据本申请一个示例的车辆环视系统相机外参标定方法的流程图。如图所示，在步骤S100，通过相机采集棋盘格的标定图像；其中，棋盘格放置在能使所述相机采集的图像中包括两个无遮挡棋盘格图像的位置。示例而非限制地，相机设置在车辆地前端、后端、左侧和右侧。在此可以只使用一个棋盘格，对于每个相机而言，可依次将棋盘格放在能使该相机采集的图像中包括两个无遮挡棋盘格图像的位置即可。在步骤S102，对于所采集的每一个标定图像，获得该图像中角点的像素坐标。在步骤S104，基于环视相机的相关参数获得该角点在车辆坐标系统内的第一坐标，第一坐标在本文中也称作车辆系坐标。

举例来说，以车辆环视系统中任意一个鱼眼相机(它例如设置在左侧)作为示例。对于该鱼眼相机所捕获的图像的一个角点P’，其投影到像素坐标系(u，v)的转换过程如式(2)所示：

其中，该鱼眼相机的内参为[f

在已知像素坐标(u，v)的情况下，根据等式(2)做逆运算，即可得到相机坐标P′(X′,Y′,Z′)；再根据上文描述的等式(1)，利用该鱼眼相机的初始外参做逆运算得到车辆坐标系中的坐标P(X,Y,Z)。

回到图2。在步骤S108，对于角点中的一组相邻角点，根据该组角点中每个角点的第一坐标确定第一偏差和第二偏差，其中，第一偏差为该组角点之间的夹角与90度的差，所述第二偏差为相邻角点的距离与棋盘格真实边长的差。

图3是示例的棋盘图像中的三个相邻角点a，b和c。假设它们均位于棋盘格左上角的同一个棋盘格处。三个相邻角点a，b和c分别在车辆环视相机的左侧相机上投影到三个像素点[(u

采用上文描述的等式(2)可以得到左摄像头三个像素点在车辆坐标系中的坐标[(X

由于棋盘格位于车辆坐标系中的地面，这里Z

对于每个角点，确定三个偏差项，分别为第一偏差、第二偏差和距离差。以角点a在左摄像头上投影的像素点(u

第二偏差为相邻角点的距离与棋盘格真实边长的差异e

对于该角点a，以左摄像头在车辆坐标系中的坐标(X'

在步骤S109，基于所述第一偏差、第二偏差和所述距离差来对外参进行优化计算，从而得到所述相机的外参。在一些示例中，基于第一偏差、第二偏差和距离差来对外参进行优化计算是以外参作为待优化变量，并以第一偏差、第二偏差和距离差的加权和作为优化目标来进行优化计算。

作为示例，优化后外参的计算可根据如下的公式(3)获得：

其中，A'表示优化计算后的外参；Et是第一偏差、第二偏差和距离差的加权和，对于第一偏差的加权系数例如为1，对于第二偏差的加权系数例如为2.5，对于距离差的加权系数例如为5；A为相机初始外参；

根据本申请的示例，还提供相机外参标定系统。图4是根据本申请示例的相机外参标定系统的结构示意图。如图所示，该系统包括设置在车辆30上的相机，例如设置在车辆前端的相机320，车辆后端的相机322，车辆左侧的相机321以及车辆右侧的相机323。相机被配置为采集棋盘格的标定图像，棋盘格被放置在能使相邻相机采集的图像中都包括完整棋盘格的位置。作为示例，这样的位置可以是位于车辆的左上角、右上角、左下角和右下角。相机外参标定系统还包括存储器330和处理器332。存储器330存储指令，处理器332在执行这些指令的过程中，实现上文结合图2所描述的过程，就不再赘述。

根据本申请的一些示例，存储器330可采用车辆中原有的存储部件，处理器332可设置独立的处理器，或将该处理器332实现在车辆原有的控制器中。

根据本申请示例的各相机外参标定方法可采用结合图4所描述的相机外参标定系统，也可直接实现在车辆环视系统中。

本申请还提供车辆用环视系统，该环视系统包括设置在车辆上的相机，该车辆采用上文结合图2所描述的相机外参标定方法。或者，本申请提供的车辆用环视系统可采用上文所描述的相机外参标定系统。

图5a是标定前环视相机采集棋盘格图像后的拼接结果。如图所示，图像拼接错位明显。图5b是采用了根据本申请的外参标定方法或外参标定系统后的环视系统所采集的图像后的拼接结果，明显地，图像拼接错位大大减少，改善效果明显。

根据本申请的外参标定方法或系统，通过引入第一偏差、第二偏差以及距离差，并以它们为基础来优化外参的计算，降低了对棋盘格摆放位置的要求。与当前的常规技术相比，根据本申请，在有四个相机的情况下，可以分4次摆放同一棋盘格到车辆的左上、左下、右上和右下角落，每次采集一张图像。这将为环视后期的再次标定或者后装环视的标定操作(通过人工铺设棋盘格做标定)带来极大便利。此外，根据本申请所获得的外参，改善了拼接图像的精度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。