车载环视设备标定方法及装置

技术领域

本发明涉及车载设备标定技术领域，尤其涉及一种车载环视设备标定方法及装置。

背景技术

随着社会的发展，车辆数目增加，带来的交通事故也随之增加，在车辆行驶过程中，传统的倒车影像系统只在车尾安装摄像头，只能覆盖车尾周围有限的区域，而车辆周围和车头的盲区无疑增加了安全驾驶的隐患，在狭隘拥堵的市区和停车场容易出现碰撞及刮蹭事件。为扩大驾驶员视野，能感知360°全方位的环境，通过视频合成技术，形成全车周围的一整套的视频图像，就是有这类需求，车载环视辅助系统应运而生。

车载环视系统通过安装在车身前后左右的摄像头，同时采集车辆周围影像，并对图像进行处理后形成的形成一幅无缝完整的车周全景鸟瞰图。可以有效辅助驾驶员判断车身周围环境，可作为智能产品驾驶辅助系统的基本组件，在此基础上实现盲区监测、自动泊车等功能，应用前景十分广阔。

在图像拼接图生成的过程中，关键步骤就是对摄像头的标定，主要标定摄像头在车身坐标系的相对参数，获取准确的摄像头参数才能更好的拼接相邻相机的重叠区域。

车载环视设备常见的标定方法是棋盘格布置整个车身或者标记物铺设多，自动识别率低，多数是手动选取角点进行识别标定，操作过程复杂且精度低。

发明内容

本发明提供的车载环视设备标定方法及装置，用于克服上述现有技术中存在的至少一个问题，能够实现车载环视设备如待标定摄像头的自动标定，提高了标定的精度。

本发明提供的一种车载环视设备标定方法，包括：

获取标定物中标定角点所在世界坐标系下的第一位置；

根据所述第一位置，获取所述标定角点所在摄像头坐标系下的第二位置；

获取所述标定角点所在标定图像对应的图像坐标系下的第三位置；

根据所述第一位置、所述第二位置、所述第三位置和待标定摄像头的内参，确定所述待标定摄像头与所述标定角点之间的位置关系；

其中，所述标定图像是根据安装在车辆目标位置处的所述待标定摄像头采集得到的；

所述标定物设置在车辆停放位置处。

根据本发明提供的一种车载环视设备标定方法，所述获取标定物中标定角点所在世界坐标系下的第一位置，包括：

根据所述标定物的尺寸参数，确定所述世界坐标系；

根据所述标定角点在所述世界坐标系下的坐标，确定所述第一位置。

根据本发明提供的一种车载环视设备标定方法，所述根据所述第一位置，获取所述标定角点所在摄像头坐标系下的第二位置，包括：

根据预设外参旋转矩阵对所述第一位置进行旋转变换；

根据预设外参平移矩阵对旋转变换后的第一位置进行平移变换，以获取所述第二位置。

根据本发明提供的一种车载环视设备标定方法，所述获取所述标定角点所在标定图像对应的图像坐标系下的第三位置，包括：

根据轮廓提取算法，确定预处理后的标定图像中所述标定物中标定方格的参照位置；

去除小于预设轮廓周长的方格轮廓和非方格轮廓，以获取目标方格轮廓；

根据轮廓检测算法，确定所述目标方格轮廓所在所述预处理后的标定图像中的角点坐标；

对所述角点坐标去畸变处理，以确定所述第三位置。

根据本发明提供的一种车载环视设备标定方法，对所述标定图像进行预处理，包括：

对所述标定图像进行二值化处理。

根据本发明提供的一种车载环视设备标定方法，所述对所述角点坐标去畸变处理，以确定所述第三位置，包括：

根据所述角点坐标和预设畸变系数，对所述角点坐标去畸变处理，以获取目标角点坐标；

根据所述目标角点坐标，确定所述第三位置。

根据本发明提供的一种车载环视设备标定方法，所述根据所述第一位置、所述第二位置、所述第三位置和待标定摄像头的内参，确定所述待标定摄像头与所述标定角点之间的位置关系，包括：

根据所述标定角点在所述世界坐标系下的坐标与所述目标角点坐标之间的重投影误差，对所述预设外参旋转矩阵和所述预设外参平移矩阵进行迭代优化；

若优化后的预设外参旋转矩阵和优化后的预设外参平移矩阵使得所述重投影误差达到预设最小值，则停止优化；

根据最后一次优化后的预设外参旋转矩阵和预设外参平移矩阵，确定所述第二位置；

根据所述标定角点在所述世界坐标系下的坐标、所述目标角点坐标和所述第二位置，确定所述图像坐标系与所述世界坐标系之间的映射关系；

根据所述映射关系和所述待标定摄像头的内参，确定所述位置关系。

本发明还提供一种车载环视设备标定装置，包括：第一获取模块、第二获取模块、第三获取模块和位置标定模块；

所述第一获取模块，用于获取标定物中标定角点所在世界坐标系下的第一位置；

所述第二获取模块，用于根据所述第一位置，获取所述标定角点所在摄像头坐标系下的第二位置；

所述第三获取模块，用于获取所述标定角点所在标定图像对应的图像坐标系下的第三位置；

所述位置标定模块，用于根据所述第一位置、所述第二位置、所述第三位置和待标定摄像头的内参，确定所述待标定摄像头与所述标定角点之间的位置关系；

其中，所述标定图像是根据安装在车辆目标位置处的所述待标定摄像头采集得到的；

所述标定物设置在车辆停放位置处。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述车载环视设备标定方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述车载环视设备标定方法的步骤。

本发明提供的车载环视设备标定方法及装置，可以克服现有技术中手动选取标定角点进行识别标定导致的操作过程复杂及精度低的问题，能够实现车载环视设备如待标定摄像头的自动标定，提高了标定的精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的车载环视设备标定方法的流程示意图；

图2是本发明提供的标定场地的场景示意图；

图3是本发明提供的待标定摄像头成像示意图；

图4是本发明提供的车载环视设备标定装置的结构示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明提供的车载环视设备标定方法的流程示意图，如图1所示，方法包括：

S1、获取标定物中标定角点所在世界坐标系下的第一位置；

S2、根据第一位置，获取标定角点所在摄像头坐标系下的第二位置；

S3、获取标定角点所在标定图像对应的图像坐标系下的第三位置；

S4、根据第一位置、第二位置、第三位置和待标定摄像头的内参，确定待标定摄像头与标定角点之间的位置关系；

其中，标定图像是根据安装在车辆目标位置处的待标定摄像头采集得到的；

标定物设置在车辆停放位置处。

需要说明的是，上述方法的执行主体可以是计算机设备。

可选地，为了实现对车载环视设备的自动标定，车辆停放在如图2所示的标定场地，并通过在标定场地的前后铺设标定物如标定布，使标定方格(标定方格1～标定方格4)在车辆的四个角处(A，B，C，D)，调整车辆和标定布的相对位置，要确保安装车辆前后左右每路待标定摄像头拍摄的视野范围内包含两组相邻标定方格。

需要说明的是，为了使得待标定摄像头拍摄的视野范围内包含两组相邻标定方格，常常采用鱼眼摄像头作为待标定摄像头。

获取标定物中的标定角点在世界坐标系下的位置，并将其作为标定角点的第一位置，根据第一位置，可以得到标定角点在摄像头坐标系下(即，相机坐标系)的位置，即第二位置。

根据待标定摄像头采集到的标定图像，得到标定角点在标定图像对应的图像坐标系下的位置，即第三位置。

例如，如图3所示，是本发明提供的待标定摄像头成像示意图，例如，世界坐标系为p

根据上述获得的标定角点的第一位置、第二位置、第三位置和待标定摄像头的内部参数(即，内参)，得到待标定摄像头与标定角点之间的位置关系，其中，待标定摄像头的内参M

其中，f

根据得到的待标定摄像头与标定角点之间的位置关系，确定待标定摄像头的安装参数，并根据待标定摄像头的内部参数，通过建立碗状模型方程，计算出车载环视设备内部显示场景，显示场景效果的关键因素在于对待标定摄像头的标定结果。

本发明提供的车载环视设备标定方法，可以克服现有技术中手动选取标定角点进行识别标定导致的操作过程复杂及精度低的问题，能够实现车载环视设备如待标定摄像头的自动标定，提高了标定的精度。

进一步地，在一个实施例中，步骤S1可以具体包括：

S11、根据标定物的尺寸参数，确定世界坐标系；

S12、根据标定角点在世界坐标系下的坐标，确定第一位置。

可选地，获取输入标定现场标定布摆放的尺寸参数，包含标定方格长(标定方格1～2的距离)、宽(标定方格2～3的距离)和标定方格本身长度，根据标定方格1～2的距离得到标定布的长，根据标定方格2～3的距离得到标定布的宽，以标定方格所在的平面为x

本发明提供的车载环视设备标定方法，通过建立世界坐标系，确定标定角点在世界坐标系下的位置，为后续基于该位置实现对车载环视设备如待标定摄像头的自动标定奠定了基础。

进一步地，在一个实施例中，步骤S2可以具体包括：

S21、根据预设外参旋转矩阵对第一位置进行旋转变换；

S22、根据预设外参平移矩阵对旋转变换后的第一位置进行平移变换，以获取第二位置。

可选地，对于标定角点在摄像头坐标系p

根据预设外参旋转矩阵R将第一位置进行旋转变换后，再利用预设外参平移矩阵T对第一位置进行平移变换，以将第一位置移至摄像头坐标系p

P

RP

P

其中，当P

本发明提供的车载环视设备标定方法，基于标定角点在世界坐标系下的位置，得到标定角点在相机坐标系下的位置，为后续基于该位置实现对车载环视设备如待标定摄像头的自动标定奠定了基础。

进一步地，在一个实施例中，步骤S3可以具体包括：

S31、根据轮廓提取算法，确定预处理后的标定图像中标定物中标定方格的参照位置；

S32、去除小于预设轮廓周长的方格轮廓和非方格轮廓，以获取目标方格轮廓；

S33、根据轮廓检测算法，确定目标方格轮廓所在预处理后的标定图像中的角点坐标；

S34、对角点坐标去畸变处理，以确定第三位置。

进一步地，在一个实施例中，对标定图像进行预处理，可以具体包括：

对标定图像进行二值化处理。

可选地，首先，对采集到的标定图像进行预处理，例如通过对标定图像做二值化处理，得到预处理后的标定图像；其次，基于轮廓提取算法确定预处理后的标定图像中标定方格的参照位置；再次，利用预设的有效轮廓周长去除周长较小的方格轮廓和非方格轮廓，得到目标方格轮廓，其中，有效轮廓周长是根据待标定摄像头拍摄标定布的范围占整个视图范围比例及标定布的周长确定的；随后，根据轮廓检测算法确定目标方格轮廓所在预处理后的标定图像中的位置，并提取角点坐标；最后，对该角点坐标去畸变处理，得到标定角点在预处理后的标定图像中的位置，即第三位置。

本发明提供的车载环视设备标定方法，基于预处理后的标定图像，确定标定角点在标定图像中的角点坐标，提高了位置定位的准确度，并对该角点坐标进行去畸变处理，进一步提高了位置定位的准确度，提高了对车载环视设备如待标定摄像头进行自动标定的精度和成功率，适用性强。

进一步地，在一个实施例中，步骤S34，可以具体包括：

S341、根据角点坐标和预设畸变系数，对角点坐标去畸变处理，以获取目标角点坐标；

S342、根据目标角点坐标，确定第三位置。

可选地，由于鱼眼摄像头存在一定的畸变，故对每个鱼眼摄像头所拍摄的标定图像进行去除畸变的操作，获得理想摄像头下的图像；

其中，从理想相机中的点到畸变点的对应关系如下：

其中，(u,v)为理想相机中的点即目标角点坐标，u'和v'是畸变后的点，k

通过上述过程的逆过程，就能从畸变的鱼眼摄像头中的图像坐标系中的坐标(角点坐标)得到对应的理想摄像头中的图像坐标系中的坐标(目标角点坐标)，达到去畸变的目的。

本发明提供的车载环视设备标定方法，通过对标定图像进行去畸变处理，进一步提高标定角点在标定图像中位置的精度，进而提高了对车载环视设备如待标定摄像头进行标定的准确度和成功率，有利于生产线自动完成，方便使用和维护，降低了成本。

进一步地，在一个实施例中，步骤S4可以具体包括：

S41、根据标定角点在所述世界坐标系下的坐标与目标角点坐标之间的重投影误差，对预设外参旋转矩阵和预设外参平移矩阵进行迭代优化；

S42、若优化后的预设外参旋转矩阵和优化后的预设外参平移矩阵使得重投影误差达到预设最小值，则停止优化；

S43、根据最后一次优化后的预设外参旋转矩阵和预设外参平移矩阵，确定第二位置；

S44、根据标定角点在世界坐标系下的坐标、目标角点坐标和第二位置，确定图像坐标系与世界坐标系之间的映射关系；

S45、根据映射关系和待标定摄像头的内参，确定位置关系。

可选地，利用标定角点在标定图像中的坐标(目标角点坐标)与所在的世界坐标系中的坐标(第一位置)之间的重投影误差，将上述预设外参旋转矩阵R和预设外参平移矩阵T进行迭代优化，其中，可以通过R,T的偏导数据构造雅克比矩阵，然后，利用标定角点在标定图像中的坐标与对应的世界坐标系下的坐标之间重投影误差最小化原理，对参数R,T进行迭代优化，若优化后的预设外参旋转矩阵R和优化后的预设外参平移矩阵T使得重投影误差达到预设最小值，则停止对R,T的优化，得到优化后的参数R,T。根据最后一次优化后的R,T，基于公式(2)得到标定角点在相机坐标系下的第二位置。

根据标定角点在世界坐标系下的坐标(X

标定角点从世界坐标系p

标定角点从摄像头坐标系p

由上述公式(7)和公式(8)可得图像坐标系p

从公式(9)中可知，由于其他参数均已知，只要求出Z

由p

由于[u v 1]

因此，当标定角点在图像坐标系p

对于每个安装在车辆四个角处的待标定摄像头，均可以通过上述过程建立相机坐标系及世界坐标系之间的方程组(具体如公式(9)所示)，从而计算出待标定摄像头与标定角点之间的位置关系，并根据EPNP算法利用该位置关系得到每个待标定摄像头的安装参数。

本发明提供的车载环视设备标定方法，与现有技术中标定方法比，结构简单、自动化程度高且实施简单，同时提高了标定的精度和成功率，适用性强。

下面对本发明提供的车载环视设备标定装置进行描述，下文描述的车载环视设备标定装置与上文描述的车载环视设备标定方法可相互对应参照。

图4是本发明提供的车载环视设备标定装置的结构示意图，如图4所示，包括：第一获取模块410、第二获取模块411、第三获取模块412和位置标定模块413；

第一获取模块410，用于获取标定物中标定角点所在世界坐标系下的第一位置；

第二获取模块411，用于根据第一位置，获取标定角点所在摄像头坐标系下的第二位置；

第三获取模块412，用于获取标定角点所在标定图像对应的图像坐标系下的第三位置；

位置标定模块413，用于根据第一位置、第二位置、第三位置和待标定摄像头的内参，确定待标定摄像头与标定角点之间的位置关系；

其中，标定图像是根据安装在车辆目标位置处的待标定摄像头采集得到的；

标定物设置在车辆停放位置处。

本发明提供的车载环视设备标定装置，可以克服现有技术中手动选取标定角点进行识别标定导致的操作过程复杂及精度低的问题，能够实现车载环视设备如待标定摄像头的自动标定，提高了标定的精度。

图5是本发明提供的一种电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communication interface)511、存储器(memory)512和总线(bus)513，其中，处理器510，通信接口511，存储器512通过总线513完成相互间的通信。处理器510可以调用存储器512中的逻辑指令，以执行如下方法：

获取标定物中标定角点所在世界坐标系下的第一位置；

根据第一位置，获取标定角点所在摄像头坐标系下的第二位置；

获取标定角点所在标定图像对应的图像坐标系下的第三位置；

根据第一位置、第二位置、第三位置和待标定摄像头的内参，确定待标定摄像头与标定角点之间的位置关系；

其中，标定图像是根据安装在车辆目标位置处的待标定摄像头采集得到的；

标定物设置在车辆停放位置处。

此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

进一步地，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的车载环视设备标定方法，例如包括：

获取标定物中标定角点所在世界坐标系下的第一位置；

根据第一位置，获取标定角点所在摄像头坐标系下的第二位置；

获取标定角点所在标定图像对应的图像坐标系下的第三位置；

根据第一位置、第二位置、第三位置和待标定摄像头的内参，确定待标定摄像头与标定角点之间的位置关系；

其中，标定图像是根据安装在车辆目标位置处的待标定摄像头采集得到的；

标定物设置在车辆停放位置处。

另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的车载环视设备标定方法，例如包括：

获取标定物中标定角点所在世界坐标系下的第一位置；

根据第一位置，获取标定角点所在摄像头坐标系下的第二位置；

获取标定角点所在标定图像对应的图像坐标系下的第三位置；

根据第一位置、第二位置、第三位置和待标定摄像头的内参，确定待标定摄像头与标定角点之间的位置关系；

其中，标定图像是根据安装在车辆目标位置处的待标定摄像头采集得到的；

标定物设置在车辆停放位置处。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。