相机标定方法、装置和电子设备

技术领域

本发明涉及车用无线通信技术领域，尤其是涉及一种相机标定方法、装置和电子设备。

背景技术

随着V2X(Vehicle to X，车用无线通信技术)的发展，路端的监控相机除了提供传统的监控和数据采集功能外，还需要提供视觉的感知功能、对特殊交通情况进行预判的功能，从而提高路面道路的交通效率、规避潜在的风险，因此需要对V2X的相机进行较高精度的标定。

然而，由于V2X的相机通常安装的高度比较高，并且焦距较大，传统的使用标定板进行相机标定的方法不仅工作量大，还有标定板定位精度的问题，在工程上实施困难，标定的精度较低。

发明内容

有鉴于此，本发明的目的在于提供一种相机标定方法、装置和电子设备，以减少标定的工作量，提高标定的精度。

第一方面，本发明实施例提供了一种相机标定方法，方法包括：通过相机对检测区域进行地图采集，得到多个靶标的世界坐标；通过相机检测靶标的中心点的像素坐标；根据靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，确定相机的外参。

在本发明较佳的实施例中，上述通过相机对检测区域进行地图采集，得到多个靶标的世界坐标的步骤，包括：在相机的检测区域内设置超过预设靶标数量的靶标；通过相机对检测区域进行地图采集，得到多个靶标的世界坐标。

在本发明较佳的实施例中，上述靶标在相机的检测区域内不对称分布。

在本发明较佳的实施例中，上述通过相机检测靶标的中心点的像素坐标的步骤，包括：通过相机检测对靶标进行角点检测，得到靶标的角点；对靶标的角点进行亚像素精确化，得到靶标的中心点的像素坐标。

在本发明较佳的实施例中，上述相机的内参包含内参矩阵；上述方法还包括：通过相机的内参的标定工具箱，确定相机的内参矩阵。

在本发明较佳的实施例中，上述方法还包括：基于相机的内参对靶标进行畸变矫正。

在本发明较佳的实施例中，上述根据靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，确定相机的外参的步骤，包括：采用多点透视成像算法，根据靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，确定相机的外参。

第二方面，本发明实施例还提供一种相机标定装置，装置包括：世界坐标确定模块，用于通过相机对检测区域进行地图采集，得到多个靶标的世界坐标；像素坐标确定模块，用于通过相机检测靶标的中心点的像素坐标；相机外参确定模块，用于根据靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，确定相机的外参。

第三方面，本发明实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述的相机标定方法的步骤。

第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的相机标定方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种相机标定方法、装置和电子设备，相机对检测区域进行地图采集得到多个靶标的世界坐标，通过相机检测靶标的中心点的像素坐标，通过相机的内参、靶标的世界坐标和靶标的中心点的像素坐标确定相机的外参。该方式中通过相机提取附近多个高精度地图中的靶标来标定相机外参，无需使用标定板，可以减少标定的工作量，提高标定的精度。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种相机标定方法的流程图；

图2为本发明实施例提供的另一种相机标定方法的流程图；

图3为本发明实施例提供的一种靶标的示意图；

图4为本发明实施例提供的一种靶标分布的示意图；

图5为本发明实施例提供的一种提取靶标的像素坐标的示意图；

图6为本发明实施例提供的一种标定流程的示意图；

图7为本发明实施例提供的一种相机标定装置的结构示意图；

图8为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，传统的使用标定板进行相机标定的方法不仅工作量大，还有标定板定位精度的问题，在工程上实施困难，标定的精度较低。传统方法中V2X的相机通常都是长焦的相机，图像上的单个目标的物体实际的像素数量会十分小，单个靶标的方案会使工程上应用中往往很难完成标定。传统方法中通过识别控制平面上的角点进行相机标定，小范围内的控制平面上的角点的识别和标定容易产生较大的误差。传统方法中利用分道线平行关系及分道线间的基准路宽作为约束条件，建立包含有效焦距及摄像机空间位置参数在内的约束方程，求解视觉模型内、外部参数。其标定假设忽略高速公路坡度影响，然而这个假设在实际工程部署上是很难成立的。路面上往往产生一定的坡度和倾角对标定产生很大的影响。

基于此，本发明实施例提供的一种相机标定方法、装置和电子设备，高精度地图包含精确的路面特征，而在一般场景中V2X相机位置固定，能让相机提取高精度地图特征进行标定，可以在提高标定精度的同时极大地节约工作量。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种相机标定方法进行详细介绍。

实施例一：

本发明实施例提供一种相机标定方法，参见图1所示的一种相机标定方法的流程图，该相机标定方法包括如下步骤：

步骤S102，通过相机对检测区域进行地图采集，得到多个靶标的世界坐标。

本实施例中的相机即为需要进行相机标定的相机。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(相机标定也可以称为摄像机标定)。

本实施例中的检测区域可以理解为相机能够拍摄到的区域，在相机的检测区域内可以预先设置多个靶标，相机通过对检测区域进行地图采集得到的高精度地图就包含了设置的多个靶标，因此可以获得靶标的世界坐标。世界坐标即靶标在世界坐标系下的坐标，世界坐标系是系统的绝对坐标系，在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。

步骤S104，通过相机检测靶标的中心点的像素坐标。

通过相机可以确定靶标的中心点位置，通过像素坐标的形式保证。其中，像素坐标是像素在图像中的位置。

步骤S106，根据靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，确定相机的外参。

预先可以获得相机的内参，相机内参可以包括内参矩阵和畸变参数矩阵。基于靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，可以确定相机的外参，从而完成相机的标定。

相机的外参包括旋转矩阵和平移矩阵，旋转矩阵和平移矩阵共同描述了如何把点从世界坐标系转换到摄像机坐标系。其中，旋转矩阵可以描述了世界坐标系的坐标轴相对于摄像机坐标轴的方向。平移矩阵可以描述在摄像机坐标系下，空间原点的位置。

本发明实施例提供的一种相机标定方法，相机对检测区域进行地图采集得到多个靶标的世界坐标，通过相机检测靶标的中心点的像素坐标，通过相机的内参、靶标的世界坐标和靶标的中心点的像素坐标确定相机的外参。该方式中通过相机提取附近多个高精度地图中的靶标来标定相机外参，无需使用标定板，可以减少标定的工作量，提高标定的精度。

本实施例中通过设计一种结合高精度地图的相机标定算法，通过相机提取附近多个高精度地图中的靶标来标定相机外参。本实施例的相机启动标定程序后，程序会自动将提取到的特征与高精度地图进行匹配，并根据匹配得到的精确位置与像素信息获取外参标定结果，自动化程度较高，可实现快速标定。本实施例仅需要在相机的安装位置附近有多个可被识别和提取的靶标，这些靶标包含在高精度地图中，因此不需要人为采集，也不需要人为制作标定板，工程布置十分简单。

实施例二：

本发明实施例还提供另一种相机标定方法；该方法在上述实施例方法的基础上实现；该方法重点描述确定多个靶标的世界坐标的具体实现方式。如图2所示的另一种相机标定方法的流程图，该相机标定方法包括如下步骤：

步骤S202，在相机的检测区域内设置超过预设靶标数量的靶标。

本实施例中的预设靶标数量可以为4个，即需要在相机的检测区域内设置超过4个的靶标。靶标一般喷涂在路面等平整的地方，表面应尽量哑光以避免强光的反射影响相机检测。实际使用时可以使用已有的规则路面标志(如人行道、菱形减速标志等)作为靶标，也可以另行设计喷涂，并在采集时将其收录至高精度地图中。

参见图3所示的一种靶标的示意图，如图3所示，靶标的中间有2x2的棋盘格方便相机提取中心点。靶标的大小可根据相机进行选择，只要使靶标在相机中成像的像素数量大于20个像素即可，像素数量越大标定的精度越高。

如图3所示，靶标的图案设计成2x2棋盘格，其目的是：提取棋盘格的角点在工程上比较容易实现，可以方便的确定靶标的中心点，同时2x2可以保证较远的棋盘格在相机中依然有足够的像素，保证标定的精度。需要说明的是，靶标图案不限于方形棋盘格，任意方便提取中心点的形状或者图案都可以。

为了标定相机的外参，需要四个及以上的靶标，靶标越多精度越高。一组靶标应当满足如下需求：靶标分布的区域应当尽可能覆盖相机的检测区域；靶标的数量应当大于或等于四个(即超过预设靶标数量)，数量较少时靶标分布需要不对称，即靶标在相机的检测区域内不对称分布。参见图4所示的一种靶标分布的示意图，4个靶标可以不规则的分布在道路的两旁。

步骤S204，通过相机对检测区域进行地图采集，得到多个靶标的世界坐标。

经过高精度地图采集后，我们可以得到第i个靶标的世界坐标xi，yi，zi。

步骤S206，通过相机检测靶标的中心点的像素坐标。

以2x2棋盘格为例，可以通过下述步骤进行靶标提取，从而确定靶标的中心点的像素坐标：通过相机检测对靶标进行角点检测，得到靶标的角点；对靶标的角点进行亚像素精确化，得到靶标的中心点的像素坐标。

参见图5所示的一种提取靶标的像素坐标的示意图，角点检测能够定位靶标中心点在图像中的像素位置，而通过亚像素精确化后可以将靶标坐标精度提高到亚像素级别，由此可以得到第i个靶标的中心点的像素坐标u

步骤S208，根据靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，确定相机的外参。

高精度地图通常是使用激光雷达来进行采集，由于激光雷达建图的数据量十分巨大，因此为了减小数据传输和提高算法的精度，会将地图先建立成矢量地图，然后赋予语义，这样我们就能够获取棋盘格的角点用来进行相机的标定。然而雷达的建图的点是不规则的，棋盘格检出的点可能是一系列的点集，工程上无法判断那些点是棋盘格的角点和边缘点。因此需要进行后期的数据加工。

本实施例将单个棋盘格的数据格式定义为P{x

根据相机成像的原理，靶标的像素坐标与世界坐标存在如下转换关系：

式中K为相机的内参矩阵(相机的内参包含内参矩阵)，λ为尺度因子，可通过事先标定得到，

对于具体的相机标定方式，可以通过下述步骤1-步骤4进行：

步骤1，相机内参标定。通过相机的内参的标定工具箱，可以确定相机的内参矩阵。

步骤2，基于相机的内参对靶标进行畸变矫正。

步骤3，将图像上的靶标与高精度地图进行匹配，并将像素坐标转换为地图坐标。

步骤4，采用多点透视成像算法，根据靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，确定相机的外参。

参见图6所示的一种标定流程的示意图，如果没有获得相机内参，需要先标定相机内参，之后相机检测靶标的像素坐标；如果没有标靶，需要在路面上喷涂靶标，之后高精度地图采集靶标的精确坐标；最后，使用PnP算法匹配靶标位置，标定相机外参，从而完成相机标定的整体流程。

本发明实施例提供的上述方法，给出了相机与高精度地图的联合标定方式，靶标设计、选取以及布置方式和整套标定算法的标定方案。该方式中，设计一种结合高精度地图的标定算法，能够全自动标定相机外参；靶标位于路面上，标定时不需要携带移动的靶标，对于大规模V2X相机部署来说十分方便；靶标位置固定，并且通过高精度地图获得精确坐标，既减少了移动靶标带来的标定误差，也减少了路面坡度、基准路宽等不可靠的先验假设对标定的影响；对靶标的位置没有特殊需求，分布不对称即可，可实现快速标定。

实施例三：

对应于上述方法实施例，本发明实施例提供了一种相机标定装置，如图7所示的一种相机标定装置的结构示意图，该相机标定装置包括：

世界坐标确定模块71，用于通过相机对检测区域进行地图采集，得到多个靶标的世界坐标；

像素坐标确定模块72，用于通过相机检测靶标的中心点的像素坐标；

相机外参确定模块73，用于根据靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，确定相机的外参。

本发明实施例提供的一种相机标定装置，相机对检测区域进行地图采集得到多个靶标的世界坐标，通过相机检测靶标的中心点的像素坐标，通过相机的内参、靶标的世界坐标和靶标的中心点的像素坐标确定相机的外参。该方式中通过相机提取附近多个高精度地图中的靶标来标定相机外参，无需使用标定板，可以减少标定的工作量，提高标定的精度。

上述世界坐标确定模块，用于在相机的检测区域内设置超过预设靶标数量的靶标；通过相机对检测区域进行地图采集，得到多个靶标的世界坐标。

上述靶标在相机的检测区域内不对称分布。

上述像素坐标确定模块，用于通过相机检测对靶标进行角点检测，得到靶标的角点；对靶标的角点进行亚像素精确化，得到靶标的中心点的像素坐标。

上述相机的内参包含内参矩阵；上述装置还包括内参矩阵确定模块，用于通过相机的内参的标定工具箱，确定相机的内参矩阵。

上述装置还包括畸变矫正模块，用于基于相机的内参对靶标进行畸变矫正。

上述相机外参确定模块，用于采用多点透视成像算法，根据靶标的世界坐标、靶标的中心点的像素坐标和预先获取的相机的内参，确定相机的外参。

本发明实施例提供的相机标定装置，与上述实施例提供的相机标定方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例四：

本发明实施例还提供了一种电子设备，用于运行上述相机标定方法；参见图8所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述相机标定方法。

进一步地，图8所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述相机标定方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的相机标定方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和/或电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。