校准摄像头的方法和系统

技术领域

本公开涉及校准摄像头的方法和系统，特别地，涉及校准车辆中设置的摄像头的方法和系统。

背景技术

诸如数字摄像头的数字成像装置被用于各种汽车应用中。数字摄像头的校准可能很麻烦。

例如，在当前的方法中，可以使用摄像头对照目标的多个设定，或者根据摄像头的单个设定的一个图像。在两种方法中的任一方法中，在精确的已知位置中可能需要大量的特征“点”(例如采用圆形或正方形的形式)，以计算那些对象与摄像头的空间关系。这可能会对图像质量和设置的精度提出很高的要求。当前的汽车摄像头可以使用4k或更高分辨率的成像器(例如，摄像头或图像传感器)，镜头视场可以在几度到150度以上，并且光圈孔径低于f/2，并且超焦距可以在10m到数百米的范围内。这可能会对校准设备提出很高且实际上不可接受的要求，这既涉及所需的精度和空间，又涉及了校准时间。包括特殊即时光学器件(immediate optics)或准直仪的解决方案增加了校准设置的价格，同时降低了可达到的精度。

因此，需要提供校准摄像头的高效方法和系统。

发明内容

本公开提供了一种计算机实现方法、计算机系统以及非暂时性计算机可读介质。

在一个方面，本公开旨在一种校准摄像头的计算机实现方法。所述方法包括由计算机硬件组件执行(换句话说：实行)的以下步骤：根据多个启用方案来启用多个光源的子集，其中，各个启用方案指示将所述多个光源中的哪些光源启用；使用所述摄像头来拍摄各个启用方案的图像；以及基于所拍摄的图像来校准摄像头。

换句话说，设置了多个光源，并且可以通过摄像头拍摄多个图像，其中，在各个图像中，启用了所述光源中的一个或更多个光源，而未启用其它的光源。在各个图像中，被启用的光源子集可以是不同的。然后，可以将这些图像用于所述摄像头的校准。

例如，所述方法可以是校准车辆感测摄像头的方法。

所述光源可以包括光，所述光可以是预定波长范围的光，或者可以是预定波长的发光二极管。所有光源均可以发射相同的波长或波长范围的光，或者所述光源可以具有不同的波长范围或波长，使得不同的光源可以按照它们的颜色来区分。

可以使用各种校准方法。可以将通常基于具有不同内容的各种图像的常规方法应用于示出在各个图像中启用的不同的光源的多个拍摄的图像。通过使得启用所述光源的步骤和拍摄所述图像的步骤同步，可以以自动方式拍摄这些图像。可以用于校准的方法例如是Zhan法或Tsai法或者使用单个图像上的多个点的其它方法。

根据另一方面，至少一个启用方案包括所述多个光源中的一次一个光源的指示。通过一次仅启用一个光源，所述光源之间可以不发生干扰，即，可以将所述摄像头拍摄的光明确指派给所述光源。

根据另一方面，至少一个启用方案包括一次多个光源的指示。通过一次启用超过一个光源，可以通过各个拍摄的图像获取更多的信息，这可以缩短总校准时间。

根据另一方面，在从所述摄像头的角度观察时，所述一次多个光源相距至少预定距离。这可以避免所述光源的干扰，以使即使一次启用超过一个光源，也可以将所述摄像头拍摄的光明确指派给相应的光源。

根据另一方面，拍摄各个启用方案的所述图像的步骤包括：拍摄所述多个光源的图像。

根据另一方面，所述多个光源是根据彼此之间的预定(即，已知)空间关系设置在三维空间中的，并且是按照与所述摄像头的预定(即，已知)空间关系设置的。可以将所述光源设置在如下位置处，以使得可以使用各种各样的三维空间：所述位置不在单条线上或者不在单个二维平面上的位置中。

根据另一方面，所述计算机实现方法还包括由所述计算机硬件组件执行的以下步骤：在所拍摄的图像中确定所启用的光源的位置。例如，所述图像可以是在所述光源未聚焦的情况下拍摄的，这可以减小所述摄像头与所述光源之间的所需距离，然后可以基于所拍摄的图像中的模糊(由于散焦拍摄)光斑的中心来确定相应的位置。

根据另一方面，所拍摄的图像中的位置是基于用于将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法来确定的，标识候选点的方法包括以下步骤：确定从所述校准图案的图像导出的经滤波的图像内的光斑，其中，光斑被限定为所述经滤波的图像的、具有超过阈值的像素值的相干像素集，针对各个所确定的光斑，计算所确定的光斑的中心点；以及将所有计算出的中心点标识为候选点，其中，确定所述光斑的步骤包括：对所述经滤波的图像逐个个像素地进行扫描。根据另一方面，如果扫描的像素具有超过所述阈值的像素值，则暂停所述扫描，并且以最后一个扫描的像素作为当前像素并且将倒数第二个像素作为前一像素开始，执行光斑轮廓跟踪，所述光斑轮廓跟踪步骤包括记录所述当前像素作为轮廓像素的步骤作为跟踪步骤，并且标识候选点的方法还包括以下步骤：针对与所述当前像素相邻的邻近像素，评估如下条件，即，所述邻近像素是否具有超过所述阈值的像素值，并且相对于围绕所述当前像素的旋转方向恰好在该邻近像素之前的另一邻近像素是否具有未超过所述阈值的像素值；从满足所述条件的所有邻近像素中选择相对于所述旋转方向距前一像素最远的邻近像素；以及将所述当前像素限定为前一像素并且将所述选择的邻近像素限定为当前像素；所述光斑轮廓跟踪步骤还包括以下步骤：重复所述跟踪步骤直到所述当前像素再次等于最后扫描的像素为止，将所述光斑确定为包括所记录的轮廓像素和被所记录的轮廓像素包围的像素的像素集。

然后可以将模糊的光点的重力点确定为所述轮廓像素所包围的像素的重心。

根据另一方面，校准所述摄像头的步骤包括：确定至少一个本征摄像头参数或者至少一个非本征摄像头参数或者至少一个畸变参数。

例如，所述至少一个本征参数包括以下项中的至少一个：所述摄像头的焦距、所述摄像头的灵敏度或者所述摄像头的孔径。例如，所述至少一个非本征参数包括以下项中的至少一个：所述摄像头在空间中的位置或者所述摄像头在空间中的取向。例如，所述至少一个畸变参数包括以下项中的至少一个：所述摄像头的散焦参数、所述摄像头的球面像差参数、所述摄像头的彗差参数、所述摄像头的像散参数、所述摄像头的场曲率参数或者所述摄像头的图像畸变参数。

在另一方面，本公开致力于一种计算机系统，所述计算机系统包括多个计算机硬件组件，所述多个计算机硬件组件被配置成执行本文所描述的计算机实现方法的若干或所有步骤。

所述计算机系统可以包括多个计算机硬件组件(例如，处理单元、至少一个存储器单元以及至少一个非暂时性数据存储部)。应理解，可以提供进一步的计算机硬件组件并用于在所述计算机系统中执行所述计算机实现方法的步骤。所述非暂时性数据存储部和/或存储器单元可以包括计算机程序，所述计算机程序用于指示所述计算机例如使用所述处理单元和所述至少一个存储器单元来执行本文所描述的计算机实现方法的若干或所有步骤或各方面。

根据另一方面，所述计算机系统还包括所述多个光源。例如，所述多个光源是根据彼此之间的预定空间关系设置在三维空间中的，并且是按照与所述摄像头的预定空间关系设置的。

根据另一方面，所述计算机系统还包括存储介质，所述存储介质被配置成存储所拍摄的图像。

在另一方面，本公开致力于一种非暂时性计算机可读介质，所述非暂时性计算机可读介质包括用于执行本文所描述的计算机实现方法的若干或所有步骤或各方面的指令。所述计算机可读介质可以被配置为：诸如光盘或数字通用盘(DVD)的光学介质；诸如硬盘驱动器(HDD)的磁介质；固态驱动器(SSD)；诸如闪速存储器的只读存储器(ROM)；等等。而且，所述计算机可读介质可以被配置为能经由诸如互联网连接的数据连接来访问的数据存储部。所述计算机可读介质例如可以是在线数据存储库或云存储。

本公开还致力于一种计算机程序，所述计算机程序用于指示计算机执行本文所描述的计算机实现方法的若干或所有步骤或各方面。

附图说明

本文结合以下示意性地示出的附图，对本公开的示例实施方式和功能进行描述：

图1是根据各种实施方式的校准系统；

图2A是示出多个互不干扰的模糊光点的拍摄的图像的例示图；

图2B是根据各种实施方式的拍摄的图像的具有单个模糊的光点放大部分的例示图，该模糊的光点具有计算出的重力点；以及

图3是例示根据各种实施方式的校准摄像头的方法的流程图。

具体实施方式

图1示出了根据各种实施方式的校准系统100。可以在3D空间102中提供多个光点104。例如，光点104可以是小的圆形光点104，并且可以提供十到数千个光点104。光点104中的各个光点可以由控制器108(例如计算机)单独控制。点104的位置可以相对于彼此并且相对于摄像头106的估计位置来获知。摄像头106可能正在观看3D空间102处的光点104，并且可以在控制器108同时接通和断开光点104中的一个或更多个光点时拍摄一系列图像(例如，电影)。可以对由摄像头106拍摄的图像进行分析以生成本征或非本征的校准数据。可以对由摄像头106拍摄的图像进行在线分析(即，在光的操作期间)，或者可以进行记录(例如，记录在设置在控制器108中的或附接至控制器108的存储部中，或者记录在外部介质中)以用于在相同或不同的设备上进行分析(即，用于以后使用控制器108进行分析，或者用于使用与控制器108不同的装置进行分析)。

利用图1所示的系统，可以提供单姿势多图像校准。例如，经校准的摄像头可以是安全和道路辅助摄像头。

根据各种实施方式，多个光源可以按照固定的排布进行设置，以使多个光源的相应的相对位置可以是固定的且已知的。然后，可以将所述排布设置在与摄像头相对的单个位置(具有采用2D或3D的相对位置)，使得可以在不移动所述排布的情况下拍摄多个图像。从摄像头到所述排布的距离(也可以称为校准场)可以远低于摄像头的超焦距。

可以将拍摄的图像提供为一序列2D或3D图像(示出光源的(模糊的)光点)，该序列2D或3D图像是以使用宽光谱(“白色”)、单色或多色点的光点呈现给摄像头的。

根据各种实施方式，所述校准系统和校准方法可以允许在生产线上的有限空间中对非常宽(例如，100度或更宽)的汽车摄像头或者非常窄(例如，30度或更窄)的摄像头，其中，相比得到10m/10m/10m或更大的空间，可以更容易得小于1.8m/1.8m/3m的空间。对于窄的摄像头(例如，超焦距大于50m的28度摄像头)，这可能是使精度校准实际上“可行”或“不实际”的问题。

根据各种实施方式，即使对于通常需要距摄像头较大距离的大图像场，也可以将所述校准系统和方法应用在有限的空间。根据各种实施方式，随着假设摄像头在这种情况下将圆形的光点看作畸变的圆，可以使用不清晰的图像。由于并不是所有的点都是同时启用的(换句话说：接通的)，因此可以对光从单个点到拍摄的图像上的像素的分布进行测量，从而可以计算出所述光最初位于投影中的位置(并由此可以计算出在3D空间中与摄像头相对的位置)。这可以针对每一个光点单独进行或者可以在不彼此干扰的情况下按光点组来进行(例如，假设这些光点是充分间隔开的(如下面的图2A所示)，或者假设这些光点具有不同的颜色，即，当相应的光源发射不同波长或不同波长范围的光时)。

图2A示出了根据各种实施方式的拍摄的图像的例示图200，该例示图示出了多个互不干扰的模糊光点202、204、206、208。

图2B示出了根据各种实施方式的拍摄的图像的具有单个模糊的光点252的放大部分250的例示图，该模糊的光点具有计算出的重力点254。

拍摄的图像(例如，在摄像头的成像器中)中的各个光点可以允许计算光点的中心点(换句话说：重心)，以使即使光源未聚焦，也可以获得仿佛拍摄清晰图像(即，聚集图像)一样的相同类型的信息。找到那些点的方法可以与WO/2017/093037中提供的方法相同或相似，例如，其中将相关图像改变成圆形，或者作为被“等势片(equipotential plate)”包围的“重力点”法。作为该处理的结果，可以从多次曝光但在一个位置获得完整点集的位置。然后可以以常见的方式在校准中使用那些位置。作为最终结果，在场的尺寸(即，需要所述光源的3D空间)可能很小(例如，约1.5m/1.5m/1.5m)，并且距摄像头的距离可能取决于焦距但远低于目前现有校准方法所要求的距离时，在对从摄像头的一个单一位置拍摄(或获取)的所述系列图像(或图片)进行分析之后，可以获得校准值(例如，本征值和非本征值两者)。

根据各种实施方式，光开关(即，一个或更多个光源的选择性启用)例如可以通过以下方法来与摄像头操作同步：闭环操作(其中，启用光源并接着拍摄图像，然后可以进行至活动的光源的下一组合(或启用方案))；或者开环方法(其中，可能仅需要知道近似的帧频率来使光源的启用和图像的拍摄同步，并且其中，可以在断开光源的情况下开始拍摄，然后对于各个步骤，可以设定光源的组合，然后可以等待预定的帧时段(例如，等待3个帧时段)，然后可以进行至下一步骤(利用下一启用方案)，其中，最后一个步骤可以是断开所有光源)。

可以改变光源的启用顺序(换句话说：启用方案)，但是当仅存在单波长光源时，可能会较长。在对拍摄的图像(可能采用视频帧的数据格式)进行分析时，可以在可见光源组合的变化之间寻找中心帧。在以下示例中：每秒30帧，5个光源同时可见，并且所述场具有500个点(换句话说：500个光源)，可以在10秒钟内完成测量(换句话说：图像的拍摄)。对于彩色摄像头，这可以使用多种颜色的光源来进行加速，以使即使是部分干扰的点也可以通过它们的颜色来加以区分。利用先前的条件以及(摄像头的)成像器矩阵中的三种基本颜色，对于简单的方案，例如可以在大约3.3秒钟内完成测量，而利用更复杂的方案(相移下的三种颜色)，时间可以下降至大约3秒钟或更短。较简单的方案(换句话说：“更久”或更慢的方法)与更复杂的方案(换句话说：“更短”或更快的方法)之间的差异取决于摄像头能够区分颜色。在这种情况下，可能存在两个具有部分重叠的点并且这两个点具有有区别的原色，这些原色是可以正确检测到的，从而可以适当地除去来自每种颜色的影响。

同时，可以减少或避免从图片中消除彩色马赛克(color mosaic)的问题。成像器中的彩色马赛克通常是在点检测处理的过程中消除的。当使用光源中的多种颜色时，由于光源与成像器色罩上的颜色相关，因此即使使用了不同的颜色集，也可以更容易地消除马赛克。

图3示出了例示根据各种实施方式的校准摄像头的方法的流程图300。在302，可以根据多个启用方案来启用多个光源的子集，其中，各个启用方案皆指示启用多个光源中的哪些光源。在304，可以使用摄像头拍摄各个启用方案的图像。在306，可以基于拍摄的图像来校准摄像头。

根据各种实施方式，至少一个启用方案包括多个光源中的一次一个光源的指示。根据各种实施方式，至少一个启用方案包括一次多个光源的指示。

根据各种实施方式，当从所述摄像头的角度观察时，一次多个光源至少相距预定距离。

根据各种实施方式，拍摄各个启用方案的所述图像的步骤包括：拍摄多个光源的图像。

根据各种实施方式，多个光源是根据彼此之间的预定空间关系设置在三维空间中的，并且是按照与摄像头的预定空间关系来设置的。

根据各种实施方式，所述方法还可以包括以下步骤：在所拍摄的图像中确定所启用的光源的位置。

根据各种实施方式，所拍摄的图像中的位置是基于将校准图案的图像内的候选点标识为该校准图案的可能特征点的方法来确定的，标识候选点的方法包括以下步骤：确定从校准图案的图像导出的经滤波的图像内的光斑，其中，光斑被限定为经滤波的图像的、具有超过阈值的像素值的相干像素集，针对各个确定的光斑，计算所确定的光斑的中心点；以及将所有计算出的中心点标识为候选点，其中，确定所述光斑的步骤包括对滤波图像逐个像素地进行扫描，其中，如果扫描的像素具有超过阈值的像素值，则暂停扫描，并且以最后一个扫描的像素作为当前像素而倒数第二个像素作为前一像素开始，执行光斑轮廓跟踪，所述光斑轮廓跟踪步骤包括记录所述当前像素作为轮廓像素的步骤作为跟踪步骤，针对与所述当前像素相邻的邻近像素，评估这样的条件，即，所述邻近像素是否具有超过所述阈值的像素值，和相对于围绕所述当前像素的旋转方向、恰好在该邻近像素之前的另一邻近像素是否具有未超过所述阈值的像素值；从满足所述条件的所有邻近像素中选择相对于所述旋转方向距所述前一像素最远的邻近像素，并且将所述当前像素限定为前一像素并且将所选择的邻近像素限定为当前像素；所述光斑轮廓跟踪步骤还包括步骤：重复所述跟踪步骤直到所述当前像素再次等于所述最后一个扫描的像素为止，将所述光斑确定为包括所记录的轮廓像素和被所记录的轮廓像素包围的像素的像素集。

根据各种实施方式，校准摄像头的步骤包括：确定至少一个本征摄像头参数或者至少一个非本征摄像头参数或者至少一个畸变参数。

根据各种实施方式，所述至少一个本征参数包括以下项中的至少一个：所述摄像头的焦距、所述摄像头的灵敏度或者所述摄像头的孔径；其中，所述至少一个非本征参数包括以下项中的至少一个：所述摄像头在空间中的位置或者所述摄像头在空间中的取向；并且其中，所述至少一个畸变参数包括以下项中的至少一个：所述摄像头的散焦参数、所述摄像头的球面像差参数、所述摄像头的彗差参数、所述摄像头的像散参数、所述摄像头的场曲率参数或者所述摄像头的图像畸变参数。

上述步骤302、304、306以及进一步的步骤中的各个步骤可以由计算机硬件组件来执行。

100 校准系统

102 三维空间

104 多个光源

106 摄像头

108 控制器

200 拍摄的图像的例示图

202 光点

204 光点

206 光点

208 光点

250 拍摄的图像的方大部分的例示图

252 模糊的光点

254 重力点

300 流程图

302 启用多个光源的子集的方法步骤

304 拍摄各个启用方案的图像的方法步骤

306 校准摄像头的方法步骤