多相机系统中的相机标定方法、装置及电子设备

技术领域

本发明涉及拍摄设备技术领域，特别涉及了一种多相机系统中的相机标定方法、装置及电子设备。

背景技术

随着机器视觉的广泛应用，大众对于多相机视觉系统的需求日益增加。在多相机系统中，多个相机系统之间的坐标点的对齐是一个关键问题。现有的坐标点对齐技术主要包括基于特征点对齐和基于相机模型对齐两种。然而，基于特征点对齐技术计算复杂度高，且在不同场景下效果不稳定，尤其对于低成本的芯片，这种方法可能难以实现。基于相机模型对齐技术中，由于红外相机只能捕获特殊波段的光线，使得标定图像获取的难度较大，从而对于红外相机的内参标定的要求高，标定成本也更高。

发明内容

有鉴于此，实有必要提供一种多相机系统中的相机标定方法、装置及电子设备，能够解决多相机系统坐标对齐过程中红外相机标定难度大、成本高的问题。

第一方面，本发明实施例提供一种多相机系统中的相机标定方法，多相机系统包括可见光相机与红外相机，方法包括对可见光相机进行内参及外参标定得到第一内参数和第一外参数；对红外相机进行外参标定得到第二外参数；利用可见光相机在第一内参数和第一外参数下获得可见光图像的二维像素坐标，并将可见光图像的二维像素坐标转换为三维世界坐标；根据预设内参初始值与第二外参数将三维世界坐标转换为红外图像的二维像素坐标，预设内参初始值为预先设置于红外相机的内参值；将可见光图像与红外图像进行融合得到双光融合图像；响应用户操作调整预设内参初始值直至双光融合图像符合预期效果，得到目标内参数；将目标内参数标定为红外相机的内参。

第二方面，本发明实施例提供一种多相机系统中的相机标定装置，所述装置包括可见光相机标定模块、红外相机标定模块、第一坐标转换模块、第二坐标转换模块、图像生成模块、校准模块、以及红外内参标定模块。可见光相机标定模块：用于对所述可见光相机进行内参及外参标定得到第一内参数和第一外参数；红外相机标定模块：用于对所述红外相机进行外参标定得到第二外参数；第一坐标转换模块：用于利用所述可见光相机在所述第一内参数和第一外参数下获得可见光图像的二维像素坐标，并将所述可见光图像的二维像素坐标转换为三维世界坐标；第二坐标转换模块：用于根据预设内参初始值与所述第二外参数将所述三维世界坐标转换为红外图像的二维像素坐标，所述预设内参初始值为预先设置于所述红外相机的内参值；图像生成模块：用于将所述可见光图像与红外图像进行融合得到双光融合图像；校准模块：用于响应用户操作调整所述预设内参初始值直至所述双光融合图像符合预期效果，得到目标内参数；以及红外内参标定模块：用于将所述目标内参数标定为所述红外相机的内参。

第三方面，本发明实施例提供一种电子设备，包括可见光相机模组、红外相机模组、存储器、以及处理器。可见光相机模组，用于拍摄可见光图像；红外相机模组，设置于可测量与所述可见光相机模组的相对位置处，用于拍摄红外图像；存储器，用于存储计算机可执行程序；以及处理器，用于执行所述计算机可执行程序以实现如上所述的多相机系统中的相机标定方法。

上述多相机系统中的相机标定方法中，红外相机的内参标定是由可见光相机的内、外参，以及红外相机的外参进行变换得到的，无需对红外相机直接标定，从而对于标定环境的要求低，计算复杂度低，鲁棒性高，有效地降低了标定难度与成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例提供的多相机系统中的相机标定方法流程图。

图2为本发明实施例提供的多相机系统中的相机标定方法第一子流程图。

图3为本发明实施例提供的多相机系统中的相机标定方法第二子流程图。

图4为本发明实施例提供的多相机系统中的相机标定装置示意图。

图5为本发明实施例提供的电子设备的结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的规划对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请结合参看图1，其为本发明实施例提供的多相机系统中的相机标定方法流程图。多相机系统包括可见光相机与红外相机，两个或多个相机安装在一个稳定的平台上，使得每幅图像覆盖的画面尽可能一致，并且各相机之间的相对位置能够被测量出来。多相机系统中的相机标定方法包括以下步骤。

步骤S101，对所述可见光相机进行内参及外参标定得到第一内参数和第一外参数。在本实施例中，第一内参数包括可见光相机的焦距

步骤S102，对所述红外相机进行外参标定得到第二外参数。所述第二外参数包括红外相机在三维世界坐标系下的位置以及绕三个坐标轴旋转的角度。具体地，

步骤S103，利用所述可见光相机在所述第一内参数和第一外参数下获得可见光图像的二维像素坐标，并将所述可见光图像的二维像素坐标转换为三维世界坐标。具体地，像素坐标系(pixel coordinate system)是人真正从相机内读取到的信息所在的坐标系，描述了物体成像后的像素点在数字图像上的坐标，单位是pixel。步骤S103的具体步骤将在下面进行详细说明。

步骤S104，根据预设内参初始值与所述第二外参数将所述三维世界坐标转换为红外图像的二维像素坐标，所述预设内参初始值为预先设置于所述红外相机的内参值。具体步骤将在下面进行详细说明。

步骤S105，将所述可见光图像与红外图像进行融合得到双光融合图像。具体地，对所述可见光图像的二维像素坐标与红外图像的二维像素坐标进行加权处理生成双光融合图像。在其他实施例中，基于可见光图像及红外图像像素坐标生成双光融合图像的方式不限于此，在此不一一列举。

步骤S106，响应用户操作调整所述预设内参初始值直至所述双光融合图像符合预期效果，得到目标内参数。具体地，用户判断所述双光融合图像是否存在重影，若所述双光融合图像存在重影，调整所述预设内参初始值以消除重影，使得在此预设内参初始值下，根据所述多相机系统中相机标定方法生成的双光融合图像符合预期效果。

步骤S107，将所述目标内参数标定为所述红外相机的内参。

上述实施例中，通过对可见光相机进行内外参标定以及对红外相机进行外参标定、预设内参初始值，生成双光融合图像从而确定红外相机的内参，实现了多相机系统中相机坐标的对齐，并且对齐精度达到像素级，计算复杂度低，鲁棒性高。

请结合参看图2，其为本发明实施例提供的多相机系统中的相机标定方法第一子流程图。

步骤S103具体包括以下步骤。

步骤S1031，获取可见光图像的二维像素坐标。例如，在本实施例中，获取到可见光图像的二维像素坐标点为(u

步骤S1032，利用所述第一内参数定义出第一内参矩阵，并根据所述第一内参矩阵对所述可见光图像的二维像素坐标进行反向投影得到第一归一化坐标。

在本实施例中，利用第一内参数

再根据第一内参矩阵K

其中,(u

步骤S1033，根据所述第一外参数将所述第一归一化坐标转换为三维世界坐标(X

其中，可见光相机的旋转矩阵R

上述实施例建立了可见光图像的二维像素坐标转换到三维世界坐标的过程。

请结合参看图3，其为本发明实施例提供的多相机系统中的相机标定方法第二子流程图。

步骤S104具体包括以下步骤。

步骤S1041，利用所述第二外参数将所述三维世界坐标转换为三维红外相机坐标，其中，所述第二外参数包括红外相机的旋转矩阵及红外相机相对于可见光相机的平移向量，所述平移向量用于反映所述红外相机相对于可见光相机的位置关系。红外相机相对于可见光相机的平移向量是根据可见光相机的平移向量与红外相机的平移向量计算出的。由步骤S103可得三维世界坐标(X

其中，红外相机的旋转矩阵R

假设T

步骤S1042，根据所述三维红外相机坐标得到第二归一化坐标。

三维红外相机坐标(X

步骤S1043，利用所述预设内参初始值定义出第二内参矩阵，并根据所述第二内参矩阵对所述第二归一化坐标进行正向投影得到红外图像的二维像素坐标。

首先，红外相机的内参矩阵K

其中，

在本实施例中，预设内参初始值是根据红外相机的图像宽度、图像高度、预设水平视场角、以及垂直视场角计算的，计算方法如下：

其中，

利用第二内参矩阵K

得到红外图像的二维像素坐标(u

上述实施例建立了三维世界坐标到红外图像的二维坐标的转换过程。

综上，可以建立可见光图像的二维坐标到红外图像的二维坐标的转换关系如下：

将该映射转换关系称为F，即F(u

将可见光图像的所有二维像素坐标均作F映射，即可得到一系列红外相机的二维像素点坐标，以供进一步生成双光融合图像。

请结合参看图4，其为本发明实施例提供的多相机系统中的相机标定装置示意图。

在本实施例中，多相机系统中的相机标定装置400包括可见光相机标定模块401、红外相机标定模块402、第一坐标转换模块403、第二坐标转换模块404、图像生成模块405、校准模块406、以及红外内参标定模块407。

可见光相机标定模块401用于对所述可见光相机进行内参及外参标定得到第一内参数和第一外参数；

红外相机标定模块402用于对所述红外相机进行外参标定得到第二外参数；

第一坐标转换模块403用于利用所述可见光相机在所述第一内参数和第一外参数下获得可见光图像的二维像素坐标，并将所述可见光图像的二维像素坐标转换为三维世界坐标；

第二坐标转换模块404用于根据预设内参初始值与所述第二外参数将所述三维世界坐标转换为红外图像的二维像素坐标，所述预设内参初始值为预先设置于所述红外相机的内参值；

图像生成模块405用于将所述可见光图像与红外图像进行融合得到双光融合图像；

校准模块406用于响应用户操作调整所述预设内参初始值直至所述双光融合图像符合预期效果，得到目标内参数；以及

红外内参标定模块407用于将所述目标内参数标定为所述红外相机的内参。

上述实施例中，可见光相机标定模块实现了可见光相机的内外参标定、红外相机标定模块实现了红外相机的外参标定，再通过第一坐标转换模块以及第二坐标转换模块得到从可见光图像二维像素坐标到红外图像二维像素坐标的转换。图像生成模块基于所述坐标转换结果生成双光融合图像后，经校准模块的用户校准最终确定出目标内参数，红外内参标定模块将目标内参数确定为红外相机的内参，有效降低了多相机系统的标定复杂度以及成本。

请结合参看图5，其为本发明实施例提供的电子设备的结构示意图。

在本实施例中，电子设备500包括可见光相机模组503、红外相机模组504、存储器502、以及处理器501。具体地，电子设备500可以是包含了两个双目相机的摄像头组件，也可以是设置了两个双目摄像头的智能手机、平板电脑、计算机、照相机等电子设备，在此不一一列举。

可见光相机模组503用于拍摄可见光图像；红外相机模组504设置于与可见光相机模组503的相对位置可测量处，用于拍摄红外图像；存储器502用于存储计算机可执行程序；处理器501用于执行所述计算机可执行程序以实现如上所述的多相机系统中的相机标定方法。其中，处理器501在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其它数据处理芯片，用于运行存储器502中存储的多相机系统中的相机标定程序指令。

存储器502至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器502在一些实施例中可以是计算机设备的内部存储单元，例如计算机设备的硬盘。存储器502在另一些实施例中也可以是外部计算机设备的存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。进一步地，存储器502还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器502不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如实现多相机系统中的相机标定的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

上述多相机系统中的相机标定方法中，红外相机的内参标定是由可见光相机的内、外参，以及红外相机的外参进行变换得到的，无需对红外相机直接标定，从而对于标定环境的要求低，有效地降低了标定难度与成本。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所列举的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属于本发明所涵盖的范围。