图像配准方法及装置

技术领域

本申请属于图像处理领域，具体涉及一种图像配准方法及装置。

背景技术

随着电子设备中摄像头种类及拍摄功能的不断丰富，由不同种类的摄像头采集的图像之间的配准也变得越来越重要。

以电子设备对红绿蓝(Red Green Blue，RGB)摄像头采集的RGB图像，与飞行时间(Time of flight，ToF)摄像头采集的深度图像进行配准为例，电子设备可以采用该RGB摄像头的内参、该ToF摄像头的内参，以及该RGB摄像头和该ToF摄像头之间的外参，对该深度图像进行立体校正、深度视差转换、像素平移处理、后处理与反校正，得到与该RGB图像像素级对齐的目标深度图像，从而完成图像的配准。

然而，按照上述方法，电子设备只有在各摄像头的内参和外参均固定不变的情况下，才能确保图像配准的准确性。而由于自动对焦功能会导致摄像头镜片组的结构变化，光学防抖功能会导致摄像头的移动，即电子设备中的一些摄像头的标定参数(即内参和/或外参)会发生变化，因此导致电子设备对图像配准的准确性较差。

发明内容

本申请实施例的目的是提供一种图像配准方法及装置，能够解决电子设备对图像配准的准确性较差的问题。

第一方面，本申请实施例提供了一种图像配准方法，该方法包括：获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像；基于第一标定参数，对第一图像进行配准处理，得到与第二图像配准的第一深度图像；基于深度校正参数，对第一深度图像进行图像仿射变换，得到与第三图像配准的第二深度图像；其中，第一标定参数，与第一摄像头和第二摄像头相关。

第二方面，本申请实施例提供了一种图像配准装置，该装置包括获取模块和处理模块；获取模块，用于获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像；处理模块，用于基于第一标定参数，对获取模块获取的第一图像进行配准处理，得到与获取模块获取的第二图像配准的第一深度图像；并基于深度校正参数，对处理得到的第一深度图像进行图像仿射变换，得到与获取模块获取的第三图像配准的第二深度图像；其中，第一标定参数，与第一摄像头和第二摄像头相关。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，可以获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像；且基于第一标定参数，对第一图像进行配准处理，得到与第二图像配准的第一深度图像；并基于深度校正参数，对第一深度图像进行图像仿射变换，得到与第三图像配准的第二深度图像；其中，第一标定参数，与第一摄像头和第二摄像头相关。通过该方案，由于电子设备可以基于与第一摄像头和第二摄像头相关的标定参数，对第一摄像头采集的第一图像进行配准处理，得到与第二摄像头采集的第二图像配准的第一深度图像，并可以基于深度校正参数，对第一深度图像进行处理，得到与第三摄像头采集的第三图像配准的深度图像；即电子设备可以通过第二图像，间接实现第一图像与第三图像的配准，因此可以提高电子设备对图像配准的准确性。

附图说明

图1是本申请实施例提供的图像配准方法的流程图；

图2是本申请实施例提供的图像配准装置的示意图；

图3是本申请实施例提供的电子设备的示意图；

图4是本申请实施例提供的电子设备的硬件示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面首先对本申请的说明书和权利要求书中涉及的一些名词或者术语进行解释说明。

ToF：即飞行时间测距技术，是通过测量由人造光信号(如红外激光)的往返时间来解析摄像头与拍摄对象之间距离的一种场景深度感知技术。

红绿蓝深度(Red Green Blue Depth，RGBD)图像配准：彩色图像与深度图像的特征匹配与像素级对齐的过程。

摄像头的内参：包括摄像头的焦距、主点以及畸变参数。

摄像头的外参：摄像头在空间坐标系中的旋转或平移。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像配准方法及装置进行详细地说明。

近年来，随着三维(3-Dimension，3D)市场的逐步打开，3D场景感知技术也逐步走进了公众视线。目前，主流的3D场景感知技术包括双目视觉技术、结构光技术、ToF技术。

其中，双目视觉技术基于视差原理，可以同时获取被测物体的两个视角的图像，并通过三角测量方法计算被测物体的深度信息；结构光技术是通过近红外激光发射装置将具有结构特征的光线投射到被摄物体上，再由专用的红外摄像头采集图像信息并结合三角测量方法进行计算，从而可以获得被测物体的深度信息；而ToF技术一直都是计算机视觉领域中研究与关注的重点，该技术通过测量人造光信号的往返时间来解析摄像头与拍摄对象之间距离。相比于双目视觉技术和结构光技术，由于ToF技术具有测距精度高、软件开销小、抗干扰能力强等优点，因此在3D场景感知技术的相关领域，如背景虚化、即时定位与地图构建、场景三维重建、增强现实技术、虚拟现实技术等领域具有广泛的应用前景。

而随着电子设备拍摄功能的不断丰富，ToF技术也已广泛应用于电子设备的拍摄场景，电子设备可以通过ToF摄像头采集深度图像。由于电子设备中的摄像头的种类越来越多，因此由不同种类的摄像头采集的图像之间的配准也变得越来越重要。

下面以电子设备对异源图像配准为例，对电子设备配准图像的方法进行示例性地说明。

示例性地，对于异源图像之间的配准，基于特征匹配的同源图像配准方法往往无法奏效。以RGBD图像配准为例，现有的RGBD图像配准方法通常是基于结构(或内参)固定的RGBD摄像头进行设计与实现的，电子设备可以采用RGB摄像头与ToF摄像头组成的双目摄像头的离线标定参数(即RGB摄像头的内参、ToF摄像头的内参，以及RGB摄像头与ToF摄像头之间的外参)对ToF摄像头采集的深度图像进行立体校正、深度视差转换、像素平移处理、后处理与反校正等操作，得到与RGB摄像头采集的图像像素级对齐的深度图像。如此，可以实现RGBD图像配准。

然而，通常在摄像头模组的自身结构及安装位置未发生变化时，上述离线标定参数可以满足RGBD图像配准的需求，但电子设备中的RGB摄像头通常具有如下特点：

1、采用镜片组结构变化的方式实现自动对焦功能。

2、使用具有光学防抖功能的模组实现防抖功能，而为了进一步增强防抖效果，RGB摄像头可以具有微云台。

由于镜片组的结构变化会导致摄像头的内参无法直接使用，而微云台的镜头旋转、平移会导致双目摄像头的外参无法直接使用，即上述离线标定参数已无法满足RGBD图像配准的需求，因此会使配准后的深度图像与彩色图像无法实现像素级对齐，从而影响后续的应用。

为了解决上述问题，在本申请实施例提供的图像配准方法中，电子设备可以基于与ToF摄像头(例如本申请实施例中的第一摄像头)和固定结构的RGB摄像头(例如本申请实施例中的第二摄像头)相关的离线标定参数(例如本申请实施例中的第一标定参数)，对该ToF摄像头采集的第一图像进行配准处理，得到与该固定结构的RGB摄像头采集的第二图像配准的第一深度图像；并基于深度校正参数，对第一深度图像进行图像仿射变换，得到与具有微云台的RGB摄像头(例如本申请实施例中的第三摄像头)采集的第三图像配准的第二深度图像。即电子设备可以通过第二图像实现第一图像与第三图像的配准，从而可以提高电子设备对图像配准的准确性。

本申请实施例提供一种图像配准方法，图1示出了本申请实施例提供的图像配准方法的流程图。如图1所示，本申请实施例提供的图像配准方法可以包括下述的步骤101至步骤103。下面以电子设备执行该方法为例对该方法进行示例性地说明。

步骤101、电子设备获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像。

本申请实施例中，第一图像、第二图像和第三图像为同一场景的图像。

可选地，本申请实施例中，第一图像、第二图像和第三图像可以为：第一摄像头、第二摄像头和第三摄像头在同一时间分别采集的同一场景的图像。

可选地，本申请实施例中，第一图像、第二图像和第三图像也可以为：第一摄像头、第二摄像头和第三摄像头在不同时间，以相同的内参和外参分别采集的同一固定场景(例如固定的拍摄对象)的图像。本申请实施例中，上述电子设备可以包括第一摄像头、第二摄像头以及第三摄像头。

可选地，本申请实施例中，第一摄像头可以包括ToF摄像头，第二摄像头可以包括结构固定的RGB摄像头，第三摄像头可以包括具有微云台的摄像头。

本申请实施例中，结构固定的摄像头是指：该摄像头的标定参数(即内参和/或外参)不会发生变化。

本申请实施例中，ToF摄像头为结构固定的摄像头，具有微云台的摄像头由于微云台的旋转会使摄像头随之旋转，即具有微云台的摄像头为结构不固定的摄像头。

可以理解，本申请实施例中，ToF摄像头采集的图像为深度图像，RGB摄像头采集的图像为RGB图像。

需要说明的是，本申请实施例中，上述实施例中是以ToF摄像头、结构固定的RGB摄像头和具有微云台的摄像头为例进行示意的；实际实现中，第一摄像头可以包括结构固定且能够采集深度图像的任意可能的摄像头，第二摄像头可以包括结构固定且能够采集彩色图像的任意可能的摄像头，第三摄像头可以包括结构不固定(即内参和/或外参会发生变化)的任意可能的摄像头，本申请实施例不作限定。

本申请实施例中，第二摄像头和第三摄像头为同源摄像头。其中，多个摄像头(例如2个摄像头)同源可以理解为：该多个摄像头的摄像头类型相同。

例如，当第二摄像头为RGB摄像头时，与第二摄像头同源的第三摄像头也为RGB摄像头。

可选地，本申请实施例中，第二摄像头和第三摄像头可以组成双目摄像头。

本申请实施例中，由于第一摄像头可以包括ToF摄像头，第二摄像头可以包括结构固定的RGB摄像头，第三摄像头可以包括具有微云台的摄像头，因此电子设备可以获取到第一摄像头采集的深度图像，及第二摄像头和第三摄像头分别采集的RGB图像，从而可以提高电子设备采集图像的多样性和灵活性。

步骤102、电子设备基于第一标定参数，对第一图像进行配准处理，得到与第二图像配准的第一深度图像。

本申请实施例中，第一标定参数，与第一摄像头和第二摄像头相关。

可选地，本申请实施例中，第一标定参数可以包括：第一摄像头的内参，第二摄像头的内参，以及第一摄像头与第二摄像头之间的外参。

可选地，本申请实施例中，第一摄像头的内参可以包括：第一摄像头的焦距、主点以及畸变参数。

可选地，本申请实施例中，第二摄像头的内参可以包括：第二摄像头的焦距、主点以及畸变参数。

可选地，本申请实施例中，第一摄像头与第二摄像头之间的外参可以包括：第一摄像头与第二摄像头在空间坐标系中的旋转、平移关系，例如，第一摄像头与第二摄像头在空间坐标系中的相对角度、相对位置。

本申请实施例中，由于第一标定参数可以包括第一摄像头的内参，第二摄像头的内参，以及第一摄像头与第二摄像头之间的外参，因此电子设备基于第一标定参数可以准确确定出第一摄像头和第二摄像头之间的参数(包括内参和外参)关系，从而基于第一标定参数可以准确地将第一摄像头采集的第一图像与第二摄像头采集的第二图像的进行配准。

本申请实施例中，与第二图像配准的第一深度图像可以为：与第二图像像素级对齐的第一深度图像，即第一深度图像与第二图像相对应的像素之间的位置信息的匹配度大于或等于匹配度阈值。如此可以实现第一图像与第二图像的配准。

可选地，本申请实施例中，上述步骤102具体可以通过下述的步骤102a至步骤102d实现。

步骤102a、电子设备基于第一标定参数，对第一图像进行深度图像校正，得到第一校正图像。

本申请实施例中，电子设备基于第一标定参数，对第一图像进行深度图像校正，得到第一校正图像可以理解为：电子设备基于第一摄像头的内参与第二摄像头的内参，确定出第一摄像头的内参和第二摄像头的内参之间的偏差；然后，电子设备可以根据该偏差，以及第一摄像头与第二摄像头之间的外参，对第一图像进行深度图像校正，以得到第一校正图像。

可选地，本申请实施例中，对第一图像进行深度图像校正可以为对第一图像进行立体校正。

步骤102b、电子设备获取第一校正图像中的像素点的视差信息。

本申请实施例中，电子设备可以基于第一校正图像中的像素点的深度信息，得到第一校正图像中的像素点的视差信息。

可选地，本申请实施例中，电子设备可以将第一校正图像中的像素点的深度信息转换为视差信息，以获取第一校正图像中的像素点的视差信息。

步骤102c、电子设备根据第一校正图像中的像素点的视差信息，对第一校正图像进行像素平移，得到第二校正图像。

可选地，本申请实施例中，电子设备可以根据上述视差信息，对第一校正图像中的像素点，按照该视差信息指示的平移量进行水平(x轴方向)或垂直(y轴方向)移动，以得到第二校正图像。

步骤102d、电子设备基于第一标定参数对第二校正图像进行反校正，得到第一深度图像。

本申请实施例中，电子设备对第二校正图像进行反校正具体为：电子设备对第二校正图像进行深度图像反校正。如此可以确保对第二校正图像进行反校正得到的第一深度图像与第一图像相匹配，例如第一深度图像与第一图像之间的位置偏差小于预设偏差范围。

进一步地，由于第一深度图像与第一图像相匹配，且第一图像和第二图像为采集的同一场景的图像，因此可以确保第一深度图像与第二图像的配准。

对于电子设备进行深度图像校正、获取视差信息、进行像素平移及反校正的方法，可以参照相关技术中的具体描述，为了避免重复，此处不再赘述。

本申请实施例中，由于电子设备可以基于第一标定参数，对第一图像相继进行深度图像校正、深度视差转换、像素平移及反校正，以得到与第二图像配准的第一深度图像，因此可以提高电子设备图像配准的效果。

步骤103、电子设备基于深度校正参数，对第一深度图像进行图像仿射变换，得到与第三图像配准的第二深度图像。

本申请实施例中，上述深度校正参数与第二摄像头和第三摄像头相关。

具体的，上述深度校正参数可以由电子设备基于与第二摄像头和第三摄像头相关的标定参数，以及第二摄像头和第三摄像头分别采集的图像确定。

对于电子设备确定上述深度校正参数的具体方法将在下述的实施例中进行详细说明，为了避免重复，此处不予赘述。

可选地，本申请实施例中，图像仿射变换可以包括以下至少一项：图像旋转、图像平移、图像缩放、图像错切或图像反转等，具体可以根据实际使用需求确定，本申请实施例不作限定。

可选地，本申请实施例中，与第三图像配准的第二深度图像可以为：与第三图像像素级对齐的第二深度图像，即第二深度图像与第三图像相对应的像素之间的位置信息的匹配度大于或等于上述匹配度阈值。如此可以实现第一图像与第三图像的配准。

本申请实施例中，由于电子设备是基于与第二摄像头和第三摄像头相关的深度校正参数，对与第二图像像素级对齐的第一深度图像进行图像仿射变换的，因此图像仿射变换后的第二深度图像可以与第三图像配准。

在本申请实施例提供的图像配准方法中，由于电子设备可以基于与第一摄像头和第二摄像头相关的标定参数，对第一摄像头采集的第一图像进行配准处理，得到与第二摄像头采集的第二图像配准的第一深度图像，并可以基于深度校正参数，对第一深度图像进行处理，得到与第三摄像头采集的第三图像配准的深度图像；即电子设备可以通过第二图像，间接实现第一图像与第三图像的配准，因此可以提高电子设备对图像配准的准确性。

可以理解，本申请实施例中，电子设备基于上述深度校正参数，对第一深度图像进行图像仿射变换，得到第二深度图像之前，可以先确定该深度校正参数。

下面对电子设备确定上述深度校正参数的方法进行详细说明。

可选地，本申请实施例中，在上述步骤103之前，本申请实施例提供的异源图像配准方法还可以包括下述的步骤104和步骤105。

步骤104、电子设备基于第二图像、第三图像、第一深度图像以及第二标定参数，对第二标定参数进行校正，得到目标标定参数。

本申请实施例中，第二标定参数，与第二摄像头和第三摄像头相关。

可选地，本申请实施例中，第二标定参数可以包括：第二摄像头的内参，第三摄像头的内参，以及第二摄像头与第三摄像头之间的外参。

可选地，本申请实施例中，第二摄像头的内参可以包括以下至少一项：第二摄像头的焦距、主点以及畸变参数。

可选地，本申请实施例中，第三摄像头的内参可以包括：第三摄像头的焦距、主点以及畸变参数。

可选地，本申请实施例中，第二摄像头与第三摄像头之间的外参可以包括：第二摄像头与第三摄像头在空间坐标系中的旋转、平移关系，例如，第二摄像头与第三摄像头在空间坐标系中的相对角度、相对位置。

本申请实施例中，由于第二标定参数可以包括：第二摄像头的内参，第三摄像头的内参，以及第二摄像头与第三摄像头之间的外参，因此当第三摄像头(例如具有微云台的摄像头)的内参和/或第三摄像头的外参发生变化时，第二标定参数也会随之发生变化；即第二标定参数是不固定的，使得电子设备在进行图像配准时无法直接使用第二标定参数。如此需要先对第二标定参数进行校准。

本申请实施例中，由于第二标定参数可以包括第二摄像头的内参，第三摄像头的内参，以及第二摄像头与第三摄像头之间的外参，因此电子设备基于第二标定参数可以准确确定出第二摄像头和第三摄像头之间的参数(包括内参和外参)关系，从而可以基于第二标定参数将第二摄像头采集的第二图像与第三摄像头采集的第三图像的进行配准。

下面对电子设备得到目标标定参数的具体方法进行详细说明。

可选地，本申请实施例中，上述步骤104具体可以通过下述的步骤104a和步骤104b实现。

步骤104a、电子设备确定第二图像与第三图像之间的N对匹配特征点。

其中，N为正整数。

可选地，本申请实施例中，图像的特征点可以为图像中的顶点、角点或中心点等任意具有突出特征的点，或者图像的特征点可以为图像中感兴趣的点。

可选地，本申请实施例中，电子设备在确定上述N对匹配特征点之前，可以采用尺度不变特征变换(Scale-Invariant Feature Transform，SIFT)方法、加速稳健特征(Speeded Up Robust Features,SURF)方法或定向快速旋转(Oriented FAST and RotatedBRIEF，ORB)方法等，分别对第二图像和第三图像提取特征点；并可以对第二图像的特征点与第三图像的特征点进行匹配，即依次计算特征点对的相似度，以确定第二图像与第三图像之间的M对特征点，M为大于或等于N的整数。然后，电子设备可以采用随机抽样一致性算法(Random Sample Consensu，RANSAC)对该M对特征点进行优选，从而可以确定高置信的上述N对匹配特征点。

步骤104b、电子设备基于第一深度图像的深度信息、第二标定参数以及N对匹配特征点的特征信息，通过目标算法，对第二标定参数进行校正，得到目标标定参数。

本申请实施例中，第二标定参数为：与第二摄像头和第三摄像头相关的初始标定参数(即第二摄像头的初始内参、第三摄像头的初始内参，以及第二摄像头与第三摄像头之间的初始外参)。

可选地，本申请实施例中，目标算法可以为利文贝格马奎特L-M算法，即电子设备可以通过L-M算法，对第二标定参数进行在线校正，得到与第二摄像头和第三摄像头相关的准确的标定参数，即目标标定参数。

可以理解，目标标定参数可以准确反映电子设备在通过第二摄像头和第三摄像头采集图像的过程中，第二摄像头与第三摄像头之间的参数关系。

对于L-M算法的具体描述，可以参照相关技术中的详细描述，为了避免重复，此处不再赘述。

本申请实施例中，由于电子设备可以基于第一深度图像的深度信息、第二标定参数以及第二图像与第三图像之间的N对匹配特征点，并通过L-M算法对第二标定参数进行校正，因此可以获取第二摄像头与第三摄像头之间准确的参数关系。从而电子设备可以基于校正后的第二标定参数可以准确地将第二摄像头采集的第二图像与第三摄像头采集的第三图像的进行配准，如此可以进一步提高电子设备对异源图像配准的准确性。

步骤105、电子设备基于目标标定参数，确定深度校正参数。

可选地，本申请实施例中，由于第一深度图像是与第二摄像头采集的第二图像配准的深度图像，且目标标定参数可以准确反映第二摄像头与第三摄像头之间的参数关系，因此电子设备可以基于该参数关系获取第一深度图像与第三摄像头采集的第三图像之间的像素偏差信息，从而电子设备可以根据该偏差信息确定上述深度校正参数。

进一步地，电子设备在确定上述深度校正参数之后，可以基于该深度校正参数，对第一深度图像进行图像仿射变换，从而可以得到与第三图像配准的第二深度图像。如此，电子设备可以实现第一图像与第三图像之间的准确配准。

本申请实施例中，由于电子设备可以对第二标定参数进行校正，并可以基于校正后的目标标定参数确定深度校正参数，因此可以提高电子设备确定深度校正参数的准确性，进而可以使电子设备在基于该深度校正参数对上述第一深度图像处理时，确保得到的与第三图像配准的第二深度图像的准确性。

本申请实施例提供的图像配准方法，执行主体可以为图像配准装置。本申请实施例中以图像配准装置执行图像配准方法为例，说明本申请实施例提供的图像配准装置。

结合图2，本申请实施例提供一种图像配准装置20，该图像配准装置20可以包括获取模块21和处理模块22。获取模块21，可以用于获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像。处理模块22，可以用于基于第一标定参数，对获取模块21获取的第一图像进行配准处理，得到与获取模块21获取的第二图像配准的第一深度图像；并基于深度校正参数，对处理得到的第一深度图像进行图像仿射变换，得到与获取模块21获取的第三图像配准的第二深度图像；其中，第一标定参数，与第一摄像头和第二摄像头相关。

一种可能的实现方式中，图像配准装置20还可以包括确定模块。处理模块22，还可以用于在基于深度校正参数，对第一深度图像进行图像仿射变换，得到与第三图像配准的第二深度图像之前，基于第二图像、第三图像、第一深度图像以及第二标定参数，对第二标定参数进行校正，得到目标标定参数。确定模块，可以用于基于处理模块22处理得到的目标标定参数，确定深度校正参数；其中，第二标定参数，与第二摄像头和第三摄像头相关。

一种可能的实现方式中，处理模块22可以包括确定子模块和第一校正子模块。确定子模块，可以用于确定第二图像与第三图像之间的N对匹配特征点，N为正整数。第一校正子模块，可以用于基于第一深度图像的深度信息、第二标定参数以及确定子模块确定的该N对匹配特征点的特征信息，通过目标算法，对第二标定参数进行校正，得到目标标定参数。

一种可能的实现方式中，处理模块22还可以包括第二校正子模块、获取子模块和处理子模块。第二校正子模块，可以用于基于第一标定参数，对第一图像进行深度图像校正，得到第一校正图像。获取子模块，可以用于获取第二校正子模块校正得到的第一校正图像中的像素点的视差信息。处理子模块，可以用于根据获取子模块获取的该视差信息，对第一校正图像进行像素平移，得到第二校正图像；并基于第一标定参数对处理得到的第二校正图像进行反校正，得到第一深度图像。

一种可能的实现方式中，第一摄像头可以包括ToF摄像头，第二摄像头可以包括结构固定的RGB摄像头，第三摄像头包括具有微云台的摄像头。

在本申请实施例提供的图像配准装置中，由于该图像配准装置可以基于与第一摄像头和第二摄像头相关的标定参数，对第一摄像头采集的第一图像进行配准处理，得到与第二摄像头采集的第二图像配准的第一深度图像，并可以基于深度校正参数，对第一深度图像进行处理，得到与第三摄像头采集的第三图像配准的深度图像；即该图像配准装置可以通过第二图像，间接实现第一图像与第三图像的配准，因此可以提高对图像配准的准确性。

本申请实施例中的图像配准装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像配准装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像配准装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。

如图3所示，本申请实施例还提供一种电子设备300，包括处理器301和存储器302，存储器302上存储有可在所述处理器301上运行的程序或指令，该程序或指令被处理器301执行时实现如上述图像配准方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图4为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1010，可以用于获取电子设备的第一摄像头采集的第一图像、第二摄像头采集的第二图像以及第三摄像头采集的第三图像；且基于第一标定参数，对获取的第一图像进行配准处理，得到与获取的第二图像配准的第一深度图像；并基于深度校正参数，对处理得到的第一深度图像进行图像仿射变换，得到与获取的第三图像配准的第二深度图像；其中，第一标定参数，与第一摄像头和第二摄像头相关。

一种可能的实现方式中，处理器1010，还可以用于在基于深度校正参数，对第一深度图像进行图像仿射变换，得到与第三图像配准的第二深度图像之前，基于第二图像、第三图像、第一深度图像以及第二标定参数，对第二标定参数进行校正，得到目标标定参数；并基于处理得到的目标标定参数，确定深度校正参数；其中，第二标定参数，与第二摄像头和第三摄像头相关。

一种可能的实现方式中，处理器1010，具体可以用于确定第二图像与第三图像之间的N对匹配特征点，N为正整数；并基于第一深度图像的深度信息、第二标定参数以及确定的该N对匹配特征点的特征信息，通过目标算法，对第二标定参数进行校正，得到目标标定参数。

一种可能的实现方式中，处理器1010，具体可以用于基于第一标定参数，对第一图像进行深度图像校正，得到第一校正图像；且获取校正得到的第一校正图像中的像素点的视差信息；且根据获取的该视差信息，对第一校正图像进行像素平移，得到第二校正图像；并基于第一标定参数对处理得到的第二校正图像进行反校正，得到第一深度图像。

一种可能的实现方式中，第一摄像头可以包括ToF摄像头，第二摄像头可以包括结构固定的RGB摄像头，第三摄像头可以包括具有微云台的摄像头。

在本申请实施例提供的电子设备中，由于电子设备可以基于与第一摄像头和第二摄像头相关的标定参数，对第一摄像头采集的第一图像进行配准处理，得到与第二摄像头采集的第二图像配准的第一深度图像，并可以基于深度校正参数，对第一深度图像进行处理，得到与第三摄像头采集的第三图像配准的深度图像；即电子设备可以通过第二图像，间接实现第一图像与第三图像的配准，因此可以提高电子设备对图像配准的准确性。

本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。

应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器1009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。

处理器1010可包括一个或多个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现如上述图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如上述图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。