图像处理方法和装置以及标定方法和装置

技术领域

本公开涉及图像处理技术领域，具体涉及一种图像处理方法和装置以及标定方法和装置。

背景技术

近年来，手机等终端设备的功能越来越全面，性能也越来越优越。拍照是终端设备的比较传统的功能，但其性能呈现了不断提升的态势，例如终端设备的相机可以拍摄人像图像、夜景图像和全景图像等。相关技术中，通过移动终端设备以扩大摄像头视场的方式来拍摄全景图像，这种拍摄方式的操作难度较大，且由于图像质量依赖于用户的操作，因此图像质量较差。

发明内容

为克服相关技术中存在的问题，本公开实施例提供一种图像处理方法和装置以及标定方法和装置，用以解决相关技术中的缺陷。

根据本公开实施例的第一方面，提供一种图像处理方法，应用于具有第一图像采集元件和第二图像采集元件的终端设备，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围部分重合，所述方法包括：

获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像，其中，所述第一图像和所述第二图像同时采集；

根据所述第一图像、所述第二图像以及所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵；

根据所述映射矩阵，将所述第一图像和所述第二图像进行合并，得到第三图像。

在一个实施例中，所述根据所述第一图像、所述第二图像以及所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵，包括：

提取所述第一图像的多个第一特征点，并提取所述第二图像的多个第二特征点；

将所述多个第一特征点和所述多个第二特征点进行匹配，得到所述第一图像和所述第二图像的匹配信息；

根据所述匹配信息、所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵。

在一个实施例中，还包括：

提取所述第一特征点对应的第一描述子，并提取所述第二特征点对应的第二描述子；

所述将所述多个第一特征点和所述多个第二特征点进行匹配，得到所述第一图像和所述第二图像的匹配信息，包括：

根据所述多个第一特征点对应的多个第一描述子，以及所述多个第一特征点对应的多个第一描述子，确定多个特征点对，其中，所述特征点对包括相互匹配的第一特征点和第二特征点。

在一个实施例中，还包括：

获取预先标定并存储的所述第一图像采集元件和所述第二图像采集元件的参数，其中，所述参数包括第一图像采集元件的焦距和/或光学中心、所述第二图像采集元件的焦距和/或光学中心、所述第一图像采集元件和所述第二图像采集元件的位置关系，所述位置关系包括旋转角和偏移量。

在一个实施例中，所述第一图像采集元件为前置图像采集元件，所述第二图像采集元件为后置图像采集元件，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围均大于180°。

在一个实施例中，还包括：

在所述同时获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像之后，对所述第一图像进行畸变矫正处理，以及对所述第二图像进行畸变矫正处理。

根据本公开实施例的第二方面，提供一种标定方法，应用于具有第一图像采集元件和第二图像采集元件的终端设备，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围部分重合，所述方法包括：

获取所述第一图像采集元件针对标定物所采集的第三图像，以及所述第二图像采集元件针对所述标定图像的镜像所采集的第四图像，其中，所述第三图像和所述第四图像同时采集，所述镜像为所述标定图像在反光镜内所成的像，所述标定物、所述终端设备和所述反光镜依次设置，所述第一图像采集元件朝向所述标定物，所述第二图像采集元件朝向所述反光镜，所述反光镜朝向所述终端设备；

根据所述标定物在世界坐标系内的坐标、所述标定图像的镜像在所述世界坐标系内的坐标、所述第三图像和所述第四图像，标定所述第一图像采集元件的焦距和/或光学中心、所述第二图像采集元件的焦距和/或光学中心以及所述第一图像采集元件和所述第二图像采集元件的位置关系，其中，所述位置关系包括旋转角和偏移量。

在一个实施例中，所述根据所述标定物在世界坐标系内的坐标、所述标定图像的镜像在所述世界坐标系内的坐标、所述第三图像和所述第四图像，标定所述第一图像采集元件的焦距和/或光学中心、所述第二图像采集元件的焦距和/或光学中心以及所述第一图像采集元件和所述第二图像采集元件的位置关系，包括：

根据所述标定物在所述世界坐标系内的坐标和所述第三图像，标定所述第一图像采集元件的焦距和/或光学中心，并标定所述第一图像采集元件和所述标定物的位置关系，其中，所述位置关系包括旋转角和偏移量；

根据所述标定物的镜像在所述世界坐标系内的坐标和所述第四图像，标定所述第二图像采集元件的焦距和/或光学中心，并标定所述第二图像采集元件和所述标定物的位置关系，其中，所述位置关系包括旋转角和偏移量；

根据所述第一图像采集元件和所述标定物的位置关系、所述第二图像采集元件和所述标定物的位置关系，以及所述标定物和所述标定物的镜像的位置关系，确定所述第一图像采集元件和所述第二图像采集元件的位置关系。

在一个实施例中，还包括：

获取所述标定物与所述终端设备之间的第一距离、所述终端设备与所述反光镜的之间的第二距离；

根据所述标定物在所述世界坐标系内的坐标、所述第一距离和所述第二距离，确定所述标定物的镜像在所述世界坐标系的坐标；和/或，根据所述第一距离和所述第二距离，确定所述标定物和所述标定物的镜像的位置关系。

在一个实施例中，所述标定物在所述世界坐标系内的坐标包括：所述标定物的多个标定点在所述世界坐标系内的坐标；

所述标定物的镜像在所述世界坐标系的坐标包括：所述标定物的镜像的多个标定点在所述世界坐标系内的坐标；

其中，所述标定物的镜像的多个标定点为所述标定物的多个标定点在所述反光镜内所成的像。

在一个实施例中，所述标定物、所述终端设备和所述反光镜相互平行；和/或，

所述标定物的镜像相对于所述标定物的遮挡率低于20％；和/或，

在所述第四图像中，所述标定物的遮挡区域距离图像中心的最大距离小于所述图像中心到图像边缘的最大距离的60％。

根据本公开实施例的第三方面，提供一种图像处理装置，应用于具有第一图像采集元件和第二图像采集元件的终端设备，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围部分重合，所述装置包括：

第一获取模块，用于获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像，其中，所述第一图像和所述第二图像同时采集；

矩阵模块，用于根据所述第一图像、所述第二图像以及所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵；

合并模块，用于根据所述映射矩阵，将所述第一图像和所述第二图像进行合并，得到第三图像。

在一个实施例中，所述矩阵模块具体用于：

提取所述第一图像的多个第一特征点，并提取所述第二图像的多个第二特征点；

将所述多个第一特征点和所述多个第二特征点进行匹配，得到所述第一图像和所述第二图像的匹配信息；

根据所述匹配信息、所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵。

在一个实施例中，所述矩阵模块还用于：

提取所述第一特征点对应的第一描述子，并提取所述第二特征点对应的第二描述子；

所述矩阵模块用于将所述多个第一特征点和所述多个第二特征点进行匹配，得到所述第一图像和所述第二图像的匹配信息时，具体用于：

根据所述多个第一特征点对应的多个第一描述子，以及所述多个第一特征点对应的多个第一描述子，确定多个特征点对，其中，所述特征点对包括相互匹配的第一特征点和第二特征点。

在一个实施例中，还包括第二获取模块，用于：

获取预先标定并存储的所述第一图像采集元件和所述第二图像采集元件的参数，其中，所述参数包括第一图像采集元件的焦距和/或光学中心、所述第二图像采集元件的焦距和/或光学中心、所述第一图像采集元件和所述第二图像采集元件的位置关系，所述位置关系包括旋转角和偏移量。

在一个实施例中，所述第一图像采集元件为前置图像采集元件，所述第二图像采集元件为后置图像采集元件，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围均大于180°。

在一个实施例中，还包括矫正模块，用于：

在所述同时获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像之后，对所述第一图像进行畸变矫正处理，以及对所述第二图像进行畸变矫正处理。

根据本公开实施例的第四方面，提供一种标定装置，应用于具有第一图像采集元件和第二图像采集元件的终端设备，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围部分重合，所述装置包括：

第三获取模块，用于获取所述第一图像采集元件针对标定物所采集的第三图像，以及所述第二图像采集元件针对所述标定图像的镜像所采集的第四图像，其中，所述第三图像和所述第四图像同时采集，所述镜像为所述标定图像在反光镜内所成的像，所述标定物、所述终端设备和所述反光镜依次设置，所述第一图像采集元件朝向所述标定物，所述第二图像采集元件朝向所述反光镜，所述反光镜朝向所述终端设备；

标定模块，用于根据所述标定物在世界坐标系内的坐标、所述标定图像的镜像在所述世界坐标系内的坐标、所述第三图像和所述第四图像，标定所述第一图像采集元件的焦距和/或光学中心、所述第二图像采集元件的焦距和/或光学中心以及所述第一图像采集元件和所述第二图像采集元件的位置关系，其中，所述位置关系包括旋转角和偏移量。

在一个实施例中，所述标定模块具体用于：

根据所述标定物在所述世界坐标系内的坐标和所述第三图像，标定所述第一图像采集元件的焦距和/或光学中心，并标定所述第一图像采集元件和所述标定物的位置关系，其中，所述位置关系包括旋转角和偏移量；

根据所述标定物的镜像在所述世界坐标系内的坐标和所述第四图像，标定所述第二图像采集元件的焦距和/或光学中心，并标定所述第二图像采集元件和所述标定物的位置关系，其中，所述位置关系包括旋转角和偏移量；

根据所述第一图像采集元件和所述标定物的位置关系、所述第二图像采集元件和所述标定物的位置关系，以及所述标定物和所述标定物的镜像的位置关系，确定所述第一图像采集元件和所述第二图像采集元件的位置关系。

在一个实施例中，还包括距离模块，用于：

获取所述标定物与所述终端设备之间的第一距离、所述终端设备与所述反光镜的之间的第二距离；

根据所述标定物在所述世界坐标系内的坐标、所述第一距离和所述第二距离，确定所述标定物的镜像在所述世界坐标系的坐标；和/或，根据所述第一距离和所述第二距离，确定所述标定物和所述标定物的镜像的位置关系。

在一个实施例中，所述标定物在所述世界坐标系内的坐标包括：所述标定物的多个标定点在所述世界坐标系内的坐标；

所述标定物的镜像在所述世界坐标系的坐标包括：所述标定物的镜像的多个标定点在所述世界坐标系内的坐标；

其中，所述标定物的镜像的多个标定点为所述标定物的多个标定点在所述反光镜内所成的像。

在一个实施例中，所述标定物、所述终端设备和所述反光镜相互平行；和/或，

所述标定物的镜像相对于所述标定物的遮挡率低于20％；和/或，

在所述第四图像中，所述标定物的遮挡区域距离图像中心的最大距离小于所述图像中心到图像边缘的最大距离的60％。

根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时基于第一方面所述的图像处理方法或基于第二方面所述的标定方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面或第二方面所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开通过同时获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像，并进一步根据所述第一图像、所述第二图像以及所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵，最后根据所述映射矩阵，将所述第一图像和所述第二图像进行合并，得到第三图像。由于映射矩阵是根据两个图像采集元件的参数确定的，因此利用映射矩阵能够将第一图像和第二图像合并为第三图像，即通过两个图像的拼接得到了全景图像，该方法完全有终端设备自动执行，不依赖于用户的操作，降低了操作难度，提高了全景图像的质量。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本公开一示例性实施例示出的图像处理方法的流程图；

图2是本公开一示例性实施例示出的两个摄像头的视场关系示意图；

图3是本公开一示例性实施例示出的确定映射矩阵的方式的流程图；

图4是本公开一示例性实施例示出的图像处理方法的过程示意图；

图5是本公开一示例性实施例示出的标注方法的流程图；

图6是本公开一示例性实施例示出的标定物、终端设备和反光镜的位置关系示意图；

图7是本公开一示例性实施例示出的标注方法的过程示意图；

图8是本公开一示例性实施例示出的图像处理装置的结构示意图；

图9是本公开一示例性实施例示出的标注装置的结构示意图；

图10是本公开一示例性实施例示出的电子设备框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

第一方面，本公开至少一个实施例提供了一种图像处理方法，请参照附图1，其示出了该方法的流程，包括步骤S101至步骤S103。

其中，该方法应用于具有第一图像采集元件和第二图像采集元件的终端设备，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围部分重合。可选的，第一图像采集元件为前置图像采集元件，所述第二图像采集元件为后置图像采集元件，由于前置图像采集元件的朝向和后置图像采集元件的朝向相反，因此所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围均大于180°，这样第一图像采集元件的采集范围和第二图像采集元件的采集范围存在部分重叠。例如，第一图像采集元件和第二图像采集元件可以为摄像头，即第一图像采集元件可以为前置摄像头，第二图像采集元件可以为后置摄像头。优选的，第一图像采集元件和第二图像采集元件可以为鱼眼摄像头。

在步骤S101中，获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像，其中，所述第一图像和所述第二图像同时采集。

本步骤中，两个图像采集元件分别针对各自的采集范围内的场景采集图像，由于两个图像采集元件同时采集图像，因此两个图像采集元件可以等效于一个采集范围较大的图像采集元件，而该等效的图像采集元件的采集范围为终端设备的两个图像采集元件的采集范围的并集。

同时采集第一图像和第二图像，则所采集的全部场景是同一时刻的，避免了移动终端设备采集全景图像时，采集的场景存在时间差的问题。而且两个图像采集元件同时采集图像，则第一图像采集元件采集第一图像时的位置、姿态等，与第二图像采集元件采集第二图像时的位置、姿态等的关系，与两个图像采集元件的固有关系完全一致，从而可以提高后续步骤中合并两个图像的质量。

由于第一图像采集元件和第二图像采集元件的采集范围部分重合，因此第一图像和第二图像存在相同场景对应的部分。例如第一图像采集元件为前置摄像头，第二图像采集元件为后置摄像头，且前置摄像头和后置摄像头均为鱼眼摄像头，则两个摄像头的视场(Field of view，FOV)存在如图2所示的部分重合，前置摄像头的视场中201中的2011部分与后置摄像头的视场202中的2021部分重合。

重合的部分内的场景同时出现在第一图像和第二图像中，即第一图像的左侧一定区域与第二图像的右侧一定区域对应相同的场景，第一图像的右侧一定区域与第二图像的左侧一定区域对应相同的场景。

在步骤S102中，根据所述第一图像、所述第二图像以及所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵。

其中，所述第一图像采集元件和所述第二图像采集元件的参数可以包括：第一图像采集元件的焦距和/或光学中心(即第一图像采集元件的内参)、所述第二图像采集元件的焦距和/或光学中心(即第二图像采集元件的内参)、所述第一图像采集元件和所述第二图像采集元件的位置关系，所述位置关系包括旋转角和偏移量。上述参数可以在终端设备出厂前进行标定，并将标定结果存储在终端设备内，因此可以在执行本步骤前，获取预先标定并存储的所述第一图像采集元件和所述第二图像采集元件的参数。

映射矩阵用于表征第一图像和第二图像的位姿关系。例如，映射矩阵可以为单应性矩阵。本步骤中确定映射矩阵时，既利用了两个图像的重合关系，也利用了两个图像采集元件的固有位姿关系，得出的映射矩阵较为准确可靠。

在步骤S103中，根据所述映射矩阵，将所述第一图像和所述第二图像进行合并，得到第三图像。

其中，第三图像由第一图像和第二图像合并得到，因此第三图像为全景图像，其对应的场景范围为两个图像采集元件的采集范围的并集。

本实施例通过同时获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像，并进一步根据所述第一图像、所述第二图像以及所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵，最后根据所述映射矩阵，将所述第一图像和所述第二图像进行合并，得到第三图像。由于映射矩阵是根据两个图像采集元件的参数确定的，因此利用映射矩阵能够将第一图像和第二图像合并为第三图像，即通过两个图像的拼接得到了全景图像，该方法完全有终端设备自动执行，不依赖于用户的操作，降低了操作难度，提高了全景图像的质量。

本公开的一些实施例中，可以按照如图3所示的方式根据所述第一图像、所述第二图像以及所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵，包括步骤S301至步骤哦S303。

在步骤S301中，提取所述第一图像的多个第一特征点，并提取所述第二图像的多个第二特征点。

本步骤中，可以采用预先训练的神经网络提取第一图像和第二图像的特征点，也可以采用其他方式提取第一图像和第二图像的特征，本公开对提取方式无意作出具体限制。

在步骤S302中，将所述多个第一特征点和所述多个第二特征点进行匹配，得到所述第一图像和所述第二图像的匹配信息。

其中，第一图像和第二图像的匹配信息，可以是多个第一特征点和多个第二特征点匹配得到的多个特征点对，其中每个特征点对包括相互匹配的一个第一特征点和一个第二特征点。

本步骤中，可以预先提取所述第一特征点对应的第一描述子，并提取所述第二特征点对应的第二描述子；然后根据所述多个第一特征点对应的多个第一描述子，以及所述多个第一特征点对应的多个第一描述子，确定多个特征点对。可选的，先为第一图像中的每个第一描述子在第二图像中寻找欧氏距离最近的第二描述子，然后再反过来，为第二图像中的每个第二描述子在第一图像中寻找欧氏距离最近的第一描述子，若第一图像中的某个第一描述子和第二图像中的某个第二描述子互为欧氏距离最近的描述子，则认为上述两个描述子匹配，进而确定上述两个描述子对应的第一特征点和第二特征点匹配，组成特征点对。

在步骤S303中，根据所述匹配信息、所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵。

本实施例中，通过提取特征点和描述子完成第一图像和第二图像的匹配，进而利用匹配信息和两个图像采集元件的参数确定映射矩阵。由于匹配信息可以表征两个图像的位姿关系，而两个图像采集元件的参数能够表征两个图像采集元件的位姿关系，因此从两个维度确定的映射矩阵较为准确可靠，据此合并得到的全景图像较为准确。

本公开的一些实施例中，在所述获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像之后，还可以对所述第一图像进行畸变矫正处理，以及对所述第二图像进行畸变矫正处理。由于图像采集元件的采集范围较大，因此针对其采集范围的边缘部分所采集的图像容易出现畸变，通过畸变处理能够避免图像中存在畸变的区域，从而提高了图像的精度。尤其是采集范围超过180°的鱼眼摄像头所采集的图像中，边缘部分的畸变通过矫正能够消除。

需要注意的是，上述实施例中各步骤应用的第一图像和第二图像，都可以是经过畸变矫正的图像。

请参照附图4，其示出了本公开一个实施例的过程示意图。首先，前置摄像头和后置摄像头分别采集图像，并分别对采集的图像进行畸变矫正，然后针对两个图像进行特征点检测与匹配，确定匹配信息，即分别对应两个图像的特征点集1和特征点集2，然后根据匹配信息和两个摄像头的内参以及两个摄像头的位置关系，进行映射计算，得到映射矩阵，最后利用映射矩阵拼接两个图像，得到全景图像。

第二方面，本公开至少一个实施例提供了一种标定方法，请参照附图5，其示出了该方法的流程，包括步骤S501至步骤S502。

其中，该方法可以应用于执行第一方面所述的图像处理方法的终端设备，或其他终端设备。即该方法可以应用于具有第一图像采集元件和第二图像采集元件的终端设备，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围部分重合。

在步骤S501中，获取所述第一图像采集元件针对标定物所采集的第三图像，同时获取所述第二图像采集元件针对所述标定图像的镜像所采集的第四图像。

其中，所述镜像为所述标定图像在反光镜内所成的像。请参照附图4，所述标定物、所述终端设备和所述反光镜依次设置，所述第一图像采集元件朝向所述标定物，所述第二图像采集元件朝向所述反光镜，所述反光镜朝向所述终端设备。所述标定物可以为标定图纸。

可选的，所述标定物、所述终端设备和所述反光镜相互平行；和/或，所述标定物的镜像相对于所述标定物的遮挡率低于20％；和/或，在所述第四图像中，所述标定物的遮挡区域距离图像中心的最大距离小于所述图像中心到图像边缘的最大距离的60％。

在步骤S502中，根据所述标定物在世界坐标系内的坐标、所述标定图像的镜像在所述世界坐标系内的坐标、所述第三图像和所述第四图像，标定所述第一图像采集元件的焦距和/或光学中心、所述第二图像采集元件的焦距和/或光学中心以及所述第一图像采集元件和所述第二图像采集元件的位置关系，其中，所述位置关系包括旋转角和偏移量。

其中，所述标定物在所述世界坐标系内的坐标包括：所述标定物的多个标定点在所述世界坐标系内的坐标；所述标定物的镜像在所述世界坐标系的坐标包括：所述标定物的镜像的多个标定点在所述世界坐标系内的坐标；其中，所述标定物的镜像的多个标定点为所述标定物的多个标定点在所述反光镜内所成的像。

请参照附图6，可以先获取所述标定物与所述终端设备之间的第一距离L1、所述终端设备与所述反光镜的之间的第二距离L2；再根据所述标定物在所述世界坐标系内的坐标、所述第一距离和所述第二距离，确定所述标定物的镜像在所述世界坐标系的坐标；和/或，根据所述第一距离和所述第二距离，确定所述标定物和所述标定物的镜像的位置关系。

确定标定物的镜像在所述世界坐标系的坐标时，可以根据镜像与标定物本体的左右相反的原则确定，例如标定物的某个标定点的坐标为(1,0,0)，则该标定点的镜像的坐标可以为(-1,0,0)。

确定标定物和所述标定物的镜像的位置关系时，可以利用第一距离L1和第二距离L2确定标定物与反光镜的第三距离L3，则终端设备与标定物的镜像的第四距离L4＝L2+L3。需要注意的是，确定L3时，可以直接利用L1、L2和终端设备的厚度求和得到。

本步骤中，可以先根据所述标定物在所述世界坐标系内的坐标和所述第三图像，标定所述第一图像采集元件的焦距和/或光学中心(即第一图像采集元件的内参)，并标定所述第一图像采集元件和所述标定物的位置关系(即第一图像采集元件的外参)，其中，所述位置关系包括旋转角和偏移量。可选的，标定时可以采用张正友标定法进行标定。

接下来，根据所述标定物的镜像在所述世界坐标系内的坐标和所述第四图像，标定所述第二图像采集元件的焦距和/或光学中心(即第二图像采集元件的内参)，并标定所述第二图像采集元件和所述标定物的位置关系(即第二图像采集元件的外参)，其中，所述位置关系包括旋转角和偏移量。可选的，标定时可以采用张正友标定法进行标定。

最后，根据所述第一图像采集元件和所述标定物的位置关系、所述第二图像采集元件和所述标定物的位置关系，以及所述标定物和所述标定物的镜像的位置关系，确定所述第一图像采集元件和所述第二图像采集元件的位置关系。

请参照附图7，其示出了具有前置摄像头和后置摄像头的终端设备的标定过程。已知P1(标定物)的世界坐标，根据镜像关系可以得到P2(标定物的镜像)的世界坐标，然后可以根据P1的世界坐标和前置摄像头拍摄的图像标定前置摄像头的内参和外参，根据P2的世界坐标和后置摄像头拍摄的图像标定后置摄像头的内参和外参，最后根据两个摄像头的外参确定两个两个摄像头的位置关系。

根据本公开实施例的第三方面，提供一种图像处理装置，应用于具有第一图像采集元件和第二图像采集元件的终端设备，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围部分重合，请参照附图8，所述装置包括：

第一获取模块801，用于获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像，其中，所述第一图像和所述第二图像同时采集；

矩阵模块802，用于根据所述第一图像、所述第二图像以及所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵；

合并模块803，用于根据所述映射矩阵，将所述第一图像和所述第二图像进行合并，得到第三图像。

在本公开的一些实施例中，所述矩阵模块具体用于：

提取所述第一图像的多个第一特征点，并提取所述第二图像的多个第二特征点；

将所述多个第一特征点和所述多个第二特征点进行匹配，得到所述第一图像和所述第二图像的匹配信息；

根据所述匹配信息、所述第一图像采集元件和所述第二图像采集元件的参数，确定映射矩阵。

在本公开的一些实施例中，所述矩阵模块还用于：

提取所述第一特征点对应的第一描述子，并提取所述第二特征点对应的第二描述子；

所述矩阵模块用于将所述多个第一特征点和所述多个第二特征点进行匹配，得到所述第一图像和所述第二图像的匹配信息时，具体用于：

根据所述多个第一特征点对应的多个第一描述子，以及所述多个第一特征点对应的多个第一描述子，确定多个特征点对，其中，所述特征点对包括相互匹配的第一特征点和第二特征点。

在本公开的一些实施例中，还包括第二获取模块，用于：

获取预先标定并存储的所述第一图像采集元件和所述第二图像采集元件的参数，其中，所述参数包括第一图像采集元件的焦距和/或光学中心、所述第二图像采集元件的焦距和/或光学中心、所述第一图像采集元件和所述第二图像采集元件的位置关系，所述位置关系包括旋转角和偏移量。

在本公开的一些实施例中，所述第一图像采集元件为前置图像采集元件，所述第二图像采集元件为后置图像采集元件，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围均大于180°。

在本公开的一些实施例中，还包括矫正模块，用于：

在所述同时获取所述第一图像采集元件采集的第一图像和所述第二图像采集元件采集的第二图像之后，对所述第一图像进行畸变矫正处理，以及对所述第二图像进行畸变矫正处理。

根据本公开实施例的第四方面，提供一种标定装置，应用于具有第一图像采集元件和第二图像采集元件的终端设备，所述第一图像采集元件的采集范围和所述第二图像采集元件的采集范围部分重合，请参照附图9，所述装置包括：

第三获取模块901，用于获取所述第一图像采集元件针对标定物所采集的第三图像，以及所述第二图像采集元件针对所述标定图像的镜像所采集的第四图像，其中，所述第三图像和所述第四图像同时采集，所述镜像为所述标定图像在反光镜内所成的像，所述标定物、所述终端设备和所述反光镜依次设置，所述第一图像采集元件朝向所述标定物，所述第二图像采集元件朝向所述反光镜，所述反光镜朝向所述终端设备；

标定模块902，用于根据所述标定物在世界坐标系内的坐标、所述标定图像的镜像在所述世界坐标系内的坐标、所述第三图像和所述第四图像，标定所述第一图像采集元件的焦距和/或光学中心、所述第二图像采集元件的焦距和/或光学中心以及所述第一图像采集元件和所述第二图像采集元件的位置关系，其中，所述位置关系包括旋转角和偏移量。

在本公开的一些实施例中，所述标定模块具体用于：

根据所述标定物在所述世界坐标系内的坐标和所述第三图像，标定所述第一图像采集元件的焦距和/或光学中心，并标定所述第一图像采集元件和所述标定物的位置关系，其中，所述位置关系包括旋转角和偏移量；

根据所述标定物的镜像在所述世界坐标系内的坐标和所述第四图像，标定所述第二图像采集元件的焦距和/或光学中心，并标定所述第二图像采集元件和所述标定物的位置关系，其中，所述位置关系包括旋转角和偏移量；

根据所述第一图像采集元件和所述标定物的位置关系、所述第二图像采集元件和所述标定物的位置关系，以及所述标定物和所述标定物的镜像的位置关系，确定所述第一图像采集元件和所述第二图像采集元件的位置关系。

在本公开的一些实施例中，还包括距离模块，用于：

获取所述标定物与所述终端设备之间的第一距离、所述终端设备与所述反光镜的之间的第二距离；

根据所述标定物在所述世界坐标系内的坐标、所述第一距离和所述第二距离，确定所述标定物的镜像在所述世界坐标系的坐标；和/或，根据所述第一距离和所述第二距离，确定所述标定物和所述标定物的镜像的位置关系。

在本公开的一些实施例中，所述标定物在所述世界坐标系内的坐标包括：所述标定物的多个标定点在所述世界坐标系内的坐标；

所述标定物的镜像在所述世界坐标系的坐标包括：所述标定物的镜像的多个标定点在所述世界坐标系内的坐标；

其中，所述标定物的镜像的多个标定点为所述标定物的多个标定点在所述反光镜内所成的像。

在本公开的一些实施例中，所述标定物、所述终端设备和所述反光镜相互平行；和/或，

所述标定物的镜像相对于所述标定物的遮挡率低于20％；和/或，

在所述第四图像中，所述标定物的遮挡区域距离图像中心的最大距离小于所述图像中心到图像边缘的最大距离的60％。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在第一方面有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开实施例的第三方面，请参照附图10，其示例性的示出了一种电子设备的框图。例如，装置1000可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图10，装置1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)的接口1012，传感器组件1014，以及通信组件1016。

处理组件1002通常控制装置1000的整体操作，诸如与显示，电话呼叫，电容通信，相机操作和记录操作相关联的操作。处理元件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理部件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。

存储器1004被配置为存储各种类型的电容以支持在设备1000的操作。这些电容的示例包括用于在装置1000上操作的任何应用程序或方法的指令，联系人电容，电话簿电容，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件1006为装置1000的各种组件提供电力。电力组件1006可以包括电源管理系统，一个或多个电源，及其他与为装置1000生成、管理和分配电力相关联的组件。

多媒体组件1008包括在所述装置1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置图像采集元件和/或后置图像采集元件。当装置1000处于操作模式，如拍摄模式或视频模式时，前置图像采集元件和/或后置图像采集元件可以接收外部的多媒体电容。每个前置图像采集元件和后置图像采集元件可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当装置1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。

I/O接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1014包括一个或多个传感器，用于为装置1000提供各个方面的状态评估。例如，传感器组件1014可以检测到装置1000的打开/关闭状态，组件的相对定位，例如所述组件为装置1000的显示器和小键盘，传感器组件1014还可以检测装置1000或装置1000一个组件的位置改变，用户与装置1000接触的存在或不存在，装置1000方位或加速/减速和装置1000的温度变化。传感器组件1014还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1016被配置为便于装置1000和其他设备之间有线或无线方式的通信。装置1000可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信部件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外电容协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述电子设备的供电方法。

第四方面，本公开在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由装置1000的处理器1020执行以完成上述电子设备的供电方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光电容存储设备等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。