全景成像设备和方法

技术领域

本申请涉及一种全景成像设备和方法，具有改进的图像拼接性能。

背景技术

近些年来，全景成像(照相、摄像)设备越来越受欢迎。不论是个人照相和摄影，还是在机器人、3D打印、计算机视觉、虚拟现实、场所监控等领域，全景成像技术得到了快速发展。

全景成像涉及多个图像之间的拼接。为了提高拼接精度，各种图像拼接技术被提出。很多图像拼接技术中涉及单应矩阵的精度问题。单应矩阵中包含成像装置内部参数和外部参数(包括旋转参数和平移参数)。内部参数可以以内参矩阵K表示，旋转参数和平移参数可以分别以旋转矩阵R和平移向量t表示。大多数情况下，内部参数可以预先标定，并且在长期使用中是非常稳定的。现有图像拼接技术，存在这样一种采用单应矩阵进行优化的方案，其中，排除了内部参数因素，并且假定单成像装置仅存在旋转运动或者多成像装置围绕完美的中心点定位，因此只对旋转参数进行优化，由此得到拼接图像。这种方案的优点在于，未计入平移因素，计算量不会过大，但是图像拼接精度有限。

发明内容

本申请的一个目的是提供一种用于全景成像中的改进的图像拼接方案。

根据本申请的一个方面，提供了一种全景成像设备，其包括：成像元件，配置成拍摄多幅图像；以及控制单元，配置成：从相邻图像提取图像中邻接部位的特征点；匹配相邻图像中体现被拍摄对象上相同部位的对应特征点；以所有图像中的全部提取特征点的坐标为采样数据，以计入各图像对应的成像装置内部参数矩阵和各图像之间本质矩阵的全局优化用损失函数为优化目标，以非线性方式优化所述损失函数中涉及的全部旋转变换参数和平移变换参数；利用优化的旋转变换参数和平移变换参数修正各修正图像；将各修正图像映射到全景并拼接成全景图像。

根据本申请的一个方面，提供了一种全景成像方法，其包括：从相邻图像提取图像中邻接部位的特征点；匹配相邻图像中体现被拍摄对象上相同部位的对应特征点；以所有图像中的全部提取特征点的坐标为采样数据，以计入各图像对应的成像装置内部参数矩阵和各图像之间本质矩阵的全局优化用损失函数为优化目标，以非线性方式优化损失函数中涉及的全部旋转变换参数和平移变换参数；利用优化的旋转变换参数和平移变换参数修正各修正图像；将各修正图像映射到全景并拼接成全景图像。

本申请的全景成像方法可以由本申请的全景成像设备或其控制单元实施，并且本申请中参照全景成像设备及其控制单元描述的种种特征也适用于本申请的全景成像方法。

根据本申请，通过简单的算法，以全局损失为优化目标，同时优化了与图像拼接相关的全部旋转参数和平移参数，实现了旋转和平移共6维(3维旋转+3维平移)参数的全局优化，能够以较小的计算量实现图像拼接精度的显著提高。

附图说明

本申请的前述和其它方面将通过下面参照附图所做的详细介绍而被更完整地理解和了解，其中：

图1是根据本申请的一种可行实施方式的全景成像方法的流程图；

图2是本申请的优化方法中涉及的图像上的点的示意图。

具体实施方式

本申请总体上涉及一种用于全景成像中的图像拼接方案。本申请的全景成像设备可以包括能够绕一轴线旋转360°的单成像(照相、摄像)装置，也可以是在360°范围围绕一轴线或中心点分布的多个成像(照相、摄像)装置。不论是何种形式的全景成像设备，都能拍摄多幅图像，这些图像是在一维或二维方向上连续的，并且能够通过拼接技术融合成整幅的全景图像。本申请的全景成像设备还包括控制单元，用于控制成像装置的拍摄操作以及对成像装置拍摄的图像的处理。

参看图1，本申请的控制单元执行的图像处理方案主要包括下述步骤：

S1.从相邻的拍摄图像提取图像中邻接部位的特征点；

S2.匹配相邻的拍摄图像中体现被拍摄对象上相同部位的对应特征点；

S3.利用计入各图像对应的成像装置内部参数矩阵和各图像之间本质矩阵的全局优化用损失函数，以非线性方式优化位姿变换矩阵参数，修正图像；

S4.将多幅修正图像映射到全景并将各修正图像拼接成全景图像。

关于步骤S1，提取邻接部位的角部特征，是指提取相邻图像之间边界部位附近的特征，尤其包括角部特征。

关于步骤S2，匹配相邻的拍摄图像中体现被拍摄对象上相同部位的相对应特征，可以通过提取特征及其相邻区域中各像素点的位置关系、亮度、颜色等确定两幅图像中的两个特征为相对应特征，即体现的是被拍摄对象上的相同部位。

关于步骤S3，下文中将详细描述。

关于步骤S4，可以是将一维排列的多幅修正图像映射到一维全景图像上，以形成一维的全景图像，也可以是将球面排列的多幅修正图像映射到二维全景图像上，以形成球面成像的二维全景图像，例如360°×180°全景图像。

下面详细介绍步骤S3中的位姿变换矩阵参数问题。

本申请提出，根据相邻的拍摄图像中提取的相对应特征以及对极几何原理，确定相邻拍摄图像间的位姿变换矩阵(例如单应矩阵)，然后以非线性方式优化位姿变换矩阵中的旋转和平移参数。

例如，对于摄像装置的图像坐标系与被拍摄对象的世界坐标系之间的位置关系，可以用单应矩阵表示：

X

其中X为成像装置的图像坐标系中的像素坐标(二维)，Xw为拍摄对象上的点的世界坐标系坐标(三维)，H为单应矩阵。单应矩阵H中包含像装置内部参数(简称内参)和外部参数(简称外参，包括旋转参数和平移参数)。

另一方面，对于包含同一被拍摄对象的两幅拍摄图像(同一成像装置在不同的转动位置拍摄，或是由布置在不同位置的两个成像装置拍摄)，根据对极几何原理，两幅图像上有关同一被拍摄点的像素坐标之间的关系可以用基础矩阵表示：

X

其中，X

F＝H

其中H

E＝t

其中t

本申请提出，基于两幅图像中多个对应点利用本质矩阵E以及成像装置内参矩阵进行全局优化以得到更精确的两幅图像之间的旋转参数和平移参数。具体算法如下所述。

首先建立全局优化用损失函数Loss。损失函数可以用来预测两幅待拼接图像的像素间损失。对损失函数进行优化，旨在优化两个图像之间的差异，采用损失函数，可以在图像拼接处理中降低匹配难度，提高拼接精度。本申请中构建全局优化用损失函数Loss，用以优化全景图像拼接精度。

本申请如下定义全局优化用损失函数Loss：

其中，L

L

其中，N为全部图像的数量，M为全部N个图像中选取的全部特征点数量，i、j表示相邻的成对图像。

参看图2，x

K

E

[t

R

需要指出，关于旋转矩阵R

本申请对体现全局损失的损失函数Loss进行优化，得到优化后的各图像之间的位姿变换矩阵中的各项系数，即旋转和平移变换参数。

可以采用各种优化算法，实现损失函数Loss的优化。优选采用二维优化算法，以节约计算量。作为一种计算量较小的算法，本申请的一种实施方式中采用最小二乘法。

本申请对损失函数Loss的优化是全局优化，即所有图像中的可用特征点(相邻图像中体现被拍摄对象的相同特征的对应特征点)的坐标(u,v)都作为采样数据用在优化程序中。对于N幅图像，全部图像间损失因子可用构成一个损失因子矩阵。在最小二乘法进行优化的程序中，采用矩阵的形式较为方便。

假定该损失因子矩阵的行表示各损失因子，列表示不同图像的组合，那么该损失因子矩阵的每行中包含N×6(即r

对于某一张图像，其上选取的特征点仅与相邻图像上的对于特征点相关。例如，对于沿一维方向拼接的图像，某幅图像仅与其左右两幅相邻图像存在对应的特征点。对于沿二维方向拼接的图像，某张图像仅与其上、下、左、右、上左、上右、下左、下右8幅图像(也可能是不足8幅)存在对应的特征点。对于不存在对应关系的图像上特征点，其组合对应的r

通过对体现全局损失的损失函数Loss进行优化的到期最小值，可以确定对应于不同图像的成像装置内参矩阵和不同图像之间的单应矩阵中的各个系数的优化值，也能得到对应于不同图像的成像装置外参矩阵中的各个系数的优化值。

通过上述方式优化后的各个旋转和平移参数被用于对各幅图像对应的成像装置的位姿进行修正，以及用于对各幅图像的修正，尤其是拼接部位的修正，修正后的各幅图像被映射到全景图像中，拼接成全景图像，这样可以获得更精确的拼接质量。

需要指出，计入各图像对应的成像装置内参矩阵和各图像之间本质矩阵的其它全局优化用损失函数也可以在此使用。

还需要指出，在优化过程中，需要先确定估算的成像装置内参，作为优化算法的初始值。

根据一种实施方式，成像装置内参初值可以通过对全景成像设备进行系统标定获得，即单一成像装置在各旋转位置、或是各成像装置在其取像位置的内参是已知的。根据另一种实施方式，可以通过外方位元素标定方法生成成像装置内参，即利用每幅图像上的不同特征点的位置信息通过单应矩阵的关系反推成像装置内参初值。

在确定了估算的成像装置内参后，通过上述优化过程，各图像对应的成像装置内参和外参矩阵中的各个系数，以及图像之间的旋转和平移变换矩阵中的各个系数，都确定出优化值。

本申请还涉及全景成像方法，其中包含前面针对全景成像设备描述的全局优化步骤以及后续的成像装置位姿修正、图像修正、图像拼接等步骤。前面参照全景成像设备及其控制单元描述的种种特征也适用于本申请的全景成像方法中，这里不再重复叙述。

根据本申请，以计入各图像对应的成像装置内参矩阵和各图像之间本质矩阵的全局优化用损失函数为优化目标，图像拼接中涉及的有关图像之间以及成像装置的各个旋转和平移参数都被优化，同仅优化单应矩阵的方案相比，能够获得更高的图像拼接精度。

需要指出，本申请采用计入内参矩阵和本质矩阵的全局优化用损失函数进行优化，不同于采用单应矩阵进行优化的方案。具体而言，对于单应矩阵而言，取得两图像之间的单应通常是成像之间的单应，摄取的点都在同一成像平面上，在成像装置具有平移时，同一点的深度信息会发生变化，即成像平面参数信息会改变，此时若使用单应矩阵计算对应点会产生误差，拼接精度不高，原因之一是单应矩阵缺少深度信息，原因之二是成像装置之间除旋转外还有平移。所以单应矩阵的应用场合最好是所有的特征点都位于同一个成像平面上，或者成像装置只旋转不平移。

为了表达三维点在两个图像平面上的对应关系，需要引入包含平面参数信息的基础矩阵。然而，如果基于基础矩阵构建全局优化用损失函数，则涉及的参数过多，计算量过大。对于本申请来说，提取了内参矩阵和本质矩阵构建全局优化用损失函数，解决了利用单应矩阵进行优化存在的拼接精度不高的问题，同时又限制了损失函数中涉及的变量数目，能够以较小的计算量实现全局优化。

虽然这里参考具体的实施方式描述了本申请，但是本申请的范围并不局限于所示的细节。在不偏离本申请的基本原理的情况下，可针对这些细节做出各种修改。