一种基于低重叠区场景的视频拼接方法和装置

技术领域

本发明涉及数字图像处理的技术领域，具体涉及一种基于低重叠区场景的视频拼接方法和装置。

背景技术

视频/图像拼接算法通常包含由三个阶段组成的基本流程：在第一阶段，通过预先校准摄像机内外参，或通过计算每像素对应光流的或稀疏特征点匹配来估计基于像素的空间位置模型，来建立原始图像之间的对应关系。下一步，在图像之间执行估计变换和配准之后，通过选择图像平面(例如，第一图像平面或估计的中间平面)来确定投影平面，计算待配准的图像与投影平面的转换矩阵。最后，通过混合图像之间重叠区域中相同的对应像素并保留非重叠区域中的像素，将对齐的图像融合到一个投影平面上。

图像拼接已经研究了几十年，提出了许多方法。大多数图像拼接算法假设原始图像是由围绕其光学中心旋转的相机拍摄的，这为采用更简单的拼接方法提供了良好的条件(即很少或没有视差，和相机视场角具有足够大的重叠区域)，不满足这些假设会导致图像配准不准确、进一步错位和重影。

但是很多应用场景又存在了例如重叠区域小和视差的情况，不满足原始图像是由围绕其光学中心旋转的相机拍摄的假设。为了解决这些问题，已经引入了诸如多单应估计和对齐优化算法，但没有普适性的通用算法，仍需根据具体应用场景使用鲁棒有效的拼接算法。

发明内容

本发明提供一种基于低重叠区场景的视频拼接方法和装置。多相机全景视频拼接的应用场景，应用于在飞机显示系统中，扩展显现需要根据分布在飞机外部不同位置的图像传感器获得的广域外视景；或者在的头盔中进行扩展显示。

本发明第一方面提供一种基于低重叠区场景的视频拼接方法，包括如下步骤：

S1：确定待拼接的Num个视频；Num为大于2的正整数；

S2：采用拼接融合投影参数文件，对待拼接的Num个视频进行拼接，得到拼接视频；

其中，拼接融合投影参数文件包括：各视频的图像中的像素点的横纵坐标到球面投影的球面坐标映射关系表，以及各视频的图像中的重叠区的像素点的融合权重。

可选的，所述基于低重叠区场景的视频拼接方法还包括：

按照待拼接的Num个视频各自的增益系数，对拼接视频进行增益补偿。

可选的，拼接融合投影参数文件根据每个相机的镜头畸变参数、优化后的每个相机的H矩阵以及优化后的相机内外参得到；

优化后的每个相机的H矩阵是采用匹配特征点进行BA优化得到的；

优化后的相机内外参是根据优化后的H矩阵得到的；

匹配特征点是两个具有重叠区的视频中的任意一组图像间采用稠密特征点SIFT算法提取到的；

初始相机参数是通过对拍摄待拼接视频的相机内外参标定计算得到的。

可选的，相机的镜头畸变参数是通过对拍摄待拼接视频的相机内外参标定计算得到的。

本发明第二方面提供一种基于低重叠区场景的视频拼接装置，包括：

获取模块，用于确定待拼接的Num个视频；Num为大于2的正整数；

拼接模块，用于采用拼接融合投影参数文件，对待拼接的Num个视频进行拼接，得到拼接视频；

其中，拼接融合投影参数文件包括：各视频的图像中的像素点的横纵坐标到球面投影的球面坐标映射关系表，以及各视频的图像中的重叠区的像素点的融合权重。

可选的，基于低重叠区场景的视频拼接装置还包括：增益模块；

增益模块用于，按照待拼接的Num个视频各自的增益系数，对拼接视频进行增益补偿。

可选的，拼接融合投影参数文件根据每个相机的镜头畸变参数、优化后的每个相机的H矩阵以及优化后的相机内外参得到；

优化后的每个相机的H矩阵是采用匹配特征点进行BA优化得到的；

优化后的相机内外参是根据优化后的H矩阵得到的；

匹配特征点是两个具有重叠区的视频中的任意一组图像间采用稠密特征点SIFT算法提取到的；

初始相机参数是通过对拍摄待拼接视频的相机内外参标定计算得到的。

可选的，相机的镜头畸变参数是通过对拍摄待拼接视频的相机内外参标定计算得到的。

本发明与现有技术相比具有如下优点：

1、一种基于低重叠区场景的视频拼接算法解决了传统图像拼接采用的特征点匹配算法来获取画面之间单应矩阵，可能会因为匹配特征点数量过少而失败，从而无法进行拼接的问题；

2、本发明解决了传统图像拼接算法会处理重叠区过小会产生拼接拼缝过度不平滑、虚影等问题，扩展了图像拼接算法应用场景的适应性。

附图说明

为进一步说明本发明的技术内容，以下结合附图及实施案例对本发明详细说明如下，其中：

图1是本发明中的算法流程图框架；

图2是本发明中稠密特征点匹配示例；

图3是本发明中全局画面像素级优化效果；

图4是本发明中曝光补偿与画面融合效果。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动的前提下，所获得的所有其他实施例，都属于本发明保护的范围。

下面将详细描述本发明的各个方面的特征和示意性实施例。在下面的详细描述中，提出了许多具体细节，以便提供对本发明的全面理解。但是，对于本领域的技术人员来说很明显的是，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明的更好的理解。本发明决不限于下面所提出的任何具体设置和方法，而是在不脱离本发明的精神的前提下覆盖了结构、方法、器件的任何改进、替换和修改。在附图和下面的描述中，没有示出公知的结构和技术，以避免对本发明造成不必要的模糊。

需要说明的是，在不冲突的情况下，本发明实施例及实施例中的特征可以互相结合，各个实施例可以相互参考和引用。下面将参考附图并结合实施例来详细说明本发明。

下面结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。

飞机具有关于图像/视频拼接和目标识别的图像处理需求。机载座舱环境无法得到广域的外视景，为获得扩展的态势感知能力，扩展现实显现需要根据分布在飞机外部不同位置的图像传感器获得的广域外视景，在座舱显示系统中进行显示；或者在扩展现实显示的头盔中显示，并与扩展的目标图幅进行叠加,形成一个与飞行员头盔随动的全景式扩展现实显示透视系统，其本质上都需要一个良好的图像拼接技术，并且由于机载摄像头需要兼顾目标识别的功能，相机视场角不能做到太大，从而在机载图像/视频拼接需要解决相机视场角低重叠区的问题，才能较好的提供良好的拼接画面效果。

经典的图像/视频拼接通常假设相机围绕其光学中心旋转360度，和较大的重叠区域，这为采用更简单的拼接方法提供了良好的条件。本算法应用场景针对相机画面之间的重叠区很小的情况。由于画面重叠度小，传统图像拼接采用的特征点匹配来获取画面之间单应矩阵的方法可能会因为匹配特征点数量过少而失败，从而无法进行拼接；并且重叠区很小会导致拼接拼缝过度不平滑、虚影等问题。

为了解决低重叠区域特征匹配难的问题，我们对算法流程作出针对性的改进：首先需要计算确认多个画面之间的匹配关系，画面重合度小的困难，可以依靠相机标定来避免，拼接融合算法通过预先进行相机内外参标定，并使用预先标定参数进行拼接融合投影计算。可通过预先标定的参数进行计算，亦可通过临时导入参数进行计算，从而初步建立相机之间的关系。然后针对水平/垂直/任意方向位置的低重叠区采用稠密特征点SIFT算法进行特征点提取与匹配，从而可以实现全局画面局部点阵列像素级的优化调整，实现完整画面的统一拼接算法。

本发明的主要内容采用以下方案实现：

一种基于低重叠区场景的视频拼接算法，包括如下步骤：

步骤一：拼接融合算法通过预先进行相机内外参标定，初步建立相机之间的关系，使用预先标定参数进行拼接融合投影计算，并获取初步的H矩阵。

步骤二：针对水平/垂直/任意方向位置的低重叠区采用稠密特征点SIFT算法进行特征点提取与匹配；

步骤三：对模型全局上所有相机H矩阵的BA优化，全局画面局部点阵列像素级的优化调整；

步骤四：完成前端画面在全景相机模型中的球面或柱面的投影变换；

步骤五：根据计算出的优化相机内外参、镜头畸变参数、H矩阵等，生成拼接融合投影参数文件；

步骤六：根据光照条件预先计算相机画面的响应参数，在融合前对画面进行预处理，使得多个视角的画面像素统一到同一个光照模型。

传统图像/视频拼接算法上，包括相机标定、特征点提取(或光流法)、拼接映射表构建、拼接缝融合算法、算法优化等关键步骤，经过图像数据矫正、图像变换、数据融合等处理，最终形成全景图像输出显示。

本发明的应用场景由于存在下面特征，1：相机的安装位置决定了相机之间除了旋转关系，还有位移关系，大多数图像拼接算法假设原始图像是由围绕其光学中心旋转的相机拍摄的，这为采用更简单的拼接方法提供了良好的条件，不满足这些假设会导致图像配准不准确、形成错位和重影；2：相机画面之间的重叠区很小，这样导致传统特征点检测算法检测到的匹配特征点太少，从而无法准确计算图像之间的变换，从而导致配准错误。针对这两点困难，我们对算法流程作出针对性的改进：

1)前端相机之间关系的计算

一般情况下，当给定输入图像/视频帧后，首先需要计算确认多个画面之间的匹配关系。本应用场景中相机之间的空间关系是已知的，相机的内外参数可以预先标定，从而初步建立相机之间的关系。也就是在这个阶段，画面重合度小的困难，可以依靠相机标定来避免。

2)模型误差下的局部优化

拼接算法中的模型误差一般在重叠区的像素级关系下进行优化调整，本发明应用场景中相机之间的重叠区很小，给算法实现带来一定的困难。普通的稀疏特征点方法会因为特征点数量过少而失败，并不适用。这里仍然需要依靠相机空间关系的先验知识，在画面重叠区域计算稠密特征点，对特征点的选取应考虑视角差异下的特征稳定性。当提取出重叠区域的稠密特征后，可以在两个特征场之间计算出匹配关系，进而得到像素级的局部调整数据。

3)画面色差融合

由于画面重叠度小，可能存在过度不平滑的现象。需要构建相机响应函数的模型，根据光照条件预先计算相机画面的响应参数，在融合前对画面进行预处理，使得多个视角的画面像素统一到同一个光照模型。

本发明提供的基于低重叠区场景的视频拼接算法由离线拼接参数生成算法和在线拼接算法两大部分组成，如图1-4所示，离线拼接参数生成算法包括内外参数标定与生成、稠密特征点的提取、相机参数优化、图像仿射变换投影矩阵生成、拼接融合矩阵参数生成、画面色差融合；在线拼接算法包括参数接收、视频接收、实时视频仿射变换投影、视频拼接融合反投影输出、实时视频饱和度亮度调整。

第一步，相机内外参标定，一般采用张氏标定算法对相机进行标定，得到相机成像的内参数和畸变参数。该方法在定标过程中，利用已知物体上一些点的三维坐标和对应的图像点坐标，估计相机的内参。

算法流程：

1.将标定参照物贴到固定的平面上。

2.若干张标定参照物图像。

3.检测出标定参照物中的特征点，得到特征点的图像坐标。

4.确定特征点的世界物理坐标系坐标和图像坐标。

5.求出摄像机的内参数。

6.采用优化算法迭代循环，直至畸变系统误差缩小到一定精度。

当标定完图像内参数之后，根据相机的物理安装位置，计算出相机的外参。根据相机的内参和外参，计算出两两相机之间的H矩阵(初始H矩阵)。

第二步，通过稠密特征点SIFT算法进行特征点提取与匹配，其基本步骤如下：

1.尺度空间极值检测：通过对图像进行高斯滤波，获取不同尺度的图像金字塔，然后在不同的尺度空间上寻找局部极值点。这些极值点可以被视为图像的特征点。

2.关键点定位：通过对极值点的周围像素进行Hessian矩阵计算，得到关键点的位置和尺度。同时，通过阈值来排除低对比度的点和边缘响应的点。

3.方向分配：在关键点周围的邻域内，根据像素的梯度方向和梯度大小，计算出每个像素点的主方向，并对关键点进行方向分配。

4.特征描述：在关键点周围的邻域内，构建高斯加权的图像梯度方向直方图，并对直方图进行归一化，得到特征向量。

5.特征点匹配：通过计算不同图像中的特征点之间的距离，寻找相似的特征点，并进行匹配。

第三步，如果直接利用第一步两幅图像的单应性矩阵(初始H矩阵)进行多幅图像的拼接会造成误差的累积，因此本发明使用光束平差法(BA优化)进行联合优化，可以同时优化多个相机参数，从而得到更准确的图像位置。

光束平差法是一种基于最小二乘原理的优化方法。光束平差法假设相机成像的过程是从三维空间到二维图像的投影过程，通过在三维空间中构建一条光束，从而将相机坐标系和三维空间坐标系进行关联，基于相机参数构建特征点的重投影误差函数，然后，通过最小化特征点的重投影误差，来求解相机参数的最优解。

光束平差法常用的优化算法包括Levenberg-Marquardt算法、Gauss-Newton算法、LM-BFGS算法等。同时，由于光束平差法是一个非凸优化问题，存在多个局部最优解，因此需要采用合适的初始值和优化策略(初始值采用第一步标定获取的相机参数)，以避免陷入局部最优解。

因此，本发明采用第一步标定获取的相机参数作为初始值，可以避免陷入局部最优解。

第四步，如果直接进行拼接会破坏视场的一致性，使得拼接得到的全景图看起来不够连贯，因此需要通过投影变换将所有图像都投影在球面，柱面等。

本发明采用的投影方式是球面投影，将图像序列投影到以一点为坐标中心的球面上。人的眼睛在看东西时的原理就类似于球面投影，因此，以视点为中心的球面投影模型是最自然的投影模型。

球面投影的正向映射为：

球面投影的反向映射为：

其中，X、Y、Z为成像点世界坐标系坐标，s为尺度，u,v为映射后的图像二维坐标，R为外参矩阵，K为相机的内参数矩阵。

第五步，拼接融合投影参数的生成：根据计算出的优化相机内外参、镜头畸变参数、H矩阵等，生成将多路视频图像数据投影到球面模型的拼接融合投影参数文件，拼接融合投影参数文件主要包含X-map(X坐标映射表)、Y-map(Y坐标映射表)、融合权重等信息。

第六步，光照模型生成和曝光补偿：通过几何投影，图像之间可以做到很好的拼接，但如果不同图像之间有不同的曝光程度，那么拼接图像中的重叠部分也会出现明显的边缘，这样就使图像看起来十分不自然。因此，我们还需要对每幅图像进行曝光补偿，来使所有图像具有相同的曝光程度。

本发明采用增益补偿方法。增益补偿就是为每幅图像赋予一个增益系数，使重叠部分的图像强度相等或相似。它可以利用误差函数来实现：

式中，n为视频中的图像数量，图像i和图像j的取值范围是1至n的正整数，R(i,j)表示图像i和图像j的重叠部分,u

式中，R、G和B分别表示彩色图像的红、绿和蓝分量的强度值，N

很显然，当g＝0时，上式所表示的误差函数为零，也就是最优解，这明显不是我们想要的值；另外为了提高鲁棒性，增益补偿误差函数的经验公式为：

式中，N

e是增益系数g的一个二次目标函数，该函数可以通过使其导数为0得到闭合形式的解。上式对g

使该导数为0，并展开成以g

e对所有的g求导，这样就建立起了n个如上式一样的线性方程。求解该方程组，则最终得到了n幅图像的增益系数g，n个g组成拼接的光照模型。

以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。