一种基于特征筛选的室外场景图像拼接方法

技术领域

本发明属于图像处理领域，具体涉及一种基于特征筛选的室外场景图像拼接方法。

背景技术

随着社会的不断发展，在安防、自动驾驶、医疗成像等领域，对大视场图像的需求越发强烈，受限于现有的单个标准镜头无法获得大视场图像，而广角和超广角镜头会造成严重的图像畸变问题，图像拼接技术应运而生。图像拼接是指将同一场景下若干幅具有一定重叠区域的图像，通过一系列技术手段，拼合在一起，形成一幅包含全部场景的大视角图像。

室外场景下多视角拍摄的图像，常常视角变化大、图像重叠度小，造成同名点局部分布，现有拼接方法的结果常常出现图像匹配精度低、整体几何变形大、重叠区重影等问题，难以在实际中应用。

发明内容

发明目的：为了克服现有技术中存在的不足，提供一种基于特征点筛选的室外场景图像拼接方法，通过对特征点多次优化，并采用全局配准和局部配准相结合的策略，较好地解决了现有拼接方案在室外场景中配准精度降低等问题。

技术方案：为实现上述目的，本发明提供一种基于特征筛选的室外场景图像拼接方法，包括如下步骤：

S1：采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系；

S2：根据基于贝叶斯模型的特征点筛选算法得到精确的特征点集P1；

S3：根据特征点集P1，基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2；

S4：利用特征点集P2计算全局单应变换矩阵，进行全局配准；

S5：利用特征点集P1和基于网格的形变模型计算进行局部配准；

S6：利用相似变换模型与最佳拼接缝方法，消除图像重影和形变，实现图像拼接。

进一步地，所述步骤S2中特征点集P1的获取方法为：根据薄板样条函数的特性计算每一对匹配点的权重，再根据贝叶斯定理，去除误匹配点，筛选出精确的匹配点对。

进一步地，所述步骤S2中特征点集P1的具体获取过程为：

对于一对有重叠区域的待拼接图像I和J，图像I和J分别为参考图像和目标图像，记其中的一对匹配点为(p

其中，K＝(r

G＝(g

最终计算出各个特征点的权重(ω

根据贝叶斯定理，在|ω

根据3σ原则，取t＝3，则Φ(t)＝0.9987，当p

因此p

进一步地，所述步骤S3中特征点集P2的筛选方法为：计算每个特征点在y方向上与其他点的平均距离，并筛选出平均距离最大的点，同时保留部分平均距离较小的特征点，即密集区域的特征点，以保证模型的鲁棒性，并确定用于全局配准的特征点集。

所述步骤S3中在室外场景中，特征点的分布不均主要体现在y方向上的分布不均，而且特征点分布越稀疏的区域，它和其他特征点的平均距离越大，因此，仅计算每个特征点在y方向上与其他点的平均距离，并筛选出平均距离最大的点。同时保留部分平均距离较小的特征点，即密集区域的特征点，以保证模型的鲁棒性。通过这样的筛选策略，使得用于全局配准的特征点，密集与稀疏区域的特征点比例由原来的1:4变为1:1，提高了稀疏区域的特征点在计算全局配准模型中的权重，使得计算出的全局配准模型更侧重于特征点分布稀疏的配准。

进一步地，所述步骤S3中特征点集P2的筛选过程为：

A1：首先计算每个特征点在y方向上与其他点的平均距离；

将特征点集P1作为初始特征点集，L

其中，p

A2：将每个特征点的距离l

A3：在集合L

A4：利用映射关系，将集合L

这里的映射关系指每个特征点和特征点计算出的距离的映射关系。这个映射关系具体就是，集合P1中的每个点p

进一步地，所述步骤S4中进行全局配准是通过已知的点集P2中的所有匹配点，将其带入全局单应性近似模型，通过估计全局单应变换矩阵，使得所有匹配点的累积平方和误差最小。具体为：

利用特征点集P2中的匹配点(p,q)估计全局单应性模型，其中匹配点的横纵坐标分别表示为(x

首先将单应性近似模型q～Hp表达为如下公式：

将其展开得到两个线性方程为如下公式：

对该公式进行直接线性变化，将待估计的全局单应性矩阵转变为变量向量h＝(h

因而，得到如下公式：

ah＝0

通过累积平方和误差最小来评估求解h，公式如下：

其中，|·|表示L

表示所有a

利用SVD分解A矩阵，获得最小二乘解

进一步地，所述步骤S5是利用点集P1，构造用于最优形变的能量函数，并以网格的形式表现，通过将能量函数最小化，实现局部配准。具体为：

构造形变函数如下公式：

g(x,y)＝(g(x,y),h(x,y))

该公式表示图像I

J

其中，配准项J

将能量函数J

其中，

进一步地，所述步骤S6是通过将单应变换模型与相似变换模型结合，从重叠区域到非重叠区域缓慢地由单应变换模型过渡到相似变换模型，用于减少图像非重叠区域中的投影失真。具体为：

利用相似变换模型消除图像形变；

在获得精确的特征匹配{p

式中，

H

其中，H

利用最佳拼接缝消除图像重影：

通过配准的源图像I'和目标图像J得到重叠区域Ω(ΔI')和Ω(ΔJ)；

寻求最佳缝合线，使得拼接缝左边取左图信息，右边取右图信息，消除图像重影，最佳拼接缝的选取要求拼接缝两边的色彩差异尽可能小和拼接缝两边邻近像素尽可能相似；最佳拼接缝的寻找遵循两个原则：(a)拼接线两边的色彩差异尽可能小；(b)拼接线两边邻近像素尽可能相似；

对于(a)，对扭曲后的图像对之间做RGB分量差分，标准化后得到差异矩阵E

其中，Ω(ΔI')和Ω(ΔJ)分别表示在扭曲后的图像重叠区域的RGB分量向量[r

对于(b)，用局部相似性，即用梯度差异矩阵来进行量化，将扭曲后的图像转换到梯度域，并对其做差分，得到差异矩阵E

E

通过结合差异矩阵E

E

将图像中的每一个像素视作结点，而能量值作为权重，最终得到一条能量最小的最佳拼接缝。

进一步地，所述步骤S3中采用欧式距离为度量进行特征筛选。

有益效果：本发明与现有技术相比，针对室外场景图像的特征分布特点，通过对图像特征的有效筛选和基于网格的形变模型，提高了图像的配准精度，取得了精确，自然的拼接效果，解决了现有拼接方案在室外场景中配准精度降低、整体几何变形大、重叠区重影等问题，使得室外场景图像的拼接效果得到明显提升，具备很好的应用前景。

附图说明

图1为本发明方法的流程图；

图2为基于贝叶斯模型的特征点筛选算法得到精确的特征点集P1示意图；

图3为基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2示意图；

图4为本发明中经过图像配准后的结果图；

图5为利用相似变换模型后得到的拼接结果图；

图6为利用最佳拼接缝方法后得到的拼接结果图；

图7为利用现有方法得到的拼接结果图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明提供一种基于特征筛选的室外场景图像拼接方法，包括如下步骤：

S1：采用SIFT特征点提取算法提取参考图像和目标图像的特征点并利用RANSAC算法获得特征点的对应关系；

S2：基于贝叶斯模型的特征点筛选算法得到精确的特征点集P1。

获取的特征点集P1如图2所示，其具体的过程为：

对于一对有重叠区域的待拼接图像I和J，记其中的一对匹配点为(p

其中，K＝(r

G＝(g

最终计算出各个特征点的权重(ω

根据贝叶斯定理(Bayes’Rule)，在|ω

根据3σ原则，取t＝3，则Φ(t)＝0.9987，当p

因此p

在实际操作中，由于正确匹配点所对应的权重分布σ

S3：根据基于距离的特征筛选方法筛选出用于全局单应计算的特征点集P2。

获取的特征点集P2如图3所示，其具体的过程为：

经过贝叶斯模型筛选出来的特征点集表示为P1，基于空间分布的特征点筛选策略如下：

(1)首先计算每个特征点在y方向上与其他点的平均距离。初始特征点集为P1，表示经过贝叶斯模筛选出来的特征点集，L

其中，p

(2)将每个特征点的距离l

(3)在集合L

(4)利用映射关系，将集合L

这里的映射关系指每个特征点和特征点计算出的距离的映射关系。这个映射关系具体就是，集合P1中的每个点p

由于在室外场景中，特征点的分布不均主要体现在y方向上的分布不均，而且特征点分布越稀疏的区域，它和其他特征点的平均距离越大，因此，仅计算每个特征点在y 方向上与其他点的平均距离，并筛选出平均距离最大的点。同时保留部分平均距离较小的特征点，即密集区域的特征点，以保证模型的鲁棒性。通过这样的筛选策略，使得用于全局配准的特征点，密集与稀疏区域的特征点比例由原来的1:4变为1:1,提高了稀疏区域的特征点在计算全局配准模型中的权重，使得计算出的全局配准模型更侧重于特征点分布稀疏的配准。需要注意的是特征点集P2只在计算全局单应时使用，为了保证特征点的数量和准确性，计算局部配准时还是使用特征点集P1。

S4：利用特征点集P2计算全局单应变换矩阵，进行全局配准。

利用特征点集P2中的匹配点(p,q)估计全局单应性模型。其中匹配点的横纵坐标分别表示为(x

首先将单应性近似模型q～Hp详细地表达为如下公式：

将其展开可得到两个线性方程为如下公式：

对该公式进行直接线性变化，将待估计的全局单应性矩阵转变为变量向量 h＝(h

因而，可以得到如下公式：

ah＝0

在待配准图像中通常有多对匹配点，实际上在求解h时，通常是通过累积平方和误差最小来评估，公式如下：

此处，该公式是一个超定方程的最小二乘解(当n＞4时)，其利用|h|

其中，组合矩阵A表示所有a

本实施例中利用SVD分解A矩阵，获得最小二乘解

S5：利用点集P1和基于网格的形变模型计算进行局部配准。

构造形变函数如下公式：

g(x,y)＝(g(x,y),h(x,y))

该公式表示图像I

J

其中配准项J

将能量函数J

其中，

本实施例中经过步骤S4的全局配准和步骤S5的局部配准后，获得如图4所示的配准结果图。

S6：利用相似变换模型与最佳拼接缝方法，消除图像重影和形变，实现图像拼接。

1、利用相似变换模型消除图像形变。

获得如图5所示的拼接结果图，其具体的获取过程为：

在获得精确的特征匹配{p

式中

H

其中，H

2、利用最佳拼接缝消除图像重影。

获得如图6所示的拼接结果图，其具体的获取过程为：

通过配准的源图像I'和目标图像J得到重叠区域Ω(ΔI')和Ω(ΔJ)。

寻求最佳缝合线，使得拼接缝左边取左图信息，右边取右图信息。最佳拼接缝的寻找遵循两个原则：(a)拼接线两边的色彩差异尽可能小；(b)拼接线两边邻近像素尽可能相似。

对于(a)，对扭曲后的图像对之间做RGB分量差分，标准化后得到差异矩阵E

其中，Ω(ΔI')和Ω(ΔJ)分别表示在扭曲后的图像重叠区域的RGB分量向量[r

对于(b)，用局部相似性，即用梯度差异矩阵来进行量化，将扭曲后的图像转换到梯度域，并对其做差分，得到差异矩阵E

E

这些准则可以通过结合两个差异矩阵得到能量矩阵E

E

将图像中的每一个像素视作结点，而能量值作为权重，最终可以得到一条能量最小的最佳拼接缝。本实施例中ω

本实施例中为了更加直观体现本发明方法的效果，利用现有的拼接方法获取到如图 7所示的拼接图，对比图6和图7可见，图7的配准精度较低，关键是具有重叠区重影的问题，而图6的配准精度高，没有重叠区重影的问题，所以很好的验证了本发明方法的有效性。