一种多机协同约束下高精度图像拼接方法

技术领域

本发明涉及图像数据处理技术领域，尤其涉及一种多机协同约束下高精度图像拼接方法。

背景技术

图像拼接是将同一场景中存在重叠区域的多张图像组合成一幅宽视野、高分辨率完整图像的过程。目前常用的图像配准方法包括基于图像灰度、基于变换域和基于特征的方法。其中基于特征的匹配方法应用较为广泛,包括基本的HOG(Histogram of OrientedGradients，方向梯度直方图)特征、SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)算法、SURF(Speeded Up Robust Features，加速鲁棒性特征)算法及ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述算法)等改进算法。而HOG特征对图像几何和光学形变具有不变性、鲁棒性强,但实时性差、对噪点敏感，且对于遮挡问题处理比较困难；SIFT算法鲁棒性强、可靠性高，但计算量大，不能满足拼接实时性需求；SURF算法匹配速度快、运行效率高,但在尺度不变性、旋转不变性等性能上表现不够理想；ORB算法计算速度快，其运行时间远远优于SIFT和SURF，实时性性能良好，且对于噪声及其透视变换具有不变性。并且专利CN105869120A中公开了一种图像拼接的实时性优化方法，其通过锁定重叠区域以减少特征点的搜索范围，提升拼接速度，该方法注重拼接的高实时性，但拼接质量不高。专利CN108921780A公开了一种无人机航拍序列图像快速拼接方法，该方法稳定性好且冗余信息低，但图像细节信息易丢失，不利于生成高精度拼接结果图。

由于相机视角有限且环境复杂，难以实时获取高分辨率、综合性广域结果图，而利用多架无人机搭载多模传感器协同巡视任务区域能大幅提高巡视效率，但使用无人机巡视时仍存在两个问题：一是多机之间的信息共享及通信问题，实现复杂大量数据在极短时间内完成传输，避免信息不同步；二是多机拍摄图像的后处理问题，多机获取的图像信息本身是分离的，且各无人机飞行高度、相对位置和姿态的不同，导致各传感器采集到的航拍图像尺度和视角均不相同。目前，无人机航拍图像拼接方法对于同一平面图像的拼接效果较理想，但多机协同拍摄时常出现多个尺度多个视角图像相互交叉、重叠等情况，且现有算法无法同时满足高实时性和高精度要求。

为了解决该问题，如何合理利用多机协同策略，实现多尺度多视角航拍图像的拼接成为目前亟待解决的问题。

发明内容

针对上述存在的问题，本发明提供一种多机协同约束下高精度图像拼接方法，能够解决多无人机协同巡视过程中数据量大且类型复杂,导致拼接效率低、质量差的问题。

本发明的核心思路为：

首先从多机协同控制角度出发，实时采集航拍图像，选定先各无人机机间拼接、后单机序列帧间拼接的快速拼接方案；再利用ORB特征提取算法，充分考虑多机拍摄条件下，不同尺度、不同视角图像变换关系的区别，构建自适应单应性矩阵完成图像的高精度配准与拼接；最后利用加权平滑算法实现重叠图的平滑过渡，解决拼接得到的大视场图像存在断裂、接缝明显等视觉效果问题，从而提升图像拼接质量。

实现本发明目的的技术解决方案为：

一种多机协同约束下高精度图像拼接方法，其特征在于，包括以下步骤：

步骤1：通过多传感器实时采集地面图像并结合多无人机之间的位置、姿态、角度信息，构建多机协同实时图成像模型，从而确定实际成像区域；

步骤2：采用ORB方法提取实际成像区域中的原始图像的特征点集，先进行图像粗匹配，再通过随机采样一致性算法对粗匹配结果进行提纯，剔除误匹配点；

步骤3：构建自适应单应性矩阵将提纯处理后的图像映射至同一坐标系下进行初步拼接，然后对各序列图像进行时序修正，而后采用加权平滑算法进行色彩校正；

步骤4：完成图像拼接后输出结果图像。

进一步地，步骤1的具体操作步骤包括：

步骤11：对采集到的地面图像数据进行解算处理得到无人机运动参数，实现机体的飞行控制；

步骤12：利用多无人机上搭载的惯性导航单元、GPS和气压计来获取无人机姿态角：俯仰角θ、横滚角φ、偏航角

步骤13：分别建立地面坐标系、机体坐标系、摄像机坐标系和图像坐标系；

步骤14：结合无人机姿态角建立机体坐标系与地面坐标系之间的坐标变换关系p

进一步地，步骤2的具体操作步骤包括：

步骤21：选取原始图像中任一像素点S，以S为圆心画一个半径为3pixel的圆，检测落在该圆周上的16个像素点，记邻域圆上16个像素点中的像素灰度满足式(2)的连续像素点个数为h，判断h是否大于预设的阈值ε

其中，I(x)为圆周上任意一点的灰度，I(s)为圆心的灰度，ε

步骤22：对于每个像素点S直接检测其圆周垂直方向I(1)、I(9)和水平方向I(5)、I(13)四个像素位置上的灰度值，统计上述四个位置点I(t)与选取点像素灰度差值大于ε

M＝size(I∈{|I(t)-I(s)|＞ε

若特征点满足式(3)且M

步骤23：将一个图像中选出的任一特征点S与其他图像中所有的特征点V计算汉明距离d，并将得到的距离d进行排序，选取距离最近的一个点作为匹配点，建立粗略匹配点对，形成特征点集；

步骤24：采用随机采样一致性方法对得到的特征点集进行筛选，最后剔除误匹配点，得到提纯后的匹配特征点集。

进一步地，步骤24的具体操作步骤包括：

步骤241：在得到的特征点集上选取Q个点，根据设定的配准直线模型，计算第一张图像所有特征点P

步骤242：计算

步骤243：重新随机选取Q个点，重复执行K次步骤241-242，并记录每次N

步骤244：选取N＝max(N

进一步地，步骤3的具体操作步骤包括：

步骤31：采用移动DLT方法，根据所述提纯后的多组匹配目标点对的坐标值，实现对自适应单应性矩阵的线性拟合；

步骤32：采用经单应性变换后的图像中心点位置对多无人机航拍图像序列进行时序修正且对应图像的时序移动参数flag

其中，P

步骤33：遍历图像序列的每一帧，根据flag

步骤34：采用图像的线性渐变性重新计算重叠区域的新像素值，进行色彩校正。

进一步地，步骤31的具体操作步骤包括：

步骤311：两张图像的特征匹配点集分别为X

步骤312：将构建的自适应单应性变换关系式变为隐式形式，并线性化为：X

步骤313：记线性化矩阵

其中，权值

步骤314：根据得到的右奇异向量

进一步地，步骤34所述计算重叠区域的新像素值的公式为：

I(x,y)＝I

其中，

本方法与现有技术相比，具有以下有益效果：

第一，本发明针对复杂多变的环境以及多机协同下不同尺度、不同视角图像的变换问题，提出自适应单应性矩阵方法，基本消除传统单一单应性矩阵存在重影、像素断裂等现象，所提基于自适应单应性矩阵方法在配准误差和拼接精度方面效果较好，满足图像拼接的高精度要求。

第二，本发明还采用了加权平滑算法，通过权值分配实现重叠部分图像平滑过渡，结合线性渐变思想，有效解决了重叠区域模糊及拼接后色彩不一致问题。

综上所述，本发明提出的方法所得到的拼接图特征配准精度明显提高，满足了拼接的高精度要求。

附图说明

图1为本发明拼接算法流程图；

图2(a)-(c)为各坐标系转换示意图；

图3为四种场景航拍源图像特征点匹配示意图；

图4为两组不同航拍源图像；

图5为两组不同航拍源图像拼接实验图；

图6为四种场景下多尺度多视角图像拼接实验图。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

本发明提供一种多机协同约束下高精度图像拼接优化方法，其包括以下步骤：

步骤1：利用多传感器实时采集图像，结合多无人机之间的位置、姿态、角度信息，建立多机协同实时图成像模型；

多传感器实时采集地面图像，对图像数据进行解算处理得到无人机运动参数，实现机体的飞行控制。结合多无人机上搭载的惯性导航单元(IMU)、GPS和气压计,获取无人机姿态角(俯仰角θ、横滚角φ、偏航角

(1)建立坐标系

首先，建立地面坐标系p

其次，建立机体坐标系P

再次，建立摄像机坐标系p

机体坐标系与地面坐标系的转换关系如附图2(b)所示；

最后，建立图像坐标系p

(2)建立成像模型

机载摄像机成像时，可以看作一个四棱锥和一个平面求交，通过各无人机四条棱边的直线方程可确定实际成像区域。结合无人机姿态角建立机体坐标系与地面坐标系之间的坐标变换关系：p

若有n架无人机拍摄的图像坐标p

步骤2：采用ORB方法提取连续像素点灰度值信息，进一步判别图像特征点，对提取的特征点进行特征匹配和提纯。其包括以下几个具体步骤：

(1)特征提取

采用ORB方法，基于连续像素点的灰度值信息判别图像特征点，对比图像中任一像素点S与其圆形邻域内点的灰度值大小结果，提取源图像特征点集，具体过程描述如下：

首先，对候选点进行全局检测：选取图像中任一像素点S，以S为圆心画一个半径为3pixel的圆，考虑该像素点圆周上的16个像素，检测落在该圆周上的16个像素点，记邻域圆上的16个像素点中的像素灰度满足式(2)的连续像素点个数为h，判断h是否大于预设的阈值ε

其中，I(x)为圆周上任意一点的灰度，I(s)为圆心的灰度，ε

其次，对候选点进行优化检测：利用ORB优化检测方法，加快特征点提取，提升检测效率。对于每个像素点S直接检测其圆周垂直方向I(1)、I(9)和水平方向I(5)、I(13)四个像素位置上的灰度值，统计上述四个位置点I(t)(t分别取1、5、9、13)与选取点像素灰度差值大于ε

M＝size(I∈{|I(t)-I(s)|＞ε

若S满足式(3)且M

(2)特征匹配与提纯

首先，对提取的特征点进行特征匹配：计算特征的汉明距离d，并以其作为特征匹配相似度的评价标准。对图像中的任一特征点S与其它图像中所有特征点V测量汉明距离

其次，针对上述匹配出的特征点集，进行特征提纯：采用RANSAC(Random SampleConsensus，随机采样一致性)方法对特征点集进行筛选，选取Q个点，根据假定的配准直线模型，计算第一张图像所有特征点P

计算

重新随机选取Q个点，重复上述操作K次并记录每次N

最终选取N＝max(N

步骤3：构建自适应单应性矩阵将图像映射至同一坐标系下进行拼接，对各序列图像进行时序修正，而后采用加权平滑算法进行色彩校正完成图像拼接。其包括以下几个具体步骤：

(1)自适应单应性变换

先计算航拍图像之间的单应性矩阵，根据单应性矩阵将图像映射到同一坐标系下拼接成一幅粗略图；

再使用移动DLT(Direct LinearTransform,直接线性变换)方法，根据所匹配的目标点实现对单应性矩阵的线性拟合，拟合过程为：假定两张图像的特征匹配点集为X和X'，构建单应性变换关系式X'＝HX，即：

(x' y' 1)

其中，(x' y' 1)

将其变为隐式形式并线性化为：X'×HX＝0，则可得：

记线性化矩阵

最后，基于上述单应性矩阵H的构建过程，来设计位置相关的自适应单应性矩阵H

步骤1：两张图像的特征匹配点集分别为X

步骤2：将构建的自适应单应性变换关系式变为隐式形式，并线性化为:X

步骤3：记线性化矩阵

其中，权值

步骤4：按照公式(4)得到

(2)时序修正

本发明采用经单应性变换后的图像中心点位置对多无人机航拍图像序列进行时序修正，修正公式为：

其中，P

遍历图像序列的每一帧，直到flag

(3)色彩校正

针对拼接后同一重叠区域存在模糊、重影及色彩不一致问题，采用图像的线性渐变重新计算重叠区域的新像素值，通过色彩校正以优化拼接效果。

假设α表示像素点横坐标到重叠区域左边界横坐标的距离，由下式给出拼接后图像像素点的灰度值:

I(x,y)＝I

其中，

通过上述的处理即可实现良好的拼接效果，得到拼接好的图像。

实施例

本发明的验证是在登记号为2020SR1088587的多无人机协同目标检测与识别系统中完成的。

1、实验环境

CPU:Intel Xeon E5-1650 v4；

RAM:32GB；

GPU:NVIDIA TITAN-X,Windows10系统，Visual studio 2015+Anaconda3.5+Python3.6。

2、实验过程

实验利用多无人机飞行平台在巡视飞行实验中采集的航拍图像，对所提拼接算法的性能进行验证，具体包括两个实验：

(1)两组不同航拍源图像拼接实验

依据本发明提出的拼接方法的各个步骤，将两组不同来源的航拍源图像如附图4所示，分别得到有效拼接，拼接处较为平滑，拼接后的结果如附图5所示。从图中可以看出，本方法有效扩大图像的视角范围，保留两张源图像各自的图像特征，且有效显示了源图像中被大树遮挡的深坑、人、灯牌等关键信息。

(2)四种场景下多尺度多视角图像拼接实验

利用多无人机巡视复杂地区关键道路的场景，构建四种实验场景，四种场景航拍源图像特征点匹配示意图如附图3所示，依据本发明提出的拼接方法的各个步骤，在各场景下进行图像拼接，且拼接结果如附图6所示。从图中可以看出，本方法的拼接精度较高且无图像失真。

3、拼接结果评价

为了充分验证本发明提出的拼接方法，采用RMSE(Root Mean Square Error,均方根误差)、Dice距离和Hausdorff距离等评价参数对拼接效果进行客观全面地评价。

(1)RMSE评价

均方根误差RMSE评价是指两幅图像配准后,待配准图像的多个特征点与变换后参考图像像素点位置之间偏差的均值平方根：

其中，Δx

(2)Dice距离评价

使用Dice距离来表示两个集合互相包含的程度：

其中，TP代表正确匹配点对数，GT和PR分别代表目标图像和变换图像的特征点集。

(3)Hausdorff距离评价

使用Hausdorff距离来计算两个点集的匹配性：

H(A,B)＝max(h(A,B),h(B,A))，

其中，h(A,B)＝max

根据上述三种评价指标，将本发明提出的方法与基于SURF和SIFT图像配准算法进行对比分析，得到的对比结果如表1所示：

表1不同方法的量化指标对比

由表1可以看出，本发明所提出的方法在RMSE、Dice和Hausdorff三个评价准则上均优于SURF和SIFT算法，算法运行时间短，且特征点匹配误差显著减少，符合本算法实验所处复杂多变的环境，满足多机协同巡视飞行过程中对多尺度多视角航拍图像拼接高实时性及高精度的要求。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管参照前述实施例对本发明专利进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。