一种超大航拍条带图像的拼接生成方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种超大航拍条带图像的拼接生成方法及装置。

背景技术

近年来，无人机被广泛应用于各种航拍、遥感场景，宽视场、高分辨率航空图像，在情报分析、战前侦察、作战评估等军用领域有着重要意义，但受机载相机传感器尺寸的限制，存在着视场与分辨率间的矛盾，单张无人机航拍图像的覆盖范围较小，不能满足实际应用需求。

为了扩大视场范围获取全局信息，通常将无人机航拍图像拼接成过渡自然的完整大图。现有的无人机航拍图像拼接技术主要是针对没有相机传感器的摆角信息、无人机的飞行高度和速度等先验信息的无人机航拍图像进行特征点提取配准从而拼接，直接整图拼接的运算数据量大且未能充分利用无人机传感器信息，拼接效率和精度较低。因此，如何快速拼接无人机航拍图像生成超大分辨率的航拍条带图像，成为当前的研究热点。

发明内容

为了克服现有技术的缺陷，本发明提供一种超大航拍条带图像的拼接生成方法及装置，能够快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。

为了解决上述技术问题，第一方面，本发明一实施例提供一种超大航拍条带图像的拼接生成方法，包括：

接收无人机航拍图像和所述无人机航拍图像对应的传感器数据，并根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像；

以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域；

对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标；

根据所述传感器数据将所述像素坐标转换为经纬度坐标，并根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像。

进一步地，在所述根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像之后，还包括：

将所述航拍条带图像保存为vrt格式图。

进一步地，所述根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像，具体为：

根据所述传感器数据将所述无人机航拍图像校正为正下视视图，得到所述待拼接图像。

进一步地，所述以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域，具体为：

分别对所述参考图像和所述待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；

根据所述传感器数据确定所述低分辨率参考图像和所述低分辨率待配准图像的重叠区域，并将所述重叠区域作为匹配模板；

基于所述匹配模板对所述低分辨率参考图像和所述低分辨率待配准图像进行粗匹配，得到两块所述感兴趣区域。

进一步地，所述对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：

采用SURF特征检测算法对两块所述感兴趣区域进行特征提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵；

根据所述仿射变换矩阵计算所述参考图像和所述待配准图像相对的像素坐标。

第二方面，本发明一实施例提供一种超大航拍条带图像的拼接生成装置，包括：

图像预处理模块，用于接收无人机航拍图像和所述无人机航拍图像对应的传感器数据，并根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像；

区域提取模块，用于以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域；

坐标计算模块，用于对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标；

图像拼接模块，用于根据所述传感器数据将所述像素坐标转换为经纬度坐标，并根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像。

进一步地，所述图像拼接模块，还用于在所述根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像之后，将所述航拍条带图像保存为vrt格式图。

进一步地，所述根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像，具体为：

根据所述传感器数据将所述无人机航拍图像校正为正下视视图，得到所述待拼接图像。

进一步地，所述以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域，具体为：

分别对所述参考图像和所述待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；

根据所述传感器数据确定所述低分辨率参考图像和所述低分辨率待配准图像的重叠区域，并将所述重叠区域作为匹配模板；

基于所述匹配模板对所述低分辨率参考图像和所述低分辨率待配准图像进行粗匹配，得到两块所述感兴趣区域。

进一步地，所述对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：

采用SURF特征检测算法对两块所述感兴趣区域进行特征提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵；

根据所述仿射变换矩阵计算所述参考图像和所述待配准图像相对的像素坐标。

本发明的实施例，具有如下有益效果：

通过根据无人机航拍图像对应的传感器数据对无人机航拍图像进行预处理得到待拼接图像，进而以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域，并对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，从而根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像。相比于现有技术，本发明的实施例通过根据传感器数据对无人机航拍图像进行预处理，能够充分利用无人机传感器信息处理无人机航拍图像；通过仅针对参考图像和待配准图像中的两块感兴趣区域进行特征点提取和匹配，能够在保证拼接质量的前提下有效提高拼接效率；通过将像素坐标转换为经纬度坐标，能够突破拼接范围的限制，从而实现快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。

进一步地，本发明的实施例通过将航拍条带图像保存为vrt格式图，能够在存储航拍条带图像时降低存储空间，在显示航拍条带图像时进行金字塔多尺度查看。

附图说明

图1为本发明第一实施例中的一种超大航拍条带图像的拼接生成方法的流程示意图；

图2为本发明第二实施例中的一种超大航拍条带图像的拼接生成装置的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。

第一实施例：

如图1所示，第一实施例提供一种超大航拍条带图像的拼接生成方法，包括步骤S1～S4：

S1、接收无人机航拍图像和无人机航拍图像对应的传感器数据，并根据传感器数据对无人机航拍图像进行预处理，得到待拼接图像；

S2、以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域；

S3、对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标；

S4、根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像。

作为示例性地，在步骤S1中，通过接收无人机下传的无人机航拍图像及其对应的传感器数据，并根据传感器数据对无人机航拍图像进行预处理得到待拼接图像，能够充分利用无人机传感器信息处理无人机航拍图像。

其中，传感器数据包括无人机的GPS位置、姿态、高度、速度、航向，相机传感器的摆角，以及无人机航拍图像的空间分辨率等。预处理包括图像增强、图像去模糊、几何校正等。

在优选的实施例当中，根据传感器数据对无人机航拍图像进行预处理，得到待拼接图像，具体为：根据传感器数据将无人机航拍图像校正为正下视视图，得到待拼接图像。

本实施例通过根据无人机的GPS位置、高度、相机传感器的摆角等传感器数据对无人机航拍图像进行几何校正，将无人机航拍图像校正为正下视视图，方便后续拼接同一视角的无人机航拍图像，有利于保证拼接质量。

作为示例性地，在步骤S2中，通过采用不同待拼接图像作为参考图像和待配准图像，并提取参考图像和待配准图像中最相似的两块感兴趣区域，使得后续仅针对参考图像和待配准图像中的两块感兴趣区域进行特征点提取和匹配，能够在保证拼接质量的前提下有效提高拼接效率。

在优选的实施例当中，以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域，具体为：分别对参考图像和待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；根据传感器数据确定低分辨率参考图像和低分辨率待配准图像的重叠区域，并将重叠区域作为匹配模板；基于匹配模板对低分辨率参考图像和低分辨率待配准图像进行粗匹配，得到两块感兴趣区域。

图像金字塔下采样具体指高斯金字塔下采样，即对图像重复进行高斯滤波和下采样。高斯滤波是指一种线性平滑滤波，适用于消除高斯噪声，具体应用过程中，每个像素点都是由其本身和领域经过加权平均后得到的。

例如，分别对参考图像和待配准图像进行16倍图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像，根据无人机的航向、相机传感器的摆动规则等传感器数据确定低分辨率参考图像和低分辨率待配准图像的重叠区域，将重叠区域作为匹配模板，基于匹配模板对低分辨率参考图像和低分辨率待配准图像进行粗匹配，得到两块感兴趣区域。

可以理解的是，经过几何校正的图像已经初步具备模板匹配的条件，根据确定的图像重叠区域，从待拼接图像上选取一个小型感兴趣(ROI)区域A作为模板，对下采样后的图像进行快速粗匹配，得到与之匹配的感兴趣(ROI)区域B。

本实施例通过降低参考图像和待配准图像的分辨率，在低分辨率参考图像和低分辨率待配准图像上根据缩小后的匹配范围选定匹配模板并进行粗匹配，有利于降低匹配难度，减少匹配耗时。

作为示例性地，在步骤S3中，通过仅针对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，能够在保证拼接质量的前提下有效提高拼接效率。

在优选的实施例当中，对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：采用SURF特征检测算法对两块感兴趣区域进行特征提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵；根据仿射变换矩阵计算参考图像和待配准图像相对的像素坐标。

本实施例采用鲁棒性良好的SURF特征检测算法对两块感兴趣区域进行特征提取和匹配，有利于准确提取和匹配特征。

获得图像之间的仿射变换矩阵以及相对的像素坐标的具体过程如下所示：

1、计算前后帧匹配图像的SURF特征，利用式(1)和式(2)得到每个待匹配特征点F

式(1)中，(x

2、以待匹配的SURF特征点F

3、依据最近邻欧氏距离比率法进行粗匹配，在式(2)中将起始阈值设为η

4、在确定上一帧图像中满足第3步中粗匹配条件的特征点后，计算当前匹配帧中与之对应最近邻点邻域灰度分布的Pearson相关系数；

其中，Pearson相关系数的表达式为：

同样地，依照上述方法即可计算出次近邻点灰度分布相关系数ρ

5、候选特征点再匹配，即对符合粗匹配要求的特征点求取近邻灰度分布相关系数比，若此比值大于阈值，则确定此时得到的最近邻点为正确匹配点，否则，剔除此对匹配。

6、对特征点匹配对进行仿射变换，仿射变换公式如式(3)所示：

式(3)中，(t

将t

作为示例性地，在步骤S4中，通过根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，能够突破拼接范围的限制，从而实现快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。

获得航拍条带图像的具体过程如下：

1、根据空间分辨率等传感器数据将像素坐标转换为经纬度坐标。

像素坐标转换到经纬度坐标的转换公式如式(4)、(5)所示：

Xgeo＝dGeoTrans[0]+Xpixel*dGeoTrans[1]+Yline*dGeoTrans[2] (4)

Ygeo＝dGeoTrans[3]+Xpixel*dGeoTrans[4]+Yline*dGeoTrans[5] (5)

式(4)、(5)中，(dGeoTrans[0]，dGeoTrans[3])表示图像左上角点经纬度坐标，dGeoTrans[1]表示影像在宽度上的分辨率，dGeoTrans[5]表示影像在高度上的分辨率，如果影像是指北的，dGeoTrans[2]和dGeoTrans[4]均为0。

2、将经纬度坐标通过gdal指令：gdal_translate-of Gtiff-a_ullr％f％f％f％foldimages newiimages对应赋给相应图像，随后通过gdalbuildvrt指令对图像进行拼接，得到航拍条带图像。

在优选的实施例当中，在根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像之后，还包括：将航拍条带图像保存为vrt格式图。

本实施例通过将航拍条带图像保存为内存占用很小的vrt格式图，能够在存储航拍条带图像时降低存储空间，同时可使用osg viewer直接进行金字塔多尺度查看，能够在显示航拍条带图像时进行金字塔多尺度查看。

第二实施例：

如图2所示，第二实施例提供一种超大航拍条带图像的拼接生成装置，包括：图像预处理模块21，用于接收无人机航拍图像和无人机航拍图像对应的传感器数据，并根据传感器数据对无人机航拍图像进行预处理，得到待拼接图像；区域提取模块22，用于以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域；坐标计算模块23，用于对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标；图像拼接模块24，用于根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像。

作为示例性地，通过图像预处理模块21，接收无人机下传的无人机航拍图像及其对应的传感器数据，并根据传感器数据对无人机航拍图像进行预处理得到待拼接图像，能够充分利用无人机传感器信息处理无人机航拍图像。

其中，传感器数据包括无人机的GPS位置、姿态、高度、速度、航向，相机传感器的摆角，以及无人机航拍图像的空间分辨率等。预处理包括图像增强、图像去模糊、几何校正等。

在优选的实施例当中，根据传感器数据对无人机航拍图像进行预处理，得到待拼接图像，具体为：根据传感器数据将无人机航拍图像校正为正下视视图，得到待拼接图像。

本实施例通过图像预处理模块21，根据无人机的GPS位置、高度、相机传感器的摆角等传感器数据对无人机航拍图像进行几何校正，将无人机航拍图像校正为正下视视图，方便后续拼接同一视角的无人机航拍图像，有利于保证拼接质量。

作为示例性地，通过区域提取模块22，采用不同待拼接图像作为参考图像和待配准图像，并提取参考图像和待配准图像中最相似的两块感兴趣区域，使得后续仅针对参考图像和待配准图像中的两块感兴趣区域进行特征点提取和匹配，能够在保证拼接质量的前提下有效提高拼接效率。

在优选的实施例当中，以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域，具体为：分别对参考图像和待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；根据传感器数据确定低分辨率参考图像和低分辨率待配准图像的重叠区域，并将重叠区域作为匹配模板；基于匹配模板对低分辨率参考图像和低分辨率待配准图像进行粗匹配，得到两块感兴趣区域。

图像金字塔下采样具体指高斯金字塔下采样，即对图像重复进行高斯滤波和下采样。高斯滤波是指一种线性平滑滤波，适用于消除高斯噪声，具体应用过程中，每个像素点都是由其本身和领域经过加权平均后得到的。

例如，分别对参考图像和待配准图像进行16倍图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像，根据无人机的航向、相机传感器的摆动规则等传感器数据确定低分辨率参考图像和低分辨率待配准图像的重叠区域，将重叠区域作为匹配模板，基于匹配模板对低分辨率参考图像和低分辨率待配准图像进行粗匹配，得到两块感兴趣区域。

可以理解的是，经过几何校正的图像已经初步具备模板匹配的条件，根据确定的图像重叠区域，从待拼接图像上选取一个小型感兴趣(ROI)区域A作为模板，对下采样后的图像进行快速粗匹配，得到与之匹配的感兴趣(ROI)区域B。

本实施例通过区域提取模块22，降低参考图像和待配准图像的分辨率，在低分辨率参考图像和低分辨率待配准图像上根据缩小后的匹配范围选定匹配模板并进行粗匹配，有利于降低匹配难度，减少匹配耗时。

作为示例性地，通过坐标计算模块23，仅针对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，能够在保证拼接质量的前提下有效提高拼接效率。

在优选的实施例当中，对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：采用SURF特征检测算法对两块感兴趣区域进行特征提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵；根据仿射变换矩阵计算参考图像和待配准图像相对的像素坐标。

本实施例通过坐标计算模块23，采用鲁棒性良好的SURF特征检测算法对两块感兴趣区域进行特征提取和匹配，有利于准确提取和匹配特征。

获得图像之间的仿射变换矩阵以及相对的像素坐标的具体过程如下所示：

1、计算前后帧匹配图像的SURF特征，利用式(6)和式(7)得到每个待匹配特征点F

式(6)中，(x

2、以待匹配的SURF特征点F

3、依据最近邻欧氏距离比率法进行粗匹配，在式(7)中将起始阈值设为η

4、在确定上一帧图像中满足第3步中粗匹配条件的特征点后，计算当前匹配帧中与之对应最近邻点邻域灰度分布的Pearson相关系数；

其中，Pearson相关系数的表达式为：

同样地，依照上述方法即可计算出次近邻点灰度分布相关系数ρ

5、候选特征点再匹配，即对符合粗匹配要求的特征点求取近邻灰度分布相关系数比，若此比值大于阈值，则确定此时得到的最近邻点为正确匹配点，否则，剔除此对匹配。

6、对特征点匹配对进行仿射变换，仿射变换公式如式(8)所示：

式(8)中，(t

将t

作为示例性地，通过图像拼接模块24，根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，能够突破拼接范围的限制，从而实现快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。

获得航拍条带图像的具体过程如下：

1、根据空间分辨率等传感器数据将像素坐标转换为经纬度坐标。

像素坐标转换到经纬度坐标的转换公式如式(9)、(10)所示：

Xgeo＝dGeoTrans[0]+Xpixel*dGeoTrans[1]+Yline*dGeoTrans[2]： (9)

Ygeo＝dGeoTrans[3]+Xpixel*dGeoTrans[4]+Yline*dGeoTrans[5] (10)

式(9)、(10)中，(dGeoTrans[0]，dGeoTrans[3])表示图像左上角点经纬度坐标，dGeoTrans[1]表示影像在宽度上的分辨率，dGeoTrans[5]表示影像在高度上的分辨率，如果影像是指北的，dGeoTrans[2]和dGeoTrans[4]均为0。

2、将经纬度坐标通过gdal指令：gdal_translate-of Gtiff-a_ullr％f％f％f％foldimages newiimages对应赋给相应图像，随后通过gdalbuildvrt指令对图像进行拼接，得到航拍条带图像。

在优选的实施例当中，图像拼接模块24，还用于在根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像之后，将航拍条带图像保存为vrt格式图。

本实施例通过图像拼接模块24，将航拍条带图像保存为内存占用很小的vrt格式图，能够在存储航拍条带图像时降低存储空间，同时可使用osg viewer直接进行金字塔多尺度查看，能够在显示航拍条带图像时进行金字塔多尺度查看。综上所述，实施本发明的实施例，具有如下有益效果：

通过根据无人机航拍图像对应的传感器数据对无人机航拍图像进行预处理得到待拼接图像，进而以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域，并对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，从而根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像。本发明的实施例通过根据传感器数据对无人机航拍图像进行预处理，能够充分利用无人机传感器信息处理无人机航拍图像；通过仅针对参考图像和待配准图像中的两块感兴趣区域进行特征点提取和匹配，能够在保证拼接质量的前提下有效提高拼接效率；通过将像素坐标转换为经纬度坐标，能够突破拼接范围的限制，从而实现快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。

进一步地，本发明的实施例通过将航拍条带图像保存为vrt格式图，能够在存储航拍条带图像时降低存储空间，在显示航拍条带图像时进行金字塔多尺度查看。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。