一种位姿信息辅助的航空遥感图像拼接方法

技术领域

本发明涉及航空摄影遥感和图像拼接领域，具体涉及一种位姿信息辅助的航空遥感图像拼接方法。本发明的主要应用是多场景的航空遥感摄影图像拼接，包括地貌单一、特征稀少的遥感图像的快速拼接。

背景技术

随着航空遥感技术的成熟和相机传感器性能的不断提高，航空摄影遥感图像在生态环境监测、城市规划建设、土地综合利用、地理信息系统建设等领域中广泛应用。受限于高分辨率和大视角的矛盾，遥感图像必须进行拼接才能用于后续研究，其拼接质量直接影响了后续研究及应用的正确性和效果。因此，高性能的遥感图像拼接技术具有广阔的应用场景。现有的遥感图像拼接方法主要有基于特征的图像拼接方法、基于灰度模板匹配的拼接方法、基于频域变换的图像拼接方法等，这些方法计算量都较大，导致遥感图像拼接速度慢；相应的一些改进方法也对硬件依赖大，不适用于一些低成本的应用。另外，现有的图像拼接方法均依赖于图像信息，例如图像特征、图像模板等，导致在一些特殊场景下出现失效。比如在沙漠、水面、草原等场景获取的遥感图像，使用现有的图像拼接算法无法实现拼接。因此，对于复杂的应用场景，现有遥感图像拼接方法的拼接速度受限且适应性较差，引入机载相机位姿信息进行辅助，可以解决传统图像拼接方法依赖单一图像信息的局限性，提高遥感图像拼接速度和适应性。

发明内容

本发明提供一种位姿信息辅助的航空遥感图像拼接方法，以提高航空遥感图像拼接速度，并解决地貌单一、特征稀少的遥感图像拼接易失效的问题。

本发明采取的技术方案为：

一种位姿信息辅助的航空遥感图像拼接方法，具体步骤如下：

S1：遥感图像数据与导航位姿数据的作业获取与预处理；

S2：根据位姿信息计算航带相邻图像的位移量，求解图像重叠区域；

S3：提取重叠区域图像特征，定位特征点并生成特征描述子后进行特征匹配，求解图像变换单应性矩阵，实现图像配准；

S4：分析基于重叠区域特征的图像配准结果的配准质量，若配准失效，则将导航系统位姿信息转换为相机的旋转矩阵和平移向量，直接求解图像间单应性矩阵，实现图像配准；

S5：基于单应性矩阵进行图像变换，使用基于缝合带羽化的图像融合方法进行融合处理；

S6：根据像点和对面点共线关系，将导航位姿信息变换为地面地理坐标，获得包含图像地理信息的遥感图像全景图。

步骤S1中的数据的获取与预处理，包括以下步骤：

(1)对相机传感器和导航系统进行标定实验，包括标定时间差，进行图像、位姿数据频率同步，并标定获得相机的内参数，用于后续拼接；

(2)航空遥感载体搭载相机和导航系统，通过作业获取图像、位姿数据，选择图像数据类型进行存储，并根据导航算法解算获得作业中的经度、纬度、高度和三个姿态角；

(3)使用自适应直方图均衡方法对图像进行增强处理，校正曝光，增加细节。

(4)对由传感器质量、大气、载体姿态、地形起伏、地球自转等因素引起的图像畸变进行校正处理，恢复图像的地貌特征，为遥感图像拼接做准备。

步骤S2中的相邻图像重叠区域求解，包括以下步骤：

(1)根据航带内图像I

(2)已知航向角ψ，根据旋转变换关系，可以求得图像1和图像2在图像右上的x、y方向上的移动量。其中图像坐标系

(3)根据已知的飞行航高H、相机焦距f，像元尺寸dxy，可求得图像中一个像素对应地面的尺寸

(4)计算得相邻图像的像元移动量，最后即可根据图像尺寸计算得到相邻图像重叠区域

(5)同一航带内运行速度变化较小，图像x、y方向上的位移偏差不大，因此根据(1)～(4)步骤计算前四组图像得重叠区域，求取平均值，作为整条航线上图片的重叠区域大小。其中，通过航向角的改变幅度，判断航线的变化。

步骤S3中的基于重叠区域特征的图像配准，包括以下步骤：

(1)基于SURF算法提取特征点。包括构建Hessian矩阵，通过判别式检测特征点，舍去对比度低的点和边缘响应点；生成图像尺度空间；定位特征点，构建64维的特征描述算子。

(2)根据自适应阈值求取特征匹配对假设两张图像分别有n

其中，所有特征点m＝1,…,n

在计算最近邻特征距离和次近邻距离后，定义距离比值

计算图像1到图像2的匹配特征，再计算图像2到图像1的匹配特征，得到两个匹配集合A、B。根据集合A、B中的距离比值，求解公共子集C。此时公共子集C的最小距离比值即为自适应阈值。此时根据特征点的特征距离比值和阈值可以判断该点对匹配是否成功。

(3)使用RANSAC算法进行误配筛选，最终求解图像配准的单应性矩阵。随机取出m对(至少4对)不共线的匹配特征点，计算变换矩阵H，记为模型M；计算初始匹配集中的内点，根据全部内点计算模型M的统计误差error，迭代更新模型M和error，最小error的模型为最优模型，此时的H为图像配准单应性矩阵。

步骤S4中的图像配准结果的配准质量分析。首先，设定特征匹配对数量有效阈值，若特征匹配对数量过少，则认定配准失败。其次，设定配准误差阈值，假如特征匹配对数量足够且求解出单应性矩阵，则求解图像配准的配准误差，若配准误差过高，则同样认定为图像配准失败。

步骤S4中的基于位姿信息直接求解单应性矩阵的方法，包括以下步骤：

(1)由姿态数据计算图像I

遥感平台搭载的导航系统直接输出的数据，是载体的导航信息，包括在WGS-84大地坐标系下的纬度、经度、高度，载体坐标系相对导航坐标系的三个旋转角度：航向角、横滚角、俯仰角。需要将导航位姿数据转换为相机拍摄两张照片的位姿关系，包括旋转运动R矩阵和平移运动t向量。假设相机在两个时刻拍摄两张图像I

旋转矩阵R的转换关系为导航坐标系(n)→载体坐标系(b)→相机坐标系(C)。定义导航坐标系为东北天导航坐标系，载体坐标系为右上载体坐标系，x轴指向地理东向、y轴指向地理北向，z轴指向天。相机坐标系为x轴、y轴和图像坐标系保持一致，z轴指向物点。图像I

其中，定义航向角ψ，北偏东为正；俯仰角θ，抬头为正；横滚角γ，右倾为正，且

(2)由姿态数据计算图像I

其中，卯酉圈半径

图像I

其中，R为公式(7)中旋转矩阵，

(3)根据位姿信息求解两幅图像的单应性矩阵。以图像I

其中，由于航拍图像的拍摄高度较高，在地面起伏不大的情况下，h由光心O

(4)求解航带内多图像间单应性矩阵。将图像I

I

其中，

图像I

图像I

同理

步骤S5中的基于缝合带羽化的图像融合方法，包括以下步骤：

(1)根据单应性矩阵计算变换后图像四个端点的坐标，求解缝合线坐标。设置缓冲宽度，得到缝合带区域。

(2)在缝合带区域内运用羽化方法分别对上下边界、左右边界图像像素进行处理。设置过渡步长：

其中，D

步骤S6中的地理坐标求解方法，具体方法为：

以图I

其中，图I

图I

经纬度与地理坐标的转换关系，由高斯-克吕格投影得到。根据以上公式，在获得全景图之后，根据像点在全景图的像素坐标，即可求得对应地面点在中国WGS-84公里网的地理坐标，实现对全景图的地理粗定位，实现地面物体的大致定位，对遥感图像的后续分析与检测等提供帮助。

本发明的实现效果和优点包括：

(1)引入机载导航系统的位姿信息，辅助实现了航空遥感图像无缝拼接，解决传统图像拼接方法依赖单一图像信息的局限性；

(2)通过使用位姿信息缩小特征提取空间，提高了遥感图像拼接的速度，降低了拼接误差，遥感图像拼接性能总体得到提升；

(3)在一般方法失效时，本方法根据导航位姿信息得到相机旋转、平移量，直接求解图像单应性矩阵进行拼接，解决了传统图像拼接方法无法拼接特征稀少图像的问题；

(4)拼接得到具有地理信息的全景图，丰富了遥感图像拼接结果的信息，对航空遥感图像的后续分析与检测提供了帮助，有助于应急救援等应用。

附图说明

图1是本发明的位姿信息辅助遥感图像拼接方法的总体流程图；

图2是本发明的基于位姿信息求解图像重叠区域示意图；

图3是本发明的位姿辅助特征匹配的遥感图像拼接方法流程图；

图4是本发明的基于位姿信息图像单应性矩阵的空间模型；

图5是本发明的位姿信息直接求解单应性矩阵的拼接方法流程图；

图6是本发明的基于缝合带羽化的图像融合方法示意图。

具体实施方式

以下结合附图和具体实施案例对本发明作进一步说明。

实施例1

一种位姿信息辅助的航空遥感图像拼接方法，具体流程图如图1所示，步骤内容如下：

S1：遥感图像数据与导航位姿数据的作业获取与预处理；

S2：根据位姿信息计算航带相邻图像的位移量，求解图像重叠区域；

S3：提取重叠区域图像特征，定位特征点并生成特征描述子后进行特征匹配，求解图像变换单应性矩阵，实现图像配准；

S4：分析基于重叠区域特征的图像配准结果的配准质量，若配准失效，则将导航系统位姿信息转换为相机的旋转矩阵和平移向量，直接求解图像间单应性矩阵，实现图像配准；

S5：基于单应性矩阵进行图像变换，使用基于缝合带羽化的图像融合方法进行融合处理；

S6：根据像点和对面点共线关系，将导航位姿信息变换为地面地理坐标，获得包含图像地理信息的遥感图像全景图。

步骤S1中的数据的获取与预处理，包括以下步骤：

(1)对相机传感器和导航系统进行标定实验，包括标定时间差，进行图像、位姿数据频率同步，并标定获得相机的内参数，用于后续拼接；

(2)航空遥感载体搭载相机和导航系统，通过作业获取图像、位姿数据，选择图像数据类型进行存储，并根据导航算法解算获得作业中的经度、纬度、高度和三个姿态角；

(3)使用自适应直方图均衡方法对图像进行增强处理，校正曝光，增加细节。

(4)对由传感器质量、大气、载体姿态、地形起伏、地球自转等因素引起的图像畸变进行校正处理，恢复图像的地貌特征，为遥感图像拼接做准备。

步骤S2中的相邻图像重叠区域求解示意图如图2所示，包括以下步骤：

(1)根据航带内图像I

(2)已知航向角ψ，根据旋转变换关系，可以求得图像I

(3)根据已知的飞行航高H、相机焦距f，像元尺寸dxy，可求得图像中一个像素对应地面的尺寸

(4)计算得相邻图像的像元移动量，最后即可根据图像尺寸计算得到相邻图像重叠区域

(5)同一航带内运行速度变化较小，图像x、y方向上的位移偏差不大，因此根据(1)～(4)步骤计算前四组图像得重叠区域，求取平均值，作为整条航线上图片的重叠区域大小。其中，通过航向角的改变幅度，判断航线的变化。

步骤S3中的基于重叠区域特征的图像配准，包括以下步骤：

(1)基于SURF算法提取特征点。包括构建Hessian矩阵，通过判别式检测特征点，舍去对比度低的点和边缘响应点；生成图像尺度空间；定位特征点，构建64维的特征描述算子。

(2)根据自适应阈值求取特征匹配对假设两张图像分别有n

其中，所有特征点m＝1,…,n

在计算最近邻特征距离和次近邻距离后，定义距离比值

计算图像I

(3)使用RANSAC算法进行误配筛选，最终求解图像配准的单应性矩阵。随机取出m对(至少4对)不共线的匹配特征点，计算变换矩阵H，记为模型M；计算初始匹配集中的内点，根据全部内点计算模型M的统计误差error，迭代更新模型M和error，最小error的模型为最优模型，此时的H为图像配准单应性矩阵。基于重叠区域特征匹配的图像拼接方法具体流程图如图3所示。

步骤S4中的图像配准结果的配准质量分析。首先，设定特征匹配对数量有效阈值，若特征匹配对数量过少，则认定配准失败。其次，设定配准误差阈值，假如特征匹配对数量足够且求解出单应性矩阵，则求解图像配准的配准误差，若配准误差过高，则同样认定为图像配准失败。若配准失败，根据位姿直接求解单应性矩阵实现图像拼接，流程图如图5所示。

步骤S4中的基于位姿信息直接求解单应性矩阵的方法，包括以下步骤：

(1)由姿态数据计算图像I

遥感平台搭载的导航系统直接输出的数据，是载体的导航信息，包括在WGS-84大地坐标系下的纬度、经度、高度，载体坐标系相对导航坐标系的三个旋转角度：航向角、横滚角、俯仰角。需要将导航位姿数据转换为相机拍摄两张照片的位姿关系，包括旋转运动R矩阵和平移运动t向量。假设相机在两个时刻拍摄两张图像I

旋转矩阵R的转换关系为导航坐标系(n)→载体坐标系(b)→相机坐标系(C)。定义导航坐标系为东北天导航坐标系，载体坐标系为右上载体坐标系，x轴指向地理东向、y轴指向地理北向，z轴指向天。相机坐标系为x轴、y轴和图像坐标系保持一致，z轴指向物点。图像I

其中，定义航向角ψ，北偏东为正；俯仰角θ，抬头为正；横滚角γ，右倾为正，且

(2)由姿态数据计算图像I

其中，卯酉圈半径

图像I

其中，R为公式(7)中旋转矩阵，

(3)根据位姿信息求解两幅图像的单应性矩阵。以图像I

其中，由于航拍图像的拍摄高度较高，在地面起伏不大的情况下，h由光心O

(4)求解航带内多图像间单应性矩阵。将图像I

I

其中，

图像I

图像I

同理

步骤S5中的基于缝合带羽化的图像融合方法，包括以下步骤：

(1)根据单应性矩阵计算变换后图像四个端点的坐标，求解缝合线坐标。设置缓冲宽度，得到缝合带区域，如图6所示。

(2)在缝合带区域内运用羽化方法分别对上下边界、左右边界图像像素进行处理。设置过渡步长：

其中，D

步骤S6中的地理坐标求解方法，具体方法为：

以图I

其中，图I

图I

经纬度与地理坐标的转换关系，由高斯-克吕格投影得到。根据以上公式，在获得全景图之后，根据像点在全景图的像素坐标，即可求得对应地面点在中国WGS-84公里网的地理坐标，实现对全景图的地理粗定位，实现地面物体的大致定位，对遥感图像的后续分析与检测等提供帮助。

实施例2

本发明提供一种位姿信息辅助的航空遥感图像拼接方法，包括以下步骤：

首先，设计作业实验的拍摄时间、航线等；提前做好相机传感器和导航系统的标定实验，，包括标定相机和导航系统时间差，标定获得相机的内参数；进行作业实验，获取遥感图像数据和导航解算位姿数据；对获取图像进行增强、畸变校正处理。

其次，根据位姿信息求解航带图像位移量，进而求解相邻图像重叠区域；在重叠区域内通过SURF进行特征提取，并使用自适应阈值和RANSAC进行特征匹配，求解图像变换的单应性矩阵；

再次，通过特征匹配数量和配准误差，判断图像配准质量；若配准失效，将导航系统位姿信息转换为相机的旋转矩阵和平移向量，直接求解图像间单应性矩阵，并推广求解多图像单应性矩阵；

最后，根据求解的单应性矩阵进行图像变换，使用基于缝合带羽化的图像融合方法进行融合处理；根据像点和对面点共线关系，将导航位姿信息变换为地面地理坐标，获得包含图像地理信息的遥感图像全景图。

本发明利用航空遥感搭载导航系统的位姿信息获得机载相机位姿信息，辅助遥感图像配准、拼接，最后通过融合获得具有地理信息的全景图。与现有技术相比，本发明实现了复杂场景下的遥感图像快速拼接，为航空遥感应用提供了一种高性能、高适应性的图像拼接方法。