一种基于深度学习和多子图匹配的遥感图像匹配方法

技术领域

本发明总的来说涉及遥感图像处理领域，具体而言涉及一种基于深度学习和多子图匹配的遥感图像匹配方法。

背景技术

图像匹配的任务是寻找两幅或多幅图像中像素点间的对应关系。目前针对遥感图像做匹配的方法主要有两类，一类是基于区域的匹配方法，一类是基于特征的匹配方法。这两类方法中，基于特征的匹配方法计算量小，鲁棒性好，且对图像形变不敏感。由于遥感图像的成像会受到噪声、季节变化、光照变化等因素的影响，因此基于特征的匹配方法是更为合适也更为常用的方法。

基于特征的图像匹配方法主要包括三个步骤：特征提取、特征描述和特征匹配。

特征选取具有如下要求：在图像匹配的过程中，应依据实际待匹配图像的特性来决定特征的选取。所选取的特征应显著、易于提取、且在参考图像和模板图像上都有足够的分布。在特征选取中，常用的特征主要包括三类：点特征，包括拐点和角点；线特征，包括边缘曲线和直线段；以及面特征，包括小面元、闭合区域。以SIFT(Scale-invariant featuretransform)方法为例，它通过建立高斯差分尺度空间DoG(Difference of Gaussians)，在DoG空间中检测出极值点作为特征点。

特征描述，仍以SIFT方法为例，SIFT算子通过梯度方向直方图对提取出的特征点进行描述。

特征匹配，在SIFT方法中，特征点的匹配通过计算两组特征点的128维的关键点的欧式距离实现。欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定为匹配成功。

对遥感图像而言，由于遥感图像具有纹理细节丰富、重复结构较多等特点，在进行特征点匹配时，容易受到图像背景冗余信息的影响，导致特征点错误匹配率较高，匹配性能低下。

具体而言，现有技术中的遥感图像匹配方法存在以下问题：在对遥感图像进行特征提取时，会很容易提取到大量极为相似的特征点；在特征匹配的过程中，由于进行的是全局特征点匹配，将很容易受到图像背景信息的影响，导致特征点的错误匹配率高；以及由于图像信息较为繁杂，会导致特征匹配的性能低下。

发明内容

针对上述现有技术中的问题，本发明提出一种基于深度学习和多子图匹配的遥感图像匹配方法，通过对遥感图像的冗余信息进行过滤，以至少部分解决上述问题。

具体而言，本发明提出一种基于深度学习和多子图匹配的遥感图像匹配方法，包括下列步骤：

提供用于生成遥感图像的子图的神经网络；

将待匹配遥感图像和参考图像输入所述神经网络中生成子图；

对所述子图进行特征的提取以获得子图的特征点的分布图；

对所述特征点进行特征匹配，以选取最优特征对集合；以及

将所述最优特征对集合取并集，并且映射回待匹配遥感图像。

在本发明的一个实施例中规定，提供用于生成遥感图像的子图的神经网络包括下列步骤：

选取所述神经网络的训练内容，包括：

选取遥感图像中的地物类别；

将所述地物类别编号，其中所述编号作为地物编号标签；

生成所述地物类别与地物编号标签的映射关系；以及

选取遥感图像打上地物编号标签作为神经网络的训练内容；

构建语义分割神经网络；以及

使用所述训练内容对语义分割神经网络进行训练，以获得用于生成遥感图像的子图的神经网络。

在本发明的一个实施例中规定，其中

所述地物类别包括建筑物、水域、道路、耕地和植被；

所述地物编号标签的集合表示为：T{0，1，2，3，4…}；以及

所述地物类别与地物编号标签的映射关系表示为：{建筑物：0，水域：1，道路：2，耕地：3，植被：4，…}。

在本发明的一个实施例中规定，所述子图还包括：建筑物分布图、水域分布图、道路分布图、耕地分布图和植被分布图。

在本发明的一个实施例中规定，将待匹配遥感图像和参考图像输入所述神经网络中生成子图包括下列步骤：

将待匹配遥感图像A和参考图像B输入所述神经网络；以及

输出匹配遥感图像A的子图的集合Am和参考图像B的子图的集合Bn，表示为下式：

A

其中一个子图表示一种地物类别，地物类别与地物编号标签的映射关系表示为C。

在本发明的一个实施例中规定，将所述特征点进行特征匹配，以选取最优特征对集合包括下列步骤：

选取A

C(a

其中a

将a

在本发明的一个实施例中规定，对所述子图进行特征的提取，以获得子图的特征点的分布图还包括：对所述子图进行surf特征的提取，以获得子图的surf特征点的分布图。

在本发明的一个实施例中规定，对所述特征点进行特征匹配，以选取最优特征对集合还包括：进行surf方法匹配，并且通过RANSAC方法进行去误匹配，以选取最优特征对集合。

本发明通过多子图的图像匹配替代现有技术中遥感图像整体的图像匹配，通过以深度学习的方式生成遥感图像子图的方法，能够提取遥感图像的有效语义信息，从而过滤掉遥感图像中语义不明的信息点，实现对遥感图像的冗余信息的过滤，提升了遥感图像匹配的精度和效率。

附图说明

为进一步阐明本发明的各实施例中具有的及其它的优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。

图1示出了本发明一个实施例中的整体流程。

图2示出了本发明一个实施例中遥感图像的子图生成的过程。

具体实施方式

应当指出，各附图中的各组件可能为了图解说明而被夸大地示出，而不一定是比例正确的。在各附图中，给相同或功能相同的组件配备了相同的附图标记。

在本发明中，除非特别指出，“布置在…上”、“布置在…上方”以及“布置在…之上”并未排除二者之间存在中间物的情况。此外，“布置在…上或上方”仅仅表示两个部件之间的相对位置关系，而在一定情况下、如在颠倒产品方向后，也可以转换为“布置在…下或下方”，反之亦然。

在本发明中，各实施例仅仅旨在说明本发明的方案，而不应被理解为限制性的。

在本发明中，除非特别指出，量词“一个”、“一”并未排除多个元素的场景。

在此还应当指出，在本发明的实施例中，为清楚、简单起见，可能示出了仅仅一部分部件或组件，但是本领域的普通技术人员能够理解，在本发明的教导下，可根据具体场景需要添加所需的部件或组件。另外，除非另行说明，本发明的不同实施例中的特征可以相互组合。例如，可以用第二实施例中的某特征替换第一实施例中相对应或功能相同或相似的特征，所得到的实施例同样落入本申请的公开范围或记载范围。

在此还应当指出，在本发明的范围内，“相同”、“相等”、“等于”等措辞并不意味着二者数值绝对相等，而是允许一定的合理误差，也就是说，所述措辞也涵盖了“基本上相同”、“基本上相等”、“基本上等于”。以此类推，在本发明中，表方向的术语“垂直于”、“平行于”等等同样涵盖了“基本上垂直于”、“基本上平行于”的含义。

另外，本发明的各方法的步骤的编号并未限定所述方法步骤的执行顺序。除非特别指出，各方法步骤可以以不同顺序执行。

下面结合具体实施方式参考附图进一步阐述本发明。

选取包括地物类别为建筑物、水域、道路、耕地和植被的遥感图像。

构建用于遥感图像语义识别的神经网络，用于对遥感图像进行常见地物类型的识别，并且生成遥感图像相应的子图集合，包括：

选取训练内容：对遥感图像中所包含的地物类别唯一编号，编号标签集合为集合T{0，1，2，3，4…}，地物类别与地物编号标签的映射关系为：{建筑物：0，水域：1，道路：2，耕地：3，植被：4，…}；选取训练集所需遥感图像，打上常见地物类别的标签用于神经网络的训练；

搭建基于UNet的语义分割网络，并用所述训练内容进行训练，得到遥感图像子图生成神经网络；以及

向所述神经网络中输入待处理遥感图像，输出为不同地物类别各自的分布图；由于此遥感图像中可被识别的地物有5类，则通过网络将会生成5张子图，分别为建筑物分布图、水域分布图、道路分布图、耕地分布图和植被分布图，其中每张子图根据其所包含的地物类型具有唯一的地物类型标签，标签与其所包含的地物类型的编号相同，分别为T{0，1，2，3，4}。

将待匹配遥感图像A和参考图像B分别输入所述遥感图像子图生成神经网络，得到每张遥感图像相对应的子图集合，包括：

待匹配遥感图像A的子图集合表示为A

对于遥感图像子图集合中的每张子图，通过相应映射关系C得到子图地物类型标签t，其对应关系为：图像A{a

对待匹配遥感图像A和参考图像B的子图集合中的所有子图进行surf(Speeded UpRobust Features)特征的提取，得到每张子图的surf特征点的分布图，其中surf特征包括：

搜索所有尺度空间上的图像，通过Hessian(黑塞矩阵)来识别潜在的对尺度和选择不变的兴趣点，以提取特征；

统计特征点圆形邻域内的Haar小波特征，包括在60度扇形内，每次将60度扇形区域旋转0.2弧度进行统计，将值最大的那个扇形的方向作为该特征点的主方向；以及

沿着特征点的主方向周围的邻域内，取4×4个矩形小区域，统计每个小区域的Haar小波特征，然后每个区域得到一个4维的特征向量，其中一个特征点共有64维的特征向量作为surf特征的描述子。

将待匹配遥感图像A和参考图像B的surf特征点进行特征匹配，得到最优特征对集合，包括：

选取A

C(a

其中a

将a

将所有最优特征对集合取并集，并映射回原图，作为原图的特征对，从而实现对原图的匹配。

尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。