一种图像配准方法和装置

技术领域

本文涉及图像处理技术，尤指一种图像配准方法和装置。

背景技术

遥感(remote sensing)是指非接触的、远距离的探测技术。一般指运用传感器/遥感器对物体的电磁波的辐射、反射特性的探测。遥感是通过遥感器这类对电磁波敏感的仪器，在远离目标和非接触目标物体条件下探测目标地物，获取探测目标地物反射、辐射或散射的电磁波信息(如电场、磁场、电磁波、地震波等信息)，并进行提取、判定、加工处理、分析与应用的一门科学和技术。

SAR(Synthetic Aperture Radar)，即合成孔径雷达，是一种主动式的对地观测系统，可安装在飞机、卫星、宇宙飞船等飞行平台上，全天时、全天候对地实施观测、并具有一定的地表穿透能力。因此，SAR系统在灾害监测、环境监测、海洋监测、资源勘查、农作物估产、测绘和军事等方面的应用上具有独特的优势，可发挥其他遥感手段难以发挥的作用，因此越来越受到世界各国的重视。

然而，由于目前的配准方法准确性较低，使得对于SAR遥感图像的信息不能很好地利用。

发明内容

本申请实施例提供了一种图像配准方法和装置，能够实现图像的快速、准确配准。

本申请实施例提供了一种图像配准方法，所述方法可以包括：

获取多个遥感图像，并从所述多个遥感图像中确定出参考图像和待配准图像；所述遥感图像包括但不限于：合成孔径雷达遥感图像和光学遥感图像；

通过训练好的特征提取模型分别提取参考图像的第一区域特征图和待配准图像的第二区域特征图；

基于信息熵，根据预设的相似性度量函数对所述第一区域特征图和所述第二区域特征图进行迭代配准，以获取最优变换参数矩阵；

采用所述最优变换参数矩阵对所述待配准图像进行配准，获取配准后图像。

在本申请的示例性实施例中，所述特征提取模型是预先以标定好特征区域的多个遥感图像作为训练样本，对深度神经网络进行训练获得的模型。

在本申请的示例性实施例中，所述深度神经网络可以包括：预处理模块、卷积神经网络主干网络CNN backbone和输出模块。

在本申请的示例性实施例中，所述卷积神经网络主干网络CNN backbone可以包括：编码器和解码器；所述编码器和所述解码器对称组成；

所述编码器可以包括：卷积网络模块、正则化模块、线性整流函数模块和池化函数模块；

所述解码器可以包括：池化函数模块、线性整流函数模块、正则化模块和线性分类器函数模块。

在本申请的示例性实施例中，所述方法还可以包括：将所述参考图像和所述待配准图像输入所述特征提取模型，以获取所述第一区域特征图和所述第二区域特征图之前，对所述参考图像和所述待配准图像进行预处理；

所述预处理可以包括：将所述参考图像和所述待配准图像的维度转化为所述特征提取模型的维度，和/或，进行滤波处理。

在本申请的示例性实施例中，所述基于信息熵，根据预设的相似性度量函数对所述第一区域特征图和所述第二区域特征图进行迭代配准，以获取最优变换参数矩阵可以包括：

基于信息熵的采样方法对所述第一区域特征图和所述第二区域特征图进行采样，由采样获得的数据对所述相似性度量函数进行迭代计算，在迭代停止后获得所述相似性度量函数的极大值，并将所述极大值对应的所述相似性度量函数的自变量组成的矩阵作为最优变换参数矩阵。

在本申请的示例性实施例中，所述基于信息熵的采样方法对所述第一区域特征图和所述第二区域特征图进行采样可以包括：

通过信息熵度量所述第一区域特征图和所述第二区域特征图中不同区域所包含的信息量的多少；

根据所述第一区域特征图和所述第二区域特征图中不同区域的信息熵为所述不同区域配置相应的采样因子；其中，信息熵的数值大小与对应的采样因子的数值大小成正比；

根据所述采样因子对所述第一区域特征图和所述第二区域特征图进行采样。

在本申请的示例性实施例中，所述通过信息熵度量所述第一区域特征图和所述第二区域特征图中不同区域所包含的信息量的多少可以包括：

分别将所述第一区域特征图和所述第二区域特征图划分为多个区域；

对于每个区域，采用该区域中每一个灰度值出现的次数除以该区域中全部灰度值出现的总次数，计算出该区域中灰度值的概率分布；

根据所述概率分布确定每个区域包含信息量的大小，并根据所述信息量的大小确定每个区域对应的信息熵的数值；其中，所述信息量的大小与所述信息熵的数值的大小成正比。

在本申请的示例性实施例中，所述由采样获得的数据对所述相似性度量函数进行迭代计算可以包括：通过方向加速算法对所述相似性度量函数进行迭代计算。

本申请实施例还提供了一种图像配准装置，可以包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任意一项所述的图像配准方法。

与相关技术相比，本申请实施例可以包括：获取多个遥感图像，并从所述多个遥感图像中确定出参考图像和待配准图像；所述遥感图像包括但不限于：合成孔径雷达遥感图像和光学遥感图像；通过训练好的特征提取模型分别提取参考图像的第一区域特征图和待配准图像的第二区域特征图；基于信息熵，根据预设的相似性度量函数对所述第一区域特征图和所述第二区域特征图进行迭代配准，以获取最优变换参数矩阵；采用所述最优变换参数矩阵对所述待配准图像进行配准，获取配准后图像。通过该实施例方案，实现了图像的快速、准确配准。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实施例的图像配准方法流程图；

图2为本申请实施例的图像配准方法示意图；

图3为本申请实施例的CNN backbone结构示意图；

图4为本申请实施例的获取最优变换参数矩阵的方案示意图；

图5为本申请实施例的图像配准装置组成框图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

本申请实施例提供了一种图像配准方法，如图1、图2所示，所述方法可以包括步骤S101-S104：

S101、获取多个遥感图像，并从所述多个遥感图像中确定出参考图像和待配准图像；所述遥感图像可以包括但不限于：合成孔径雷达遥感图像和光学遥感图像；

S102、通过训练好的特征提取模型分别提取参考图像的第一区域特征图和待配准图像的第二区域特征图；

S103、基于信息熵，根据预设的相似性度量函数对所述第一区域特征图和所述第二区域特征图进行迭代配准，以获取最优变换参数矩阵；

S104、采用所述最优变换参数矩阵对所述待配准图像进行配准，获取配准后图像。

在本申请的示例性实施例中，配准(registration)是指同一区域内以不同成像手段所获得的不同图像图形的地理坐标的匹配，包括几何纠正、投影变换与统一比例尺三方面的处理。在多时相、多信息的复合综合分析时常需进行各种配准处理，是产生一个空间校准集合或匹配某一区域图像的过程。一般步骤包括：①选取同名地物控制点；②输入计算机，实现控制点的相应配准；即，作几何纠正、投影变换和比例尺配准处理。配准方法包括：①相互配准：以多图像的一个分量作为参考图像，其它图像与其配准；②绝对配准：即定义一个控制格网，使所有图像与其配准。此外，在多光谱影像进行彩色合成时，必须进行不同波段影像的配准，以保证相同景物的有关像元能一一对应。

在本申请的示例性实施例中，可以采用相互配准的方法，并基于区域特征进行配准，并且可以针对多源图像进行配准。

在本申请的示例性实施例中，该遥感图像可以包括多种类型，例如，可以包括但不限于：合成孔径雷达遥感图像、光学遥感图像等多种类型的图像。在进行配准时，所选择的多个遥感图像可以为两张图像，该两张图像可以从任意一种或两种类型的遥感图像中进行选取。

在本申请的示例性实施例中，为了提高配准效率，可以通过特征提取模型对参考图像和待配准图像中的区域特征进行提取。

在本申请的示例性实施例中，所述特征提取模型可以是预先以标定好特征区域的多个遥感图像作为训练样本，对深度神经网络进行训练获得的模型。

在本申请的示例性实施例中，如图3所示，所述深度神经网络可以包括：预处理模块、卷积神经网络主干网络CNN backbone和输出模块。

在本申请的示例性实施例中，所述卷积神经网络主干网络CNN backbone可以包括：编码器和解码器；所述编码器和所述解码器对称组成；

所述编码器可以包括：卷积网络模块(Conv)、正则化模块(BatchNormallisation)、线性整流函数模块(Relu)和池化函数模块(Pooling)；

所述解码器可以包括：线性分类器函数模块(Upsampling)、卷积网络模块(Conv)、正则化模块(Batch Normallisation)和线性整流函数模块(Relu)。

在本申请的示例性实施例中，所述方法还可以包括：将所述参考图像和所述待配准图像输入所述特征提取模型，以获取所述第一区域特征图和所述第二区域特征图之前，对所述参考图像和所述待配准图像进行预处理；

所述预处理可以包括：将所述参考图像和所述待配准图像的维度转化为所述特征提取模型的维度，和/或，进行滤波处理。

在本申请的示例性实施例中，将图像维度转化为合适CNN backbone的维度，并做滤波处理。

在本申请的示例性实施例中，如图4所示，所述基于信息熵，根据预设的相似性度量函数对所述第一区域特征图和所述第二区域特征图进行迭代配准，以获取最优变换参数矩阵可以包括：

基于信息熵的采样方法对所述第一区域特征图和所述第二区域特征图进行采样，由采样获得的数据对所述相似性度量函数进行迭代计算，在迭代停止后获得所述相似性度量函数的极大值，并将所述极大值对应的所述相似性度量函数的自变量组成的矩阵作为最优变换参数矩阵。

在本申请的示例性实施例中，每次迭代获得的变换参数矩阵以及最后获得的最优变换参数矩阵均是用于配准转换的转换矩阵。

在本申请的示例性实施例中，所述基于信息熵的采样方法对所述第一区域特征图和所述第二区域特征图进行采样可以包括：

通过信息熵度量所述第一区域特征图和所述第二区域特征图中不同区域所包含的信息量的多少；

根据所述第一区域特征图和所述第二区域特征图中不同区域的信息熵为所述不同区域配置相应的采样因子；其中，信息熵的数值大小与对应的采样因子的数值大小成正比；

根据所述采样因子对所述第一区域特征图和所述第二区域特征图进行采样。

在本申请的示例性实施例中，一般的采样方法是对图像所有区域均使用固定不变的采样因子a，a＝1/N指的是图像中每N个像素仅有一个像素被选中用来参与计算，在所有的区域中采样因子均一致，没有考虑图形中不同区域存在信息量的差别，因此通常会丢失部分重要的数据，从而使得配准不准确。基于信息熵的采样方法对包含信息量较多的区域数据设置较大的采样因子，即，根据图像区域信息熵的不同设置可变的采样因子，从而使得图像中重要的信息不会丢失。

在本申请的示例性实施例中，信息熵的数值大对应的采样因子大，相同大小的区域中选取的数据点就多；反之，信息熵的数值小对应的采样因子小，相同大小的区域中选取的数据点就少；但图像中重要的信息不会丢失。

在本申请的示例性实施例中，所述通过信息熵度量所述第一区域特征图和所述第二区域特征图中不同区域所包含的信息量的多少可以包括：

分别将所述第一区域特征图和所述第二区域特征图划分为多个区域；

对于每个区域，采用该区域中每一个灰度值出现的次数除以该区域中全部灰度值出现的总次数，计算出该区域中灰度值的概率分布；

根据所述概率分布确定每个区域包含信息量的大小，并根据所述信息量的大小确定每个区域对应的信息熵的数值；其中，所述信息量的大小与所述信息熵的数值的大小成正比。

在本申请的示例性实施例中，信息量可以依据图像灰度值的概率分布来确定，该概率分布可以用衣服图像中每个灰度值出现的次数除以图像中所有灰度值出现的总次数来计算。如果一个图像中不同的灰度值较少，各灰度值出现的概率较大，则对应的信息熵的数值较低，意味着这幅图像含有的信息量很少；反之，如果一副图像中含有很多不同的灰度值，且各灰度值发生的概率又基本一致，则它的信息熵对应的数值会很高，意味着这幅图像包含的信息量很多。

在本申请的示例性实施例中，可以将第一区域特征图和第二区域特征图分成若干个小区域，计算每一个小区域的信息熵，并将该信息熵的数值作为对应小区域的灰度像素值，将各个小区域的信息熵的数值在图像中显示出来。

在本申请的示例性实施例中，对于不同的小区域，如果计算出的信息熵的数值的差异小于或等于预设阈值，则可以将这些小区域看作同一类小区域，则可以对这些小区域设置相同的采样因子。

在本申请的示例性实施例中，所述由采样获得的数据对所述相似性度量函数进行迭代计算可以包括：通过方向加速算法对所述相似性度量函数进行迭代计算。

在本申请的示例性实施例中，由采样获得的数据对所述相似性度量函数进行迭代计算的过程实质上是对所述相似性度量函数的优化过程。方向加速算法可以将整个优化过程划分为若干轮迭代，在每一轮的迭代中，先从初始点X0出发，沿着已知的n个方向依次进行n次Brent一维搜索，得到一个极值点X，再从点X出发，沿着X0与X的连线方向做一次Brent一维搜索，得到本轮的极值点，这样完成了第一轮的迭代。由此可见，每次迭代可以进行n+1次(n为所要搜索的参数个数)Brent一维搜索，接着改变初始点，按照上述步骤进行第二轮的迭代，如此重复迭代过程，直至满足停止条件停止迭代。

在本申请的示例性实施例中，搜索方向的替换可以是无条件的，也可以是有条件的。

在本申请的示例性实施例中，相似性度量函数即图像配准的测度函数，他是衡量优化过程中空间几何变换结果优劣的准则，相似性度量函数的自变量是配准变换参数，通过对相似性度量函数的优化过程，可以获得全局最优配准变换参数，从而可以根据该全局最优配准变换参数对待配准图像进行配准。

本申请实施例还提供了一种图像配准装置1，如图5所示，可以包括处理器11和计算机可读存储介质12，所述计算机可读存储介质12中存储有指令，当所述指令被所述处理器11执行时，实现上述任意一项所述的图像配准方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。