一种基于图卷积神经网络的图像配准方法

技术领域

本发明涉及计算机视觉技术领域，特别是一种基于图卷积神经网络的图像配准方法。

背景技术

越来越多的计算机视觉产品融入到我们的日常生活中，而现实生活中复杂的数据对计算机视觉算法要求越来越高。估计两图像之间的几何关系是计算机视觉邻域的基础问题，在Structure from Motion和Simultaneous Localization and Mapping里扮演了重要的角色。在图像配准里，传统的外点去除算法比如有RANSAC(Fischler MA,BollesRC.Random sample consensus:a paradigm for model fitting with applications toimage analysis and automated cartography.Communications ofthe ACM.1981Jun 1；24(6):381-95.)是标准算法，也是最流行的外点去除算法。GMS(Bian J,Lin WY,Matsushita Y,Yeung SK,Nguyen TD,Cheng MM.Gms:Grid-based motion statistics forfast,ultra-robust feature correspondence.InProceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition 2017(pp.4181-4190).)。随着深度学习在近几年的表现的性能越来越高，将深度学习用于图像匹配的算法也日益增多。但是目前还没有一种将图卷积神经网络(GCN)用于图像配准的方案，一是因为没有有效图卷积可以用于图像配准，二是因为非刚性变换的缘故，无法采取有效的取邻居策略。

发明内容

有鉴于此，本发明的目的是提出一种基于图卷积神经网络的图像配准方法，有效提高了配准精度。

本发明采用以下方案实现：一种基于图卷积神经网络的图像配准方法，具体包括以下步骤：

获得图像对的关键点，并初始化关键点匹配；

将初始匹配对输入到多层感知机获得每个匹配对的特征点信息；

将初始匹配对输入到图卷积神经网络获得每个匹配点对的局部图空间特征信息；

将匹配点对的特征点信息与局部图空间特征信息联合后输入到多层感知机学习联合特征，并输出最终特征；

利用输出的最终特征计算损失值，并采用反向传播算法调整网络参数。

进一步地，所述获得图像对的关键点，并初始化关键点匹配对及数据集具体为：

采用特征提取算法提取2D配准图像中关键点坐标的假设匹配对，得到

进一步地，所述将初始匹配对输入到多层感知机获得每个匹配对的特征点信息具体包括以下步骤：

步骤S21：采用一层共享感知机将初始匹配对的集合P＝[p

步骤S22：将N个匹配对输入到基础残差网络结构中，获得每个匹配对的映射特征输出

进一步地，所述基础残差网络结构包括一层共享感知机MLP、一个实例归一化层IN，一个批量归一化层BN，和一个矫正线性单元ReLU。

进一步地，所述图卷积神经网络包括一个以上的图卷积模块、一个以上的池化层、共享感知机网络MLP；每个图卷积模块中包括一层图卷积层以及一层ReLU层；

通过图卷积层提取输入数据的图卷积特征，通过池化层对提取的图卷积特征进行池化操作，在每次池化后再次构建每个匹配对的最近邻以输入到下一个图卷积层，之后将不同空间关系下的图卷积特征以通道维合并，最后采用共享感知机网络MLP对联合特征进行学习，得到每个匹配点对的局部图空间特征信息

进一步地，所述将匹配点对的特征点信息与局部图空间特征信息联合后输入到多层感知机学习联合特征，并输出最终特征具体为：

将每个匹配点对的特征点信息out

将

进一步地，所述利用输出的最终特征计算损失值，并采用反向传播算法调整网络参数具体为：

通过加权八点算法计算出最后的输出

用损失函数计算损失值，并通过反向传播算法调整网络参数。

进一步地，所述损失值loss的计算为：

式中，l

与现有技术相比，本发明有以下有益效果：本发明将基于空间上的图卷积引入到图像配准方法中，将图卷积的优势与现阶段在图像配准中常用的神经网络模块结合、提取特征。因此，本发明最终能提高匹配精度。实验结果表明，本发明在基准数据集上达到了最先进的性能。

附图说明

图1为本发明实施例的方法流程示意图。

图2为本发明实施例的图卷积网络结构示意图。

图3为本发明实施例的整体网络结构示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1以及图3所示，本实施例提供了一种基于图卷积神经网络的图像配准方法，具体包括以下步骤：

获得图像对的关键点，并初始化关键点匹配；

将初始匹配对输入到多层感知机获得每个匹配对的特征点信息；

将初始匹配对输入到图卷积神经网络获得每个匹配点对的局部图空间特征信息；

将匹配点对的特征点信息与局部图空间特征信息联合后输入到多层感知机学习联合特征，并输出最终特征；

利用输出的最终特征计算损失值，并采用反向传播算法调整网络参数。

在本实施例中，所述获得图像对的关键点，并初始化关键点匹配对及数据集具体为：

采用特征提取算法提取2D配准图像中关键点坐标的假设匹配对，得到

在本实施例中，所述将初始匹配对输入到多层感知机获得每个匹配对的特征点信息具体包括以下步骤：

步骤S21：采用一层共享感知机将初始匹配对的集合P＝[p

步骤S22：将N个匹配点对输入到基础残差网络结构中，获得每个匹配对的映射特征输出

在本实施例中，所述基础残差网络结构包括一层共享感知机MLP、一个实例归一化层IN，一个批量归一化层BN，和一个矫正线性单元ReLU。

如图2所示，在本实施例中，所述图卷积神经网络包括一个以上的图卷积模块(GCN)、一个以上的池化层、共享感知机网络MLP；每个图卷积模块中包括一层图卷积层以及一层ReLU层；

其中，图卷积层conv计算卷积核K

式中，感受野

通过图卷积层提取输入数据的图卷积特征，通过池化层对提取的图卷积特征进行池化操作，将输入

在本实施例中，所述将匹配点对的特征点信息与局部图空间特征信息联合后输入到多层感知机学习联合特征，并输出最终特征具体为：

将每个匹配点对的特征点信息out

将

在本实施例中，所述利用输出的最终特征计算损失值，并采用反向传播算法调整网络参数具体为：

通过加权八点算法计算出最后的输出

用损失函数计算损失值，并通过反向传播算法调整网络参数。

在本实施例中，所述损失值loss的计算为：

式中，l

本实施例将所提出的方法与当前最先进的匹配方法的定量和定性实验在公共数据集(YFCC100M)上进行，结果表明本实施例的方法明显优于其他算法。下表为本实施例与其他几种匹配算法的F-测量值，准确率，召回率量化对比。对比方法有Ransac，LPM，PointCN。从表中，可以看到本发明显著提升了检测准确率，在4种方法中取得最好的效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。