图像匹配方法、装置、电子设备及存储介质

技术领域

本公开涉及图像匹配领域，更具体地说，涉及一种图像匹配方法、装置、电子设备及存储介质。

背景技术

随着遥感技术的飞速发展，可见光、红外、合成孔径雷达(Synthetic ApertureRadar,SAR)等多类型传感器对地观测影像日趋丰富，不同平台和传感器获取的异源图像之间具有一定互补性，为遥感信息的深入挖掘、大数据分析提供了海量的数据来源，其中，图像匹配是异源图像进一步处理的核心问题。

相关技术中的图像匹配方法主要包括基于特征的匹配方法和基于模板匹配的方法，其中，基于特征的匹配方法常提取关键点周围一定邻域内的局部特征信息描述符，通过比较描述符来确定匹配点，常使用尺度不变特征转换(scale invariant featuretransformation,SIFT)描述符，但由于SIFT描述符是基于影像局部邻域的梯度分布描述关键点，导致对异源影像的匹配精度较低；基于模板匹配的方法一般基于图像的边缘线提取或图像的互相关信息，如果边缘提取不够准确则影响图像的匹配精度，而基于图像互相关的方法由于SAR图像和可见光图像的成像机理差距大，导致有时图像匹配精度偏低。

发明内容

本公开提供一种图像匹配方法、装置、电子设备及存储介质，以至少解决上述相关技术中的问题。

根据本公开实施例的第一方面，提供一种图像匹配方法，包括：获取待匹配图像和模板图像；基于所述待匹配图像，通过第一边缘线强度图预测模型，得到第一边缘线强度图；基于所述模板图像，通过第二边缘线强度图预测模型，得到第二边缘线强度图；以所述第二边缘线强度图为模板，对所述第一边缘线强度图进行模板匹配，得到第一匹配结果；从所述待匹配图像中多次获取目标图像，所述目标图像与所述模板图像的尺寸相同；基于获取的目标图像以及所述模板图像，通过图像匹配模型，对所述模板图像和所述待匹配图像进行匹配，得到第二匹配结果；基于所述第一匹配结果和所述第二匹配结果，得到所述待匹配图像与所述模板图像的匹配位置。

可选地，所述基于所述待匹配图像，通过第一边缘线强度图预测模型，得到第一边缘线强度图，包括：基于所述待匹配图像，通过至少一个第一边缘线强度图预测模型，得到至少一个第一边缘线强度图；所述基于所述模板图像，通过第二边缘线强度图预测模型，得到第二边缘线强度图，包括：基于所述模板图像，通过至少一个第二边缘线强度图预测模型，得到至少一个第二边缘线强度图。

可选地，所述以所述第二边缘线强度图为模板，对所述第一边缘线强度图进行模板匹配，得到第一匹配结果，包括：以所述至少一个第二边缘线强度图为模板，对所述至少一个第一边缘线强度图进行模板匹配，得到至少一个匹配结果；基于所述至少一个匹配结果，得到所述第一匹配结果。

可选地，所述基于所述待匹配图像，通过第一边缘线强度图预测模型，得到第一边缘线强度图，包括：对所述待匹配图像进行多尺度变换；基于每个尺度下的待匹配图像，通过所述第一边缘线强度图预测模型，得到多个第一变换边缘线强度图；基于所述多个第一变换边缘线强度图，得到所述第一边缘线强度图；所述基于所述模板图像，通过第二边缘线强度图预测模型，得到第二边缘线强度图，包括：对所述模板图像进行多尺度变换，其中，对所述模板图像进行的多尺度变换与对所述待匹配图像进行的多尺度变换的变换类型相同；基于每个尺度下的模板图像，通过所述第二边缘线强度图预测模型，得到多个第二变换边缘线强度图；基于所述多个第二变换边缘线强度图，得到所述第二边缘线强度图。

可选地，所述第一边缘线强度图预测模型的训练过程包括：获取第一训练数据集，其中，所述第一训练数据集包括第一图像以及与所述第一图像对应的真实的边缘线强度图，所述第一图像的类型与所述待匹配图像的类型相同；基于所述第一图像，通过所述第一边缘线强度图预测模型，得到第一估计图；基于所述第一估计图和所述真实的边缘线强度图计算第一损失；通过根据所述第一损失调整所述第一边缘线强度图预测模型的模型参数，对所述第一边缘线强度图预测模型进行训练。

可选地，所述第一损失包括交叉熵损失、互相关性损失以及相关性损失，所述第一损失被表示为：

L＝w

其中，FL表示所述交叉熵损失；CCORRLOSS表示所述互相关性损失；CCOEFFLOSS表示所述相关性损失；w

可选地，在完成对所述第一边缘线强度图预测模型的训练之后，所述方法还包括：获取第二训练数据集，其中，所述第二训练数据集包括第二图像、与所述第二图像对应的真实的边缘线强度图以及错误的边缘线强度图，所述第二图像的类型与所述待匹配图像的类型相同，所述错误的边缘线强度图为对训练好的所述第一边缘线强度图预测模型输出的第一边缘线强度图进行模板匹配时得到的与真实匹配位置存在偏差的边缘线强度图；基于所述第二图像，通过所述第一边缘线强度图预测模型，得到第二估计图；基于所述第二估计图、与所述第二图像对应的真实的边缘线强度图以及所述错误的边缘线强度图计算第二损失；通过根据所述第二损失调整所述第一边缘线强度图预测模型的模型参数，对所述第一边缘线强度图预测模型进行训练。

可选地，所述第二损失表示为：

HEMLOSS＝2+CCOEFF

其中，CCOEFF

可选地，所述图像匹配模型的训练过程包括：获取第三训练数据集，其中，所述第三训练数据集包括多个第三图像、第四图像、正样本对和负样本对，所述第三图像的类型与所述待匹配图像的类型相同，所述第四图像的类型与所述模板图像的类型相同，每个所述第三图像与每个所述第四图像的尺寸相同，所述正样本对为相互匹配的第三图像和第四图像，所述负样本对为相互不匹配的第三图像和第四图像；基于任意的所述第三图像和所述第四图像，通过所述图像匹配模型，得到估计的匹配概率；基于所述估计的匹配概率、所述正样本对的标签值以及所述负样本对的标签值计算第三损失；通过根据所述第三损失调整所述图像匹配模型的模型参数，对所述图像匹配模型进行训练。

可选地，所述第三损失被表示为：

FL(p)＝-|y-p|

其中，y表示所述正样本对的标签值或者所述负样本对的标签值；p表示所述估计的匹配概率；-|y-p|

根据本公开实施例的第二方面，提供一种图像匹配装置，包括：图像获取单元，被配置为：获取待匹配图像和模板图像；第一边缘线强度图获取单元，被配置为：基于所述待匹配图像，通过第一边缘线强度图预测模型，得到第一边缘线强度图；第二边缘线强度图获取单元，被配置为：基于所述模板图像，通过第二边缘线强度图预测模型，得到第二边缘线强度图；第一匹配结果确定单元，被配置为：以所述第二边缘线强度图为模板，对所述第一边缘线强度图进行模板匹配，得到第一匹配结果；目标图像获取单元，被配置为：从所述待匹配图像中多次获取目标图像，所述目标图像与所述模板图像的尺寸相同；第二匹配结果确定单元，被配置为：基于获取的目标图像以及所述模板图像，通过图像匹配模型，对所述模板图像和所述待匹配图像进行匹配，得到第二匹配结果；匹配位置确定单元，被配置为：基于所述第一匹配结果和所述第二匹配结果，得到所述待匹配图像与所述模板图像的匹配位置。

可选地，所述第一边缘线强度图获取单元被配置为：基于所述待匹配图像，通过至少一个第一边缘线强度图预测模型，得到至少一个第一边缘线强度图；所述第二边缘线强度图获取单元被配置为：基于所述模板图像，通过至少一个第二边缘线强度图预测模型，得到至少一个第二边缘线强度图。

可选地，所述第一匹配结果确定单元被配置为：以所述至少一个第二边缘线强度图为模板，对所述至少一个第一边缘线强度图进行模板匹配，得到至少一个匹配结果；基于所述至少一个匹配结果，得到所述第一匹配结果。

可选地，所述第一边缘线强度图获取单元被配置为：对所述待匹配图像进行多尺度变换；基于每个尺度下的待匹配图像，通过所述第一边缘线强度图预测模型，得到多个第一变换边缘线强度图；基于所述多个第一变换边缘线强度图，得到所述第一边缘线强度图；所述第二边缘线强度图获取单元被配置为：对所述模板图像进行多尺度变换，其中，对所述模板图像进行的多尺度变换与对所述待匹配图像进行的多尺度变换的变换类型相同；基于每个尺度下的模板图像，通过所述第二边缘线强度图预测模型，得到多个第二变换边缘线强度图；基于所述多个第二变换边缘线强度图，得到所述第二边缘线强度图。

可选地，所述第一边缘线强度图预测模型的训练过程包括：获取第一训练数据集，其中，所述第一训练数据集包括第一图像以及与所述第一图像对应的真实的边缘线强度图，所述第一图像的类型与所述待匹配图像的类型相同；基于所述第一图像，通过所述第一边缘线强度图预测模型，得到第一估计图；基于所述第一估计图和所述真实的边缘线强度图计算第一损失；通过根据所述第一损失调整所述第一边缘线强度图预测模型的模型参数，对所述第一边缘线强度图预测模型进行训练。

可选地，所述第一损失包括交叉熵损失、互相关性损失以及相关性损失，所述第一损失被表示为：

L＝w

其中，FL表示所述交叉熵损失；CCORRLOSS表示所述互相关性损失；CCOEFFLOSS表示所述相关性损失；w

可选地，在完成对所述第一边缘线强度图预测模型的训练之后，还包括：获取第二训练数据集，其中，所述第二训练数据集包括第二图像、与所述第二图像对应的真实的边缘线强度图以及错误的边缘线强度图，所述第二图像的类型与所述待匹配图像的类型相同，所述错误的边缘线强度图为对训练好的所述第一边缘线强度图预测模型输出的第一边缘线强度图进行模板匹配时得到的与真实匹配位置存在偏差的边缘线强度图；基于所述第二图像，通过所述第一边缘线强度图预测模型，得到第二估计图；基于所述第二估计图、与所述第二图像对应的真实的边缘线强度图以及所述错误的边缘线强度图计算第二损失；通过根据所述第二损失调整所述第一边缘线强度图预测模型的模型参数，对所述第一边缘线强度图预测模型进行训练。

可选地，所述第二损失表示为：

HEMLOSS＝2+CCOEFF

其中，CCOEFF

可选地，所述图像匹配模型的训练过程包括：获取第三训练数据集，其中，所述第三训练数据集包括多个第三图像、第四图像、正样本对和负样本对，所述第三图像的类型与所述待匹配图像的类型相同，所述第四图像的类型与所述模板图像的类型相同，每个所述第三图像与每个所述第四图像的尺寸相同，所述正样本对为相互匹配的第三图像和第四图像，所述负样本对为相互不匹配的第三图像和第四图像；基于任意的所述第三图像和所述第四图像，通过所述图像匹配模型，得到估计的匹配概率；基于所述估计的匹配概率、所述正样本对的标签值以及所述负样本对的标签值计算第三损失；通过根据所述第三损失调整所述图像匹配模型的模型参数，对所述图像匹配模型进行训练。

可选地，所述第三损失被表示为：

FL(p)＝-|y-p|

其中，y表示所述正样本对的标签值或者所述负样本对的标签值；p表示所述估计的匹配概率；-|y-p|

根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像匹配方法。

根据本公开实施例的第四方面，提供一种存储指令的计算机可读存储介质，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像匹配方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的图像匹配方法、装置、电子设备及存储介质，一方面，通过第一、第二边缘线强度图预测模型分别获取第一边缘线强度图和第二边缘线强度图，可提高图像的边缘线提取的准确性，从而提高基于边缘线强度图进行图像匹配的匹配精度；另一方面，通过图像匹配模型对模板图像和待匹配图像进行匹配，可改善基于边缘线提取的方法进行模板匹配时由于信息丢失造成的匹配精度偏低的问题，从而提高图像匹配的匹配精度。更进一步，通过将这两方面的匹配结果结合而得到最终的匹配位置，可弥补二者之间可能存在的不足，从而在极大程度上提高图像匹配的匹配精度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是示出根据本公开的示例性实施例的图像匹配方法的流程图。

图2是示出根据本公开的示例性实施例的可见光图像的真实的边缘线强度图和错误的边缘线强度图的示意图，

图3是示出根据本公开的示例性实施例的第一、第二边缘线强度图预测模型的训练数据的构造过程的示意图，

图4是示出根据本公开的示例性实施例的基于第一、第二边缘线强度图预测模型对SAR图像和可见光图像进行匹配的过程示意图。

图5是示出根据本公开的示例性实施例的基于图像分配模型对SAR图像和可见光图像进行匹配的过程示意图。

图6是示出根据本公开的示例性实施例的图像匹配装置的框图。

图7是根据本公开的示例性实施例的电子设备700的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

为了解决异源图像的匹配精度偏低的问题，本公开提出了一种图像匹配方法、装置、电子设备及存储介质，具体地说，一方面，通过第一、第二边缘线强度图预测模型分别获取第一边缘线强度图和第二边缘线强度图，可提高图像的边缘线提取的准确性，从而提高基于边缘线强度图进行图像匹配的匹配精度；另一方面，通过图像匹配模型对模板图像和待匹配图像进行匹配，可改善基于边缘线提取的方法进行模板匹配时由于信息丢失造成的匹配精度偏低的问题，从而提高图像匹配的匹配精度。更进一步，通过将这两方面的匹配结果结合而得到最终的匹配位置，可弥补二者之间可能存在的不足，从而在极大程度上提高图像匹配的匹配精度。下面，将参照图1至图7具体描述根据本公开的示例性实施例的图像匹配方法、装置、电子设备及存储介质。

图1是示出根据本公开的示例性实施例的图像匹配方法的流程图。

参照图1，在步骤101，可获取待匹配图像和模板图像。这里，待匹配图像和模板图像之间是异源图像关系(即，是通过不同成像手段的传感器或者平台获取的图像)，例如，为可见光图像、SAR图像或者红外图像等，对此不作限制。模板图像是指在进行图像匹配时的参照模板，待匹配图像是指图像匹配过程中的被匹配对象，在具体的实施过程中，模板图像的尺寸小于待匹配图像的尺寸，匹配的最终结果是找到模板图像在待匹配图像中对应的位置和区域。

在步骤102，可基于待匹配图像，通过第一边缘线强度图预测模型，得到第一边缘线强度图。

在步骤103，可基于模板图像，通过第二边缘线强度图预测模型，得到第二边缘线强度图。这里，边缘线是指图像中像素值有突变的地方，边缘线强度是指该边缘线所对应的像素值，将一张图像中像素值有突变的地方全部寻找出来，即形成该图像对应的边缘线强度图。

根据本公开的示例性实施例，第一边缘线强度图预测模型可采用U-net网络结构框架，其backbone(主干网络)可采用resnest50，当然，也可采用任意的卷积神经网络框架，例如常见的图像分割网络等，对此不作限制。第一边缘线强度图预测模型被预先训练好，这里，第一边缘线强度图预测模型的训练过程可为：首先，获取第一训练数据集，其中，第一训练数据集包括第一图像以及与第一图像对应的真实的边缘线强度图，并且，第一图像的类型与待匹配图像的类型相同。在具体的实施过程中，为获得更好的训练效果，第一图像为多个，可采用传统的无监督的边缘线提取方法(例如，相位一致性算法等)提取第一图像的边缘线，在得到边缘线之后，为避免由于阈值导致的边缘线不准确的问题，不根据阈值把边缘线划分为二值的0或1，并且，为降低第一边缘线强度图预测模型的训练难度，可把提取到的边缘线的像素值归一化到0～1之间，从而得到真实的边缘线强度图，将真实的边缘线强度图作为训练过程中的标签。然后，可基于第一图像，通过第一边缘线强度图预测模型，得到第一估计图(即，估计的该第一图像对应的边缘线强度图)，这里，为防止出现过拟合情况，可对第一图像和其对应的标签做随机的数据增强(例如，随机尺度变化、随机平移、随机旋转和随机翻转等)，将进行数据增强处理后的第一图像输入第一边缘线强度图预测模型，从而得到该第一估计图。当然，也可直接将第一图像输入第一边缘线强度图预测模型，对此不作限制。之后，可基于第一估计图和真实的边缘线强度图计算第一损失，这里，为提高第一边缘线强度图预测模型的预测准确度，第一损失可包括交叉熵损失、互相关性损失以及相关性损失，在一些实施例中，第一损失可通过第一损失函数来表示，而第一损失函数，例如，但不限于，可被表示为：

L＝w

其中，FL表示交叉熵损失函数(即，表示交叉熵损失)；CCORRLOSS表示互相关性损失函数(即，表示互相关性损失)；CCOEFFLOSS表示相关性损失函数(即，表示相关性损失)；w

FL(x)＝-|x′-x|

其中x表示第一估计图，x′表示该第一估计图对应的标签，-|x′-x|

互相关性损失函数可衡量第一估计图和其对应的标签之间的归一化的互相关性程度，在一些实施例中，互相关性损失函数，例如，但不限于，可被表示为：

CCORRLOSS＝1-CCORR

其中，CCOEFF

相关性损失函数可衡量第一估计图和其对应的标签之间的归一化的相关性程度，在一些实施例中，相关性损失函数，例如，但不限于，可被表示为：

CCOEFFLOSS＝1-CCOEFF

其中，CCOEFF

最后，可通过根据第一损失调整待匹配图像对应的边缘线强度图预测模型的模型参数，对待匹配图像对应的边缘线强度图预测模型进行训练。在一些实施例中，可通过第一损失函数计算的第一损失反向传播来调整第一边缘线强度图预测模型的模型参数。此外，在模型训练过程中，可使用批量的第一图像来调整(或更新)第一边缘线强度图预测模型的模型参数，并以最小化第一损失函数的值为目标，迭代地调整(或更新)第一边缘线强度图预测模型的模型参数，直至第一边缘线强度图预测模型收敛。

根据本公开的示例性实施例，在完成对第一边缘线强度图预测模型的训练之后，为进一步提高该模型的预测准确性，还可对该模型进行finetune(微调)，即，对该模型进行二次训练。具体来讲，该二次训练过程为：首先，获取第二训练数据集，其中，第二训练数据集包括第二图像、与该第二图像对应的真实的边缘线强度图以及错误的边缘线强度图，这里，第二图像的类型与待匹配图像的类型相同，错误的边缘线强度图为对训练好的第一边缘线强度图预测模型输出的边缘线强度图进行模板匹配时得到的与真实匹配位置存在偏差的边缘线强度图。具体来讲，第一边缘线强度图预测模型训练好之后，会利用训练好的第一边缘线强度图预测模型得到第一边缘线强度图进行图像匹配测试，在测试的过程中，可能出现匹配出的边缘线强度图不是真实的模板图像在待匹配图像中对应的边缘线强度图的情况，例如，图2是示出根据本公开的示例性实施例的可见光图像的真实的边缘线强度图和错误的边缘线强度图的示意图，参照图2，图2(a)为可见光图像的边缘线强度图(待匹配图像)，图2(b)为SAR图像的边缘线强度图(模板图像)，图2(a)中框线A限定出的区域为图2(b)在图2(a)中对应的真实的匹配区域，框线B限定出的区域为在进行实际图像匹配测试时得到的图2(b)在图2(a)中对应的错误的边缘线强度图，二者之间存在偏差。

然后，可基于第二图像，通过被训练好的第一边缘线强度图预测模型，得到第二估计图，这里，与前述的训练过程类似，为防止出现过拟合情况，可对第二图像、与第二图像对应的真实的边缘线强度图以及错误的边缘线强度图做随机的数据增强(例如，随机尺度变化、随机平移、随机旋转、随机翻转、颜色空间的变换、图像锐化或者图像模糊等)，将进行数据增强处理后的第一图像输入第一边缘线强度图预测模型，从而得到该第二估计图。之后，可基于第二估计图、与第二图像对应的真实的边缘线强度图以及错误的边缘线强度图计算第二损失，并通过根据第二损失调整第一边缘线强度图预测模型的模型参数，对第一边缘线强度图预测模型进行训练。这里，第二损失可通过第二损失函数来表示，而第二损失函数，例如，但不限于，可被表示为：

HEMLOSS＝2+CCOEFF

其中，CCOEFF

由于第二边缘线强度图预测模型的结构及训练过程与第一边缘线强度图预测模型的结构及训练过程相似，其差别仅在于训练数据及训练标签，为说明书的简洁，在此不再赘述第二边缘线强度图预测模型的结构及训练过程，并且需要明确的是，在训练好第二边缘线强度图预测模型之后，也对第二边缘线强度图预测模型做finetue(finetue过程与第一边缘线强度图预测模型的finetue过程类似)，以提高第二边缘线强度图预测模型预测准确性。

根据本公开的示例性实施例，可基于待匹配图像，通过至少一个第一边缘线强度图预测模型，得到至少一个第一边缘线强度图，并可基于模板图像，通过至少一个第二边缘线强度图预测模型，得到至少一个第二边缘线强度图。具体来讲，在运用神经网络模型预测图像的边缘线强度图时，可能由于训练数据的构造或者神经网络模型本身的特点等而丢失图像的一些细节信息，导致神经网络模型预测的边缘线强度图的准确度存在提升空间，此时，为提高模板图像和待匹配图像之间的匹配精度，可针对待匹配图像和模板图像，利用与待匹配图像的图像类型相同的图像以及与模板图像的图像类型相同的图像分别训练多个(例如，分别训练2个)第一边缘线强度图预测模型和第二边缘线强度图预测模型，从而针对同一张待匹配图像或者模板图像，可得到多张第一边缘线强度图或者第二边缘线强度图，利用多张第一边缘线强度图和第二边缘线强度图进行图像匹配，可得到多个匹配结果，基于该多个匹配结果确定出的匹配位置与真实情况更接近。

在一些实施例中，可根据构造的训练数据来确定第一、第二边缘线强度图预测模型的数目，可结合图3进行描述。图3是示出根据本公开的示例性实施例的第一、第二边缘线强度图预测模型的训练数据的构造过程的示意图，这里训练数据中的相互匹配的两种类型的图像例如为可见光图像和SAR图像。参照图3，对于SAR图像，可用有标注的训练样本中SAR图像匹配到的可见光图像区域的边缘线强度图作为SAR图像的边缘线强度图。图3(1)是可见光图像，图3(2)是SAR图像，其中图3(1)中框线限定的部分与图3(2)中的SAR图像匹配，图3(3)是用相位一致性算法对图3(1)的可见光图像进行边缘线提取得到的边缘线强度图，图3(4)是从图3(3)的框线限定的部分裁剪出来的图像，代表SAR图像的边缘线强度图。如此，对训练样本中的所有可见光图像和SAR图像匹配对执行该方法，可构造出可见光图像的边缘线强度图数据集(可记为数据集DATA_OPTICAL_A)和SAR图像的边缘线强度图数据集(可记为数据集DATA_SAR_A)。

同理，对于可见光图像，可用无监督的边缘线提取方法(例如，相位一致性算法等)提取SAR图像的边缘线强度图作为SAR图像的标签，可见光图像的边缘线强度图为与其匹配的SAR图像中的匹配区域的边缘线强度图。同样可得到两个边缘线强度图数据集，可分别记为DATA_SAR_B和DATA_OPTICAL_B。采用这种方法，可构造出4个训练数据集，其中，可见光图像对应2个(DATA_OPTICAL_A和DATA_OPTICAL_B)，SAR图像对应2个(DATA_SAR_A和DATA_SAR_B)，可针对每个训练数据集，训练一个边缘线强度图预测模型，其中，采用数据集DATA_OPTICAL_A和DATA_SAR_A训练出的可见光图像的边缘线强度图预测模型(可记为MODEL_OPTICAL_A)和SAR图像的边缘线强度图预测模型(MODEL_SAR_A)相对应，采用数据集DATA_OPTICAL_B和DATA_SAR_B训练出的可见光图像的边缘线强度图预测模型(可记为MODEL_OPTICAL_B)和SAR图像的边缘线强度图预测模型(可记为MODEL_SAR_B)相对应。

在另一些实施例中，也可不根据构造的训练数据来确定第一、第二边缘线强度图预测模型的数目，而是直接采用不同的神经网络结构以及损失函数来训练多个第一、第二边缘线强度图预测模型，对此不作限制。

根据本公开的示例性实施例，为提高预测出的第一边缘线强度图和第二边缘线强度图的准确性，可采用多尺度预测的方法进行预测。具体来讲，可首先对待匹配图像进行多尺度变换(例如，但不限于，将图像放大或者缩小、对图像进行亚像素采样得到缩略图等)，然后基于每个尺度下的待匹配图像，通过第一边缘线强度图预测模型，得到多个第一变换边缘线强度图，最后基于该多个第一变换边缘线强度图(例如，可通过取多个第一变换边缘线强度图的平均值)，得到第一边缘线强度图。同理，可首先对模板图像进行多尺度变换(例如，但不限于，将图像放大或者缩小、对图像进行亚像素采样得到缩略图等)，这里，对模板图像进行的多尺度变换与对待匹配图像进行的多尺度变换的变换类型相同，然后，基于每个尺度下的模板图像，通过第二边缘线强度图预测模型，得到多个第二变换边缘线强度图，最后，基于多个第二变换边缘线强度图(例如，可对多个第二变换边缘线强度图取平均值)，得到第二边缘线强度图。这里，由于不同尺度下的图像的多个特征的显著度不同，因此得到的多个边缘线强度图之间的特征也存在差异，从而基于多个第一变换边缘线强度或者第二变换边缘线强度图得到的第一边缘线强度图和第二边缘线强度图的准确性相对于单尺度而言，可显著提高。

在另一些实施例中，也可采用不同的神经网络结构以及损失函数来训练多个第一、第二边缘线强度图预测模型，将多个第一、第二边缘线强度图预测模型输出的边缘线强度图的加权均值作为最终的第一边缘线强度图和第二边缘线强度图，对此不作限制。

需要说明的是，在具体的实施过程中，不对步骤102和步骤103的执行顺序作限定，也就是说，步骤102可先于步骤103执行，或者可后于步骤103执行，亦或者与步骤103同时执行。

返回参照图1，在步骤104，可以第二边缘线强度图为模板，对第一边缘线强度图进行模板匹配，得到第一匹配结果。

根据本公开的示例性实施例，为提高模板图像与待匹配图像之间的匹配精度，可以至少一个第二边缘线强度图为模板，对至少一个第一边缘线强度图进行模板匹配，得到至少一个匹配结果(例如，为匹配分数图)，基于该至少一个匹配结果(例如，将至少一个匹配结果相加，或者相加之后取平均值等)，得到第一匹配结果。这里，可采用基于相关系数的模板匹配方法来进行模板匹配，或者也可采用其他衡量两张图像的相似程度的方法，例如，但不限于，方差匹配法、互相关匹配法等来进行模板匹配，对此不作限制。在一些实施例中，模板图像和待匹配图像例如分别是SAR图像和可见光图像，则结合针对图3的相关描述，待匹配图像对应的第一边缘线强度图预测模型为MODEL_OPTICAL_A和MODEL_OPTICAL_B，模板图像对应的第二边缘线强度图预测模型为MODEL_SAR_A和MODEL_SAR_B。图4是示出根据本公开的示例性实施例的基于第一、第二边缘线强度图预测模型对SAR图像和可见光图像进行匹配的过程示意图。参照图4，可将可见光图像的宽度和高度记为[W

返回参照图1，在步骤105，可从待匹配图像中多次获取目标图像，这里，目标图像与模板图像的尺寸相同。

在步骤106，可基于获取的目标图像以及模板图像，通过图像匹配模型，对模板图像和待匹配图像进行匹配，得到第二匹配结果。

根据本公开的示例性实施例，图像匹配模型可采用基于resnest50的分类框架，当然，也可采用任意的卷积神经网络框架，例如常见的图像分类网络等，对此不作限制。在一些实施例中，图像匹配模型的训练过程为：首先，获取第三训练数据集，其中，第三训练数据集包括多个第三图像、第四图像、正样本对以及负样本对，这里，第三图像的类型与待匹配图像的类型相同，第四图像的类型与模板图像的类型相同，每个第三图像与每个第四图像的尺寸相同，正样本对为相互匹配的第三图像和第四图像，负样本对为相互不匹配的第三图像和第四图像。具体来讲，第三训练数据集可通过如下操作来构造：对于给定的已经匹配好的两种类型的图像，从其中一种类型的图像中按照一定范围的尺度和宽高比随机裁剪一个区域，然后，从匹配好的另一种类型的图像中找到与裁剪区域匹配的区域，二者构成正样本对(可将标签值记为1)，另一种类型的图像中与裁剪区域不匹配的区域都与裁剪区域构成负样本对(可将标签值记为0)，如此，可构造出大量的正样本对和负样本对，而从其中一种类型的图像中裁剪出的区域可作为第三图像，从另一种类型的图像中裁剪出来的区域可作为第四图像。

然后，可基于任意的第三图像和第四图像，通过图像匹配模型，得到估计的匹配概率。这里，估计的匹配概率为第三图像和第四图像之间的匹配概率。为防止出现过拟合情况，可对第三图像和第四图像进行相同参数下的随机数据增强处理(例如，随机尺度变化、随机平移、随机旋转、随机翻转、颜色空间的变换、图像锐化以及图像模糊等)，然后将处理后的第三图像和第四图像在通道上叠加在一起组成一张多通道图像输入图像匹配模型，得到二者之间的匹配概率，当然，也可直接将第三图像和第四图像在通道上叠加在一起后输入图像匹配模型，还可以把第三图像和第四图像分别输入到两个特征提取的backbone网络中，然后把提取的特征图连接在一起，经过几层卷积层后，再输出估计的匹配概率，对此不作限制。而为了降低图像匹配模型的训练难度，还可对负样本对做高斯分布的归一化处理。

之后，可基于估计的匹配概率、第三图像和第四图像对应的正样本对的标签值以及负样本对的标签值计算第三损失。这里，第三损失可通过第三损失函数来表示，而第三损失函数，例如，但不限于，可被表示为：

FL(p)＝-|y-p|

其中，y表示正样本对的标签值或者负样本对的标签值；p表示估计的匹配概率；-|y-p|

最后，可通过根据第三损失调整图像匹配模型的模型参数，对图像匹配模型进行训练。也就是说，可通过第三损失(例如，为通过第三损失函数计算得到的值)反向传播来调整图像匹配模型的模型参数。此外，在模型训练过程中，可使用批量的第二图像和第三图像来调整(或更新)图像匹配模型的模型参数，并以最小化第三损失为目标，迭代地调整(或更新)图像匹配模型的模型参数，直至图像匹配模型收敛。

在得到训练好的图像匹配模型之后，可利用该图像匹配模型进行图像匹配。首先，可从待匹配图像中多次获取与模板图像的尺寸相同的目标图像，这里，可采用滑动窗口的方式来获取与模板图像的尺寸相同的图像。然后，可基于获取的目标图像以及模板图像，通过图像匹配模型，对模板图像和待匹配图像进行匹配，得到第二匹配结果(例如，为匹配分数图)。

在一些实施例中，为提高图像匹配的准确性，还可采用不同的神经网络结构以及损失函数训练多个图像匹配模型，在对模板图像和待匹配图像进行匹配时，分别采用多个图像匹配模型进行匹配，得到多个匹配结果，将多个匹配结果加权平均之后的结果作为最中的第二匹配结果。

图5是示出根据本公开的示例性实施例的基于图像分配模型对SAR图像和可见光图像进行匹配的过程示意图。

参照图5，SAR图像为模板图像，可见光图像为待匹配图像。可见光图像的宽度和高度记为[W

需要说明的是，在具体的实施过程中，不对“步骤102、步骤103和步骤104”以及“步骤105和步骤106”的执行顺序作限定，也就是说，“步骤102、步骤103和步骤104”可先于“步骤105和步骤106”执行，或者可后于“步骤105和步骤106”执行，亦或者与“步骤105和步骤106”同时执行。

返回参照图1，在步骤107，可基于第一匹配结果和第二匹配结果，得到待匹配图像与模板图像的匹配位置。根据本公开的示例性实施例，可将第一匹配结果和第二匹配结果相加，得到最终结果，将最终结果中数值最大的位置确定为待匹配图像与模板图像的匹配位置，当然，也可相加之后取平均值，作为当前位置的最终结果，对此不作限制。具体来讲，第一匹配结果和第二匹配结果中的每个结果表示待匹配图像中的当前位置与模板图像的左上角位置的匹配程度，结果对应的数值越高，表示匹配程度越高。这里，由于基于第一、第二边缘线强度图预测模型获取第一匹配结果，并基于图像匹配模型获取第二匹配结果，通过将第一匹配结果和第二匹配结果相结合，来得到待匹配图像与模板图像的匹配位置，可在极大程度上提高图像匹配的匹配精度。

图6是示出根据本公开的示例性实施例的图像匹配装置的框图。

参照图6，根据本公开的示例性实施例的图像匹配装置600可包括图像获取单元601、第一边缘线强度图获取单元602、第二边缘线强度图获取单元603、第一匹配结果确定单元604、目标图像获取单元605、第二匹配结果确定单元606和匹配位置确定单元607。

图像获取单元601可获取待匹配图像和模板图像。这里，待匹配图像和模板图像之间是异源图像关系(即，是通过不同成像手段的传感器或者平台获取的图像)，例如，为可见光图像、SAR图像或者红外图像等，对此不作限制。模板图像是指在进行图像匹配时的参照模板，待匹配图像是指图像匹配过程中的被匹配对象，在具体的实施过程中，模板图像的尺寸小于待匹配图像的尺寸，匹配的最终结果是找到模板图像在待匹配图像中对应的位置和区域。

第一边缘线强度图获取单元602可基于待匹配图像，通过第一边缘线强度图预测模型，得到第一边缘线强度图。第二边缘线强度图获取单元603可基于模板图像，通过第二边缘线强度图预测模型，得到第二边缘线强度图。这里，边缘线是指图像中像素值有突变的地方，边缘线强度是指该边缘线所对应的像素值，将一张图像中像素值有突变的地方全部寻找出来，即形成该图像对应的边缘线强度图。

根据本公开的示例性实施例，第一边缘线强度图预测模型可采用U-net网络结构框架，其backbone(主干网络)可采用resnest50，当然，也可采用任意的卷积神经网络框架，例如常见的图像分割网络等，对此不作限制。第一边缘线强度图预测模型被预先训练好，这里，第一边缘线强度图预测模型的训练过程可为：首先，获取第一训练数据集，其中，第一训练数据集包括第一图像以及与第一图像对应的真实的边缘线强度图，并且，第一图像的类型与待匹配图像的类型相同。在具体的实施过程中，为获得更好的训练效果，第一图像为多个，可采用传统的无监督的边缘线提取方法(例如，相位一致性算法等)提取第一图像的边缘线，在得到边缘线之后，为避免由于阈值导致的边缘线不准确的问题，不根据阈值把边缘线划分为二值的0或1，并且，为降低第一边缘线强度图预测模型的训练难度，可把提取到的边缘线的像素值归一化到0～1之间，从而得到真实的边缘线强度图，将真实的边缘线强度图作为训练过程中的标签。然后，可基于第一图像，通过第一边缘线强度图预测模型，得到第一估计图(即，估计的该第一图像对应的边缘线强度图)，这里，为防止出现过拟合情况，可对第一图像和其对应的标签做随机的数据增强(例如，随机尺度变化、随机平移、随机旋转和随机翻转等)，将进行数据增强处理后的第一图像输入第一边缘线强度图预测模型，从而得到该第一估计图。当然，也可直接将第一图像输入第一边缘线强度图预测模型，对此不作限制。之后，可基于第一估计图和真实的边缘线强度图计算第一损失，这里，为提高第一边缘线强度图预测模型的预测准确度，第一损失可包括交叉熵损失、互相关性损失以及相关性损失，在一些实施例中，第一损失可通过第一损失函数来表示，而第一损失函数，例如，但不限于，可被表示为：

L＝w

其中，FL表示交叉熵损失函数(即，表示交叉熵损失)；CCORRLOSS表示互相关性损失函数(即，表示互相关性损失)；CCOEFFLOSS表示相关性损失函数(即，表示相关性损失)；w

FL(x)＝-|x′-x|

其中x表示第一估计图，x′表示该第一估计图对应的标签，-|x′-x|

互相关性损失函数可衡量第一估计图和其对应的标签之间的归一化的互相关性程度，在一些实施例中，互相关性损失函数，例如，但不限于，可被表示为：

CCORRLOSS＝1-CCORR

其中，CCOEFF

相关性损失函数可衡量第一估计图和其对应的标签之间的归一化的相关性程度，在一些实施例中，相关性损失函数，例如，但不限于，可被表示为：

CCOEFFLOSS＝1-CCOEFF

其中，CCOEFF

最后，可通过根据第一损失调整待匹配图像对应的边缘线强度图预测模型的模型参数，对待匹配图像对应的边缘线强度图预测模型进行训练。在一些实施例中，可通过第一损失函数计算的第一损失反向传播来调整第一边缘线强度图预测模型的模型参数。此外，在模型训练过程中，可使用批量的第一图像来调整(或更新)第一边缘线强度图预测模型的模型参数，并以最小化第一损失函数的值为目标，迭代地调整(或更新)第一边缘线强度图预测模型的模型参数，直至第一边缘线强度图预测模型收敛。

根据本公开的示例性实施例，在完成对第一边缘线强度图预测模型的训练之后，为进一步提高该模型的预测准确性，还可对该模型进行finetune(微调)，即，对该模型进行二次训练。具体来讲，该二次训练过程为：首先，获取第二训练数据集，其中，第二训练数据集包括第二图像、与该第二图像对应的真实的边缘线强度图以及错误的边缘线强度图，这里，第二图像的类型与待匹配图像的类型相同，错误的边缘线强度图为对训练好的第一边缘线强度图预测模型输出的边缘线强度图进行模板匹配时得到的与真实匹配位置存在偏差的边缘线强度图。具体来讲，第一边缘线强度图预测模型训练好之后，会利用训练好的第一边缘线强度图预测模型得到第一边缘线强度图进行图像匹配测试，在测试的过程中，可能出现匹配出的边缘线强度图不是真实的模板图像在待匹配图像中对应的边缘线强度图的情况(例如可参照图2)，然后，可基于第二图像，通过被训练好的第一边缘线强度图预测模型，得到第二估计图，这里，与前述的训练过程类似，为防止出现过拟合情况，可对第二图像、与第二图像对应的真实的边缘线强度图以及错误的边缘线强度图做随机的数据增强(例如，随机尺度变化、随机平移、随机旋转、随机翻转、颜色空间的变换、图像锐化或者图像模糊等)，将进行数据增强处理后的第一图像输入第一边缘线强度图预测模型，从而得到该第二估计图。之后，可基于第二估计图、与第二图像对应的真实的边缘线强度图以及错误的边缘线强度图计算第二损失，并通过根据第二损失调整第一边缘线强度图预测模型的模型参数，对第一边缘线强度图预测模型进行训练。这里，第二损失可通过第二损失函数来表示，而第二损失函数，例如，但不限于，可被表示为：

HEMLOSS＝2+CCOEFF

其中，CCOEFF

由于第二边缘线强度图预测模型的结构及训练过程与第一边缘线强度图预测模型的结构及训练过程相似，其差别仅在于训练数据及训练标签，为说明书的简洁，在此不再赘述第二边缘线强度图预测模型的结构及训练过程，并且需要明确的是，在训练好第二边缘线强度图预测模型之后，也对第二边缘线强度图预测模型做finetue(finetue过程与第一边缘线强度图预测模型的finetue过程类似)，以提高第二边缘线强度图预测模型预测准确性。

根据本公开的示例性实施例，第一边缘线强度图获取单元602可基于待匹配图像，通过至少一个第一边缘线强度图预测模型，得到至少一个第一边缘线强度图，第二边缘线强度图获取单元603可基于模板图像，通过至少一个第二边缘线强度图预测模型，得到至少一个第二边缘线强度图。具体来讲，在运用神经网络模型预测图像的边缘线强度图时，可能由于训练数据的构造或者神经网络模型本身的特点等而丢失图像的一些细节信息，导致神经网络模型预测的边缘线强度图的准确度存在提升空间，此时，为提高模板图像和待匹配图像之间的匹配精度，可针对待匹配图像和模板图像，利用与待匹配图像的图像类型相同的图像以及与模板图像的图像类型相同的图像分别训练多个(例如，分别训练2个)第一边缘线强度图预测模型和第二边缘线强度图预测模型，从而针对同一张待匹配图像，第一边缘线强度图获取单元602可得到多张第一边缘线强度图，而针对同一张模板图像，第二边缘线强度图获取单元603可得到第二边缘线强度图，利用多张第一边缘线强度图和第二边缘线强度图进行图像匹配，可得到多个匹配结果，基于该多个匹配结果确定出的匹配位置与真实情况更接近。

在一些实施例中，可根据构造的训练数据来确定第一、第二边缘线强度图预测模型的数目(例如，可参照方法实施例中关于图3的描述，这里不再赘述)。在另一些实施例中，也可不根据构造的训练数据来确定第一、第二边缘线强度图预测模型的数目，而是直接采用不同的神经网络结构以及损失函数来训练多个第一、第二边缘线强度图预测模型，对此不作限制。

根据本公开的示例性实施例，第一边缘线强度图获取单元602可对待匹配图像进行多尺度变换(例如，但不限于，将图像放大或者缩小、对图像进行亚像素采样得到缩略图等)，然后基于每个尺度下的待匹配图像，通过第一边缘线强度图预测模型，得到多个第一变换边缘线强度图，最后基于该多个第一变换边缘线强度图(例如，可通过取多个第一变换边缘线强度图的平均值)，得到第一边缘线强度图。第二边缘线强度图获取单元603可对模板图像进行多尺度变换(例如，但不限于，将图像放大或者缩小、对图像进行亚像素采样得到缩略图等)，这里，对模板图像进行的多尺度变换与对待匹配图像进行的多尺度变换的变换类型相同，然后，基于每个尺度下的模板图像，通过第二边缘线强度图预测模型，得到多个第二变换边缘线强度图，最后，基于多个第二变换边缘线强度图(例如，可对多个第二变换边缘线强度图取平均值)，得到第二边缘线强度图。这里，由于不同尺度下的图像的多个特征的显著度不同，因此得到的多个边缘线强度图之间的特征也存在差异，从而基于多个第一变换边缘线强度或者第二变换边缘线强度图得到的第一边缘线强度图和第二边缘线强度图的准确性相对于单尺度而言，可显著提高。

在另一些实施例中，也可采用不同的神经网络结构以及损失函数来训练多个第一、第二边缘线强度图预测模型，第一边缘线强度图获取单元602可将多个第一边缘线强度图预测模型输出的边缘线强度图的加权均值作为最终的第一边缘线强度图，第二边缘线强度图获取单元603可将多个第二边缘线强度图预测模型输出的边缘线强度图的加权均值作为最终的第二边缘线强度图，对此不作限制。

需要说明的是，在具体的实施过程中，不对第一边缘线强度图获取单元602和第二边缘线强度图获取单元603的工作执行顺序作限定，也就是说，第一边缘线强度图获取单元602可先于第二边缘线强度图获取单元603执行，或者可后于第二边缘线强度图获取单元603执行，亦或者与第二边缘线强度图获取单元603同时执行。

第一匹配结果确定单元604可以第二边缘线强度图为模板，对第一边缘线强度图进行模板匹配，得到第一匹配结果。

根据本公开的示例性实施例，为提高模板图像与待匹配图像之间的匹配精度，第一匹配结果确定单元604可以至少一个第二边缘线强度图为模板，对至少一个第一边缘线强度图进行模板匹配，得到至少一个匹配结果(例如，为匹配分数图)，基于该至少一个匹配结果(例如，将至少一个匹配结果相加，或者相加之后取平均值等)，得到第一匹配结果。这里，可采用基于相关系数的模板匹配方法来进行模板匹配，或者也可采用其他衡量两张图像的相似程度的方法，例如，但不限于，方差匹配法、互相关匹配法等来进行模板匹配，对此不作限制。

目标图像获取单元605可从待匹配图像中多次获取目标图像，这里，目标图像与模板图像的尺寸相同。

第二匹配结果确定单元606可基于获取的目标图像以及模板图像，通过图像匹配模型，对模板图像和待匹配图像进行匹配，得到第二匹配结果。

根据本公开的示例性实施例，图像匹配模型可采用基于resnest50的分类框架，当然，也可采用任意的卷积神经网络框架，例如常见的图像分类网络等，对此不作限制。在一些实施例中，图像匹配模型的训练过程为：首先，获取第三训练数据集，其中，第三训练数据集包括多个第三图像、第四图像、正样本对以及负样本对，这里，第三图像的类型与待匹配图像的类型相同，第四图像的类型与模板图像的类型相同，每个第三图像与每个第四图像的尺寸相同，正样本对为相互匹配的第三图像和第四图像，负样本对为相互不匹配的第三图像和第四图像。具体来讲，第三训练数据集可通过如下操作来构造：对于给定的已经匹配好的两种类型的图像，从其中一种类型的图像中按照一定范围的尺度和宽高比随机裁剪一个区域，然后，从匹配好的另一种类型的图像中找到与裁剪区域匹配的区域，二者构成正样本对(可将标签值记为1)，另一种类型的图像中与裁剪区域不匹配的区域都与裁剪区域构成负样本对(可将标签值记为0)，如此，可构造出大量的正样本对和负样本对，而从其中一种类型的图像中裁剪出的区域可作为第三图像，从另一种类型的图像中裁剪出来的区域可作为第四图像。

然后，可基于任意的第三图像和第四图像，通过图像匹配模型，得到估计的匹配概率。这里，估计的匹配概率为第三图像和第四图像之间的匹配概率。为防止出现过拟合情况，可对第三图像和第四图像进行相同参数下的随机数据增强处理(例如，随机尺度变化、随机平移、随机旋转、随机翻转、颜色空间的变换、图像锐化以及图像模糊等)，然后将处理后的第三图像和第四图像在通道上叠加在一起组成一张多通道图像输入图像匹配模型，得到二者之间的匹配概率，当然，也可直接将第三图像和第四图像在通道上叠加在一起后输入图像匹配模型，还可以把第三图像和第四图像分别输入到两个特征提取的backbone网络中，然后把提取的特征图连接在一起，经过几层卷积层后，再输出估计的匹配概率，对此不作限制。而为了降低图像匹配模型的训练难度，还可对负样本对做高斯分布的归一化处理。

之后，可基于估计的匹配概率、第三图像和第四图像对应的正样本对的标签值以及负样本对的标签值计算第三损失。这里，第三损失可通过第三损失函数来表示，而第三损失函数，例如，但不限于，可被表示为：

FL(p)＝-|y-p|

其中，y表示正样本对的标签值或者负样本对的标签值；p表示估计的匹配概率；-|y-p|

最后，可通过根据第三损失调整图像匹配模型的模型参数，对图像匹配模型进行训练。也就是说，可通过第三损失(例如，为通过第三损失函数计算得到的值)反向传播来调整图像匹配模型的模型参数。此外，在模型训练过程中，可使用批量的第二图像和第三图像来调整(或更新)图像匹配模型的模型参数，并以最小化第三损失为目标，迭代地调整(或更新)图像匹配模型的模型参数，直至图像匹配模型收敛。

在得到训练好的图像匹配模型之后，可利用该图像匹配模型进行图像匹配。首先，可从待匹配图像中多次获取与模板图像的尺寸相同的目标图像，这里，可采用滑动窗口的方式来获取与模板图像的尺寸相同的图像。然后，可基于获取的目标图像以及模板图像，通过图像匹配模型，对模板图像和待匹配图像进行匹配，得到第二匹配结果(例如，为匹配分数图)。

在一些实施例中，为提高图像匹配的准确性，还可采用不同的神经网络结构以及损失函数训练多个图像匹配模型，在对模板图像和待匹配图像进行匹配时，第二匹配结果确定单元606可分别采用多个图像匹配模型进行匹配，得到多个匹配结果，将多个匹配结果加权平均之后的结果作为最中的第二匹配结果。

需要说明的是，在具体的实施过程中，不对“第一边缘线强度图获取单元602、第二边缘线强度图获取单元603、第一匹配结果确定单元604”以及“目标图像获取单元605、第二匹配结果确定单元606”的工作执行顺序做限定，也就是说，“第一边缘线强度图获取单元602、第二边缘线强度图获取单元603、第一匹配结果确定单元604”可先于“目标图像获取单元605、第二匹配结果确定单元606”执行工作，或者可后于“目标图像获取单元605、第二匹配结果确定单元606”执行工作，亦或者与“目标图像获取单元605、第二匹配结果确定单元606”同时执行工作。

匹配位置确定单元607可基于第一匹配结果和第二匹配结果，得到待匹配图像与模板图像的匹配位置。根据本公开的示例性实施例，匹配位置确定单元607可将第一匹配结果和第二匹配结果相加，得到最终结果，将最终结果中数值最大的位置确定为待匹配图像与模板图像的匹配位置，当然，也可相加之后取平均值，作为当前位置的最终结果，对此不作限制。

图7是根据本公开的示例性实施例的电子设备700的框图。

参照图7，电子设备700包括至少一个存储器701和至少一个处理器702，所述至少一个存储器701中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器702执行时，执行根据本公开的示例性实施例的图像匹配方法。

作为示例，电子设备700可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备700并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备700还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

在电子设备700中，处理器702可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器702可运行存储在存储器701中的指令或代码，其中，存储器701还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器701可与处理器702集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器701可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器701和处理器702可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器702能够读取存储在存储器中的文件。

此外，电子设备700还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备700的所有组件可经由总线和/或网络而彼此连接。

根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的图像匹配方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的图像匹配方法、装置、电子设备及存储介质，一方面，通过第一、第二边缘线强度图预测模型分别获取第一边缘线强度图和第二边缘线强度图，可提高图像的边缘线提取的准确性，从而提高基于边缘线强度图进行图像匹配的匹配精度；另一方面，通过图像匹配模型对模板图像和待匹配图像进行匹配，可改善基于边缘线提取的方法进行模板匹配时由于信息丢失造成的匹配精度偏低的问题，从而提高图像匹配的匹配精度。更进一步，通过将这两方面的匹配结果结合而得到最终的匹配位置，可弥补二者之间可能存在的不足，从而在极大程度上提高图像匹配的匹配精度。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。