一种图像匹配方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像匹配方法。

背景技术

图像匹配方法用于匹配不同图像中的物体或场景。传统的图像匹配方法通常通过计算模板图像与搜索图像中各个区域灰度的相似程度来进行匹配。这些相似度的计分方法包括误差平方和算法、平均差平方和算法、归一化互相关系算法、相位相关算法和序贯相似性检测算法等。当模板图像和搜索图像非常清晰，噪音少，纹理相对简单，且二者之间的转换关系不复杂时，比如不涉及旋转和缩放，这些方法都能很好的完成这个任务。然而，图像采集设备(光学显微镜或扫描电子显微镜)的光照(光束或电子束)存在波动会造成图像的噪音，使得传统的图像匹配方法变得非常脆弱，鲁棒性和准确性低。

基于深度学习的图像匹配方法具有高效、准确和鲁棒的特点，如基于深度学习的关键点匹配方法，分块特征值相似度匹配方法，生成特征描述符方法等。虽然基于深度学习的图像匹配方法在很多应用中已经取得了很不错的效果，但仍然存在一些缺点，如精确性不足。

于是，需要一种图像匹配方法，以有效提升图像匹配方法的鲁棒性，准确性和精确性。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种图像匹配方法，包括：

预处理，分别对初始模板图像和初始搜索图像进行预处理得到模板图像和搜索图像；

粗定位，基于至少两种不同的深度学习图像匹配方法将所述模板图像和所述搜索图像匹配以获得至少两个与模板图像的尺寸相同的匹配区域，基于所述至少两个匹配区域确定所述搜索图像中的粗匹配区域；

精定位，基于相位相关图像匹配方法将所述粗匹配区域和所述模板图像匹配以确定所述搜索图像中的精匹配区域。

较佳地，基于所述至少两个匹配区域确定所述搜索图像中的粗匹配区域，包括：

获取各个所述匹配区域的中心点，获取所有所述中心点的平均坐标位置或者所有所述中心点形成的多边形的几何中心；

以所述平均坐标位置或几何中心为粗匹配区域的中心点，以所述模板图像的尺寸为粗匹配区域的尺寸，在所述搜索图像中获得所述粗匹配区域。

较佳地，所述至少两种不同的深度学习图像匹配方法为以下方法中的至少两种：关键点匹配方法、分块特征值相似度匹配方法和生成特征描述符方法。

较佳地，所述粗定位包括：

基于关键点匹配方法将所述模板图像和所述搜索图像匹配，确定所述搜索图像中与模板图像的尺寸相同的第一匹配区域；

基于分块特征值相似度匹配方法将所述模板图像和所述搜索图像匹配，确定所述搜索图像中与模板图像的尺寸相同的第二匹配区域；

基于所述第一匹配区域和所述第二匹配区域确定所述粗匹配区域。

较佳地，基于所述第一匹配区域和所述第二匹配区域确定所述粗匹配区域包括：以所述第一匹配区域和所述第二匹配区域的中心点的平均坐标位置作为粗匹配区域的中心点，以所述模板图像的尺寸为粗匹配区域的尺寸，在所述搜索图像中获得所述粗匹配区域。

较佳地，所述基于关键点匹配方法将所述模板图像和所述搜索图像匹配，确定所述搜索图像中与模板图像的尺寸相同的第一匹配区域包括：

S101、分别对模板图像和搜索图像提取关键点的描述符di以及位置信息pi；

S102、基于关键点的描述符di、位置信息pi和多层感知器获取一向量，再将该向量的信息送入深度神经网络，获得模板图像的特征值fj

S103、获取特征值fj

S104、通过设定的相似度阈值，获得所述相似度矩阵中相似度满足相似度阈值的至少两对成对关键点，根据所述至少两对成对关键点在搜索图像中获得与模板图像的尺寸相同的第一匹配区域。

较佳地，在S104中，先获取各组成对关键点对应在模板图像和搜索图像的位置偏移量，然后根据预设的偏移量阈值条件过滤掉未满足偏移量阈值条件的若干对成对关键点，最后根据余下的成对关键点在搜索图像中获得与模板图像的尺寸相同的第一匹配区域。

较佳地，所述基于分块特征值相似度匹配方法将所述模板图像和所述搜索图像匹配，确定所述搜索图像中与模板图像的尺寸相同的第二匹配区域包括：

S201、用卷积神经网络分别对模板图像和搜索图像切块得到模板图像中的第一子块和搜索图像中与模板图像尺寸相同的图像块以及图像块的第二子块，并提取所述第一子块的特征ft和第二子块的特征fs；

S202、分别计算所述特征fs与ft的余弦相似度和特征ft和与fs的余弦相似度，并分别利用归一化指数函数获得所述特征fs与ft的相似排名Soft(t|s)，以及获得ft与fs的相似排名Soft(s|t)，计算匹配分数Score

S203、获取所述匹配分数最大时的图像块以作为第二匹配区域。

较佳地，所述精定位包括：

S301、构建关于所述粗匹配区域f1和模板图像f2的公式(7)，

f

其中，x

S302、对所述公式(7)进行傅里叶变换得到公式(8),

其中，u，v为频率域的坐标，F

S303、根据所述公式(8)获得公式(9)所示的脉冲函数，获取脉冲函数的最大值所在频率的位置，以作为模板图像f2和粗匹配区域f1对应位置的偏移量，然后在粗匹配区域f1的位置基础上结合偏移量获得所述精匹配区域的位置,并以所述模板图像的尺寸为精匹配区域的尺寸，在所述搜索图像中确定所述精匹配区域，

其中，F

较佳地，所述初始模板图像和初始搜索图像均为晶圆的图像。

本发明的有益效果在于：先基于深度学习图像匹配方法实现粗定位，再基于相位相关图像匹配方法实现精定位，兼顾了深度学习图像匹配方法的较高鲁棒性及准确性和相位相关图像匹配方法的较高精确性，有效提升了图像匹配方法的鲁棒性、准确性和精确性。此外，基于至少两种深度学习图像匹配方法分别获得的匹配区域确定粗匹配区域，故能够避免因使用单一的深度学习图像匹配方法而导致图像匹配方法的鲁棒性相对较低的问题，可以进一步提高鲁棒性。

附图说明

图1A为本发明一较佳实施例提供的图像匹配方法的一流程图；

图1B为本发明一较佳实施例提供的图像匹配方法的另一流程图；

图2为本发明一较佳实施例的粗定位步骤中基于深度学习关键点匹配方法对模板图像和搜索图像进行匹配的示意图；

图3为本发明一较佳实施例的粗定位步骤中基于深度学习分块特征值相似度匹配方法匹配后确定的第二匹配区域的示意图；

图4为本发明一较佳实施例的粗定位步骤中确定粗匹配区域的示意图；

图5为本发明一较佳实施例的精定位步骤中使用的模板图像；

图6为本发明一较佳实施例的精定位步骤中使用的粗匹配区域；

图7为本发明一较佳实施例的将图5和图6直接叠加得到的图像；

图8为本发明一较佳实施例的精定位步骤中脉冲函数的图像；

图9为本发明一较佳实施例的实施精定位后将图5和图6叠加得到的图像。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

下面结合附图，对本发明的具体实施方式作进一步的详细说明。

如图1A所示，本发明实施例提供了一种图像匹配方法，包括：

S10、预处理，(包括)分别对初始模板图像和初始搜索图像进行预处理得到模板图像和搜索图像；

在本实施例中，以初始模板图像(初始搜索图像同理)为例，预处理包括对图像进行滤波去噪，直方图拉伸和增强边缘对比度中的一个或多个，其中，滤波去噪的目的是为了减少图像中的噪音，该噪音例如由光照的波动而引起。

在本实施例中，初始模板图像和初始搜索图像均为晶圆的图像；示例性地，基于图像采集设备(光学显微镜或电子显微镜)对晶圆上的标志采集图像，以获得初始模板图像和初始搜索图像，但不限于此。

S20、粗定位，(包括)基于至少两种不同的深度学习图像匹配方法将模板图像和搜索图像匹配以获得至少两个与模板图像的尺寸相同的匹配区域，基于至少两个匹配区域确定搜索图像中的粗匹配区域；

S30、精定位，(包括)基于相位相关图像匹配方法将粗匹配区域和模板图像匹配以确定搜索图像中的精匹配区域。

其中，定位是指确定位置，由此可知，确定搜索图像中的粗匹配区域是指确定搜索图像中粗匹配区域的位置，确定搜索图像中的精匹配区域是指确定搜索图像中精匹配区域的位置。此外，粗匹配区域以及精匹配区域的尺寸也均与模板图像的尺寸相同。

本发明的有益效果在于：先基于深度学习图像匹配方法实现粗定位，再基于相位相关图像匹配方法实现精定位，兼顾了深度学习图像匹配方法的较高鲁棒性及准确性和相位相关图像匹配方法的较高精确性，有效提升了图像匹配方法的鲁棒性、准确性和精确性。此外，基于至少两种深度学习图像匹配方法分别获得的匹配区域确定粗匹配区域，故能够避免因使用单一的深度学习图像匹配方法而导致图像匹配方法的鲁棒性相对较低的问题，可以进一步提高鲁棒性。

在一些实施例中，基于至少两个匹配区域确定搜索图像中的粗匹配区域，包括：

获取各个匹配区域的中心点，获取所有中心点的平均坐标位置(即所有中心点的坐标的平均位置)或者所有中心点形成的多边形的几何中心；

以平均坐标位置或几何中心为粗匹配区域的中心点，以模板图像的尺寸为粗匹配区域的尺寸，在搜索图像中获得粗匹配区域。

其中，基于任一种深度学习图像匹配方法均能够获得一个匹配区域。需要指出的是，无论匹配区域的数量为两个(例如为第一匹配区域和第二匹配区域)还是至少三个，均可获取所有中心点的平均坐标位置，但是，当获取所有中心点形成的多边形的几何中心时，要求匹配区域的数量为至少三个，由此可知，在一实施例中，基于至少三种深度学习图像匹配方法获得至少三个匹配区域。

在一些实施例中，至少两种不同的深度学习图像匹配方法为以下方法中的至少两种：(基于深度学习的)关键点匹配方法、(基于深度学习的)分块特征值相似度匹配方法和(基于深度学习的)生成特征描述符方法。

参考图1A-图1B，在本实施例中，粗定位包括：

基于关键点匹配方法将模板图像和搜索图像匹配，确定搜索图像中与模板图像的尺寸相同的第一匹配区域；

基于分块特征值相似度匹配方法将模板图像和搜索图像匹配，确定搜索图像中与模板图像的尺寸相同的第二匹配区域；

基于第一匹配区域和第二匹配区域确定粗匹配区域。

示例性地，如图2所示，基于关键点匹配方法进行图像匹配在搜索图像S(图2中的搜索图像S仅示意一部分区域，完整的搜索图像S如图3所示)中获得第一匹配区域100；如图3所示，基于分块特征值相似度匹配方法在搜索图像S中获得第二匹配区域200。

在一些实施例中，基于第一匹配区域和第二匹配区域确定粗匹配区域包括：以第一匹配区域和第二匹配区域的中心点的平均坐标位置作为感兴趣区域ROI的中心点，以模板图像的尺寸为感兴趣区域ROI的尺寸，在搜索图像S中获得感兴趣区域ROI。其中，感兴趣区域ROI即为粗匹配区域。

在本实施例中，如图4所示，以第一匹配区域100和第二匹配区域200的中心点连成的线段的中心点作为感兴趣区域ROI的中心点，感兴趣区域ROI也可称为粗匹配区域S300，以模板图像的尺寸为感兴趣区域ROI的尺寸，在搜索图像S(图4中的搜索图像S仅示意一部分区域，完整的搜索图像S如图3所示)中获得感兴趣区域ROI。

在本实施例中，基于关键点匹配方法将模板图像和搜索图像匹配，确定搜索图像中与模板图像的尺寸相同的第一匹配区域包括：

S101、分别对模板图像T和搜索图像S提取关键点的描述符di以及位置信息pi；

在本实施例中，采用深度学习的方法如SuperPoint方法分别对模板图像T和搜索图像S提取关键点的描述符di以及位置信息pi，在其它的一些实施例中，也可以采用如SIFT方法的传统图像处理方法进行。

S102、基于关键点的描述符di、位置信息pi和多层感知器获取一向量，再将该向量的信息送入深度神经网络，获得模板图像T的特征值fj

具体而言，根据公式(1)对关键点进行编码，

(0)

其中，深度神经网络的首层为

f

在一实施例中，将隐藏层的层数大于或等于2的神经网络称为深度神经网络。

S103、获取特征值fj

具体而言，根据公式(3)计算特征值fj

Score

其中，＜fi

S104、通过设定的相似度阈值，获得相似度矩阵中相似度满足相似度阈值的至少两对成对关键点，根据至少两对成对关键点在搜索图像S中获得与模板图像的尺寸相同的匹配的区域，即图2中的第一匹配区域。

示例性地，在S104中，先获取各组成对关键点对应在模板图像T和搜索图像S的位置偏移量，然后根据预设的偏移量阈值条件过滤掉未满足偏移量阈值条件的若干对成对关键点，最后根据余下的成对关键点在搜索图像中获得与模板图像的尺寸相同的第一匹配区域。其中，偏移量阈值条件包括阈值上限，当位置偏移量大于或等于阈值上限时，对应的成对关键点为异常点，应该过滤即舍弃该成对关键点。

在本实施例中，基于分块特征值相似度匹配方法确定搜索图像S中的第二匹配区域，对于分块特征值相似度匹配方法，其利用公式(4)来实现，其中，R是一个固定大小(尺寸和模板图像T相同)的候选窗口即为图像块，目标是找到一组图像块R的参数即位置(x

其中，x

在一实施例中，基于分块特征值相似度匹配方法将模板图像和搜索图像匹配，确定搜索图像中与模板图像的尺寸相同的第二匹配区域包括：

S201、用卷积神经网络分别对模板图像T和搜索图像S切块得到模板图像T中的第一子块t和搜索图像S中与模板图像T尺寸相同的图像块R以及图像块R的第二子块s，并提取所述第一子块t的特征ft和第二子块s的特征fs；

S202、分别计算特征fs与ft的余弦相似度和特征ft与fs的余弦相似度，并分别利用softmax激活层(即归一化指数函数)获得特征fs与ft的相似排名(也可称为相似度)Soft(t|s)，以及获得特征ft与fs的相似排名Soft(s|t)，计算匹配分数Score

具体而言，根据公式(5)计算相似排名Soft(t|s),

其中，*为乘法，P是一个预设值，该预设值例如是可学习的参数,即让该卷积神经网络找到合适的P，使得匹配时Soft(t|s)为1，不匹配时Soft(t|s)为0，

根据公式(6)计算匹配分数Score

Score

其中，Score

S203、获取所述匹配分数最大时的图像块R以作为第二匹配区域。

如公式(4)和公式(6)，获取公式(6)中相似度即打分最大时对应的上述参数x

在本实施例中，精定位包括：

S301、构建关于粗匹配区域f1和模板图像f2(也即模板图像T)的公式(7)，

f

其中，x

S302、对公式(7)进行傅里叶变换得到公式(8)，

其中，*为乘法，u，v为频率域的坐标，F

S303、根据公式(8)获得公式(9)所示的脉冲函数，获取脉冲函数的最大值所在频率的位置，以作为模板图像f2和粗匹配区域f1对应位置的偏移量，然后在粗匹配区域f1的位置基础上结合偏移量获得精匹配区域的位置,并以模板图像的尺寸为精匹配区域的尺寸，在搜索图像中确定精匹配区域，

其中，F

具体而言，在本实施例中，使用图5所示的模板图像，采用关键点匹配方法、分块特征值相似度匹配方法确定第一匹配区域和第二匹配区域，以第一匹配区域和第二匹配区域的中心点的平均坐标位置作为感兴趣区域(ROI)的中心点，以模板图像的尺寸为感兴趣区域(ROI)的尺寸，在搜索图像中获得感兴趣区域(ROI)，也即如图6所示的粗匹配区域；图7为图5和图6直接叠加的图像，可以看到二者之间存在明显的位移。图8为脉冲函数的图像，其中右下角有一个明显的白色点，通过该点可计算图5和图6的位移。图9为图5和图6进行配准即图像匹配成功后叠加的图像，不难发现二者相同纹理的区域实现了重叠。其中，术语“叠加”是指进行模板匹配后，将成功匹配到的成对关键点重叠设置，使得模板图像和搜索图像中的匹配区域放置于一张图中，由此便于观察模板图像和匹配区域之间的位置关系。

本实施例还提供一种晶圆定位方法，包括：基于前文所述的图像匹配方法获得精匹配区域以及模板图像和精匹配区域的相对位置关系，存储所述相对位置关系或基于所述相对位置关系校正晶圆的位置。

示例性地，该相对位置关系包括平移量和/或旋转角，该相对位置关系可以以矩阵的形式示意。此外，本领域技术人员知悉，无论是存储该相对位置关系，还是直接基于该相对位置关系校正晶圆的位置，均是实现了晶圆定位。

虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。