超分辨率图像的重建方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种超分辨率图像的重建方法及装置。

背景技术

半导体制作生产的过程中，为了提高良品率，使用半导体检测设备对样品进行缺陷检测是非常重要的一个环节。然而，由于光学检查的分辨率有限，随着半导体器件特征尺寸的减小，对样品的缺陷检测会逐渐变得困难，往往需要对系统的各方面进行提升以确保小尺寸缺陷的顺利检出。

超分辨率重建(Super Resolution Reconstruction，SRR)技术通常指生成更高分辨率图像的方法，通过使用基于单幅或多幅低分辨率图像，经过数字图像处理重建高分辨率图像。超分辨重建技术是计算机视觉和图像处理领域一个非常重要的研究问题，有多种不同的实现方式，比如空间域方法、频域方法、插值方法、统计方法等，近些年使用机器学习进行超分辨重建的技术也有很多发展。超分辨重建技术在卫星遥感、医学成像、生物信息识别、智能交通、安防监控等领域受到了广泛地关注。

为了获得更高分辨率的图像以提高样品缺陷的检测效果，半导体检测领域也逐渐开始关注超分辨重建技术。图像的超分辨重建通常可以分为：单幅图像的分辨率放大、从多幅低分辨率图像中重建高分辨率的单幅图像。图像的超分辨重建也按照如下方式区分：空间域的图像超分辨重建、频域的图像超分辨重建。

通常来说，单幅图像的分辨率放大有基于插值的超分辨重建技术、基于深度学习的超分辨重建技术。基于插值的超分辨重建方法有最近邻插值、双线性插值、双三次插值等方法。最近邻插值虽然简单，但锯齿现象明显、放大效果不理想；通过双线性插值方法放大得到的高分辨图像，虽然锯齿现象有所改善,但图像边缘模糊；双三次插值效果较好，但运算复杂度较高，而且当输出图像不连续时，放大得到的高分辨图像会出现振铃噪声和边缘模糊现象，为了解决振铃噪声的问题，需要使用一些针对图像边缘增强的非线性插值方法，例如基于边缘的插值方法和基于小波变换的插值方法，具体地，比如NEDI算法，但这会进一步增加运算的复杂性。综上所述，基于插值法所生成的更高分辨率图像的分辨率的改善程度通常会比较有限。

深度学习的方法虽然改善效果更好，但是计算消耗巨大，不适用于实时的超分辨重建，具体原因为：1)深度学习的超分辨重建方法通常需要通过算法花费大量时间来利用大量的样本进行训练，才能获得低分辨率图像和高分辨率图像之间对应关系的模型；2)在训练模型的过程中，需要小心选择模型的结构、神经网络深度、训练样本、惩罚函数等各种参数，否则可能会训练出失败的模型；3)在利用模型进行超分辨重建算法的时候，同样需要小心选择一些参数，避免出现不符合实际情况的超分辨图像；4)深度学习中，如果选择的模型结构太浅，训练效果往往不够好，如果选择的模型结构较深，往往计算消耗巨大，不适用于实时的超分辨重建。

大多数多帧图像的图像分辨技术是针对视频的超分辨技术，并不适用于的半导体生产检测中静态图像的场景；而静态图像场景中多帧图像空间域的图像超分辨技术常被用于卫星遥感领域，更加适用于欠采样的情况，在低分辨率图像的采样频率等于奈奎斯特采样频率的情况下，利用这种低分辨率图像所生成的更高分辨率图像的分辨率的改善程度会比较有限。

传统的频域图像超分辨技术保留了频域的特征，所以改善效果较好，同时有速度较快的优点。但是传统的频域图像超分辨技术，由于算法的限制，需要用到至少4张低分辨率图像，相应地，就需要4个TDI相机及其配套设备，其安装难度、成本都会显著上升。

因此，本发明提出了一种超分辨率图像的重建方法及装置，以降低超分辨率图像进行重建的成本以及所需设备的安装难度。

发明内容

本发明提供了一种超分辨率图像的重建方法及装置，解决了现有技术中超分辨率图像进行重建的成本较高以及所需设备的安装难度较大的问题。

第一方面，本发明提供一种超分辨率图像的重建方法，包括：

S1、获取A张目标区域的初级图像，A张所述初级图像上的相同位置的像素点的像素之间存在亚像素级的偏移量，所述A为2或3；

S2、按照在A张所述初级图像的水平方向上每隔B个像素点、以及在A张所述初级图像的竖直方向上每隔C个像素点对A张所述初级图像进行划分，以得到若干子图部分，所述B和所述C均为整数，且取值范围为2～6；

S3、提取A张所述初级图像中每一张所述初级图像的所述若干子图部分在同一相对位置处的像素点的像素，以合成D张中级图像，所述D等于所述A、所述B和所述C的乘积；

S4、选择D张所述中级图像中的其中一张图像作为目标图像，获取所述中级图像相对于所述目标图像的在同一相对位置处的像素点的像素偏移量；

S5、根据所述D设置截断参数，根据所述截断参数以及通过所述S4得到的所述中级图像相对于所述目标图像的在同一相对位置处的像素点的像素偏移量，得到所述中级图像中每一个像素点的第一偏移量分布矩阵；

S6、对所述中级图像进行离散傅里叶变换，以获取所述中级图像进行离散傅里叶变换的结果；

S7、根据所述截断参数、所述中级图像中每一个像素点的第一偏移量分布矩阵、所述中级图像进行离散傅里叶变换的结果，得到所述中级图像中的每一个像素点的连续傅里叶变换的采样结果；

S8、在水平方向上间隔F个像素和竖直方向上间隔G个像素对所述目标图像中的每个像素点进行划分，得到所述目标图像中的所述每个像素点内的E个划分点，所述E为大于1的整数，所述F和所述G的取值为1/12～1/3中能被1整除的数，所述E、所述F和所述G的乘积等于1，所述B和所述F的乘积等于所述C和所述G的乘积，提取在所述每个像素点内同一相对位置处的所述划分点的像素，以合成E张高级图像；

S9、选取所述S8中的所述每个像素点内的E个划分点中的其中一个为参考划分点，获取所述每个像素点内的全部划分点相对于所述参考划分点的偏移量；根据所述偏移量以及所述划分点，获取每个像素点内关于划分点的第二偏移量分布矩阵；

S10、根据所述第二偏移量分布矩阵以及每一个像素点的连续傅里叶变换的采样结果，获取E张所述高级图像中每个所述划分点的离散傅里叶变换结果；

S11、对E张所述高级图像中在同一相对位置处的划分点的所述离散傅里叶变换结果进行处理，以合成一张超分辨率图像。

其有益效果在于：相比于现有技术，本申请至多需要3张低分辨率图像，即至少需要3张初级图像，降低了成本和所拍摄仪器(例如TDI设备)的安装难度；本申请通过按照在A张所述初级图像的水平方向上每隔B个像素点、以及在A张所述初级图像的竖直方向上每隔C个像素点对A张所述初级图像进行划分，且所述B和所述C均为整数，且取值范围为2～6，能够达到分辨率小于所述初级图像的中级图像，但是又不会差别太大，以避免影响后续超分辨率图像的生成；本发明通过设截断参数能够得到适宜大小的第一偏移量分布矩阵，而所述第一偏移量分布矩阵内的数据由像素偏移量决定；本发明通过根据所述D设置截断参数，能够根据所述截断参数与所述D的大小关系选择后续合适的矩阵求解方法，更加灵活；本发明通过在水平方向上间隔F个像素和竖直方向上间隔G个像素对所述目标图像中的每个像素点进行划分以选取位置分布均匀的划分点，有利于后续超分辨率图像的生成。

可选地，在所述S5中，根据所述D设置所述截断参数L

可选地，在所述S6中，通过计算所述截断参数T

可选地，在所述S7中，当所述截断参数L

可选地，在所述S7中，当所述截断参数L

可选地，在所述S9中，通过所述截断参数Lx、截断参数Ly确定所述第二偏移量分布矩阵的行数，通过所述E确定所述第二偏移量分布矩阵的列数；计算所述每个像素点内的全部划分点相对于所述参考划分点的偏移量(δ

可选地，在所述S10中，通过计算所述第二偏移量分布矩阵

可选地，在所述S4中，通过将所述中级图像与所述目标图像逐一进行对比，以分别获取所述中级图像相对于所述目标图像的在同一相对位置处的像素点的像素偏移量。

可选地，在所述S4中，通过所述B和所述C，得到第一中级图像与所述目标图像的像素偏移关系，得到所述第一中级图像与所述目标图像在同一相对位置处的像素点的像素偏移量，所述第一中级图像为与所述目标图像所对应的初级图像相同的中级图像；通过所述B和所述C、以及A张所述初级图像之间所存在的偏移量，得到第二中级图像与所述目标图像在同一相对位置处的像素点的像素偏移量，所述第二中级图像为与所述目标图像所对应的初级图像不相同的中级图像。

第二方面、本发明提供一种超分辨率图像的重建装置，用于执行如第一方面中任一项所述的超分辨率图像的重建方法，包括：获取模块、划分模块、提取模块、处理模块、合成模块；所述划分模块包括第一划分单元、第二划分单元；所述提取模块包括第一提取单元、第二提取单元；所述处理模块包括偏移量获取单元、离散傅里叶变换单元、参数设置单元、矩阵生成单元、连续傅里叶处理单元；所述合成模块包括第一合成单元、第二合成单元和第三合成单元；

所述获取模块用于获取A张目标区域的初级图像，A张所述初级图像上的相同位置的像素点的像素之间存在亚像素级的偏移量，所述A为2或3；

所述第一划分单元用于按照在A张所述初级图像的水平方向上每隔B个像素点、以及在A张所述初级图像的竖直方向上每隔C个像素点对A张所述初级图像进行划分，以得到若干子图部分，所述B和所述C均为整数，且取值范围为2～6；

所述第一提取单元用于提取A张所述初级图像中每一张所述初级图像的所述若干子图部分在同一相对位置处的像素点的像素，所述第一合成单元根据所述第一提取单元的提取结果合成D张中级图像，所述D等于所述A、所述B和所述C的乘积；

所述偏移量获取单元用于选择D张所述中级图像中的其中一张图像作为目标图像，获取中级图像相对于所述目标图像的在同一相对位置处的像素点的像素偏移量；

所述参数设置单元用于根据所述D设置截断参数；所述矩阵生成单元用于根据所述截断参数以及通过所述中级图像相对于所述目标图像的在同一相对位置处的像素点的像素偏移量，得到所述中级图像中每一个像素点的第一偏移量分布矩阵；

所述离散傅里叶变换单元用于对所述中级图像进行离散傅里叶变换，以获取所述中级图像进行离散傅里叶变换的结果；

所述连续傅里叶处理单元用于根据所述截断参数、所述中级图像中每一个像素点的第一偏移量分布矩阵、所述中级图像进行离散傅里叶变换的结果，得到所述中级图像中的每一个像素点的连续傅里叶变换的采样结果；

所述第二划分单元用于在水平方向上间隔F个像素和竖直方向上间隔G个像素对所述目标图像中的每个像素点进行划分，得到所述目标图像中的所述每个像素点内的E个划分点，所述E为大于1的整数，所述F和所述G的取值为1/12～1/3中能被1整除的数，所述E和所述F和所述G的乘积等于1，所述B和所述F的乘积等于所述C和所述G的乘积；所述第二提取单元用于提取在所述每个像素点内同一相对位置处的所述划分点的像素；所述第二合成单元用于根据所述第二提取单元的提取结果合成E张高级图像；

所述矩阵生成单元还用于选取所述每个像素点内的E个划分点中的其中一个为参考划分点，获取所述每个像素点内的全部划分点相对于所述参考划分点的偏移量；根据所述偏移量以及所述划分点，获取每个像素点内关于划分点的第二偏移量分布矩阵；

所述连续傅里叶处理单元还用于根据所述第二偏移量分布矩阵以及每一个像素点的连续傅里叶变换的采样结果，获取E张所述高级图像中每个所述划分点的离散傅里叶变换结果；

所述第三合成单元用于根据E张所述高级图像中在同一相对位置处的划分点的所述离散傅里叶变换结果进行处理，以合成一张超分辨率图像。

其有益效果在于：相比于现有技术，本申请只需要2～3张低分辨率图像，即只需要2～3张初级图像，即，只需要通过2～3套设备获取低分辨率图像，降低了成本和所拍摄仪器(例如TDI相机及其配套设备)的安装难度；本申请通过按照在A张所述初级图像的水平方向上每隔B个像素点、以及在A张所述初级图像的竖直方向上每隔C个像素点对A张所述初级图像进行划分，且所述B和所述C均为整数，且取值范围为2-6，能够达到分辨率小于所述初级图像的中级图像，但是又不会差别太大，以避免影响后续超分辨率图像的生成；本发明通过设截断参数能够得到适宜大小的第一偏移量分布矩阵，而所述第一偏移量分布矩阵内的数据由像素偏移量决定；本发明通过根据所述D设置截断参数，能够根据所述截断参数与所述D的大小关系选择后续合适的矩阵求解方法，更加灵活；本发明通过在水平方向上间隔F个像素和竖直方向上间隔G个像素对所述目标图像中的每个像素点进行划分以选取位置分布均匀的划分点，有利于后续超分辨率图像的生成。

附图说明

图1为本发明提供的一种超分辨率图像的重建方法实施例流程示意图；

图2为本发明提供的一种初级图像实施例示意图；

图3为本发明提供的一种中级图像实施例示意图；

图4为本发明提供的一种中级图像相对于目标图像的像素偏移量分布实施例示意图；

图5为本发明提供的一种i、l和r之间的关系示意图；

图6为本发明提供的一种像素点内划分点的分布情况示意图；

图7为本发明提供的一种超分辨率图像的重建装置实施例示意图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“该”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

为了在保证获取到超分辨率图像的同时，降低现有技术中的成本以及安装难度，本发明提供了一种超分辨率图像的重建方法。

在一些实施例中，所述超分辨率图像的重建方法的流程如图1所示，包括：

S101、获取2张目标区域的初级图像，2张所述初级图像上的相同位置的像素点的像素之间存在亚像素级的偏移量；

S102、按照在2张所述初级图像的水平方向上每隔2个像素点、以及在2张所述初级图像的竖直方向上每隔2个像素点对2张所述初级图像进行划分，以得到若干子图部分；

S103、提取2张所述初级图像中每一张所述初级图像的所述若干子图部分在同一相对位置处的像素点的像素，以合成8张中级图像；其中，每一张初级图像分别对应4张中级图像；

S104、选择8张所述中级图像中的其中一张图像作为目标图像，例如选择图3中的(1)作为目标图像，则获取其余所述中级图像相对于所述目标图像的在同一相对位置处的像素点的像素偏移量；

S105、设置两个截断参数、且这两个截断参数的乘积的四倍小于或等于8；根据所述截断参数以及通过所述S104得到的所述中级图像相对于所述目标图像的在同一相对位置处的像素点的像素偏移量，得到所述中级图像中每一个像素点的第一偏移量分布矩阵；

S106、对所述中级图像进行离散傅里叶变换，以获取所述中级图像进行离散傅里叶变换的结果；

S107、根据所述截断参数、8张所述中级图像中每一个像素点的第一偏移量分布矩阵、所述中级图像进行离散傅里叶变换的结果，得到所述中级图像中的每一个像素点的连续傅里叶变换的采样结果；

S108、在水平方向上和竖直方向上均间隔0.25像素对所述目标图像中的每个像素点进行划分，得到所述目标图像中的所述每个像素点内的16个划分点，提取在所述每个像素点内同一相对位置处的所述划分点的像素，以合成16张高级图像；

S109、选取所述S108中的所述每个像素点内的16个划分点中的其中一个为参考划分点，获取所述每个像素点内的全部划分点相对于所述参考划分点的偏移量；根据所述偏移量以及所述划分点，获取每个像素点内关于划分点的第二偏移量分布矩阵；

S110、根据所述第二偏移量分布矩阵以及每一个像素点的连续傅里叶变换的采样结果，获取E张所述高级图像中每个所述划分点的离散傅里叶变换结果；

S111、根据16张所述高级图像中在同一相对位置处的划分点的所述离散傅里叶变换结果进行处理，以合成一张超分辨率图像。

为了更加详细的介绍本实施例，在一些具体实施例中进行进一步的解释说明。

在S101中，所述初级图像分别如图2中的(1)和(2)所示。

在S92和S103中，所述图2中的(1)所对应的中级图像如图3中的(1)、(2)、(3)、(4)所示；所述图2中的(2)所对应的中级图像如图3中的(5)、(6)、(7)、(8)所示，每个方格均表示一个像素点，图2中的(1)和(2)中的方格内所示字母相同的像素点被提取至不同的中级图像。

在S94中，例如选择图3中的(1)作为目标图像，则获取图3中的(2)、(3)、(4)、(5)、(6)、(7)、(8)相对于图3中的(1)的在同一相对位置处的像素点的像素偏移量。在S94中，可以有两种处理方法，第一种是分别获取图3中的(2)、(3)、(4)、(5)、(6)、(7)、(8)相对于图3中的(1)的偏移量；第二种是通过图3中的(2)、(3)和(4)与所述图3中的(1)的固定的像素偏移关系，得到图3中的(2)、(3)、(4)相对于图3中的(1)的在同一相对位置处的像素点的像素偏移量；通过图2中的(2)相对于图2中的(1)的像素偏移量、以及图3中的(6)、(7)和(8)与所述图3中的(5)的固定的像素偏移关系，得到图3中的(5)、(6)、(7)、(8)相对于图3中的(1)的在同一相对位置处的像素点的像素偏移量。当所述图3中的(5)相对于图3中的(1)的像素偏移量为(δ

在所述S105中，根据所述D设置所述截断参数L

通过公式

r的取值从1到4L

在S106中，通过计算采样周期T

在所述S107中，

其中L

于是，可以将全部中级图像所对应的离散傅里叶变换结果写为矩阵形式：

简写为以下形式：

在所述S107中，当所述截断参数L

或者，在所述S107中，当所述截断参数L

在所述S109中，所述第二偏移量分布矩阵

在所述S110中，通过公式

在所述S111中，通过得到所述16张高级图像中每个所述划分点(a，b)的离散傅里叶变换结果F'

在又一些实施例中，所述超分辨率图像的重建方法包括：获取3张目标区域的初级图像，并按照与上述实施例同理的方法对其进行处理，以获取超分辨率图像，再次不再进行赘述。

可选地，所述B和C的取值可以是2、3、4、5或6。较为优选的是所述B和C的取值为2或3。

可选地，所述F的取值可以是0.1、0.2、0.25或0.5。较为优选的是所述F的取值为0.25。

基于上述任一项实施例做提供的超分辨率图像的重建方法，本申请还提供一种超分辨率图像的重建装置，用于执行如上述任一项实施例所述的超分辨率图像的重建方法，如图7所示，包括：获取模块701、划分模块702、提取模块703、处理模块704、合成模块705；所述划分模块702包括第一划分单元7021、第二划分单元7022；所述提取模块703包括第一提取单元7031、第二提取单元7032；所述处理模块704包括偏移量获取单元7041、离散傅里叶变换单元7042、参数设置单元7043、矩阵生成单元7044、连续傅里叶处理单元7045；所述合成模块705包括第一合成单元7051、第二合成单元7052和第三合成单元7053。

所述获取模块701用于获取A张目标区域的初级图像，所述A张初级图像上的相同位置的像素点的像素之间存在亚像素级的偏移量，所述A为2或3。

所述第一划分单元7021用于按照在所述A张初级图像的水平方向上每隔B个像素点、以及在所述A张初级图像的竖直方向上每隔C个像素点对所述A张初级图像进行划分，以得到若干子图部分，所述B和所述C均为整数，且取值范围为2～6。

所述第一提取单元7031用于提取所述A张初级图像中每一张所述初级图像的所述若干子图部分在同一相对周期位置处的像素点的像素，所述第一合成单元7051根据所述第一提取单元7031的提取结果合成D张中级图像，所述D等于所述A、所述B和所述C的乘积。

所述偏移量获取单元7041用于选择所述D张中级图像中的其中一张图像作为目标图像，获取其余所述中级图像相对于所述目标图像的在同一相对位置处的像素点的像素偏移量；

所述参数设置单元7043用于设置截断参数；所述矩阵生成单元7044用于根据所述截断参数以及通过所述中级图像相对于所述目标图像的在同一相对位置处的像素点的像素偏移量，得到所述中级图像中每一个像素点的第一偏移量分布矩阵。

所述离散傅里叶变换单元7042用于对所述目标图像进行傅里叶变换，以获取所述目标图像进行傅里叶变换的结果。

所述连续傅里叶处理单元7045用于根据所述第一偏移量分布矩阵、所述中级图像进行离散傅里叶变换的结果，得到所述中级图像中的每一个像素点的连续傅里叶变换的采样结果。

所述第二划分单元7022用于在水平方向上间隔F个像素和竖直方向上间隔G个像素对所述目标图像中的每个像素点进行划分，得到所述目标图像中的所述每个像素点内的E个划分点，所述E为大于1的整数，所述F和所述G的取值范围为1/12～1/3、且能被1整除的数，所述E和所述F和所述G的乘积等于1，所述B和所述F的乘积等于所述C和所述G的乘积；所述第二提取单元7032用于提取在所述每个像素点内同一相对位置处的所述划分点的像素；所述第二合成单元7052用于根据所述第二提取单元7032的提取结果合成E张高级图像。

所述矩阵生成单元7044还用于选取所述每个像素点内的E个划分点中的其中一个为参考划分点，获取所述每个像素点内的全部划分点相对于所述参考划分点的偏移量；根据所述偏移量以及所述划分点，获取每个像素点内关于划分点的第二偏移量分布矩阵。

所述连续傅里叶处理单元7045还用于根据所述第二偏移量分布矩阵以及每一个像素点的连续傅里叶变换的采样结果，获取E张所述高级图像中每个所述划分点的离散傅里叶变换结果。

所述第三合成单元7053用于根据所述E张高级图像中在同一相对位置处的划分点的所述离散傅里叶变换结果进行处理，以合成一张超分辨率图像。

上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应单元模块的功能描述，在此不再赘述。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述的权利要求的保护范围为准。