用于提供超分辨率成像的准确度的反馈并改进超分辨率成像的准确度的系统、装置和方法

相关申请的交叉引用

本发明是2019年05月21日提交到中国知识产权局的申请号为201980040709.5的发明专利的分案申请，该母案申请是申请日为2019年05月21日、国际申请号为PCT/US2019/033293的PCT国际申请的进国家阶段的申请，要求于2018年07月03日提交的美国专利申请No.16/027,056的优先权，其全部内容通过引用并入本文。

技术领域

本公开涉及提供关于超分辨率成像的准确度的反馈并涉及改进超分辨率成像的准确度。

背景技术

检查材料的一致性和检测异常在从制造到科学到生物学的各学科中都是重要的。检查通常采用显微镜检查系统来检验和测量样品。如本文所用的样品指检验对象(例如，晶片、基片等)，并且伪影指样品、样品的一部分、样品中的特征、样品中的异常和/或样品中的缺陷。例如，伪影可以是诸如晶体管、电阻器、电容器、集成电路、微芯片等的电子器件，诸如癌细胞的生物异常，或大块材料中的诸如裂纹、划痕、碎片等的缺陷。

显微镜检查系统可以用于增强肉眼可以看到的东西。具体地，显微镜检查系统可以通过增加人们可以看到的细节的量(例如，光学分辨率)来放大对象，例如，特征和异常。如本文所用，光学分辨率指样品上仍可被区分为两个单独点的两个点之间的最小距离，所述两个单独点仍可被人感知为单独点。光学分辨率可受物镜的数值孔径以及其他参数的影响。通常，物镜的数值孔径越高，则可以用该物镜获得的样品的分辨率越好。单个显微镜检查系统可以具有多于一个的物镜，其中每个物镜都具有不同的分辨能力。较高分辨率的物镜通常比较低分辨率的物镜捕获更多细节。然而，较高分辨率的物镜，例如由于它们较小的视场，通常比较低分辨率的物镜花费长得多的时间来扫描样品。

为了获得较高分辨率的图像(诸如根据较高分辨率的物镜捕获的图像或使用超分辨率技术创建的图像)而不牺牲速度，可以使用人工智能模型根据低分辨率图像推断和模拟超分辨率图像。可以实现这样的方法，而不是使用较高分辨率的物镜实际扫描样品，而是通过使用样品的低分辨率图像的全部或一部分，例如在低分辨率图像中检测到的伪影。这些方法在本文中将可交换地称为超分辨率、超分辨率模拟、超分辨率生成、高分辨率模拟，并且由这些方法产生的图像在本文中将可交换地称为超分辨率图像和例如使用高分辨率模拟来模拟的高分辨率图像。如本文所使用的超分辨率图像可以包括以大于显微镜系统的分辨率极限的分辨率创建的图像。具体地，超分辨率图像可以包括分辨率超过给定的显微镜系统的衍射极限的图像或以超过给定的显微镜系统的数字图像传感器的极限而创建的图像。如本文所使用的超分辨率图像还可以包括在给定的显微镜系统的分辨率极限内，但以比低分辨率图像高的分辨率模拟的图像(例如，超分辨率图像可以是以显微系统能够成像的最高分辨率模拟的图像)。

然而，并非所有在低分辨率下可检测的伪影都是用于生成准确的超分辨率图像的良好候选。例如，使用低分辨率放大率检测的伪影可以对应于通过高分辨率放大率检测的许多伪影，并且在没有附加信息(在伪影的低分辨率图像中可能缺少该附加信息)的情况下，可能无法例如使用高分辨率模拟来生成低分辨率图像的准确超分辨率图像。

因此，期望提供用于提供反馈的新机制，所述反馈关于在低分辨率放大率下发现的哪些伪影适于生成超分辨率图像或哪些伪影不适于生成超分辨率图像。此外，期望改进所生成的超分辨率图像的准确度。

发明内容

下面详细讨论本公开的各种实施例。尽管讨论了具体的实现，但是应当理解，这样做仅仅是为了说明的目的。相关领域的技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以使用其他组件和配置。因此，以下描述和附图是说明性的，而不应被解释为限制性的。描述了许多具体细节以提供对本公开的透彻理解。然而，在某些情况下，为了避免使描述模糊，没有描述公知或常规的细节。对本公开中的一个或多个实施例的引用可以是对相同实施例或任何实施例的引用；并且，这样的引用意味着实施例中的至少一个。

提及“一个实施例”或“实施例”意味着结合实施例描述的特定特征、结构或特性包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不必都指同一实施例，也不是与其它实施例互斥的单独或替代实施例。此外，描述了可由一些实施例而非其它实施例展现的各种特征。

在本公开的上下文中，以及在使用每个术语的特定上下文中，本说明书中使用的术语通常具有它们在本领域中的普通含义。替代语言和同义词可以用于本文讨论的术语中的任何一个或更多个，并且不应对术语是否在本文中详细描述或讨论给予特别的意义。在一些情况下，提供了某些术语的同义词。一个或更多个同义词的叙述不排除使用其他同义词。在本说明书中的任何地方使用的包括本文讨论的任何术语的示例的示例，仅是说明性的，并且不旨在进一步限制本公开或任何示例术语的范围和含义。同样，本公开不限于本说明书中给出的各种实施例。

在不旨在限制本公开的范围的情况下，下面给出根据本公开的实施例的仪器、设备、方法及其相关结果的示例。注意，在示例中可以使用标题或副标题以便于读者理解，这决不应限制本公开的范围。除非另有定义，否则本文所用的技术和科学术语具有本公开内容所属领域的普通技术人员通常理解的含义。在冲突的情况下，以包括定义的本文件为准。

本公开的附加特征和优点将在以下描述中阐述，并且部分地将从描述中显而易见，或者可以通过实践本文公开的原理来获知。本公开的特征和优点可以通过在所附权利要求中特别指出的仪器和组合来实现和获得。本公开的这些和其他特征将从以下描述和所附权利要求书变得更加完全显而易见，或者可以通过实践本文阐述的原理来获知。

一种方法可以包括使用显微镜检查系统的低分辨率物镜来获得样品的低分辨率图像。可以使用超分辨率模拟根据低分辨率图像生成样品的至少一部分的超分辨率图像。此外，可以基于超分辨率图像与使用模拟图像分类器识别的一个或更多个相关样品的至少一部分的一个或更多个实际扫描的高分辨率图像之间的一个或更多个等价程度，识别所生成的超分辨率图像的准确度评估。该方法还可以包括基于超分辨率图像的准确度评估来确定是否进一步处理超分辨率图像。随后，如果确定进一步处理超分辨率图像，则可以进一步处理超分辨率图像。

一种系统可以包括显微镜检查系统、一个或更多个处理器以及至少一个计算机可读存储介质，所述显微镜检查系统用于检查样品。显微镜检查系统可以包括低分辨率物镜和高分辨率物镜。计算机可读存储介质可存储指令，当该指令在由一或更多个处理器执行时，该指令使所述一个或更多个处理器使用显微镜检查系统的低分辨率物镜获得样品的低分辨率图像。该指令还可使一个或更多个处理器使用超分辨率模拟根据低分辨率图像生成样品的至少一部分的超分辨率图像。此外，该指令可以使一个或更多个处理器基于超分辨率图像与使用模拟图像分类器识别的一个或更多个相关样品的至少一部分的一个或更多个实际扫描的高分辨率图像之间的一个或更多个等价程度，生成所生成的超分辨率图像的准确度评估。一个或更多个处理器还可以根据存储在计算机可读存储介质中的指令的执行，基于超分辨率图像的准确度评估来确定是否进一步处理超分辨率图像。随后，如果确定进一步处理超分辨率图像，则可以由一个或更多个处理器进一步处理超分辨率图像。

一种非暂时性计算机可读存储介质可包含指令，当该指令在由一个或更多个处理器执行时，该指令使一个或更多个处理器执行用于基于样品的低分辨率图像生成样品的超分辨率图像的操作。具体来说，该指令可使一个或更多个处理器接收由显微镜检查系统的低分辨率物镜捕获的样品的低分辨率图像。该指令还可以使一个或更多个处理器使用超分辨率模拟根据样品的低分辨率图像生成样品的至少一部分的超分辨率图像。进一步地，该指令可以使一个或更多个处理器基于超分辨率图像与使用模拟图像分类器识别的一个或更多个相关样品的至少一部分的一个或更多个实际扫描的高分辨率图像之间的一个或更多个等价程度，识别超分辨率图像的准确度评估。所述指令还可以使一个或更多个处理器基于超分辨率图像的准确度来确定是否进一步处理超分辨率图像。因此，如果确定进一步处理超分辨率图像，则指令还可以使一个或更多个处理器进一步处理超分辨率图像。

附图说明

为了描述可以获得本公开的上述和其它优点与特征的方式，将通过参考在附图中示出的其具体实施例来呈现对以上简要描述的原理的更具体描述。应理解，这些附图仅描绘本公开的示例性实施例，并且因此不应被认为是对本公开范围的限制，通过使用附图，利用附加的特征和细节来描述和解释本文的原理，在附图中：

图1示出了用于生成超分辨率图像的示例性超分辨率系统。

图2A是根据所公开主题的一些实施例的显微镜检查系统的一般配置的侧视图。

图2B是根据所公开主题的一些实施例的显微镜检查系统的一般配置的正视图。

图3是用于使用超分辨率图像反馈控制的示例性操作的流程图。

图4示出了用于使用超分辨率图像反馈控制来控制超分辨率图像生成的示例性计算机系统。

图5描述了训练用于提供超分辨率图像反馈控制的适合性分类器的方案。

图6描述了训练用于提供超分辨率图像反馈控制的模拟图像分类器的方案。

具体实施方式

根据所公开的主题的一些实施例，提供了用于提供反馈并改进所生成的超分辨率图像的准确度的机制(该机制可以包括系统、方法、装置、设备等)，该反馈关于在低分辨率放大率下发现的哪些伪影适合或不适合生成超分辨率图像，应当使用较高分辨率的物镜来重新扫描在超分辨率图像中发现的哪些伪影。这种类型的反馈例如对于选择性地对样品的合适部分采用超分辨率，以便以低分辨率和高分辨率识别样品的有问题的部分、以及训练用于那些有问题的区域的人工智能模型以生成更准确的超分辨率图像是有用的。

如本文所公开的，在一些实施例中，人工智能可用于根据低分辨率图像生成超分辨率图像，确定不太可能生成准确的超分辨率图像的样品的低分辨率扫描中的伪影，确定超分辨率图像的图像等级，并且基于图像等级确定需要使用高分辨率放大率来扫描哪些伪影。人工智能算法可以单独地或组合地包括以下中的一个或更多个：机器学习；隐马尔可夫模型；循环神经网络；卷积神经网络；贝叶斯符号方法；一般的对抗网络；支持向量机；和/或任何其它合适的人工智能算法。

图1示出了根据所公开的主题的一些实施例的示例性超分辨率系统100，该示例性超分辨率系统100可以实现对显微镜检查系统110和/或计算机系统150的超分辨率反馈控制。超分辨率反馈控制可以包括：在对样品进行低分辨率扫描之后，确定不太可能产生准确的超分辨率图像的且应当以较高分辨率扫描的伪影；确定超分辨率图像的图像等级，并且基于图像等级确定应当以较高分辨率扫描哪些伪影；将伪影的总数与相似样品的容许量或超分辨率系统100定义的容许量进行比较；和/或使用针对样品的问题区域捕获的较高分辨率图像来训练人工智能模型，以针对那些问题区域生成更准确的超分辨率图像。

在高水平处，根据一些实施例，超分辨率系统100的基本组件包括显微镜检查系统110和计算机系统150。显微镜检查系统110可以包括照明源115、成像装置120、台125、低分辨率物镜130、高分辨率物镜132、135、控制模块140，所述照明源115用于向样品提供光，所述控制模块140包括硬件、软件和/或固件。

显微镜检查系统110可以被实现为任何合适类型的显微镜的一部分。例如，在一些实施例中，系统110可以被实现为使用透射光或反射光的光学显微镜的一部分。更具体地，系统100可以被实现为从Nanotronics Imaging,Inc.of Cuyahoga Falls,OH获得的

图2A(侧视图)和2B(正视图)示出了根据所公开的主题的一些实施例的显微镜检查系统110的实施例的一般配置。根据一些实施例，显微镜检查系统110可以包括两个或更多个物镜130、132和135。物镜130、132和135可以具有不同的分辨能力。物镜130、132和135还可以具有不同的放大率，和/或被配置为利用明场/暗场显微镜、微分干涉差(DIC)显微镜和/或包括荧光剂的任何其他合适形式的显微镜进行操作。在一些实施例中，可以通过使用如扫描电子显微镜(SEM)、透射电子显微镜(TEM)和/或原子力显微镜(AFM)的高分辨率显微镜来进行样品的高分辨率扫描。在一些实施例中，高分辨率显微镜可以是具有比低分辨率显微镜(例如，5x)大两倍的放大能力(例如，10x)的显微镜。在一些实施例中，用于检查样品的物镜和/或显微镜技术可由软件、硬件及/或固件控制。在一些实施例中，高分辨率显微镜可以在与低分辨率显微镜分离的独立系统中进行。在其它实施例中，低分辨率物镜130和较高分辨率的物镜132和135可以一起存在于显微镜检查单元中并且耦接到换镜旋座119。

在一些实施例中，XY平移台可以用于台125。XY平移台可以由步进电机、伺服电机、线性电机、压电电机和/或任何其它合适的机构驱动。在一些实施例中，XY平移台可被配置为在任何合适的控制器的控制下在X轴和/或Y轴方向上移动样品。致动器可以用于进行例如0至5mm、0至10mm、0至30mm和/或任何其它合适的距离范围的粗聚焦调整。在一些实施例中，致动器还可以用于提供例如0至50μm、0至100μm、0至200μm和/或任何其他合适的距离范围的精细聚焦。在一些实施例中，显微镜检查系统110可以包括聚焦机构，聚焦机构在Z方向上朝向和远离物镜130、132和135调整台125和/或朝向和远离台125调整物镜130、132和135。

照明源115可以根据强度、所使用的光源的数量和/或照明的位置和角度而变化。光源117可以使光通过反射光照明器118传输并且可以用于照亮样品的一部分，使得光通过管透镜123向上反射到成像装置120(例如，照相机122)，并且成像装置120可以捕获样品的图像和/或视频。在一些实施例中，所使用的光源可以是白光准直的发光二极管(LED)、紫外准直LED、激光灯或荧光灯。

在一些实施例中，成像装置120可以是包括图像传感器的照相机。图像传感器可以是例如CCD、CMOS图像传感器和/或将光转换成一个或更多个电信号的任何其它合适的电子器件。这样的电信号可以用于形成样品的图像和/或视频。

可以使用具有预定尺寸、数量和位置的照明光的不同的形貌成像技术(包括但不限于，聚焦成形(shape-from-focus)算法、阴影成形(shape-from-shading)算法、光度立体(photometric stereo)算法和傅立叶叠层调制(Fourier ptychography modulation)算法)，以生成样品的一个或更多个三维形貌图像。

在一些实施例中，包括控制器和控制器接口的控制模块140可以控制超分辨率系统100(例如，照明源115、物镜130、132和135、台125、成像装置120)的任何设置以及通信、操作(例如，拍摄图像、打开和关闭照明源、移动台125和/或物镜130、132和135)。控制模块140可包括任何合适(在一些实施例中可执行软件)的硬件，诸如计算机、微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FGPA)和数字信号处理器(DSP)(其中的任何一个可被称为硬件处理器)、编码器、用于读取编码器的电路、存储器装置(包括一个或更多个EPROM、一个或更多个EEPROM、动态随机存取存储器(“DRAM”)、静态随机存取存储器(“SRAM”)和/或闪存)和/或任何其它合适的硬件元件。在一些实施例中，超分辨率系统100内的各个组件可以包括它们自己的软件、固件和/或硬件，以控制各个组件并与超分辨率系统100中的其他组件通信。

在一些实施例中，控制模块(例如控制器和控制器接口)与超分辨率系统100的组件之间的通信可以使用任何合适的通信技术，诸如模拟技术(例如中继逻辑)、数字技术(例如RS232、以太网或无线)、网络技术(例如局域网(LAN)、广域网(WAN)、因特网)、蓝牙技术、近场通信技术、安全RF技术和/或任何其他合适的通信技术。

在一些实施例中，可以使用任何合适的输入装置(例如，键盘、鼠标或操纵杆)将操作员输入传送到控制模块140。

可以使用任何合适的通信技术以任何合适的方式将超分辨率系统100的计算机系统150耦接到显微镜检查系统110，通信技术诸如模拟技术(例如，中继逻辑)、数字技术(例如，RS232、以太网或无线)、网络技术(例如，局域网(LAN)、广域网(WAN)、因特网)、蓝牙技术、近场通信技术、安全RF技术和/或任何其他合适的通信技术。计算机系统150和计算机系统150内的模块可以被配置成使用由显微镜检查系统110输出的图像和/或由计算机可读媒介存储的图像来执行本文进一步描述的多个功能。

计算机系统150可包括任何合适(在一些实施例中可执行软件)的硬件，例如计算机、微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FGPA)和数字信号处理器(DSP)(其中的任何一个可被称为硬件处理器)、编码器、用于读取编码器的电路、存储器装置(包括一个或多个EPROM、一个或更多个EEPROM、动态随机存取存储器(“DRAM”)、静态随机存取存储器(“SRAM”)和/或闪存)和/或任何其它合适的硬件元件。

计算机可读媒介可以是可由计算机访问的任何可用媒介，并且包括暂时性媒介和非暂时性媒介、可移动媒介和不可移动媒介。作为示例而非限制，计算机可读媒介可包括计算机存储媒介和通信媒介。计算机存储媒介包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的暂时性媒介和非暂时性媒介、可移动媒介和不可移动媒介。计算机存储媒介包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字视频盘(DVD)或其它光盘储存器、磁带盒、磁带、磁盘储存器或其它磁储存装置、或者可用于存储所需信息并可由计算机访问的任何其它介质。

根据一些实施例，计算机系统150可以包括伪影适合性分析模块160、超分辨率模块170、超分辨率分析模块180、图像组合模块190和伪影比较模块195。

进一步参考图1、图2A、图2B、图4，图3在高水平处示出了根据所公开的主题的一些实施例的使用超分辨率反馈控制的超分辨率操作300的示例。在一些实施例中，超分辨率操作300可以使用超分辨率系统100。将根据所公开的主题的一些实施例，结合图4描述解释计算机系统150的每个模块如何被配置的进一步细节。

在310处，显微镜检查系统110可以使用低分辨率物镜130扫描样品。在一些实施例中，可通过在X/Y方向上移动成像装置120和/或台125来扫描样品，直到扫描样品的整个表面或期望区域为止。在一些实施例中，可通过使用不同聚焦水平及在Z方向上移动台125和/或低分辨率物镜130来扫描样品的一个或更多个区域。成像装置120可以捕获和生成所扫描样品的低分辨率图像。

在320处，伪影适合性分析模块160可使用人工智能算法和/或其他合适的(如本文进一步解释的)计算机程序来检测所生成的低分辨率图像中的伪影并确定它们对于超分辨率成像的适合性。在一些实施例中，适合性可以基于伪影与已被评估为适合或不适合超分辨率成像的已知伪影的互相关。如本文所提到的，互相关可以是根据一个相对于另一个的位移的两个系列(例如，两个图像)的相似性的度量。更具体地说，被检验的伪影的图像和已知伪影的图像，每个都表示每像素(0-255)的亮度值矩阵，且互相关可以指定与在每个像素处图像有多不同或相似相关联的值。

在一些实施例中，合适的已知伪影可以是生成超分辨率图像并且那些图像被确定为高置信度超分辨率图像(例如，具有高图像等级)的伪影。相反，已知的不合适的伪影可以是生成超分辨率图像并且那些图像被确定为低置信度超分辨率图像(例如，具有低图像等级)的伪影。本文进一步描述了高置信度超分辨率图像和低置信度超分辨率图像以及对应的图像等级。

尽管本文所述的技术是参考识别伪影是否适合用于超分辨率模拟而做出的，但是在各种实施例中，可以在不确定用于超分辨率模拟的伪影的适合性的情况下执行该技术。

在330处，高分辨率物镜(例如，高分辨率物镜132或135)可以扫描由伪影适合性分析模块160确定为不适合的伪影，且成像装置120可以捕获并生成所扫描的伪影的高分辨率图像。在一些实施例中，所生成的高分辨率图像可以作为反馈被提供给：伪影适合性分析模块160，以提供用于确定用于超分辨率成像的伪影的适合性的附加背景数据；超分辨率模块170，以提高其准确度；和/或超分辨率分析模块180，以提供用于确定超分辨率图像的图像等级的附加背景数据。高分辨率图像也可以被提供给图像组合模块190，以便并入到所扫描的样品的单个相干图像(例如，组合一个或更多个超分辨率图像和一个或更多个高分辨率图像)中。

在340处，超分辨率模块170可以使用一个或更多个超分辨率算法生成整个样品的超分辨率图像或者仅生成由伪影适合性分析模块160确定为适合于超分辨率的伪影。

在350处，超分辨率分析模块180可以从超分辨率模块170接收超分辨率图像，并且使用人工智能算法和/或其他合适的(如本文进一步解释的)计算机程序来确定超分辨率图像的图像置信度。如稍后将更详细讨论的，超分辨率图像的图像置信度确定可以包括超分辨率图像的特定图像置信度确定、超分辨率图像是否是高置信度超分辨率图像、超分辨率图像是否是低置信度超分辨率图像、和/或超分辨率图像的图像等级。由超分辨率分析模块180确定的超分辨率图像的图像置信度确定可以对应于通过超分辨率模拟创建的超分辨率图像的(例如作为准确度评估的一部分的)预测准确度。超分辨率图像的预测准确度可以是对根据低分辨率图像创建的超分辨率图像实际表示样品和样品中的伪影的准确度有多高的估计。具体地，超分辨率图像的预测准确度可以是对根据低分辨率图像创建的超分辨率图像实际表示样品和样品中的伪影的准确度有多高的估计，就好像通过使用高分辨率物镜或用于以超分辨率扫描样品的可应用机构实际扫描伪影/样品来创建超分辨率图像一样。例如，如果超分辨率分析模型180识别出模拟的超分辨率图像准确地表示被成像样品的95％，则超分辨率分析模块180可以识别出超分辨率图像是高置信度超分辨率图像。

由超分辨率分析模块确定的超分辨率图像的图像置信度确定可以对应于样品的超分辨率图像和一个或更多个实际扫描的高分辨率图像之间的等价程度。具体地，超分辨率分析模块180可以确定超分辨率图像与相同或相似类型的样品/伪影的实际高分辨率图像的对应程度如何接近，以确定超分辨率图像中的置信度以及超分辨率图像和高分辨率图像之间的等价程度。这可以基于互相关方法。如本文所使用的，相同或相似类型的样品/伪影被称为相关样品/伪影。例如，相关样品可以包括与当前分析的样品相同或相似类型的材料的成像材料。在另一示例中，与当前样品相关的样品可以包括当前样品本身。如果超分辨率图像与相同或相似类型的样品/伪影的实际高分辨率图像紧密相关，则超分辨率分析模块180可以指示超分辨率图像是高置信度超分辨率图像。相反，如果超分辨率图像与相同或相似类型的样品/伪影的实际高分辨率图像的对应性差，则超分辨率分析模块180可以指示超分辨率图像是低置信度超分辨率图像，并且指示使用高分辨率物镜(例如，132和135)扫描底层伪影，并且生成高分辨率图像(如在步骤330中)。

在360处，图像组合模块190可以将所接收的超分辨率图像和使用高分辨率物镜扫描的图像组合并缝合在一起(如本文进一步描述的)，成为扫描样品的单个相干图像。

在370处，伪影比较模块195可以接收样品的单个相干图像并且确定样品的伪影总数。伪影比较模块195可以将总数与被扫描的样品类型的典型容许量进行比较，或者基于针对超分辨率系统100(例如，由操作员、硬件/固件/软件约束、行业指南和/或任何其他合适的标准)定义的容许量来进行比较。

执行操作300的特定部分时的划分可以变化，并且没有划分或不同的划分在本文公开的主题的范围内。注意，在一些实施例中，操作300的框可以在任何合适的时间执行。应当理解，在一些实施例中，可以以不限于结合图3示出和描述的顺序和序列的任何顺序或序列来执行本文描述的操作300的至少一些部分。此外，在一些实施例中，本文描述的过程200的一些部分可以并行执行或在适当的情况下基本上同时执行。另外或替代地，在一些实施例中可省略过程200的一些部分。操作300可以以任何合适的硬件和/或软件来实现。例如，在一些实施例中，操作300可以在超分辨率系统100中实现。

图4示出了根据所公开的主题的一些实施例的计算机系统150的实施例的一般配置。

在一些实施例中，伪影适合性分析模块160可以被配置为从显微镜检查系统110和/或任何合适的计算机可读媒介接收样品的一个或更多个低分辨率图像。在一些实施例中，低分辨率图像可以是由成像装置120使用低分辨率物镜130捕获的图像。在另外的实施例中，伪影适合性分析模块160可以被配置为使用计算机视觉来检测所接收的(一个或更多个)图像中的一个或更多个伪影并且确定每个检测到的伪影的适合性类别。伪影的检测可以基于例如来自参考设计(例如计算机辅助设计(CAD)文件、样品的物理布局等)的信息、与参考设计的偏差和/或关于已知伪影的数据。在一些实施例中，一个或更多个人工智能算法可以用于确定每个所识别的伪影的适合性类别。在一些实施例中，类别可以是二元类别(例如，“适合”超分辨率成像和“不适合”超分辨率成像)。在其它实施例中，类别可以提供类别的更大或更高分辨率的区分(例如，字母等级A-F，其中A表示最好的等级，F表示最差的等级，或数字等级1-100，其中1表示最差的等级，100表示最好的等级)。

在一些实施例中，伪影适合性分析器模块160可以应用分类算法来确定在低分辨率图像中的检测到的伪影是否适合于超分辨率生成。在一些实施例中，首先利用训练数据来训练分类算法，以识别适合于超分辨率生成的伪影和不适合于超分辨率生成的伪影的共享特性。在一些实施例中，训练数据可以包括伪影的低分辨率图像以及它们的被分配的适合性类别的示例。在一些实施例中，训练数据可以包括伪影的低分辨率图像以及分配给针对这些伪影生成的超分辨率图像的图像等级的示例。在一些实施例中，分类算法可以基于伪影的类型、尺寸、形状、组成、在样品上的位置和/或任何其它合适的特性来做出关于适合性的推断。在一些实施例中，训练数据还可以包括基于正在被成像的样品的一部分的显式适合性分配，来自参考设计的信息，伪影位置(即，样品上的伪影的位置)，伪影的类型和/或伪影的大小、形状和/或组成。

一旦分类算法被训练，它可以由伪影适合性分析器模块160应用，以确定在低分辨率图像中的检测到的伪影是否适合于超分辨率生成。

分类器是将输入属性向量(例如，X＝(X

支持向量机(SVM)是可以采用的分类器的一个示例。SVM通过在可能输入的空间中寻找试图将触发准则从非触发事件中分离出来的超曲面来操作。这使得对于接近但不同于训练数据的测试数据的分类是正确的。可以使用有向和无向模型分类方法，有向和无向模型分类方法包括例如朴素贝叶斯(

所公开的主题可以在超分辨率操作300的进行时采用分类器，所述分类器经由通用训练数据、外部信息(例如，参考设计、相同或相似类型的样品的高分辨率图像(本文中称为地面实况高分辨率图像))和/或来自超分辨率系统100的反馈来训练。例如，SVM可以通过分类器构造器和特征选择模块内的学习或训练阶段来配置。因此，(一个或更多个)分类器可以用于自动执行多个功能，包括但不限于以下：确定伪影的环境(例如，伪影在样品上的位置、正被检查的样品的类型、在相同或相似类型样品上的相似伪影、参考设计、地面实况高分辨率图像)，以及分析伪影的大小、形状、组成以更好地将伪影分类，以便正确地确定伪影对于超分辨率成像的适合性。

SVM是一个参数化函数，该参数化函数的函数形式在训练之前定义。具体地，SVM是由多个或无限维的维空间中的一个或更多个分离超平面定义的函数。可以使用用于训练监督学习模型的适用方法来训练SVM。训练SVM通常需要标记的训练集，因为SVM将拟合来自一组示例的函数。训练集可以包括一组N个示例。每个示例均包括输入向量xi和分类标签yj，分类标签yj描述输入向量是否在分类中。对于每个分类，可以有一个或更多个参数(例如在用N个示例训练的SVM中的N个自由参数)用于训练SVM以形成分离的超平面。为了使用这些参数训练SVM，可以很好地理解求解二次规划(QP)问题。或者，可以使用次梯度下降和坐标下降来训练使用这些参数的SVM。这些技术可包括顺序最小优化技术以及用于使用这些技术寻找/求解或训练SVM分类器的其它技术。

此外，所公开的主题可以使用无监督机器学习技术来实现。具体地，可以使用无监督学习技术来识别超分辨率图像的置信度图像确定。此外，可以使用无监督学习技术来识别低分辨率图像中的伪影在用于形成超分辨率图像中的适合性。无监督学习技术包括用于识别未分类/未标记数据中的模式的适用方法。例如，神经网络可用于通过无监督学习技术来实现所公开的主题。

参考图5，该图示出了根据所公开的主题的一些实施例的方案，其中检测到的伪影510被分类成两个类别：适合超分辨率成像和不适合超分辨率成像。这仅仅是一个示例，可以使用多个其它训练集来提供类别的更大或更高分辨率的区分(例如，类别可以表示不同的适合性等级A、B、C、D、E和F或适合性分数)。伪影的适合性可以是对伪影可以用于在340处产生准确超分辨率图像的全部或一部分的可能性的度量。具体地，伪影的适合性可以是至少部分地根据低分辨率图像生成的超分辨率图像例如在350处将作为高置信度超分辨率图像通过的可能性的度量。更具体地，伪影的适合性可以是根据伪影的低分辨率图像创建的超分辨率图像将与相同或相似类型的样品/伪影的实际高分辨率图像对应得有多接近的预测。例如，如果根据伪影的低分辨率图像创建的超分辨率图像将与相关伪影的实际高分辨率图像非常对应(例如90％相关)的机会为95％，则可以将该伪影识别为适合于超分辨率成像，例如具有高适合性等级A。

可以通过表示适合于超分辨率成像的伪影的一组已知伪影515和表示不适于超分辨率成像的伪影的一组已知伪影517来训练适合性分类器520。在其他实施例中，可以通过表示不同适合性等级的一组已知伪影来训练适合性分类器520。待分析的伪影510可被输入到适合性分类器520中，该适合性分类器520可输出指示所检测的伪影最可能落入的类别的类别530。如果需要，还可以添加其它类别(例如，等级)。在一些实施例中，适合性分类器520还可以输出标量值525，例如适合性分数，如果需要，适合性分类器520可以测量被分析的伪影落入例如适合于超分辨率成像的类别中或不适合于超分辨率成像的类别中的可能性。

本文所述的各种评分技术可以使用线性回归建模来实现。例如，可以使用线性回归建模来实现伪影适合性评分和超分辨率图像评分中的一者或两者。线性回归建模是用于对因变量和一个或更多个自变量之间的线性关系进行建模的机器学习技术。利用单一标量预测的简单线性回归模型可用于执行本文所述的评分。或者，可以使用利用多个预测因子的多元线性回归模型来进行本文所述的评分。

伪影落入特定类别的可能性也被称为置信水平(或置信区间)。置信水平通常指包含样本数据的参数的指定概率，置信水平所基于的样本数据是关于参数值的唯一可用信息。例如，如果选择95％的置信水平，则这意味着如果在许多场合对相同的群体进行采样并且在每种场合进行置信区间估计，则所得到的区间将在大约95％的情况下将真实的群体参数归入同一类。G.Papadopoulos等在“Confidence Estimation Methods for NeuralNetworks(神经网络的置信度估计方法)：APractical Comparison(实际比较)”，ESANN2000Proceedings-European Symposium on Artificial Neural Networks Bruges(Belgium),26-8April 2000D-Facto public.,ISBN 2-930307-00-5,pp.75-80,中描述了可以适于由超分辨率系统100使用的置信水平估计的示例，其全部内容通过引用合并于此。所公开的方法仅是示例，而不是限制性的。

在伪影适合性分析模块160以非二进制方式(例如，按等级或按数量对伪影进行评分)确定适合性的实施例中，伪影适合性分析模块160可以被配置为将所确定的适合性分数与超分辨率系统100的可接受的(例如，如由操作员、硬件/固件/软件约束、行业指南和/或任何其他适合的标准所定义的)适合性容许量进行比较。对于接收低于超分辨率系统100的可接受的适合性容许量的适合性分数的伪影，伪影适合性分析模块160可指示使用较高分辨率的物镜来扫描所识别的伪影。对于接收等于或高于超分辨率系统100的可接受的适合性容许量的适合性分数的伪影，伪影适合性分析模块160可指示要为所检测到的伪影生成超分辨率图像。

分类器还可以用于自动调整可接受的适合性容许量，该可接受的适合性容许量用于确定用于超分辨率成像的伪影的适合性。反馈机制可以向分类器提供数据，该分类器基于历史性能数据和/或超分辨率系统100所使用的一个或更多个底层人工智能算法的改进来自动影响可接受的适合性容许量。例如，可以初始地设置可接受的适合性容许量，使得接收字母等级为C及以上或数字等级为50及以上的所有检测到的伪影都被认为适合于超分辨率成像。如果来自超分辨率分析模块180的反馈示出被确定为适合的大量伪影最终产生低置信度超分辨率图像，则分类器可以提高可接受的适合性容许量，使得伪影更难被分类为适合。相反，如果来自超分辨率模块170的反馈示出其模型已经改进并且能够更好地生成针对先前被分类为不合适的缺陷的超分辨率图像，则分类器可以降低可接受的适合性容许量，使得更容易将伪影分类为适合的。

由伪影适合性分析器模块160使用来确定适合性的可接受适合性容许量也可以基于样品的重要性和/或正被检查的样品的区域而被自动地调整。例如，伪影适合性分析器模块160可以针对被认为重要的样品和/或样品的区域向上调整可接受的适合性容许量和/或针对被认为不重要的样品和/或样品的区域向下调整可接受的适合性容许量。

注意，适合性分析器模块160不限于采用人工智能来确定用于超分辨率成像的伪影的适合性。在一些实施例中，伪影适合性分析器模块160可以被预编程为识别适合的和不适合的伪影。基于预编程的数据，适合性分析器模块160可处理一个或更多个低分辨率图像以确定所述(一个或更多个)低分辨率图像是否包含相似于预编程的伪影的任何伪影且基于预编程的伪影的适合性确定适合性。

在操作中，在一些实施例中，由伪影适合性分析模块160使用的人工智能算法可以基于将所检测到的伪影的特性和/或背景数据与训练数据的特性和/或背景数据进行比较以生成适合性分数。例如，如果所检测到的伪影与来自接收到分数为A的训练数据的伪影非常相似，则伪影适合性分析模块160可以向所检测到的伪影分配相似的分数。

在另外的实施例中，由伪影适合性分析模块160使用的人工智能算法可以基于将所检测到的伪影的特性和/或背景数据与产生高置信度超分辨率图像(例如，如由超分辨率分析模块180确定)的训练数据的特性和/或背景数据进行比较以生成适合性分数。例如，伪影适合性分析模块160可以向类似于产生低置信度超分辨率图像的训练数据的所检测到的伪影分配较低的分数，并且向类似于产生高置信度超分辨率图像的训练数据的所检测到的伪影分配较高的分数。

在另一实施例中，伪影适合性分析模块160所使用的人工智能算法可以基于将样品上检测到的伪影与相同或相似类型样品的高分辨率图像(也称为地面实况高分辨率图像)中的伪影进行比较。如果检测到的伪影对应于地面实况高分辨率扫描中的两个或更多个伪影，并且检测到的伪影的背景数据不提供附加信息，则伪影适合性分析模块160可以分配低适合性分数。相反，如果检测到的伪影仅对应于地面实况高分辨率图像中的一个伪影，则伪影适合性分析模块160可以向所检测到的伪影分配高适合性分数。

在一些实施例中，伪影适合性分析模块160还可以被配置为记录所识别的伪影、它们的适合性分数和执行分析的可接受的适合性容许量。

在一些实施例中，超分辨率模块170可以被配置为接收被确定为适合于超分辨率生成的样品的一个或更多个低分辨率图像，并且根据所接收的(一个或更多个)图像生成一个或更多个超分辨率图像。或者，超分辨率模块170可以被配置为接收样品的一个或更多个低分辨率图像，而不管低分辨率图像是否被认为实际上适合于超分辨率生成，并且根据所接收的图像生成一个或更多个超分辨率图像。在一些实施例中，可以使用一个或更多个人工智能算法来根据一个或更多个低分辨率图像生成一个或更多个超分辨率图像。在一些实施例中，超分辨率模块170使用的算法可以考虑背景数据，如伪影在样品上的位置、正被检查的样品的类型、伪影与在相同或相似样品上所检测到的其他伪影的比较、参考设计、在不同聚焦水平和/或使用不同照明技术拍摄的低分辨率图像、在不同聚焦水平和/或使用不同照明技术拍摄的高分辨率图像等。在另外的实施例中，超分辨率模块170使用的算法可以包括对伪影进行分类，以及识别伪影的大小、形状、组成、在样品上的位置和/或任何其它合适的特性以推断准确的高分辨率图像。

超分辨率模块170所采用的超分辨率方法可以包括但不限于：插值、来自低分辨率深度图像帧的超分辨率、通过融合深度图像和高分辨率彩色图像的超分辨率、基于示例的超分辨率和基于边缘引导方法的深度图像超分辨率。

以下各文献描述了可以适于由超分辨率模块170使用的插值的一些示例，这些文献的全部内容通过引用并入本文：Xie，J等,“Edge-guided Single Depth Image Super-resolution(边缘引导的单深度图像超分辨率)”IEEE Trans.Image Process.2016,25,428-438；Prajapati，A等,“Evaluation of Different Image Interpolation Algorithms(不同图像插值算法的评估)”，Int.J.Comput.Appl.2012,58,466-476；Pang，Z等,“AnImproved Low-cost Adaptive Bilinear Image Interpolation Algorithm(改进的低成本自适应双线性图像插值算法)”，Proceedings of the 2nd International Conferenceon Green Communications and Networks(第二届绿色通信与网络国际会议论文集)，重庆，中国，2012年12月14-16日；Springer(斯普林格)：柏林/海德堡，德国，2013，PP.691-699；Ning，L等，“An Interpolation Based on Cubic Interpolation Algorithm(基于三次插值算法的插值)”，Proceedings of the International Conference InformationComputing and Automation(信息计算与自动化国际会议论文集)，成都，中国，2007年12月20-22日，pp.1542-1545。所公开的方法仅仅是示例，而不旨在是限制性的。

以下各文献描述了可以适于由超分辨率模块170使用的来自低分辨率深度图像帧的超分辨率的一些示例，这些文献的全部内容通过引用并入本文：Schuon，S等，“LidarBoost:Depth Superresolution for ToF 3D Shape Scanning(LidarBoost:ToF 3D成形扫描的深度超分辨)”，Proceedings of the 2009the22nd InternationalConference on Computer Vision and Pattern Recognition(2009年第22届计算机视觉与模式识别国际会议论文集)，迈阿密，佛罗里达州，美国，2009年6月20-25日，pp.343-350；Rajagopalan，A.N.等，“Resolution Enhancement of PMD Range Maps(PMD范围图的分辨率增强)”，Proceedings of the Joint Pattern Recognition Symposium(联合模式识别研讨会论文集)，慕尼黑，德国，2008年6月10-13日；Springer(斯普林格)：柏林/海德堡，德国，2008，PP.304-313；Al Ismaeil,K.等，“Dynamic Super-resolution of DepthSequences with Non-rigid Motions(具有非刚性运动的深度序列的动态超分辨率)”，Proceedings of the 2013 20th IEEE International Conference on Image(2013年第20届IEEE图像国际会议论文集)，，墨尔本，澳大利亚，2013年9月15-18日，PP.660-664；Gevrkci，M等，“Depth Map Super-resolution(深度图超分辨率)”，Proceedings of the2011 18th IEEE International Conference on Image(2011年第18届IEEE图像国际会议论文集)，布鲁塞尔，比利时，2011年9月11-14日，PP.3449-3452。所公开的方法仅仅是示例，而不旨在是限制性的。

以下文献描述了可适于由超分辨率模块170使用的，通过融合深度图像和高分辨率彩色图像的超分辨率的一些示例，这些文献的全部内容通过引用并入本文：Ferstl，D，“Image Guided Depth Upsampling Using Anisotropic Total Generalized Variation(使用各向异性总广义变化的图像引导深度上采样)”，Proceedings of the IEEEInternational Conference on ComputernVision(IEEE计算机视觉国际会议论文集)，悉尼，新南威尔士(NSW)，澳大利亚，2013年12月1-8日，pp.993-1000；Yang，Q等，“Spatial-Depth Super-resolution for Range Images(距离图像的空间深度超分辨率)”，Proceedings of the 2007 IEEE Computer Society Conference on Computer Visionand Pattern Recognition(2007年IEEE计算机视觉和模式识别计算机协会会议论文集)，明尼阿波里斯市，明尼苏达州，美国，2007年6月17-22日；PP.1-8；Lo，K.H.等，“Edge-Preserving Depth Map Upsampling by Joint Trilateral Filter(通过联合三边滤波器的边缘保留深度图上采样)”，IEEE Trans.Cybern，2017，13，1-14。所公开的方法仅仅是示例，而不旨在是限制性的。

以下文献描述了可适于由超分辨率模块170使用的，基于示例的超分辨率的一些示例，这些文献的全部内容通过引用并入本文：Timofte,R.等，“A+:Adjusted AnchoredNeighborhood Regression for Fast Super-Resolution(A+：用于快速超分辨率的调整的锚定邻域回归)”，Proceedings of the Asian Conference on Computer Vision(亚洲计算机视觉会议论文集)，新加坡，2014年11月1-5日；Springer(斯普林格)：CHAM，瑞士，2014，pp.111-126；Yang，J等，“Image Super-resolution via Sparse Representation(通过稀疏表示的图像超分辨率)，IEEE Trans.Image Process.，2010,19,2861-2873；Xie,J.等，“Single Depth Image Super-resolution and Denoising via Coupled DictionaryLearning with Local Constraints and Shock Filtering(经由具有局部约束的耦合字典学习和冲击滤波的单深度图像超分辨率和去噪)，Proceedings of the 2014IEEEInternational Conference on Multimedia and Expo(ICME)(2014年IEEE多媒体国际会议与展览会的会刊)，成都，中国，2014年7月14-18日，pp.1-6；Kim,J.等，“Accurate ImageSuper-resolution Using Very Deep Convolutional Networks(使用非常深度卷积网络的准确图像超分辨率)”，Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition(IEEE计算机视觉和模式识别会议论文集),拉斯维加斯，内华达州，美国，2016年6月27-30日；pp.1646-1654。所公开的方法仅仅是示例，而不旨在是限制性的。

Zhou,D.等在“Depth Image Super-resolution Based on Edge-Guided Method(基于边缘引导方法的深度图像超分辨率)”，Appl.Sci.2018,8,298中描述了可适于由超分辨率模块170使用的，基于边缘引导方法的深度图像超分辨率的示例，其全部内容通过引用并入本文。所公开的方法仅仅是示例，而不旨在是限制性的。

在一些实施例中，由超分辨率模块170使用的人工智能算法可以仅使用低分辨率图像来训练。

在一些实施例中，超分辨率分析模块180可以被配置为从超分辨率模块170和/或从任何计算机可读媒介接收一个或更多个超分辨率图像，并被配置为确定伪影的每个超分辨率图像的图像类别(或等级)。在一些实施例中，一个或更多个人工智能算法可以用于确定伪影的超分辨率图像的图像类别。在一些实施例中，图像类别可以是二进制类别(例如，“高置信度超分辨率图像”和“低置信度超分辨率图像”)。在其他实施例中，类别可以提供类别的更大或更高分辨率区分(例如，字母等级A-F，其中A表示最好的等级，F表示最差的等级，或数字等级1-100，其中1表示最差的等级，100表示最好的等级)。

一些实施例中，超分辨率分析模块180可以应用分类算法来确定超分辨率图像的图像等级。在一些实施例中，首先利用训练数据来训练分类算法，以识别作为高置信度超分辨率图像的伪影的超分辨率图像和作为低置信度超分辨率图像的伪影的超分辨率图像的共享特性。在一些实施例中，训练数据可以包括正由超分辨率系统100检验的伪影/样品的类型的超分辨率图像及其与相同或相似类型的样品/伪影的实际高分辨率图像的对应图像分数/等级和/或交叉对应性的示例。在一些实施例中，分类算法可作出关于基于参考设计的图像类别，相同或相似样品类型的地面实况高分辨率图像，相同或相似伪影类型的地面实况高分辨率图像，伪影的类型、大小、形状、组成、在样品上的位置和/或任何其他合适的特性的推断。在一些实施例中，训练数据还可以包括基于正被成像的样品的一部分，伪影位置(即，伪影在样品上的位置)，参考设计，地面真实高分辨率图像，伪影的类型和/或伪影的大小、形状和/或组成的显式图像类别分配。

一旦分类算法被训练，超分辨率分析模块180可以应用该分类算法来确定由超分辨率生成的伪影的图像的图像类别。

支持向量机(SVM)是可以采用的分类器的示例。还可以使用有向和无向模型分类方法，有向和无向模型分类方法包括例如朴素贝叶斯、贝叶斯网络、决策树，并且可以采用提供不同独立性模式的概率分类模型。如本文所使用的分类还包括可以用于开发优先级模型的统计回归。

所公开的主题可以采用分类器，当超分辨率操作300进行时，这些分类器经由通用训练数据、外部信息(例如，参考设计、相同或相似类型的样品/伪影的地面实况高分辨率图像)、和/或来自超分辨率系统100的反馈进行训练。例如，SVM可以经由分类器构造器和特征选择模块内的学习或训练阶段来配置。因此，(一个或更多个)分类器可以用于自动执行多个功能，包括但不限于以下：确定超分辨率图像的背景数据(例如，伪影在样品上的位置、被检查的样品的类型、相似样品上的相似伪影、参考设计、相同或相似类型样品的地面实况高分辨率图像、相同或相似类型伪影的地面实况高分辨率图像)以及分析伪影的尺寸、形状、组成，以更好地对伪影进行分类，以便正确地确定伪影的超分辨率图像的图像等级。

参见图6，该图展示了根据所公开的主题的一些实施例的一种方案，其中，伪影610的超分辨率图像被分类为两个类别：低置信度超分辨率图像和高置信度超分辨率图像。这仅是示例，并且可以采用多个其他训练集来提供类别的更大或更高分辨率区分(例如，类别可以表示不同的图像等级A、B、C、D、E和F或图像分数1-100)。模拟图像分类器620可由一组已知的超分辨率图像615和一组已知的超分辨率图像617训练，该组已知的超分辨率图像615是伪影的高置信度超分辨率图像，该组已知的超分辨率图像617表示伪影的低置信度超分辨率图像。在其他实施例中，模拟图像分类器620可以由表示不同图像等级的一组已知的超分辨率图像来训练。待分析的伪影610的超分辨率图像可被输入到模拟图像分类器620中，该模拟图像分类器620可输出置信区间625，该置信区间625可测量正被分析的超分辨率图像落入特定类别(例如，高置信度超分辨率图像和低置信度超分辨率图像)的可能性。在一些实施例中，模拟图像分类器620还可输出类别630，类别630指示超分辨率图像最可能落入的类别。如果需要，还可以添加其他类别(例如，标有字母的或编号的等级)。

在超分辨率分析模块180以非二进制方式(例如，按等级或按数量对超分辨率图像进行评分)确定图像分类的实施例中，超分辨率分析模块180可以被配置为将所确定的图像等级与超分辨率系统100的可接受的图像容许量进行比较，该图像容许量是如由操作员、硬件/固件/软件约束、行业指南和/或任何其他合适的标准定义的。对于接收低于超分辨率系统100的可接受的图像容许量的图像分数的超分辨率图像，超分辨率分析模块180可以指示要使用较高分辨率的物镜扫描的超分辨率图像中的伪影。由超分辨率分析模块180分配的图像容许量和对应的图像分数可以指示超分辨率图像是高置信度超分辨率图像还是低置信度超分辨率图像。例如，具有等于或高于可接受的图像容许量的图像分数的超分辨率图像可以被识别为高置信度超分辨率图像。相反，具有低于可接受的图像容许量的图像分数的超分辨率图像可以被识别为低置信度超分辨率图像。对于接收等于或高于超分辨率系统100的可接受的图像容许量的图像分数的超分辨率图像，可以将超分辨率图像提供给图像组合模块190。

分类器还可以用于自动调整可接受的图像容许量，该可接受的图像容许量用于确定由超分辨率渲染的伪影通过容许量还是未通过容许量。反馈机制可以向分类器提供数据，该分类器基于历史性能数据和/或超分辨率系统100所使用的一个或更多个底层人工智能算法的改进来自动影响容许量。例如，分类器可以基于关于正确地和/或不正确地将超分辨率图像分类为高置信度超分辨率图像或低置信度超分辨率图像的反馈来调整容许量。例如，如果来自伪影比较模块195的反馈示出必须使用较高分辨率的物镜重新扫描大量的超分辨率图像，则分类器可以提高可接受的图像容许量，使得超分辨率图像更难以合格。在一些实施例中，如果来自超分辨率模块170的反馈示出其模型已经改进并且能够更好地模拟先前被分类为低置信度超分辨率图像的超分辨率图像的高分辨率图像，则分类器可以降低可接受的图像容许量，使得超分辨率图像更容易合格。

由超分辨率分析模块180使用来确定可接受的图像容许量的图像容许量也可以基于样品的重要性和/或正被检验的样品的区域而被自动地调整。例如，超分辨率分析模块180可以针对被认为重要的样品和/或样品的区域向上调整可接受的图像容许量和/或针对被认为不重要的样品和/或样品的区域向下调整可接受的图像容许量。

注意，超分辨率分析模块180不限于采用人工智能来确定超分辨率图像的图像等级。在一些实施例中，超分辨率分析模块180可以被预编程为识别具有可接受的和不可接受的图像等级的伪影的超分辨率图像。基于预编程的数据，超分辨率分析模块180可以处理一个或更多个超分辨率图像以确定(一个或更多个)超分辨率图像是否包括与预编程的图像类似的任何图像，并且基于预编程的超分辨率和/或高分辨率图像的图像等级确定可接受的图像等级。

在操作中，在一些实施例中，超分辨率分析模块180使用的人工智能算法可以基于将超分辨率图像的特性和/或背景数据与训练数据的特性和/或背景数据进行比较，以生成图像分数。例如，如果伪影的超分辨率图像与来自接收到图像分数为A的训练数据集的伪影的超分辨率图像非常相似，则超分辨率分析模块180可以向超分辨率图像分配相似的分数。

在另一实施例中，超分辨率分析模块180使用的人工智能算法可以基于将在样品上发现的伪影的超分辨率图像与相同或相似类型的伪影或样品的高分辨率图像进行比较。如果超分辨率分析模块180发现紧密的对应关系，则分辨率分析模块180可以将高图像分数分配给超分辨率图像。相反，如果超分辨率分析模块180发现差的对应关系，则它可以将低图像分数分配给超分辨率图像。

在一些实施例中，超分辨率分析模块180还可以被配置为记录所接收的超分辨率图像及其图像等级，以及执行分析的可接受的图像容许量。

在一些实施例中，图像组合模块190可以被配置为将超分辨率图像和实际的高分辨率图像组合并缝合在一起成为样品的单个相干图像。在一些实施例中，样品的每个图像都被称为切片，其中每个切片都可以通过其XY坐标位置定位在样品空间中。对于产生低置信度超分辨率图像或被确定为不适合于超分辨率成像并且因此被指定由高分辨率物镜扫描的伪影，然后高分辨率物镜可以扫描表示包含所识别的伪影的一个或更多个切片的样品上的区域。类似地，超分辨率模块170可以模拟包含被确定为适合于超分辨率成像的伪影的整个切片或多个切片。可以基于切片的高分辨率图像的XY坐标位置和切片的超分辨率图像的XY坐标位置和/或基于特征的配准方法将切片的高分辨率图像和切片的超分辨率图像缝合在一起。这仅仅是如何能够组合单个相干图像以及能够执行实现这一点的其他合适的方法的一个示例。在一些实施例中，超分辨率模块170可以模拟整个样品(甚至是被指示为不适合于超分辨率成像的样品的部分)，并且图像组合模块190可以用那些部分的高分辨率图像替换不适合的部分。图像组合模块190可以使用高分辨率图像切片的XY位置，以及识别高分辨率图像切片和超分辨率图像切片之间的相似特征，以确定将高分辨率图像切片放置在哪里。一旦图像组合模块190定位了高分辨率图像切片的正确位置，就可以用高分辨率图像切片替换超分辨率图像切片。虽然上述方法假定每个切片不多于单个伪影，但是该方法可以适于每个切片容纳多个伪影。

在一些实施例中，伪影比较模块195可被配置为(例如，从图像组合模块190和/或任何合适的计算机可读媒介)接收样品的单个相干图像并确定样品的伪影总数。伪影比较模块195可以将总数与被扫描的样品的类型的典型的容许量进行比较，或者基于由操作员、硬件/固件/软件约束、行业指南和/或任何其他合适的标准为超分辨率系统100定义的容许量与总数进行比较。在一些实施例中，如果伪影的总数超过或低于被扫描的样品的类型的容许量和/或超分辨率系统100的定义的容许量，则超分辨率分析模块180可以基于来自伪影比较模块195的反馈来选择低于较高的可接受的图像容许量的第二组超分辨率图像以使用高分辨率物镜132或135进行重新扫描。具体地，超分辨率分析模块180可以选择一组超分辨率图像作为进一步控制超分辨率系统100的操作的一部分，以生成样品的一个或更多个高分辨率图像。例如，如上所述，如果超分辨率分析模块180的可接受的图像容许量被初始地设置为50％，并且伪影比较模块195确定针对样品检测到的伪影的总数看起来对于所检验的样品的类型不是典型的，则超分辨率分析模块180可以将可接受的图像容许量提高到60％，并且将使用高分辨率物镜重新扫描被分配了50-59％之间的图像等级的超分辨率图像。到超分辨率分析模块180的反馈和对可接受的图像容许量的调整可以根据需要进行多次。

在一些实施例中，如果伪影的总数超过或低于针对被扫描的样品的类型的容许量和/或用于超分辨率系统100的定义的容许量，则伪影适合性分析模块160可以选择低于较高的可接受的适合性容许量的第二组伪影以使用高分辨率物镜135进行重新扫描。具体地，伪影适合性分析模块160可以选择一组第二伪影作为超分辨率系统100的进一步控制操作的一部分，以生成样品的一个或更多个高分辨率图像。例如，如果用于伪影适合性分析模块160的可接受的适合性容许量初始被设置为50％，并且伪影比较模块195确定针对样品检测到的伪影的总数看起来对于所检验的样品的类型而言不是典型的，如上所述，则伪影适合性分析模块160可以将适合性阈值提高到60％，并且将使用高分辨率物镜来重新扫描被分配了50-59％之间的适合性分数的伪影。到伪影适合性分析模块160的反馈和对可接受的适合性容许量的调整可以根据需要进行多次。

在一些实施例中，如果伪影的总数超过或低于针对被扫描的样品的类型的容许量和/或用于超分辨率系统100的定义的容许量，则伪影比较模块195可确定超分辨率模块170正在使用不合适的人工智能模型来生成超分辨率图像，并指示超分辨率模块170使用不同的人工智能模型来生成针对特定样品的超分辨率图像。具体地，超分辨率模块170可以使用不同的人工智能模型作为超分辨率系统100的进一步控制操作的一部分，以生成样品的一个或更多个高分辨率图像。

尽管本文的描述涉及分析伪影，但本文描述的机制也可用于分析样品的区域。例如，代替基于分析伪影来确定适合性，伪影适合性分析模块160可以基于分析样品的不同区域来确定适合性。类似地，代替基于分析使用超分辨率生成的伪影来确定图像等级，超分辨率分析模块180可以基于分析使用超分辨率渲染的样品的不同区域来确定图像等级。

超分辨率系统100的组件的功能可以被组合到单个组件中或分布在若干组件上。在一些实施例中，可以远离显微镜检查系统110执行一些部件的(例如，通过高分辨率物镜132或135的高分辨率扫描和通过计算机系统150的计算机处理的)功能。

注意，超分辨率系统100可以包括未示出的其他合适的组件。另外或替代地，可以省略超分辨率系统100中包括的一些组件。

在一些实施例中，任何合适的计算机可读媒介都可以用于存储用于执行本文所描述的功能和/或过程的指令。例如，在一些实施例中，计算机可读媒介可以是暂时性的或非暂时性的。例如，非暂时性计算机可读媒介可包含例如非暂时性磁媒介(例如，硬盘、软盘等)、非暂时性光学媒介(例如压缩光盘、数字视频光盘、蓝光光盘等)、非暂时性半导体媒介(例如，闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等)、在传输过程中不转瞬即逝或不缺乏任何永久表象的任何合适的媒介，和/或任何合适的有形媒介等媒介。作为另一示例，暂时性计算机可读媒介可包括网络上、电线中、导体中、光纤中、电路中和在传输过程中转瞬即逝且没有任何永久表象的任何合适媒介中的和/或任何合适的无形媒介中的信号。

本文描述的各个系统、方法和计算机可读介质可以被实现为云网络环境的一部分。如在本文中所使用的，基于云的计算系统是向客户端装置提供虚拟化的计算资源、软件和/或信息的系统。计算资源、软件和/或信息可通过维护边缘装置可通过通信接口(诸如网络)访问的集中式服务和资源来虚拟化。云可经由云元件提供不同云计算服务，诸如软件即服务(SaaS)(例如，协作服务、电子邮件服务、企业资源规划服务、内容服务、通信服务等)，基础设施即服务(IaaS)(例如，安全服务、联网服务、系统管理服务等)，平台即服务(PaaS)(例如，web服务、流服务、应用开发服务等)，以及诸如桌面即服务(DaaS)、信息技术管理即服务(ITaaS)、管理软件即服务(MSaaS)、移动后端即服务(MBaaS)等其他类型的服务。

本文所描述的示例(以及表述为“诸如”、“例如”、“包括”等的句子)的提供不应被解释为将所要求保护的主题限制于具体示例；相反，这些示例旨在仅说明许多可能方面中的一些。还应注意，如本文所使用的，术语机制可以涵盖硬件、软件、固件或它们的任何合适的组合。

除非另有明确说明，否则如从以上讨论中显而易见的，应了解贯穿本说明书，利用诸如“确定”、“提供”、“识别”、“比较”等术语的讨论是指计算机系统或类似电子计算装置的动作和处理，计算机系统或类似电子计算装置操纵和转换表示为计算机系统存储器或寄存器或其他此类信息存储装置，传输装置或显示装置内的物理(电子)量的数据。

本公开的某些方面包括本文描述的算法形式的过程步骤和指令。应当注意，本公开的过程步骤和指令可以体现在软件、固件或硬件中，并且当体现在软件中时，可以被下载以保留在由实时网络操作系统使用的不同平台上并被从由实时网络操作系统使用的不同平台上操作。

本公开还涉及一种用于执行本文的操作的设备。该设备可以是为了所需目的而专门构造的，或者它可以包括由存储在计算机可读介质上的计算机程序选择性地激活或重新配置的通用计算机，该计算机可读介质可以由计算机访问。这种计算机程序可以存储在计算机可读存储介质中，该计算机可读存储介质诸如但不限于任何类型的盘、专用集成电路(ASIC)或适于存储电子指令的任何类型的非暂时性计算机可读存储介质，该任何类型的盘包括软盘、光盘、CD-ROM，磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡。此外，说明书中提到的计算机可以包括单个处理器或者可以是采用多个处理器设计以增加计算能力的架构。

本文呈现的算法和操作不固有地与任何特定计算机或其他设备相关。各种通用系统也可以与根据本文的教导的程序一起使用，或者可以证明构造更专用的设备来执行所需的方法步骤是方便的。用于各种系统的所需的结构以及等同变化对于本领域技术人员而言将是显而易见的。此外，不参考任何特定编程语言来描述本公开。应了解，可使用多种编程语言来实施如本文描述的本发明的教导，并提供对特定语言的任何引用以用于本发明的实现和最佳模式的披露。

已经具体参照这些示出的实施例详细描述了超分辨率反馈控制机制、方法和系统。然而，将显而易见的是，在前述说明书中描述的本公开的精神和范围内可以做出各种修改和改变，并且这样的修改和改变被认为是本公开的等同物和本公开的一部分。本发明的范围仅由所附权利要求书限定。