掌桥专利:专业的专利平台
掌桥专利
首页

用于反射样品的宏观检查的系统、方法和设备

文献发布时间:2024-04-18 19:59:31


用于反射样品的宏观检查的系统、方法和设备

相关申请的交叉引用

本申请要求于2021年7月14日提交的美国申请序列第17/375,229号的优先权,该申请是于2021年2月8日提交的美国申请序列第17/170,260号的部分继续申请,该申请是于2019年12月6日提交的美国申请序列第16/705,674号的继续申请,该申请要求于2019年8月7日提交的美国临时申请第62/883,931号的权益和优先权,其全部特此通过引用以其整体并入本文。本申请进一步涉及于2019年1月30日提交的美国专利申请第16/262,017号,其全部内容通过引用以其整体并入本文。

技术领域

本公开总体上涉及用于使反射样品成像的宏观检查系统、设备和方法。

背景技术

当执行由反射材料(例如,玻璃、镜子、光学透镜、半导体晶片等)制成的样品的宏观检测(即,在单个视场中对样品或样品200mm或更大的区域成像)时:(1)定位在样品上方的成像装置的反射可以从样品反射离开并且出现在由成像装置捕获的图像中;以及(2)指向样品的照明可以从样品反射离开并且在捕获的图像中呈现为热点。这些成像伪影(即,成像装置的反射和/或照明热点)是不期望的。

图1A示出了提供照明样品S的照明空间18的照明源16。成像装置10和聚焦透镜12形成成像组件13并限定由成像组件13捕获的成像空间14。图1B示出了由成像组件13捕获的图像片22。图像片22内是样品24和中心处的暗点26的图像。暗点可能是成像组件13在图像中的反射或来自照明16的阴影的结果。

因此,令人期望的是,提供一种用于样品的宏观检测的新机构,该机构消除了这些不希望的成像伪影并且可以提供多种照明模式,包括但不限于明视野、暗视野或倾斜照明;偏振光;交叉偏振光;以及微分干涉差(DIC)、相衬。还期望的是,如本文所解释的,每个照明模式提供可变的照明景观以检测样品的特征。针对本说明书的目的,宏观是指在单个视场中大约0.5cm

发明内容

在一些实施例中,检查设备包括样品载物台、一个或多个成像装置、一组灯以及控制系统;样品载物台被配置成保持样品;一个或多个成像装置定位在样品载物台上方以捕获样品的图像;一组灯在样品载物台与一个或多个成像装置之间的平台上;控制系统耦接到样品载物台、一个或多个成像装置以及平台,其中控制系统包括一个或多个处理器以及存储可执行指令的存储器,可执行指令由于被一个或多个处理器执行致使控制系统:向一个或多个成像装置提供第一指令以捕获样品的第一图像,第一图像包括位于参考点的第一侧的第一成像伪影;向一个或多个成像装置提供第二指令以捕获样品的第二图像,第二图像包括位于参考点的第二侧的第二成像伪影;从第一图像和第二图像裁剪成像伪影,并且将第一图像和第二图像数字缝合(stitch,拼接)在一起以生成样品的合成图像,合成图像没有第一成像伪影和第二成像伪影。

在一些实施例中,可执行指令进一步致使控制系统将一个或多个成像装置在第一方向上平移到位于参考点的上方和第一侧的第一位置以捕获第一图像以及将一个或多个成像装置在第二方向上平移到位于参考点的上方和第二侧的第二位置以允许一个或多个成像装置捕获第二图像。

在一些实施例中,可执行指令致使控制系统将样品载物台在第一方向上平移到位于参考点的下方和第一侧的第一位置以捕获样品的第一图像,并且将样品载物台在第二方向上平移到位于参考点的下方和第二侧的第二位置以捕获样品的第二图像。

在一些实施例中,参考点沿着样品的中心线定位。

在一些实施例中,样品载物台或一个或多个成像装置沿着旋转轴线能移动。

在一些实施例中,一个或多个成像装置包括定位在参考点的上方和第一侧的第一成像装置以及定位在参考点的上方和第二侧的第二成像装置,以及检查设备还包括定位在第一成像装置和第二成像装置下方的孔滑动件,孔滑动件包括允许使用第一成像装置或第二成像装置捕获样品的图像的孔。

在一些实施例中,可执行指令致使控制系统将孔滑动件平移到第一位置,使得孔与第一成像装置对准以捕获第一图像,以及将孔滑动件平移到第二位置,使得孔与第二成像装置对准以捕获第二图像。

在一些实施例中,可执行指令致使控制系统平移平台,启动一组灯的一个或多个组合以确定照明分布,分析样品的第一图像以识别样品分类,基于样品分类选择照明分布,以及根据照明分布调节平台和该一组灯。

在一些实施例中,检查设备包括屏障,屏障被配置成使从保持在样品载物台上的样品反射的光扩散回到样品上。

在一些实施例中,可执行指令致使控制系统将第一图像的第一重叠区域与第二图像的第二重叠区域进行比较以确定匹配图像已经被识别以允许第一图像和第二图像的数字缝合。

在一些实施例中,一种方法包括:在检查设备的样品载物台上接收样品;识别样品的参考点;捕获样品的第一图像,第一图像包括在参考点的第一侧的第一成像伪影;捕获样品的第二图像,第二图像包括在参考点的第二侧的第二成像伪影;评估样品的第二图像以确定第二图像能够与第一图像一起使用;从第一图像裁剪第一成像伪影并且从第二图像裁剪第二成像伪影;以及将第一图像和第二图像数字缝合在一起以生成样品的合成图像,合成图像没有第一成像伪影和第二成像伪影。

在一些实施例中,方法还包括将检查设备的成像装置在第一方向上平移到位于参考点的上方和第一侧的第一位置以捕获第一图像,以及将检查设备的成像装置在第二方向上平移到位于参考点的上方和第二侧的第二位置以捕获第二图像。

在一些实施例中,方法还包括将样品载物台在第一方向上平移到位于参考点的下方和第一侧的第一位置以捕获第一图像,以及将样品载物台在第二方向上平移到位于参考点的下方和第二侧的一位置以捕获第二图像。

在一些实施例中,方法还包括:将样品载物台旋转至第一位置以捕获第一图像;裁剪第一图像以去除第一图像的包括第一成像伪影的第一部分;将样品载物台旋转至第二位置以捕获第二图像;裁剪第二图像以去除第二图像的包括第二成像伪影的第二部分;以及数字地旋转第二图像以开始第二图像的评估。

在一些实施例中,方法还包括在第一方向上平移检查设备的孔滑动件以便将孔定位在检查设备的第一成像装置下方以捕获第一图像,其中,第一成像装置定位在参考点的上方和第一侧,以及在第二方向上平移检查设备的孔滑动件以将孔定位在检查设备的第二成像装置下方以捕获第二图像,其中,第二成像装置定位在参考点的上方和第二侧。

在一些实施例中,方法还包括平移检查系统的平台,其中一组灯布置在平台上;启动该一组灯的一个或多个组合以确定照明分布(illumination profile,照明配置文件);分析样品的第一图像以标识样品分类;基于样品分类选择照明分布;以及根据照明分布调节平台和该一组灯。

在一些实施例中,方法还包括在第一方向上旋转检查设备的成像装置以将成像装置定位至参考点的第一侧以捕获第一图像,以及在第二方向上旋转检查设备的成像装置以将成像装置定位至参考点的第二侧以捕获第二图像。

在一些实施例中,方法还包括使从保持在样品载物台上的样品反射的光扩散回到样品上。

在一些实施例中,方法还包括将第一图像的第一重叠区域与第二图像的第二重叠区域比较以确定匹配图像已经被识别以允许第一图像和第二图像的数字缝合。

在一些实施例中,样品载物台沿着X轴、Y轴、Z轴以及旋转轴线是能移动的。

在一些实施例中,本文公开了一种检查设备。检查设备包括样品载物台、至少三个成像装置、一组或多组灯以及控制系统。样品载物台被配置成保持样品。至少三个成像装置以三角形阵列布置、定位在样品载物台上方。至少三个成像装置中的每个成像装置被配置成捕获样品的图像。一组或多组灯定位在样品载物台和至少三个成像装置之间。控制系统与至少三个成像装置通信。控制系统包括处理器和存储器。存储器具有存储在其上的编程指令,编程指令在由处理器执行时执行操作。操作包括初始化至少三个成像装置中的第一成像装置以捕获样品的第一图像。操作还包括初始化至少三个成像装置中的第二成像装置以捕获样品的第二图像。操作还包括初始化至少三个成像装置中的第三成像装置以捕获样品的第三图像。操作还包括从第一成像装置接收第一图像、从第二成像装置接收第二图像以及从第三成像装置接收第三图像。操作还包括:对于第一图像、第二图像和第三图像中的每个图像,识别其中包含的伪影。操作还包括从第一图像、第二图像和第三图像中的每个图像去除伪影。操作还包括使用第一图像、第二图像和第三图像的剩余部分生成样品的无伪影图像。

在一些实施例中,本文公开了一种用宏观检查系统生成样品的无伪影图像的方法。计算系统从宏观检查系统的第一成像装置接收样品的第一图像。计算系统从宏观检查系统的第二成像装置接收样品的第二图像。计算系统从宏观检查系统的第三成像装置接收样品的第三图像。第一成像装置、第二成像装置和第三成像装置在样品上方以三角形阵列布置。对于第一图像、第二图像和第三图像中的每个图像,计算系统识别其中包含的伪影。计算系统从第一图像、第二图像和第三图像中的每个图像去除伪影。计算系统使用第一图像、第二图像和第三图像的剩余部分来生成样品的无伪影图像。

在一些实施例中,本文公开了一种非暂时性计算机可读介质。非暂时性计算机可读介质具有指令序列,指令序列在由处理器执行时致使计算系统执行操作。操作包括由计算系统从宏观检查系统的第一成像装置接收样品的第一图像。操作还包括由计算系统从宏观检查系统的第二成像装置接收样品的第二图像。操作还包括由计算系统从宏观检查系统的第三成像装置接收样品的第三图像。第一成像装置、第二成像装置和第三成像装置在样品上方以三角形阵列布置。操作还包括:对于第一图像、第二图像和第三图像中的每个图像,由计算系统识别其中包含的伪影。操作还包括由计算系统从第一图像、第二图像和第三图像中的每个图像去除伪影。操作还包括由计算系统使用第一图像、第二图像和第三图像的剩余部分生成样品的无伪影图像。

附图说明

为了描述可以获得本公开的上述和其他优点和特征的方式,将通过参考在附图中图示的其具体实施例来呈现对以上简要描述的原理的更具体描述。应当理解,这些附图仅描绘了本公开的示例性实施例,并且因此不应被视为限制其范围,本文的原理通过使用附图用附加特征和细节来描述和解释,其中:

图1A示出了根据示例实施例的提供照明样品的照明空间的照明源。

图1B示出了根据示例实施例的由成像组件捕获的图像片。

图2示出了根据示例实施例的宏观(宏观(macro))检查系统的示例。

图3A示出了根据示例实施例的灯环组件的俯视图。

图3B示出了根据示例实施例的灯环组件的侧视图。

图4A示出了根据示例实施例的由用于照明样品的最大、不受限制的照明光束产生的照明锥。

图4B示出了根据示例实施例的由光偏转器移动到第一位置引起的照明圆锥的最小化。

图4C示出了根据示例实施例的由光偏转器移动到第二位置引起的照明圆锥的最小化。

图5A示出了根据示例实施例的包括成像平移平台的宏观检查系统,该成像平移平台处于第一位置中以用于捕获样品的第一图像。

图5B示出了根据示例实施例的包括成像平移平台的宏观检查系统,该成像平移平台平移至第二位置以用于捕获样品的第二图像以创建样品的无伪影图像。

图6A示出了根据示例实施例的使用载物台平移、成像组件平台平移或孔平移在第一位置处捕获的样品的第一图像。

图6B示出了根据示例实施例的根据所公开的主题的一些实施例的使用载物台平移、成像组件平台平移或孔平移在第二定位处捕获的样品的第二图像。

图6C示出了根据示例实施例的通过缝合样品的第一图像和样品的第二图像所创建的样品的无伪影图像。

图7示出了根据示例实施例的用于通过平移成像组件来创建样品的合成无伪影图像的示例成像方法。

图8示出了根据示例实施例的用于通过平移样品载物台来创建样品的合成无伪影图像的示例成像方法。

图9A示出了根据示例实施例的宏观检查系统,该宏观检查系统包括两个成像组件和用于在第一位置捕获样品的第一图像的可平移孔滑动件。

图9B示出了根据示例实施例的宏观检查系统,该宏观检查系统包括两个成像组件和用于在第二位置处捕获样品的第二图像的可平移孔滑动件。

图10示出了根据示例实施例的用于使用两个成像组件和可平移孔滑动件来创建样品的合成无伪影图像的示例成像方法。

图11示出了根据示例实施例的包括样品载物台和成像组件的宏观检查系统,该样品载物台和成像组件中的任一者或两者可以被旋转以便创建无伪影的图像。

图12示出了根据示例实施例的用于通过旋转宏观检查系统的样品载物台来创建样品的合成无伪影图像的方法。

图13A示出了根据示例实施例的在样品载物台的初始位置处捕获的示例图像。

图13B示出了根据示例实施例的示例图像,其中,从图像裁剪出图像的包括成像伪影的一部分。

图13C示出了根据示例实施例的经由宏观检查系统的样品载物台的旋转在第二位置处所捕获的示例图像。

图13D示出了根据示例实施例的示例图像,其中,从图像裁剪出图像的包括成像伪影的一部分。

图13E示出了根据示例实施例的数字地旋转到原始位置的裁剪图像的示例。

图13F示出了根据示例实施例的数字地旋转到原始位置的裁剪图像的示例。

图13G示出了根据示例实施例的通过将两个裁剪图像缝合在一起生成的样品的合成无伪影图像。

图14示出了根据示例实施例的用于校准宏观检查系统以实现不同照明景观的示例校准方法。

图15A示出了根据示例实施例的用于使用宏观系统照明样品以实现期望的照明景观的示例方法。

图15B示出了根据示例实施例的用于识别样品分类并自动调节宏观检查系统的照明景观的示例方法。

图16示出了根据示例实施例的计算机分析系统的实施例的一般配置。

图17示出了根据示例实施例的使用训练数据来训练一个或多个人工智能算法的示例,该人工智能算法可以用于在接收的样品扫描上为每个接收的样品图像创建一个或多个照明分布。

图18A图示了根据示例实施例的用于宏观(宏观)检查系统的成像装置的示例视图。

图18B图示了根据示例实施例的用于图18A的宏观(宏观)检查系统的成像装置的示例视图。

图19是图示了根据示例实施例的样品的示例性俯视图的框图。

图20是根据示例实施例的从图19中捕获的样品的一个或多个图像的分解图。

图21是根据示例实施例的图19的样品的图像的俯视图。

图22是根据示例实施例的图20中所图示的分解图的经修改的视图。

图23图示了根据示例实施例的图19的样品的无伪影图像。

图24是图示了根据示例实施例的使用宏观检查系统生成样品的合成无伪影图像的方法的流程图。

具体实施方式

根据所公开主题的一些实施例,提供了用于反射样品的宏观检测的机构(其可以包括系统、方法、装置、设备等)。宏观检测(有时称为检查)是指使用所公开的宏观检查机构对样品进行扫描、成像、分析、测量和任何其他合适的检查。所公开的宏观检查机构包括一个或多个照明模式,这些照明模式各自可以提供可变的照明景观,如本文所描述的。尽管以下描述涉及在宏观检查机构中实施的部件和方法,但是本文所描述的部件和方法也可以在显微镜检查系统中实施。

图2图示了根据所公开主题的一些实施例的宏观(宏观)检查系统100的示例。在高水平下,根据一些实施例,宏观检查系统100的基本部件包括用于向样品S提供光的照明组件(例如,灯环组件80)、聚焦透镜34、成像装置32、样品载物台50、包括硬件(例如,被配置成执行本文描述的操作的一个或多个处理器等)的控制系统70、软件和/或固件以及计算机分析系统75。宏观检查系统100可实施为使用透射或反射光的光学检查系统的一部分。

在一些实施例中,如图2、图3A和图3B所示,灯环组件80可用作用于宏观检查系统100的照明组件,以向样品提供光(如由照明空间90表示)。一个或多个单独的灯(例如,LED灯L1至Ln)可安装至灯环组件80。单独的灯L1至Ln可以基于任何类型的合适的光照技术,包括但不限于:发光二极管(LED)、有机发光二极管(OLED)、荧光、卤素、白炽灯、光纤、气体等离子体、阴极射线管(CRT)、液晶显示器(LCD)、激光等。每个灯可被单独地寻址。在另外的实施例中,单独的灯可以被划分成多个区段(例如,通过在灯环组件上的位置,诸如前、后、右、左),并且每个区段可以是可寻址的。软件、硬件和/或固件(例如,控制系统70)可以通过其地址来控制每个灯或区段的启动、强度和/或颜色。例如,控制系统70可以包括一个或多个处理器和存储指令的存储器,这些指令由于被一个或多个处理器执行,致使控制系统70执行本文描述的操作。在一些情况下,控制系统70实现为执行本文描述的操作的应用或独立计算机系统。启动是指灯的开启,强度是指光能量传递至表面单元的速率,以及颜色是指例如RGB(红、绿、蓝)颜色值,例如,其中每个颜色值被指定为基于8位颜色的从0至255的整数。强度可以通过测光表、图像传感器和/或其他合适的强度测量装置来确定。多个灯L1至Ln可由投射单色、多色和/或其任何组合的灯构成。

根据所公开主题的一些实施例,每个灯L1至Ln可以从多个方向以不同入射角提供倾斜光照。如本文所描述的,用于改变照明角度的三种方法包括:(1)改变安装到灯环组件80的灯的角度;(2)在z方向上升高或降低灯环组件80;和/或(3)定位光偏转器,使得来自灯的照明光束的一部分被阻挡。

在一个实施例中,当保持在样品载物台50上时,每个灯可以相对于样品的样品平面以所期望的角度安装到灯环组件80。在进一步的实施例中,可以手动地或通过软件、硬件和/或固件(例如,控制系统70)自动地控制每个灯的角度。灯的角度可以单独控制或与一个或多个其他灯同时控制。每个灯可以以相同或不同的量斜置。

在一些实施例中,灯环组件80可以被配置成使得其沿着宏观检查系统100的导轨48能移动。在一个示例中,灯环组件80可以用支撑杆81a、81b以及轴承82a、82b附接到导轨48(如图3A所示)。注意,照明组件不限于环状构造。例如,其他类型的灯构造也是可行的,如名称为“宏观检查系统、设备和方法(Macro Inspection Systems,Apparatus andMethods)”的美国专利申请第16/262,017号,其特此通过引用以其整体并入本文。此外,可以手动或通过软件、硬件和/或固件(例如,控制系统70)自动控制灯环组件80沿着导轨48的高度移动至不同位置。根据灯环组件相对于样品载物台50的高度,灯环组件80可用于在样品保持在样品载物台50上时向样品提供倾斜或暗视野照明。例如,为了提供可变角度的倾斜照明,灯环组件80可以被定位成使得其光可以被投射在样品平面(即,当样品定位在样品载物台50上时,样品的顶部平坦表面)上方的不同高度处。在一些实施例中,样品平面对应于宏观检查系统100的聚焦平面(即,样品聚焦的平面)。在另外的示例中,为了提供暗视野照明,灯环组件80可以被定位成使得其光可以在与样品载物台50上的样品的样品平面的相同或基本相同的水平被投射,以在样品被保持在样品载物台50上时向样品提供暗视野照明。

如本文使用的:倾斜照明是指以小于90度并且大于0度、通常大于1度的入射角朝向样品投射的光;暗视野照明是指以小于1度且通常为0度的入射角朝向样品投射的光;明视野照明是指以垂直于(90度)样品平面的入射角朝向样品投射的光。明视野照明可以指通过透镜34提供照明的光源。

取决于其相对于样品载物台50的距离(d),灯环组件80可用于在样品保持在样品载物台50上时向样品提供倾斜或暗视野照明。在名称为“宏观检查系统、设备和方法(MacroInspection Systems,Apparatus and Methods)”的美国专利申请第16/262,017号中描述了提供倾斜和暗视野照明,其特此通过引用以其整体并入本文。在一些实施例中,灯环组件80可被定位成使得来自该组件的照明基本上平行于样品平面,以在样品被保持在样品载物台50上时为样品提供暗视野照明。基本上平行应理解为具有从-1°到+1°的入射角,以允许在对准中的缺陷,但是在一些实施例中,照明将在平面上,即,在d为0处,由此仅在存在从样品的完全平坦的平面表面延伸的特征时才反射照明。如果样品完全平坦且无特征,那么其将不会将基本上平行的照明中的任一者反射到透镜34,且由透镜34观察到的此样品将不被照明。如果存在突出缺陷或其他特征,那么来自灯环组件80的照明将从此类缺陷和/或特征反射出且将经由透镜34由成像装置32捕获。如果灯环组件与样品载物台50的距离大于0,则灯环组件80可以用于当样品保持在样品载物台50上时向样品提供倾斜照明。

如图4A-图4C所示,光偏转器83可用于调节每个灯Li的照明锥。每个灯Li可以以一角度α从灯环组件80安装。灯环组件80可以垂直于样品载物台50定位,并且灯可以以0度至90度、通常为0度至60度(例如,10度)的角度α安装。通常的LED灯可具有大约120度的照明锥。照明锥由任何两个向量a、b、c、d、e、f和g表示。向量a、g表示如图4A所示的最大、不受限制的照明光束。不受限制的光的照明锥由θ1表示。例如,如图4B和图4C所示,光偏转器83可定位在灯上方,以使照明锥最小化。图4B示出了移动到第一位置以阻挡向量a(由虚线表示)且允许光向量b到g继续的光偏转器83。这个受限制的光的照明锥由θ2表示,并且具有小于θ1的锥。图4C示出了移动至第二位置的光偏转器83,其阻挡向量a、b和c(由虚线表示)并且允许向量d、e、f和g继续。这个受限制的光的照明锥是θ3,并且θ3的照明锥小于θ1和θ2两者。α和θ可以调节以提供照明样品的照明角度以示出特定样品特征。例如,较高的照明角度通常更好地用于限定边缘,而较低的照明角度通常更好地用于限定凸起。在一些实施例中,使用单个光偏转器来控制所有灯的照明锥,并且在其他实施例中,可使用单独的光偏转器来控制每个灯的照明锥。每个灯的照明锥可以相同或不同。

如图4A-图4C所示,尽管偏转器83从顶部降低至底部,但其还可配置成从底部移动至顶部,或在两个方向上移动。不管被检测的特征如何,偏转器83可被定位成防止光被引导至成像装置并且在捕获的图像中引起成像伪影。在一些实施例中,偏转器83可定位成将光仅引导到样品。在宏观检查系统100中包括穹状件的实施例中,可以调节偏转器83以使光偏转到穹状件、样品和/或穹状件和样品。可以手动地或通过软件、硬件和/或固件(例如,控制系统70)自动地控制单个或单独的光偏转器83。如图4A-图4C所示,调节器螺钉86是可用于调节光偏转器83的机构的一个示例。

在一些实施例中,XYZθ平移载物台可以用于样品载物台50。样品载物台50可由步进马达、伺服马达、线性马达、压电马达和/或任何其他合适的机构(包括手动机构)驱动。样品载物台50可被配置成在X轴、Y轴、Z轴和/或θ方向上手动地和/或在任何合适的控制器(例如,控制系统70)的控制下移动物体。致动器(例如,致动器39)可用于进行例如0mm至5mm、0mm至10mm、0mm至30mm和/或任何其他合适的距离范围的粗焦距调节。在一些实施例中还可以使用致动器来提供例如0μm至50μm、0μm至100μm、0μm至200μm和/或任何其他适合的距离范围的精焦距。本领域技术人员将理解,XYZθ平移台仅是示例,并且可以使用其他合适的载物台(例如,XYZ平移载物台、θ平移载物台、Z平移载物台)。

在一些实施例中,一起形成成像组件33的透镜34和成像装置32可被支撑在样品载物台50上方的平移组件上。平移组件包括成像平移平台44,该成像平移平台可以被配置成在X轴、Y轴和/或θ方向上手动地和/或在任何适合的控制器(例如,控制系统70)的控制下移动成像组件33。上支撑框架46还可以包括用于对准成像平移平台44的限制件(例如,左限制件43a和右限制件43b)和/或编码器45。限制件可以是指示成像平移平台44的正确对准的物理止动件或开关(光学、机械、电子或其他)。开关可由控制系统70控制,以仅允许当成像平移平台44处于特定对准时拍摄图像,或者当限位开关被启动时(例如,通过将成像平移平台44定位在限制件43a和限制件43b内)自动捕获图像。编码器45可用于更精确地指示平台44的位置,并且可用于当平台44处于特定位置时仅允许成像或自动触发成像。在一些实施例中,上支撑框架46可被配置成使得其能沿着导轨48在Z轴方向上移动。为了调节焦距,上支撑框架46可被降低或升高,使得耦接到支撑框架46的成像组件33更靠近或更远离样品载物台50。此外,上支撑框架46沿导轨48的高度移动至不同位置可手动控制或通过软件、硬件和/或固件(例如,控制系统70)自动控制。在其他实施例中,成像装置可直接安装到上支撑框架46,并且能以类似方式在X轴、Y轴、Z轴和/或θ方向上平移。

透镜34可具有不同的放大率,和/或被配置成利用明视场、暗视场或倾斜照明、偏振光、交叉偏振光、微分干涉差(DIC)、相衬和/或任何其他合适形式的照明来操作。用于宏观检查系统100的透镜的类型可以基于期望的特性,例如,视场、数值孔径等。在一些实施例中,透镜34可以是可用于在单个视场内观察样品的宏观透镜。注意,如本领域普通技术人员所理解的,术语视场是指由图像传感器一次捕获的检测区域。

样品载物台50上的样品的照明反射直至安装至成像装置32(例如,相机)的透镜34,并且成像装置32可捕获在成像空间92中的样品的图像和/或视频。在一些实施例中,成像装置32可以是可旋转相机,该可旋转相机包括图像传感器,该图像传感器被配置成允许相机对准样品、载物台和/或样品上的特征。图像传感器可以是例如电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)图像传感器和/或将光转换成一个或多个电信号的任何其他合适的电子装置。这些电信号可用于形成物体的图像和/或视频。在一些实施例中,这些电信号被传输以用于在连接到宏观检查系统100的显示屏上显示。在名称为“相机和物体对准以促进显微镜中的大面积成像(Camera and ObjectAlignment to Facilitate LargeAreaImaging in Microscopy)”的美国专利第10,048,477号中描述了可以由宏观检查系统100使用的用于旋转相机的一些示例方法,该专利特此通过引用以其整体并入本文。

在一些实施例中,宏观检查系统100可以包括屏障,例如穹状件42,如图2所示,穹状件被配置成将从样品反射的光反射回样品。穹状件42扩散其反射回样品的光以提供更均匀的照明场。尽管示出了穹形屏障,但是其他形状的屏障,包括:球体、锥体、立方体或任何三维多边形状,诸如菱形,可以用于提供不同的扩散角。在一些实施例中,光扩散器是以穹状件或其他形状的屏障的形状形成的,并且在其他实施例中,该穹状件或其他屏障可以是任何材料,但涂有光扩散涂料。穹状件42可以耦接到成像组件33,使得当成像组件33移动时,穹状件42与成像组件一起移动。

单个灯或多个灯可以被启动以照明在样品平面的一部分或整个视场。所检测的样品的类型、所检测的特征的类型、样品上的关注区域和/或任何其他合适的标准可确定哪些灯被启动以及以何种颜色和/或强度被启动。此外,软件、硬件和/或固件(例如,控制系统70)可控制每个单独灯的角度或与一个或多个其他灯同时控制每个单独灯的角度。在一些实施例中,可以手动地改变角度。每个灯可以以相同或不同的量斜置。在一些实施例中,光不指向穹状件42,而是指向样品,并且从穹状件42以更加扩散的方式反射回样品。

每个单独的灯可以单独或一起发射光向量以照明样品平面上的特定区域(“照明区域”)。该照明区域的大小可从照明样品的一部分到包含整个样品平面而变化。可以沿着由向量表示的光束在样品平面上方、下方或在样品平面上(例如,在样品载物台50的顶部、在样品平面的顶部、在聚焦平面等)的不同轴向位置处计算照明面积。每个光向量所覆盖的区域可与相邻灯条发出的光向量所覆盖的区域部分重叠或完全不重叠。在一些实施例中,一个或多个聚焦透镜和/或准直透镜可用于将每个光向量的区域聚焦到适合于在样品载物台50上的样品的区域。

在一些实施例中,单个照明向量的范围从1度或更大至180度或更小(60弧分或更大至10,800弧分或更小)。在其他实施例中,单个照明向量的范围从45度或更大至120度或更小(2,700弧分或更大至7,200弧分或更小),在其他实施例中,从30度或更大至45度或更小(1,800弧分或更大至2,700弧分或更小),在其他实施例中,从10度或更大至30度或更小(600弧分或更大至1,800弧分或更小),在其他实施例中,从5度或更大至10度或更小(300弧分或更大至到600弧分或更小),并且在其他实施例中,从2度或更大至5度或更小(120弧分或更大至300弧分或更小)。向量取决于灯组件环80中启动的灯的数量及其相对于样品位置的位置。

灯环组件80可以关于灯的数量、每个单独灯的尺寸、每个单独灯的锥角、灯之间的间距(p)以及灯与光被投射的区域之间的距离而变化。在一些实施例中,样品载物台50的尺寸、透镜34的规格、被检查的样品的尺寸和/或类型、和/或被检测的样品的特征可以确定灯组件环80上的灯的配置,包括例如灯的布置(无论是在环中还是在其他布置中)、灯的总数、距离和/或间距(p)。

如从图4A-图4C中的照明示例应总体上了解,本发明的各个实施例允许暗视野照明、可变倾斜角度的照明和明视野照明。

在一些实施例中,控制系统70包括控制器和控制器界面,并且可以控制宏观检查系统100的任何设置(例如,光的强度、光的颜色、打开和关闭一个或多个灯、一个或多个灯的枢转或其他移动(例如,改变灯的角度)、灯环组件80的移动(例如,在z方向上)、成像平台44的移动;样品载物台50或150的移动(在x、y、θ和/或z方向上)、透镜34的移动(在x、y、θ和/或z方向上)、成像平移平台44的移动、成像组件33对图像数据的记录、成像组件33的旋转或移动、照明数据的处理、图像数据的处理)。控制系统70以及本文描述的可应用的计算系统和部件可以包括任何合适的硬件(其可以在一些实施例中执行软件),诸如,例如计算机、微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和数字信号处理器(DSP)(其任何一个可以被称为硬件处理器)、编码器、用于读取编码器的电路、存储器装置(包括一个或多个EPROM、一个或多个EEPROM、动态随机存取存储器(“DRAM”)、静态随机存取存储器(“SRAM”)、和/或闪存)和/或任何其他合适的硬件元件。在一些实施例中,宏观检查系统100内的单独部件可以包括它们自己的软件、固件和/或硬件,以控制单独部件并与宏观检查系统100中的其他部件通信。

在一些实施例中,控制系统(例如,控制器和控制器界面)与宏观检查系统100的部件之间的通信可以使用任何合适的通信技术,诸如模拟技术(例如,继电器逻辑)、数字技术(例如,RS232、以太网或无线)、网络技术(例如,局域网(LAN)、广域网(WAN)、互联网)、蓝牙技术、近场通信技术、安全射频技术和/或任何其他合适的通信技术。

在一些实施例中,可以使用任何合适的输入装置(例如,键盘、鼠标、操纵杆、触摸)将操作者输入通信至控制系统70。

在一些实施例中,控制系统70控制多个灯中的一个或多个的启动、强度和/或颜色,以及灯L1至Ln和/或灯环组件80的位置(例如,通过调节灯环组件的高度,或通过枢转灯),以在样品被放置在样品载物台50上时提供样品上的可变照明景观。照明景观是指由于来自指向样品的多个灯中的一个或多个灯的灯的启动和分布而在样品的关注区域上的光的颜色和/或强度。照明景观可影响通过透镜34观看的图像和/或由成像装置32捕获的图像。控制系统70可控制多个灯中的一个或多个灯的强度以在样品平面和/或样品载物台50上提供期望的照明景观。例如,控制系统70可以控制多个灯中的一个或多个灯的强度以在样品平面和/或样品载物台50上提供均匀强度的照明景观。所提供的照明景观的类型可以通过样品类型、样品的机械和/或物理性质(例如,样品尺寸、样品反射率)、被检测的样品特征、制造和/或检测过程的特定阶段或一些其他合适的变量,单独地或以其任何组合的方式来确定。

在一些实施例中,计算机分析系统75可以使用任何合适的通信技术(诸如模拟技术(例如,继电器逻辑)、数字技术(例如,RS232、以太网或无线)、网络技术(例如,局域网(LAN)、广域网(WAN)、互联网)蓝牙技术、近场通信技术、安全射频技术和/或任何其他适合的通信技术)以任何适合的方式耦接到或包括在宏观检查系统100中。计算机分析系统75和计算机分析系统75内的模块可以被配置成使用由宏观检查系统100输出和/或由计算机可读介质存储的图像来执行本文进一步描述的许多功能。

计算机分析系统75可以包括任何合适的硬件(其可以在一些实施例中执行软件),诸如,例如计算机、微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和数字信号处理器(DSP)(其任何一个都可以被称为硬件处理器)、编码器、用于读取编码器的电路、存储器装置(包括一个或多个EPROM、一个或多个EEPROM、动态随机存取存储器(“DRAM”)、静态随机存取存储器(“SRAM”)和/或闪存)和/或任何其他合适的硬件元件。

应当注意的是,尽管控制系统70和计算机分析系统75在图2中被图示为宏观检查系统100的分离部件,控制系统70和计算机分析系统75的其他实施方式也在本公开的范围内。例如,在实施例中,计算机分析系统75实施为控制系统70的应用或其他可执行程序。另外,虽然计算机分析系统75被图示为宏观检查系统100的部件,但是计算机分析系统75可以实施为通过通信网络(诸如互联网或其他网络)访问的分离系统。

计算机可读介质可以是可由计算机访问的任何非暂时性介质,并且包括易失性和非易失性介质、可移动和不可移动介质两者。作为示例而非限制,计算机可读介质可包括计算机存储介质和通信介质。计算机存储介质可包括以任何方法或技术实施的易失性和非易失性、可移动和不可移动介质以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息。计算机存储介质包括但不限于:RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字视频盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁存储装置或可用于存储所需信息并可由计算机访问的任何其他介质。

图5A和图5B,连同图6A-图6C,示出了宏观检查系统100和成像方法的实施例,该宏观检查系统和成像方法用于当样品放置在载物台50上时,通过将成像平移平台44平移到样品中心线A2的右侧和左侧来创建样品的无伪影图像。通过平移成像平移平台44,成像组件33的光学中心线A1可从放置在载物台50上的样品中心线A2偏移。偏移量必须是足够的,使得整个成像伪影或整个成像伪影和一些附加空间将出现在样品中心线A2的一侧的捕获图像中(例如,如图6A和图6B中所示)。注意,图像组件的Al从中心线A2的偏移的尺寸(使得至少整个伪影出现在中心线A2的一侧)通常等于伪影出现在捕获图像中时的尺寸。

在本申请中对移动或平移成像组件33的所有引用是指经由平移机构(例如,成像平移平台44)移动或平移成像组件33。而且,本文中的附图涉及使用中心线Al或A2,仅存在示例参考点,其他参考点可用于捕获无物品图像。

图6A、图6B和图6C示出了可以在三种不同模式下捕获的图像:载物台平移、成像组件平台平移或孔平移。

如本文使用的,无伪影是指不包括成像组件和/或照明热点的反射的图像。注意,如图5A和图5B所示的宏观检查系统100的实施例未示出成像空间92或照明空间90,但是如图2所示的成像和照明空间的概念适用于所有实施例。

如图5A和图5B所示,成像平移平台可以在两个位置之间平移:至样品中心线A2的右侧和左侧。在图5A中,成像平移平台44位于中心线A2的左侧,使得当成像组件33在该位置捕获样品的图像时,来自成像组件33的反射的成像伪影不会出现在中心线A2的右侧。图6A图示了当成像组件定位在中心线A2的左侧(如图5A所示)时可捕获的示例图像105。如图像105中所捕获的,样品特征X1和X2出现在中心线A2的左侧和右侧。表示在图像中捕获的成像组件的反射的成像伪影26出现在左侧(即,在捕获图像时成像组件33所定位的同一侧)。图像的无伪影的部分由边界框114表示(与右侧的线R1和左侧的线R2重合)。

在图5B中,成像平移平台44定位在相对侧上,位于中心线A2的右侧,使得当成像组件33在该位置处捕获样品的图像时,来自成像组件33的反射的成像伪影不会出现在中心线A2的左侧。图6B图示了当成像组件定位在中心线A2的右侧(如图5B所示)时可捕获的示例图像106。成像伪影26出现在图像106的右侧(即,当捕获图像时成像组件33所位于的同一侧)。图像的无伪影的部分由边界框114表示(与右侧的线R3和左侧的线R4重合)。

图7示出了用于使用宏观检查系统100的实施例创建样品的合成无伪影图像的示例成像方法700,如图5A和图5B所示。

在步骤710处,可以通过调节特定于宏检查工具而不特定于正被检测的样品的参数来初始化宏观检查系统100。这些参数可以包括但不限于焦距、放大率、DIC棱镜、视场。通过使用试样样品来确定成像组件33和样品载物台50之间的合适距离,并且将成像组件33或样品载物台50或两者移动得更远离或更靠近在一起直到实现期望的焦距,可以校准检查系统100的焦距。可以手动或通过软件、硬件和/或固件(例如,控制系统70)自动控制焦距。在初始化时使用的成像组件33和载物台50的位置以及它们之间的距离可被存储在本地或远程存储器中。表示样品或样品分类组的参考样品也可以用于设置特定于被检测样品的参数。样品可以通过样品类型、通过相似的机械和/或物理样品性质(例如,相似的反射率性质、相似的尺寸大小)、通过特征类型、通过制造过程和/或检测步骤、通过关注区域和/或任何其他合适的分类组来分组。特定于被检测样品的参数可以包括放大率、焦距、调节曝光、调节照明(例如,启动所选择的灯和调节每个所选择的灯的强度水平、颜色和/或入射角)。注意,焦距可通过改变样品和成像组件33之间的距离来调节,例如通过在z方向上移动载物台50的机构39或通过在z方向上升高或降低成像组件33来调节。可以通过调节包括曝光时间、增益、偏移等的相机设置来设置曝光。样品的初始参数可以存储在本地或远程存储器中。包含图像处理的用于调节照明的示例方法在名称为“宏观检查系统、设备和方法(MacroInspection Systems,Apparatus and Methods)”的美国专利申请第16/262,017号中描述,其特此通过引用以其整体并入本文。

在步骤720处,成像组件33可以平移到中心线A2的右侧或左侧,量等于或大于在所捕获的图像中出现的伪影的尺寸,并且可以捕获参考图像。如图6A和图6B中所示,成像伪影26出现在参考图像中、在中心线A2的与成像组件33在其捕获参考图像时的位置相同的一侧。参考图像的位于中心线A2的相对于成像组件33的相对侧上的部分将是无伪影的。在一些实施例中,成像组件33可以被定位在中心线A2的右侧足够远的位置或中心线A2的左侧足够远的位置,使得在所捕获的图像中,成像伪影26并不精确地出现在中心线A2处,但是在成像伪影与中心线A2之间存在附加空间(如图6A和6B中所示,分别为重叠118的L和R)。在捕获参考图像之前,样品可在载物台50上对准,并且成像组件33相对于载物台50定位,使得当由成像组件33捕获样品的图像时样品的预定边缘或样品的某些特征(单独地或共同地,“样品重叠特征”)落入图像重叠区域118内。重叠区域是指当成像组件33定位在中心线A2的任一侧上时,在由成像组件33捕获的图像的相同x、y位置中的预定数量的像素(例如,1至10个像素)。图像105的边界框114(如图6A所示)和图像106的边界框115(如图6B所示)的阴影区域表示在成像组件定位在中心线A2的右侧或左侧时在由成像组件捕获的图像中相同(或重叠)的无伪影区域。参考图像和第二图像的重叠区域可以用于比较这两个图像并且选择在放大率、焦距和/或曝光方面与参考图像最相似的第二图像。参考图像和被选择为最相似的图像可以数字缝合(也称为“缝合(stitched)”或“缝合(stitching)”)在一起以形成样品的合成无伪影图像(例如,如图6C所示的图像120)。如图6C所示,A3是在重叠区域中选择的线。

在步骤730处,成像组件33平移到中心线A2的另一侧,与其在步骤720处的位置相反。在一些实施例中,成像组件33被定位得足够远,以在成像伪影26与中心线A2(例如,图像重叠区域118的R或L)之间产生附加空间。

在步骤740处,一旦成像组件33被适当地对准,成像组件33就捕获样品的图像,该图像包括在中心线A2的与在捕获图像时成像组件33的位置相同的一侧上的成像伪影,并且该图像在中心线的相对侧上是无伪影的。捕获图像的重叠区域118可与参考图像的重叠区域进行比较,并且可对焦距、曝光、照明和/或其他参数进行改变,使得参考图像的焦距、曝光、照明和/或其他参数与捕获图像相同或基本上相似。重叠区域118的比较可以手动地或通过软件、硬件和/或固件(例如,通过控制系统70和/或计算机分析系统75)自动地执行。成像组件33可以继续捕获样品的图像,直到确定捕获图像与参考图像(“匹配图像”)的焦距、曝光、照明和/或其他参数匹配。可从图像中裁剪出参考图像和匹配图像的包含成像伪影的部分,使得其余部分是无伪影的(例如,图6A中由R1和R2界定的区域,和图6B中由R3和R4界定的区域)。

在步骤750处,可以将匹配图像的无伪影部分与参考图像的无伪影部分缝合在一起以形成样品的合成的无伪影图像(例如,图像120,如图6C所示)。可以通过将出现在参考图像的重叠区域118中的样品重叠特征与出现在匹配图像的重叠区域118中的样品重叠特征对准来执行缝合。控制系统70和/或计算机分析系统75可以比较每个图像的重叠区域并且数字地调节图像的位置,使得样品重叠特征对准。在样品和成像组件33已经精确地对准使得所捕获的图像的重叠区域包括相同特征的其他实施例中,缝合可以基于重叠区域的精确位置(例如,x/y坐标)。在一些实施例中,参考图像和匹配图像的无伪影部分可被直接缝合在一起,而无需使用用于对准的任何重叠区域。

在另一实施例中,成像组件33可以保持固定并且样品载物台(即,中心线A2)可以向成像组件33(即,光学中心线A1)的左侧或右侧平移大于或等于伪影的尺寸的偏移量,如以上所讨论的。图8示出了用于通过平移样品载物台50来创建样品的无伪影图像的示例成像方法800。

类似于结合图7所描述的方法,可以重复相同的过程(例如,步骤810(初始化宏观检查工具和所检测样品的参数);步骤840(比较参考图像和第二图像;如果图像不匹配,则对宏观检查系统100做出合适的调节,直到捕获到匹配图像)以及850(裁剪出匹配图像和参考图像的包括成像伪影的部分,并将无伪影的图像缝合在一起)),除了成像组件33保持固定,并且将载物台50移动到光学中心线Al的右侧或左侧,以捕获样品的在光学中心线的每一侧上的图像(步骤820和步骤830)。此外,与结合图7描述的方法类似,步骤840和步骤850可以由控制系统70和/或计算机分析系统75执行。

图9A和图9B连同图10示出了宏观检查系统100和成像方法的实施例,该宏观检查系统和成像方法用于通过使用两个成像组件68、69和可平移的孔滑动件65来创建样品的无伪影图像。

如图9A和图9B所示,宏观检查系统100可包括:(i)两个成像组件68、69,这两个成像组件定位成使得它们的光学中心线B1、B2分别偏离中心线A2并且位于中心线A2的相对侧上;以及(ii)具有单个开口(孔66)的可平移孔滑动件65。偏移量必须足够,使得整个成像伪影或整个成像伪影和一些附加空间将出现在样品中心线A2的一侧(即,与拍摄图像的成像组件在同一侧)的捕获图像中。

在这种配置中,成像组件和样品载物台保持固定,而孔滑动件65可以以线性运动平移以一次将孔66定位在一个成像组件(68或69)下方。在图9A中,孔滑动件65沿着孔滑动件导轨67平移,使得孔66定位在成像组件68的下方(A2的左侧),并且剩余的孔滑动件65的一部分阻止成像组件69反射在由成像组件68捕获的样品图像中。同样地,当孔滑动件65平移使得孔66定位在成像组件69的下方、A2的右侧时(如图9B所示),孔滑动件65的剩余部分阻挡成像组件68,使得成像组件68不反射在由成像组件69捕获的图像中。可以手动地或通过软件、硬件和/或固件(例如,控制系统70)自动地控制孔滑动件65。此外,孔滑动件65可被设计成具有最小可能的直径,而不阻碍任一成像组件的成像场。在另外的实施例中,穹状件42可以耦接到孔滑动件65并与孔66一起定位,以使从样品反射的光扩散。

注意,孔滑动件65可以由金属、塑料或保持其形状的其他材料制成。在一些实施例中,滑动件65尽可能薄(通常一毫米至五毫米),以便不干扰成像空间92。如果没有附接穹状件,则滑动件65可以是反射材料或为了防止光被反射的光吸收材料。孔66可以是无阻碍的开口或装配有透镜。

当孔66定位在成像组件68的下方、位于中心线A2的左侧时(如图9A所示),可以捕获如图6A所示的图像105。成像伪影26出现在左侧(即,捕获图像时孔66所定位的同一侧)。相反,当孔66定位在成像组件69的下方、位于中心线A2的右侧时(如图9B中所示),可以捕获如图6B中所示的图像106。成像伪影26出现在右侧(即,捕获图像时孔66所定位的同一侧)。

图10示出了用于通过使用图9A和图9B中所示的宏观检查100的实施例平移孔滑动件来创建样品的无伪影图像的示例成像方法1000。

类似于结合图7所描述的方法,可以重复相同的过程(例如,步骤1010(初始化宏观检查工具和被检测样品的参数);步骤1040(比较参考图像和第二图像,并对宏观检查系统100做出调节,直到找到匹配图像)以及步骤1050(裁剪出匹配图像和参考图像的包括成像伪影的部分,并将匹配图像缝合在一起),但是代替将成像组件或样品载物台移动到中心线A2的相对侧,滑动件上的孔依次定位在每个成像组件的下方(例如,步骤1020和步骤1030)以捕获样品的图像并将它们缝合在一起成为样品的合成无伪影图像。此外,与结合图7所描述的方法相似,步骤1040和步骤1050可由控制系统70和/或计算机分析系统75执行。

图11与图12一起示出了宏观检查系统100和成像方法的实施例,该宏观检查系统和成像方法用于通过旋转宏观检查系统100的样品载物台150和/或成像平移平台151创建样品的无伪影图像。

如图11所示,成像组件33和穹状件42(如果包括的话)可以偏离载物台150(还称为θ载物台),使得样品的中心线当样品放置在载物台上时位于光学中心线Al的右侧(或左侧)。偏移量必须足够,使得整个成像伪影或整个成像伪影和一些附加空间将出现在样品中心线A2的一侧(即,与拍摄图像的成像组件在同一侧)的捕获图像中。代替横向平移成像组件33或载物台150(如图5A和图5B所示),样品载物台150或成像平移平台151可以围绕位于A2处的旋转中心旋转。注意,旋转中心不必与样品中心线对准。

图12示出了用于使用图11中所示的宏观检查100的实施例通过旋转样品载物台来创建样品的无伪影图像的示例成像方法1200。

在步骤1210处,类似于结合图7所描述的方法,初始化用于宏观检查系统100的参数和样品特定参数。

在步骤1220处,在旋转样品载物台150的初始位置处捕获图像。图13A示出了当样品载物台150(如图11所示)在初始位置时可以捕获的示例图像160。图像160示出了具有在右上侧的特征X1和在左下侧的特征X2的样品。伪影26出现在图像的左侧部分上。边界框162表示图像的不包括成像伪影26的部分。线A2表示样品的中心线。线A2还可以用于竖直地对准待缝合在一起的样品的无伪影图像。

在步骤1230处,可以从图像中裁剪出包括成像伪影26的图像的部分(如图13B中所示),仅留下边界框162内的图像的表示样品的右侧的部分。注意,样品的包含特征X2的部分在边界框162内,并且边界框162还并入在样品中心线A2的每一侧上的区域以创建重叠区域,该重叠区域可用于将整个图像对准并缝合在一起。在一些实例中,步骤1230由控制系统70和/或计算机分析系统75执行。

在步骤1240处,载物台可以沿顺时针或逆时针方向从第一位置旋转180°或其他合适的量至第二位置。可以在该第二位置捕获样品的图像。图13C中示出了示例图像。注意,由于样品被旋转,特征X1和特征X2现在出现在它们的原始位置的相对侧上,如图13A中所示的图像160中所捕获的。边界框164表示图像内的样品的不显示成像伪影26的部分。注意,样品的包含特征X1的位置在边界框内,并且边界框并入样品中心线A2的每一侧上的区域以创建重叠区域。注意,样品载物台150可以旋转180°以外的量,只要旋转足以捕获两个图像,该两个图像当缝合在一起时将在不包括成像伪影26的情况下重建样品。

在步骤1250处,从图像裁剪出图像的包括成像伪影26的部分(如图13D中所示),仅留下边界框164内的图像的表示样品的左侧部分或样品的包括特征X1的部分的部分。

在步骤1260,如图13E-图13F所示,可以数字地旋转裁剪图像164,使得特征X1出现在其原始位置(在左下部)。如结合图7所述,可比较两个图像的重叠区域。如果图像不匹配,那么可以调节宏观检查系统100的焦距、曝光、照明和/或其他参数,并且捕获新图像,直到找到匹配的图像对。

一旦找到匹配图像,就可以将裁剪图像164与裁剪图像162缝合在一起,如图13G所示,以创建没有成像伪影26的样品的合成图像(步骤1270)。在一些示例中,步骤1250、1260、1270由控制系统70和/或计算机分析系统75执行。

注意,尽管图12描述了用于通过旋转样品载物台来创建样品的无伪影图像的方法,但也可以通过执行类似过程(然而是旋转成像组件,而不是旋转样品载物台)来创建样品的无伪影图像。

注意,本文描述的用于检查反射样品的方法不限于宏观检查系统,并且还可以在显微镜检查系统中实施。

图14根据所公开主题的一些实施例以高水平示出了用于校准宏观检查系统以实现不同照明景观的示例校准方法1400。照明景观是指由于来自多个灯L1至Ln中的一个或多个灯的指向样品的光的启动和分布而在样品的关注区域上的光的颜色和/或强度。照明景观可影响由成像组件33捕获的图像。控制系统70可控制多个灯L1至Ln中的一个或多个灯的强度,以在样品平面和/或样品载物台上提供期望的照明景观。例如,控制系统70可控制多个灯Ll至Ln中一个或多个灯的强度,以在样品平面和/或样品载物台上提供均匀强度的照明景观。所提供的照明景观的类型可以通过样品类型、样品的机械和/或物理性质(例如,样品尺寸、样品反射率)、所检测的样品特征、制造和/或检测过程的特定阶段或一些其他合适的变量(单独地或以任何组合的方式)来确定。在一些实施例中,校准方法1300可以使用宏观检查系统100。

在步骤1401处,控制系统70可以初始化宏观检查系统100。在一些实施例中,初始化可以包括确定宏观检查系统100的灯L1到Ln的配置(例如,灯L1到Ln的总数、每个灯的地址和位置、光偏转器的位置、在从光源到光被投射的区域的每个可能位置处每个灯的投射区域(包括高度和角度)(统称为“配置信息”),并且将该配置信息存储在本地或远程存储器中。

在名称为“宏观检查系统、设备和方法(Macro Inspection Systems,Apparatusand Methods)”的美国专利申请第16/262,017号中描述了定义由每个灯L1至Ln投射的照明区域的方法,其特此通过引用其整体并入本文。

在步骤1402处,可以将具有已知特征和/或机械/物理性质(例如,尺寸、反射率)的参考样品放置在样品载物台上。可以以不同的颜色和/或强度、以从光源至光被投射的区域的不同的可能距离和角度(统称为“灯位置”)来启动灯L1至Ln的不同组合以确定用于参考样品的期望的照明景观(在步骤1403处)。在一些实施例中,可基于由成像组件33捕获图像的质量、基于成像组件33的每个单独像素或像素组上的从样品S反射的光的测量强度、基于在显示屏上显示的图像的质量和/或任何其他合适的度量来确定期望的照明景观。在一些实施例中,可以通过以不同的颜色和/或强度并且以不同的可能位置手动地启动灯L1至Ln的不同组合来调节照明景观,直到实现所期望的照明景观。在其他实施例中,可以通过编程一组条件(例如,使用控制系统70和1401的配置信息)来调节照明景观,以便以不同的颜色和/或强度并且以不同的光位置打开灯L1至Ln的不同组合,直到实现期望的照明景观。当实现参考样品的期望照明景观时,所启动的灯的地址(或其他识别信息)、每个选择的灯的强度水平和颜色、以及每个选择的灯的位置信息、载物台和透镜34之间的距离(例如,沿着x、y和z轴)以及成像组件33和样品载物台的位置彼此相关(统称为“照明分布”),可通过控制系统70存储(在步骤1404处)以供将来使用。

对于表示不同分类组(例如通过样品类型、通过相似的机械和/或物理样品性质(例如,相似的反射率性质、相似的尺寸大小)、通过特征类型、通过制造过程和/或检测阶段、通过关注的区域和/或任何其他合适的分类组)的不同参考样品,可以重复这个找到并存储适当的照明分布的过程。也可以针对相同的参考样品重复该过程以找到适合于样品的不同属性(例如,如通过样品的机械或物理性质确定的)的不同照明分布;正在检测的不同样品特征;样品上的不同关注区域和/或正在检测的制造/检测过程。在一些实施例中,在计算照明分布之前,首先使参考样品聚焦。在另外的实施例中,样品载物台和透镜34之间的距离调节到不同的预设距离,并且在每个预设距离处为参考样品计算照明分布。

在期望均匀照明景观的实施例中,显示出均匀反射背景(如通过反射率的标准测量所确定的)的反射样品可以用于校准宏观检查系统100以提供均匀照明景观。如果在样品载物台上观察时,在样品的整个视场上的反射率(例如,如成像组件33的每个单独的像素或像素组上所测量的)变化不大于5%,并且优选地小于2%,则背景可被认为是均匀的。在一些实施例中,没有均匀反射背景的参考样品可以用于校准宏观检查系统100以提供均匀照明景观。当使用这种样品时,透镜34可用于通过散焦样品以模糊样品上的任何异物和表面不规则性来创建均匀反射背景,以创建更均匀的反射背景。可以通过以不同的颜色和/或强度并且以不同的可能位置启动灯L1至Ln的不同组合来调节照明景观,直到实现均匀的照明景观。当实现均匀照明景观时,控制系统70可以存储被启动的灯的地址(或其他识别信息)、每个所选灯的强度和颜色水平、以及每个所选灯的灯位置信息以及样品载物台和透镜34之间的距离,作为为宏观检查系统100、特定样品、样品类别、关注区域、制造或检查过程中的特定载物台和/或为任何其他合适的分类组提供均匀照明的照明分布。

应当理解的是,在一些实施例中,本文描述的校准方法1400的部分中的至少一些部分可以按不限于在图14中示出和结合图14描述的次序和顺序的任何次序或顺序来执行。此外,本文所描述的过程1400的一些部分可以在适当情况下基本上同时执行或在一些实施例中并行地执行。另外或可替代地,在一些实施例中可以省略过程1400的一些部分。校准过程1400可以在任何合适的硬件和/或软件中实施。例如,在一些实施例中,校准过程1400可以在宏观检查系统100中实施。注意,校准过程1400不限于宏观检查系统,并且还可以在宏观检查系统中实施。

图15A根据所公开主题的一些实施例以高水平示出了用于使用宏观系统来照明样品以实现所期望的照明景观(“照明景观方法1500”)的示例方法1500。在一些实施例中,照明景观方法1500可以使用宏观检查系统100。

在步骤1501处,可以将待检查的样品放置在样品载物台上。在一些实施例中,在调节由宏观检查系统100提供的照明景观之前使样品聚焦。

在步骤1502处,根据一些实施例,控制系统70可以根据为样品选择的存储的照明分布来启动和调节灯L1至Ln的强度、颜色和/或节距、和/或样品载物台与透镜34之间的距离。照明分布可基于评估样品的不同属性(例如,由样品的一个或多个物理和/或机械性质确定)和/或检测的不同目标并发现合适的照明分布的计算机算法来手动地或自动地选择。结合图14进一步讨论用于选择合适的照明分布的方法。

在一些实施例中,在以不同颜色和/或强度启动所选择的灯L1至Ln并且根据所选择的照明分布对所选择的灯以及对强度、颜色和/或光位置和/或样品载物台与透镜34之间的距离进行调节之后,进一步的调节可以是对所选择的照明分布进行修改以便实现所期望的照明景观。在一些实施例中,可以启动一个或多个灯L1至Ln,并且可以对光的强度、颜色和/或位置和/或样品载物台与透镜34之间的距离进行调节,而不参考任何照明分布。可以手动地或自动地执行启动和/或调节。

如在步骤1503处,一旦灯L1至Ln中的一个或多个被启动,并且对其强度、颜色和/或光位置以及样品载物台与透镜34之间的距离做出调节,就可以捕获并存储样品的一个或多个图像以供分析。在一些实施例中,捕获的样品图像传输到计算机分析系统75。

在步骤1505处,由计算机分析系统75确定灯L1至Ln中的一个或多个灯的所应用的启动、以及对其强度、颜色和/或光位置等的调节是否足以产生所期望的照明景观。可基于对在图像捕获步骤1503期间接收的图像数据的像素强度值的分析而做出此类决定。如果确定照明景观分布是次优的,那么过程1500可以返回到步骤1502,并且可以对照明景观进行进一步调节。步骤1502-步骤1505可以重复,直到达到最佳照明分布。例如,如果对于特定样品类型期望具有均匀光强度分布的照明景观,但是与所捕获的一个或多个样品图像相关联的图像数据指示一些区域未被充分地照明,则步骤1505可返回到步骤1502。在步骤1502中,可以对光启动、强度、位置(高度和/或枢转/旋转)等进行附加改变。一旦已对照明景观应用改变,则重复步骤1503,并且例如由图像捕获装置在新条件下从样品收集图像数据。再次,在步骤1505处,分析新的照明景观以确定是否已经达到最佳光照条件。

可以为样品选择不同的照明分布,并且对于每个选择的照明分布,控制系统70可以根据所选择的分布启动和调节灯L1至Ln的强度、颜色和/或位置、和/或样品载物台与透镜34之间的距离,并且捕获和存储样品的一个或多个图像。这样,步骤1502-步骤1505的重复过程可以随着样品类型而不同,因为在步骤1502处应用的最初应用的照明景观可以随着样品类型、关注区域、制造或检查过程中的特定阶段和/或对于任何其他合适的分类组而不同。在一些实施例中,一旦根据选择的照明分布配置照明,在步骤1507处,样品载物台和/或成像组件33就可相对于彼此调节到不同位置,并且可在每个位置处捕获样品的一个或多个图像。

图15B根据所公开技术的一些方面图示了用于识别样品分类并且自动调节宏观检查设备的照明景观的示例过程1510的步骤。过程1510开始于步骤1512,例如通过图像处理系统(例如,上文论述的图像处理系统1634)接收图像数据。在一些方法中,图像数据可包括在由成像装置拍摄的样品的接收图像中,作为宏观检查系统100的一部分。图像数据可以包括布置在宏观检查系统100的载物台上的样品的全部或一部分。在一些情况下,图像数据可仅包括表示从样品表面的不同部分反射的光的强度的像素强度值。

在步骤1514中,分析图像数据以识别样品的分类。在一些情况下,可执行图像分析以识别样品的子集,诸如特定区域或特征。如下所述,机器学习分类器、计算机视觉和/或人工智能可以用于识别/分类样品。

随后,可以基于样品(或特征)分类和/或制造或检测过程中的特定阶段自动地选择照明分布。样品/特征分类可以用于查询照明分布数据库,该照明分布数据库包含与样品和/或样品特征类型相关联的一个或多个照明分布。通过参考在步骤1514中确定的样品分类,可自动识别和检索匹配的照明分布。如上所述,照明分布可包含各种设置数据,各种设置数据描述了可用于实现正在观察的样品或特征的最佳照明景观的宏观检查系统100的配置。

应当理解的是,在一些实施例中,本文描述的照明景观方法1500的部分中的至少一些部分可以按任何次序或顺序执行,不限于在图15A和图15B中示出和结合图15A和图15B描述的次序和顺序。此外,本文所描述的过程1300的一些部分可在适当情况下基本上同时执行或在一些实施例中并行执行。另外或可替代地,在一些实施例中,可以省略过程1500的一些部分。照明景观方法1500可在任何合适的硬件和/或软件中实施。例如,在一些实施例中,照明景观方法1500可在宏观检查系统100中实施。注意,照明景观方法1500不限于宏观检查系统,并且还可以在显微镜检查系统中实施。

图16示出了根据所公开的主题的一些实施例的计算机分析系统75的实施例的一般配置。尽管计算机分析系统75被示为其中不同部件经由总线1605耦接的局部计算系统,但可以理解的是,不同部件和功能计算单元(模块)可以被实施为单独的物理或虚拟系统。例如,一个或多个部件和/或模块可在物理上分开的装置以及远程装置中实现,诸如使用在云环境中实例化的虚拟进程(例如,虚拟机或容器)。

计算机分析系统75包括处理单元(例如,CPU和/或处理器)1610和总线1605,该总线将包括系统存储器1615(诸如只读存储器(ROM)1620和随机存取存储器(RAM)1625)的不同系统部件耦接至处理器1610。

存储器1615可以包括具有不同性能特性的各种存储器类型。处理器1610耦接到存储装置1630,存储装置1630被配置成存储用于实施一个或多个功能模块和/或数据库系统(诸如,分布生成模块1632、照明分布数据库1636和成像处理模块1634)所必需的软件和指令。这些模块中的每个模块可以被配置成控制处理器1610以及专用处理器,其中软件指令被并入到实际处理器设计中。照此,分布生成模块1632、照明分布数据库1636以及成像处理模块1634中的一者或多者和处理器1610可以是完全独立的系统。例如,在不脱离所公开的技术的范围的情况下,成像处理模块1634可以实施为离散图像处理系统。

为了使得用户能够与计算机分析系统75进行交互,输入装置1645可以表示任何数量的输入机构,诸如用于语音的麦克风、用于手势或图形输入的触摸屏、键盘、鼠标、运动输入等等。输出装置1635也可为所属领域的技术人员已知的一些输出机构中的一个或多个。在一些情况下,多模式系统可以使得用户能够提供多种输入类型来与计算机分析系统75通信,例如,以传达与样品类型/分类或其他特性有关的样品信息。通信接口1640通常可以控制和管理用户输入和系统输出。在任何特定硬件布置上操作没有限制,因此这里的基本特征可以随着硬件或固件布置被开发容易地替代为改进的硬件或固件布置。

存储装置1630是非暂时性存储器并且可以是硬盘或可以存储计算机可访问的数据的其他类型的计算机可读介质,诸如盒式磁带、闪存卡、固态存储器装置、数字通用光盘、胶片盒、随机存取存储器(RAM)1525、只读存储器(ROM)1520、以及其混合。

在实践中,照明分布生成模块1632可以被配置成从宏观检查系统100和/或任何合适的计算机可读介质接收对样品或样品的一部分(统称为“样品图像”)的扫描。在一些情况下,与宏观检查系统100的各种宏观部件的配置相关联的优选照明景观可以被相关联以形成例如与样品类型或分类相关联的照明分布。将照明景观设置与样品分类类型相关联的照明分布可存储至照明分布数据库1636。

存储到照明分布数据库1636的照明分布可以包括特定背景数据,诸如:宏观检查系统100的灯L1至Ln的配置(例如,灯L1至Ln的总数、每个灯的地址和位置、光偏转器83的位置、每个灯在其可以位于的每个可能位置处从光源至光所投射的区域的投射面积(包括高度和角度));样品载物台和透镜34之间的可能距离的范围;样品载物台和成像组件33相对于彼此的不同位置的范围、特定类型的样品的关注区域;正被检测的制造或检测过程的特定阶段;正被检测的特征。

图像处理系统1634可以结合分布生成模块1632和照明分布数据库1636使用以基于在样品图像中接收的图像数据和/或其他接收的样品特性(诸如由用户例如经由输入装置1645手动提供的那些样品特性)对样品进行分类。另外,图像处理系统可以被配置成对特定样品特征进行分类,确定其他物理和/或机械样品性质(例如,样品反射率、样品尺寸)。样品类型和样品特征/性质的分类可以存储为照明分布的一部分。这样,存储在照明分布数据库1636中的各种照明分布可以包含用于产生最佳照明景观的设置和参数,该最佳照明景观可以基于试样类型和/或特定特征或特性而被参考并与试样匹配。

在一些方面,可以使用图像处理算法来执行样品类型和/或样品的特征的分类,所述图像处理算法可以包括计算机视觉、一个或多个人工智能算法和/或计算机算法。样品或样品的特征的分类还可以基于例如样品和/或样品的特征的计算机辅助设计(CAD)文件、识别样品上的特征的样品布局图、已知样品和/或特征的图像和/或关于已知样品的信息(例如,样品的尺寸、样品的机械和/或物理性质)。

在某些情况下,机器学习模型可以用于执行样品、样品特征和/或其他样品特性的分类。在一些方面,来自样品图像的图像数据可作为输入例如由图像处理系统1634提供给机器学习分类系统。分类器输出可指定试样或特征分类,试样或特征分类随后可用于引用存储在照明分布数据库1636中的照明分布。通过将正确的照明分布与正确的试样分类或特征类型匹配,可以通过光强度、光颜色、光照角度和样品上方的高度等的自动校准来实现正确的照明景观。

如本领域技术人员所理解的,基于机器学习的分类技术可以根据所希望的实施方式而变化,而不脱离所公开的技术。例如,机器学习分类方案可以单独地或组合地利用以下各项中的一项或多项:隐马尔可夫模型;递归神经网络;卷积神经网络;贝叶斯符号方法;一般对抗网络;支持向量机;图像配准方法;适用的基于规则的系统。当使用回归算法时,它们可以包括但不限于:随机梯度下降回归器和/或被动攻击性回归器等。

机器学习分类模型还可以基于聚类算法(例如,小批量K均值聚类算法)、推荐算法(例如,最小哈希算法、或欧几里得LSH(局部敏感性哈希)算法)、和/或异常检测算法(诸如,局部异常因子)。此外,机器学习模型可以采用维度减少方法,诸如小批量字典学习算法、增量主成分分析(PCA)算法、潜在狄利克雷分配算法和/或小批量K均值算法等中的一项或多项。

这样的算法、网络、机器和系统提供了相对于任何“用于使用人工智能确定样品的照明分布的器件”使用的结构的示例。

在一些实施例中,可以在创建照明分布时部署机器学习。例如,分布生成模块1632可将背景数据与样品图像或从样品图像确定的数据(“样品数据”)一起输入到经训练的人工智能算法中,以创建待应用的一个或多个适当的照明分布以照明样品。在其他实施例中,图像处理系统1634可使用机器学习模型或其他计算机算法来基于样品图像、样品数据和/或背景数据来选择预定义照明分布,如上文所讨论的。

一旦例如从照明分布数据库1636中选择了所期望的照明分布,就可以将照明分布数据传输至控制系统70。控制系统70可结合过程1400使用该信息来应用照明分布以照明被检测的样品。

可以由照明分布生成模块1632使用的基于人工智能的图像处理算法的示例是如由“图像配准方法综述(Image Registration Methods:A Survey):”图像与视觉计算(Image andVision Computing),芭芭拉·齐托瓦(Barbara Zitova),2003年10月11日,第21卷,第11期,第977-1000页所描述的图像配准,其特此通过引用以其整体并入本文。所公开的方法仅是示例并且不旨在是限制性的。

在一些实施例中,由照明分布生成模块1632和图像处理系统1634使用的机器学习算法(在一些实施例中,包括图像处理算法)首先用训练数据来训练,使得照明分布生成模块1632可以为样品创建适当的照明分布。

如图17中所示,训练数据1701可以包括由根据所公开主题的实施例的宏观检查系统捕获的已知样品和特征的标记图像。被选择用于训练的标记图像可以是基于捕获图像的检查目标示出合适细节的期望质量的图像。在一些实施例中,训练数据1701可以包括识别正被检查的样品和/或特征的类型的非图像文件。对于每个图像,训练数据可以进一步包括:(ⅰ)描述灯L1至Ln的启动、强度、颜色、位置数据;(ⅱ)样品载物台与透镜34之间的距离(沿着x、y和z轴);以及(ⅲ)样品载物台和成像组件33相对于彼此的位置、被检查样品的特征;被检查样品上的关注区域;被检查的制造或检测过程的特定阶段。在一些实施例中,训练数据可以包括样品的物理/机械性质和/或用于创建适当的照明分布的任何其他合适的特性。在一些实施例中,训练数据还可以包括未标记的数据。

一旦由照明分布生成模块1632使用的人工智能算法被训练,照明分布生成模块1632可以将人工智能算法应用于所接收的样品扫描,以针对每个接收的样品图像创建一个或多个照明分布(输出数据1702)。如上所述,照明分布数据可以包括识别启动哪些灯L1至Ln以及以何种强度、颜色和光位置启动的数据。照明分布数据还可以包括样品载物台和透镜34之间的距离(例如,沿着x、y和z轴),以及样品载物台和成像组件33相对于彼此的位置。

图18A和图18B图示了根据示例实施例的用于宏观(宏观)检查系统1800的成像设备1802的示例视图。如图所示,成像设备1802可包括至少三个成像装置1804。每个成像装置1804可耦接到环形托架1806或与环形托架1806耦接。在一些实施例中,至少三个成像装置1804可定位在三角形阵列中。在一些实施例中,至少三个成像装置1804中的每个成像装置可以表示被配置成捕获样品的图像的相机。在一些实施例中,每个成像装置1804可以包括图像传感器。在一些实施例中,图像传感器可以是例如电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)图像传感器和/或将光转换成一个或多个电信号的任何其他合适的电子装置。这些电信号可用于形成物体的图像和/或视频。在一些实施例中,这样的电信号被传输以供在与宏观检查系统1800的计算装置相关联的显示屏上显示。在一些实施例中,宏观检查系统1800可利用调平板1808为每个成像装置1804创建水平表面。

如图所示,宏观检查系统1800可以进一步包括扩散护罩1810。在一些实施例中,扩散护罩1810可环绕或围绕每个成像装置1804定位。扩散护罩1810可用于确保均匀光照(例如,没有热点)。在一些实施例中,可省略扩散护罩1810。在这类实施例中,可使用下文所述的一种或多种技术去除产生缺陷的任何产生的热点。

在一些实施例中,如图所示,宏观检查系统1800可以进一步包括明视场照明环1812和暗视场照明环1814。明视场照明环1812可位于每个成像装置1804附近。例如,如图所示,明视场照明环1812可外接环托架1806。暗视场照明环1814可定位于成像装置1804下方。例如,如图所示,暗视场照明环1814可定位于扩散护罩1810之下并更靠近成像目标1816。明视场照明环1812和暗视场照明环1814两者都可以被配置成选择性地向定位在成像目标1816上的样品提供光。在一些实施例中,透镜1818可定位在成像装置1804和成像目标1816之间。

如上所述,宏观检查系统1800包括以三角形阵列布置的至少三个成像装置1804。这样的配置可有助于检测和从图像去除伪影,由此创建样品的无伪影的图像。

宏观检查系统1800可以进一步包括控制系统1820和计算机分析系统1822。控制系统1820可以被配置成控制明视场照明环1812和/或暗视场照明环1814的启动、强度和/或颜色。例如,控制系统1820可以包括一个或多个处理器和存储指令的存储器,这些指令由于由一个或多个处理器执行致使控制系统1820执行本文描述的操作。在一些实施例中,控制系统1820可以被实施为执行本文描述的操作的应用或独立计算机系统。

在一些实施例中,计算机分析系统1822可以使用任何合适的通信技术以任何合适的方式耦接到或包括在宏观检查系统1800中,该通信技术诸如模拟技术(例如,继电器逻辑)、数字技术(例如,RS232、以太网或无线)、网络技术(例如,局域网(LAN)、广域网(WAN)、互联网)蓝牙技术、近场通信技术、安全射频技术和/或任何其他合适的通信技术。计算机分析系统1822和在计算机分析系统1822内的模块可以被配置成使用由宏观检查系统1800输出和/或由计算机可读介质存储的图像来执行本文进一步描述的一些功能。

计算机分析系统1822可以包括任何合适的硬件(其可以在一些实施例中执行软件),诸如,例如计算机、微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)和数字信号处理器(DSP)(其任何一个可以被称为硬件处理器)、编码器、用于读取编码器的电路、存储器装置(包括一个或多个EPROM、一个或多个EEPROM、动态随机存取存储器(“DRAM”)、静态随机存取存储器(“SRAM”)和/或闪存)和/或任何其他合适的硬件元件。

应当注意的是,尽管控制系统1820和计算机分析系统1822在图18中示出为宏观检查系统1800的分离部件,控制系统1820和计算机分析系统1822的其他实施方式也在本公开的范围内。例如,在一些实施例中,计算机分析系统1822可以实施为控制系统1820的应用或其他可执行程序。另外,虽然计算机分析系统1822可以被示为宏观检查系统1800的部件,但是计算机分析系统1822可以实施为通过通信网络(诸如互联网或其他网络)访问的分离系统。

图19是示出根据示例性实施例的由成像装置1804捕获的样品1902的示例性俯视图的示图。如图19所示,每个成像装置1804可用于捕获样品1902的图像。图19在视觉上描绘了每个成像装置1804相对于样品1902的视场。例如,如图所示,成像装置1804a可包括视场1904a;成像装置1804b可包括视场1904b;并且成像装置1804c可包括视场1904c。出于讨论的目的,“A”可对应于成像装置1804a的反射;“B”可对应于成像装置1804b的反射;并且“C”可对应于成像装置1804c。由于如图19所示的重叠的视场,这种布置可导致图像的重叠。重叠视场的联合可以包含整个样品1902。例如,每个视场可包含直接位于三个成像装置1804中的任一个成像装置之下的所有点。没有单个成像装置1804可定位在另外两个成像装置1804下方的两个点之间的中间点处。换言之,成像装置1804不布置成直线,而是布置成三角形阵列。以这种方式,宏观检查系统1800可以确保样品的无伪影图像可通过利用成像装置1804的重叠视场来生成。

图20是根据示例实施例的图19中所图示的样品1902所捕获的一个或多个图像的分解图。如图所示,视场1904a可对应于成像装置1804a。在视场1904a内可以是成像装置1804a的反射(“伪影A”)、成像装置1804b的反射(“伪影B”)、和成像装置1804c的反射(“伪影C”)。如图所示,由于成像装置1804a-1804c的布置,每个伪影A、B和C可存在于每个成像装置1804的视场中。

图21是根据示例实施例的样品1902的图像2100的俯视图。如图所示,图像2100可通过组合由每个相应成像装置1804a、1804b、1804c捕获的每个图像来生成。图像2100可包含六个伪影:伪影2102-2012。伪影2102可由成像装置1804c观察。伪影2104可由成像装置1804a和成像装置1804c观察。伪影2106可由成像装置1804b和成像装置1804c观察。伪影2108可由成像装置1804a观察。伪影2110可由成像装置1804a和成像装置1804b观察。伪影2112可由成像装置1804b观察。

图22是根据示例实施例的图20中所图示的分解图的修改视图。如图所示,每个成像装置1804a、1804b、1804c可产生样品1902的图像2204。例如,成像装置1804a可捕获图像2204a;成像装置1804b可捕获图像2204b;并且成像装置1804c可捕获图像2204c。每个图像2204可包含一或多个伪影。例如,如图所示,伪影A、B、C可存在于每个图像2204a、2204b、2204c中。如本领域技术人员意识到的,图像2204a可对应于视场1904a;图像2204b可对应于视场1904b;及图像2204c可对应于视场1904a。

计算机分析系统1822可以被配置成用于从每个图像2204a、2204b、2204c中去除一个或多个伪影。在一些实施例中,计算机分析系统1822可以通过选择性地保留每个图像2204a、2204b、2204c的一部分来从每个图像去除一个或多个伪影。例如,在图像2204a中,计算机分析系统1822可以保留第一部分2206a和第二部分2208a;在图像2204b中,计算机分析系统1822可以保留第一部分2206b和第二部分2208b;并且,在图像2204c中,计算机分析系统1822可以保留第一部分2206c和第二部分2208c。为了帮助读者,可以保留每个图像的阴影部分,同时可以去除每个图像的非阴影部分。

图23图示了根据示例实施例的样品1902的无伪影图像2302。如图所示,可以生成不包括任何伪影的图像2302。例如,计算机分析系统1822可以通过组合每个图像的保留部分(即,阴影部分)并且省略图像的被去除的那些部分(即,非阴影部分)来生成无图像缺陷图像2302。以此方式,计算机分析系统1822可以能够通过由每个成像装置1804a、1804b、1804c捕获的图像生成无伪影图像。

在一些实施例中,计算机分析系统1822可以选择性地去除与由每个成像装置1804捕获的每个图像中的所标识的伪影相对应的像素,而不是选择性地去除每个图像2204a、2204b、2114c的一部分。例如,计算机分析系统1822可通过利用一个或多个计算机视觉技术来识别对应于不同伪影的那些像素而选择性地去除像素。计算机分析系统1822可通过利用一个或多个像素混合技术来重构图像以说明那些被去除的像素。

在一些实施例中,附加成像装置1804可以被添加或与宏观检查系统1800一起使用。例如,附加成像装置1804(即,大于3个成像装置)可以用于确保样品上的每个点p具有捕获p的邻域的无伪影图像的一些多个成像装置1804。在一些实施例中,在每个点p处,p的邻域的多个无伪影图像可以被子像素对准和组合以实现p的邻域的超分辨率图像。然后可以组合这些图像以形成整个样品的超分辨率图像。在一些实施例中,宏观检查系统1800可利用各种光照技术来提供方向部件以增强这种效果。

图24是示出根据示例实施例的使用宏观检查系统1800生成样品的合成无伪影图像的方法2400的流程图。方法2400可从步骤2402开始。

在步骤2402处,计算机分析系统1822可以初始化宏观检查系统1800以捕获样品的三个或更多个图像。在一些实施例中,初始化宏观检查系统1800可以包括调节宏观检查系统1800的一个或多个参数。在一些实施例中,初始化宏观检查系统1800可以包括照明样品并且将白平衡增益应用于特定传感器。在一些实施例中,白平衡增益可以由工具的校准规定。在一些实施例中,初始化宏观检查系统1800可以包括指定每个图像的曝光设置。在一些实施例中,可存在将应用于捕获的虚拟设置。这类虚拟设置可包括但不限于分辨率、用于保持图像的存储器缓冲器、以及捕获后失真校正矩阵。

在步骤2404处,计算机分析系统1822可以从成像装置1804接收样品的三个或更多个图像。例如,计算机分析系统1822可接收来自成像装置1804a的第一图像、来自成像装置1804b的第二图像和来自成像装置1804c的第三图像。

在步骤2406处,计算机分析系统1822可以识别三个或更多个图像中的每个图像中的一个或多个伪影。在一些实施例中,计算机分析系统1822可以被配置成使用一个或多个计算机视觉技术来识别一个或多个伪影。在一些实施例中,在使用斑点检测算法的校准期间可以找到特定于每个工具的一个或多个伪影。在一些实施例中,然后可以在混合步骤期间将此定义为掩膜,不透明度设置为零,因此对最终图像没有贡献。使用特定示例,这可以被定义为阿尔法通道中的掩膜,其控制给定颜色或源的透明度或不透明度。

在步骤2408处,计算机分析系统1822可以从每个图像去除所识别的一个或多个伪影。在一些实施例中,从每个图像中去除所识别的一个或多个伪影可以包括切割或去除每个图像中包含或界定该一个或多个伪影的一部分。在一些实施例中,从每个图像中去除所识别的一个或多个伪影可以包括去除与每个伪影相对应的一个或多个像素。在一些实施例中,为了从每个图像去除一个或多个像素,计算机分析系统1822可使用权重来确定要包括哪个或哪些像素和要丢弃哪些像素。在一些实施例中,加权不涉及整个像素的实际去除,而是计算机分析系统1822可控制将对三个单独色彩通道中的最终图像有贡献的那些像素的强度。计算机分析系统1822可以构建用于计算曝光度度量和焦点度量的权重,曝光度度量可以通过测量像素与目标强度值(例如,对于8位图像为128)的偏差来实现,焦点度量可以通过查看像素强度的梯度相对于其最近邻像素的锐度来实现。然后,计算机分析系统1822可以组合这两个像素图。然后,已知不良区域的原始掩膜可以乘以这种组合。例如,计算机分析系统1822可随后标准化权重,使得对于给定的最终图像像素,每个单独图像的三个权重可总和为1。在一些实施例中,计算机分析系统1822可以将标准化权重乘以其对应的单独像素值。然后,计算机分析系统1822可对这三个权重求和,这可保证在8位整数范围内。

在步骤2410处,计算机分析系统1822可以生成样品的无伪影图像。例如,计算机分析系统1822可以使用三个或更多个图像来构建无伪影的图像。在一些实施例中,构建无伪影图像可包括将每个图像的在去除每个图像的包含或界定一个或多个伪影的那些部分之后剩余的部分缝合在一起。在一些实施例中,构建无伪影图像可以包括混合从每个图像去除的那些像素周围的像素。例如,计算机分析系统1822可利用针对每个图像的像素计算的一组权重。这些权重可形成混合金字塔方案的基础。例如,在一些实施例中,金字塔图像混合通过混合两个输入照片的拉普拉斯金字塔来工作:使用“掩膜”图像的高斯金字塔作为阿尔法遮片(alpha matte)。继续本示例,此混合的结果可以是新的拉普拉斯金字塔,计算机分析系统1822可以从该拉普拉斯金字塔重构输入照片的全分辨率、混合版本。

注意,宏观检查系统100和/或宏观检查系统1800可以包括未示出的其他合适的部件。另外或可替代地,可以省略包括在宏观检查系统100和/或宏观检查系统1800中的一些部件。

在一些实施例中,任何适合的计算机可读介质可以用于存储用于执行本文描述的功能和/或过程的指令。例如,在一些实施例中,计算机可读介质可以是瞬态的或非暂时性的。例如,非暂时性计算机可读介质可包括介质,诸如非暂时性磁介质(诸如硬盘、软盘等)、非暂时性光学介质(诸如光盘、数字视频光盘、蓝光光盘等)、非暂时性半导体介质(诸如闪存、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)等)、在传输期间不转瞬即逝或不缺乏任何永久性表象的任何合适的介质、和/或任何合适的有形介质。作为另一示例,瞬态计算机可读介质可以包括网络上、电线、导体、光纤、电路中的信号、以及在传输期间转瞬即逝并且缺乏任何永久性表象的任何合适的介质、和/或任何合适的无形介质。

不同实施例的逻辑操作被实施为:(1)在通用计算机内的可编程电路上运行的计算机实现的步骤、操作或程序的序列,(2)在专用可编程电路上运行的计算机实现的步骤、操作或程序的序列;和/或(3)可编程电路内的互连机器模块或程序引擎。本主题发明的宏观检查系统可以实施所列举方法的全部或部分,可以是所列举系统的一部分,和/或可以根据所列举的非暂时性计算机可读存储介质中的指令来操作。这样的逻辑操作可以实现为被配置成控制处理器以根据模块的编程来执行特定功能的模块。

本文所描述的不同系统、方法和计算机可读介质可以被实现为云网络环境的一部分。如本文中使用的,基于云的计算系统是向客户端装置提供虚拟化计算资源、软件和/或信息的系统。计算资源、软件和/或信息可通过维持边缘装置可通过通信接口(诸如网络)访问的集中式服务和资源来虚拟化。云可经由云元件提供不同云计算服务,诸如软件即服务(SaaS)(例如,协作服务、电子邮件服务、企业资源规划服务、内容服务、通信服务等)、基础设施即服务(IaaS)(例如,安全服务、联网服务、系统管理服务等)、平台即服务(PaaS)(例如,网站服务、流媒体服务、应用开发服务等)和其他类型的服务,诸如桌面即服务(DaaS)、信息技术管理即服务(ITaaS)、管理软件即服务(MSaaS)、移动后端即服务(MBaaS)等。

本文所描述的示例(以及措辞为“诸如”、“例如”、“包括”等的条款)的提供不应被解释为将所要求保护的主题限于具体示例;相反,这些示例旨在仅说明许多可能的方面中的一些方面。本领域普通技术人员将理解的是,术语机构可包含硬件、软件、固件或其任何合适的组合。

除非另有具体说明,如从以上讨论中显而易见的,应当认识到贯穿本说明书,利用诸如“确定”、“提供”、“识别”、“比较”等术语的讨论是指计算机系统或类似电子计算装置的动作和过程,该计算机系统或类似电子计算装置对在计算机系统存储器或寄存器或其他此类信息存储、传输或显示装置内表示为物理(电子)量的数据进行操纵和变换。本公开的某些方面包括本文中以算法的形式描述的处理步骤和指令。应当注意的是,本公开的处理步骤和指令可以在软件、固件或硬件中体现,并且当在软件中体现时,可以下载以驻留在实时网络操作系统所使用的不同平台上并且从由实时网络操作系统所使用的不同平台操作。

本公开还涉及一种用于执行本文的操作的设备。该设备可以出于所需目的而专门构建,或者它可以包括由存储在计算机可读介质上的计算机程序选择性地启动或重新配置的通用计算机,该计算机可读介质可以由计算机访问。这样的计算机程序可以存储在计算机可读存储介质中,诸如但不限于任何类型的盘,包括软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、专用集成电路(ASIC)、或适于存储电子指令的任何类型的非暂时性计算机可读存储介质。此外,本说明书中提到的计算机可以包括单个处理器或者可以是采用多个处理器设计以增加计算能力的架构。

本文呈现的算法和操作不固有地与任何特定计算机或其他设备相关。根据本文的教导,不同通用系统还可以与程序一起使用,或者可以证明构建更专用的设备来执行所需的方法步骤和与系统相关的动作是方便的。对于本领域技术人员而言,各种这些系统的所需结构以及等效变化将是明显的。此外,不参考任何特定编程语言来描述本公开。应当认识到,可以使用各种编程语言来实现如本文所描述的本公开的教导,并且提供对特定语言的任何引用以用于本公开的启用和最佳模式的公开。

应当理解的是,所公开的过程中的步骤的任何特定顺序或层次是示例性方法的说明。基于设计偏好,要理解的是,可以重新排列过程中的步骤的特定顺序或层次,或者仅仅执行所示出的步骤的一部分。可以同时执行这些步骤中的一些步骤。例如,在某些情况下,多任务处理和并行处理可以是有利的。此外,上述实施例中的不同系统部件的分离不应被理解为在所有实施例中都需要这样的分离,并且应当理解,所描述的程序部件和系统通常可以集成在单个软件产品中或封装到多个软件产品中。

已经具体参照这些图示的实施例详细描述了用于宏观检查反射样品的系统、方法和设备。然而,清楚的是,可以在如在前述说明书中描述的本公开的精神和范围内做出各种修改和改变,并且此类修改和改变将被认为是本公开的等同物和部分。本公开的范围仅由所附权利要求限制。

本公开的声明包括:

声明1.一种检查设备,包括样品载物台、一个或多个成像装置、一组灯以及控制系统;样品载物台被配置成保持样品;一个或多个成像装置定位在样品载物台上方以从样品载物台捕获样品的一个或多个图像;一组灯布置在样品载物台和成像装置之间的平台上;控制系统耦接到样品载物台、一个或多个成像装置以及平台,控制系统包括:一个或多个处理器以及存储可执行指令的存储器,可执行指令由于被一个或多个处理器执行致使控制系统:向一个或多个成像装置提供第一指令以捕获样品的第一图像,第一图像包括位于参考点的第一侧的第一成像伪影;向一个或多个成像装置提供第二指令以捕获样品的第二图像,第二图像包括位于参考点的第二侧的第二成像伪影;从第一图像裁剪第一成像伪影和从第二图像裁剪第二成像伪影;以及将第一图像和第二图像数字缝合在一起以生成样品的合成图像,合成图像没有第一成像伪影和第二成像伪影。

声明2.根据声明1的检查设备,其中,可执行指令进一步致使控制系统:将一个或多个成像装置在第一方向上平移到位于参考点的上方和第一侧的第一位置,以捕获样品的第一图像;以及将一个或多个成像装置在第二方向上平移到位于参考点的上方和第二侧的第二位置以捕获样品的第二图像。

声明3.根据声明1和2中任一项的检查设备,其中,可执行指令进一步致使控制系统:将样品载物台平移到位于参考点的下方和第一侧的第一位置以捕获样品的第一图像;以及将样品载物台在第二方向上平移到参考点的下方和第二侧以捕获样品的第二图像。

声明4.根据声明1至3中任一项的检查设备,其中,参考点沿着样品的中心线定位。

声明5.根据声明1至4中任一项的检查设备,其中,成像装置沿着旋转轴线能移动。

声明6.根据声明1至5中任一项的检查设备,其中:一个或多个成像装置包括:定位在参考点的上方和第一侧的第一成像装置;以及定位在参考点的上方和第二侧之上的第二成像装置;以及检查设备还包括定位在第一成像装置和第二成像装置下方的孔滑动件,孔滑动件包括允许使用第一成像装置或第二成像装置捕获样品的图像的孔。

声明7.根据声明6的检查设备,其中:控制系统将孔滑动件平移到第一位置,使得孔与第一成像装置对准以捕获第一图像;以及控制系统将孔滑动件平移到第二位置,使得孔与第二成像装置对准以捕获第二图像。

声明8.根据声明1至7中任一项的检查设备,其中,可执行指令进一步致使控制系统:平移平台;启动一组灯的一个或多个组合以确定照明分布;分析样品的第一图像以识别样品分类;基于样品分类选择照明分布;以及根据照明分布调节平台和一组灯。

声明9.根据声明1至8中任一项的检查设备,进一步包括屏障,屏障被配置成将从保持在样品载物台上的样品反射的光扩散回样品上。

声明10.根据声明1至9中任一项的检查设备,其中可执行指令进一步致使控制系统将第一图像的第一重叠区域与第二图像的第二重叠区域进行比较,以确定匹配图像已经被识别以允许第一图像和第二图像的数字缝合。

声明11.一种方法,包括:在检查设备的样品载物台上接收样品;识别用于检查系统的参考点;捕获样品的第一图像,第一图像包括在参考点的第一侧的第一成像伪影;捕获样品的第二图像,第二图像包括在参考点的第二侧的第二成像伪影;评估样品的第二图像以确定第二图像与第一图像一起使用以生成样品的合成图像;从第一图像裁剪第一成像伪影并且从第二图像裁剪第二成像伪影;以及将第一图像和第二图像数字缝合在一起以生成样品的合成图像,合成图像没有第一成像伪影和第二成像伪影。

声明12.根据声明11的方法,其中,该方法还包括:将检查设备的成像装置在第一方向上平移到位于参考点的上方和第一侧的第一位置以捕获第一图像;以及将成像装置在第二方向上平移到位于参考点的上方和第二侧的第二位置以捕获第二图像。

声明13.根据声明11和12中任一项的方法,其中,该方法还包括:将样品载物台在第一方向上平移到位于参考点的下方和第一侧的第一位置以捕获第一图像;以及将样品载物台平移到位于参考点的下方和第二侧的第二位置以捕获第二图像。

声明14.根据声明11至13中任一项的方法,其中,该方法还包括:将样品载物台旋转到第一位置以捕获第一图像;裁剪第一图像以去除第一图像的第一部分,第一部分包括第一成像伪影;将样品载物台旋转到第二位置以捕获第二图像;裁剪第二图像以去除第二图像的第二部分,第二部分包括第二成像伪影;以及数字地旋转第二图像以开始第二图像的评估。

声明15.根据声明11至14中任一项的方法,其中该方法还包括:在第一方向上平移检查设备的孔滑动件以将孔定位在检查设备的第一成像装置下方以捕获第一图像,第一成像装置被定位在参考点的上方和第一侧;以及在第二方向上平移检查设备的孔滑动件以将孔定位在检查设备的第二成像装置下方以捕获第二图像,第二成像装置定位在参考点的上方和第二侧。

声明16.根据声明11至15中任一项的方法,还包括:平移检查系统的平台,其中一组灯设置在该平台上;启动该一组灯的一个或多个组合以确定照明分布;分析样品的第一图像以识别样品分类;基于样品分类选择照明分布;以及根据照明分布调节平台和该一组灯。

声明17.根据声明11至16中任一项的方法,还包括:在第一方向上旋转检查设备的成像装置,以将成像装置定位到参考点的第一侧以捕获第一图像;以及在第二方向上旋转检查设备的成像装置以将成像装置定位到参考点的第二侧以捕获第二图像。

声明18.根据声明11至17中任一项的方法,还包括:使从保持在样品载物台上的样品反射的光扩散回到样品上。

声明19.根据声明11至18中任一项的方法,其中,该方法还包括:将第一图像的第一重叠区域与第二图像的第二重叠区域进行比较以确定匹配图像已经被识别以允许第一图像和第二图像的数字缝合。

声明20.根据声明11至19中任一项的方法,其中样品载物台沿着X轴、Y轴、Z轴以及旋转轴线是能移动的。

技术分类

06120116516370