用于显微系统中避碰的光学三维扫描

技术领域

X射线计算机层析成像(CT)是一种无损检查和分析对象内部结构的技术。通常，随着X射线穿透对象，X射线被吸收或散射。然后由检测器系统检测尚未吸收或散射的X射线。检测器系统处所形成的图像称为X射线投影。然后，随着以不同角度扫描对象，经由标准的CT重建算法根据一系列这样的投影来重建层析成像的体数据集。

X射线CT系统具有诸多不同的配置。在X射线显微系统中，X射线源和检测器很大，而扫描的对象通常很小，因此X射线源和检测器大多固定，而对象则在X射线束中旋转。这与医用CT系统形成对比，在医用CT系统中，患者为固定，而放射源和检测器则围绕患者旋转。

背景技术

在许多情形下，在X射线显微系统中扫描的对象具有未知的先天形状。例如，即使在可获得CAD模型或对象出自规格已知的核心样本的情形下，对象是否精确对准也往往仍未可知。而且，当选择不同的关注区域并在射束路径中重新对准对象时，对准可能有所变化。这样导致的问题在于，当移动对象进行扫描(主要是旋转)，对象可能与扫描设置(X射线源或检测器中最接近对象的部分)发生碰撞。X射线源和/或检测器需要移近对象才能获得最优系统性能，因此挑战避碰通常会愈加困难。

在其他电磁谱区操作的其他显微/层析成像系统中也存在类似的设置，诸如光学相干层析成像仪和共聚焦显微镜(光学投影层析成像仪)。其他实例包括扫描电子显微镜(SEM)和聚焦离子束(FIB)系统-即带电粒子成像系统。

如果可获得对象的3D模型(例如3D表示，诸如网格或曲面数据)和设置的3D模型，则能避免碰撞。这种对象的数字3D模型的另一用途是通过射线追踪预测所得的X射线图像。这样的模拟图像能够用于成像区域选择、对比度增强、系统配置(例如电源电压或功率)或全自动扫描以及改进X射线重建。

发明内容

总体而言，根据一方面，本发明的特征在于一种用于显微镜的避碰系统。该系统包括：一个或多个相机，其用于捕获装载到显微镜的对象图像；以及计算机，其处理对象与相机成不同角度时的图像数据，生成对象的模型，并使用该模型配置显微镜进行操作。

在某些实施方案中，计算机使用模型来避免显微镜与对象之间发生碰撞。

而且，显微镜可以例如是X射线显微镜、扫描电子显微镜、聚焦离子束系统或光学显微镜。

优选地，计算机进一步具有同样用于配置显微镜的源子系统和/或检测器子系统的模型。此外，计算机例如接收源子系统和/或检测器子系统的当前位置数据。另外，计算机可呈现包括对象的模型的显示。

在某些实施方案中，提供光源，用于在计算机的控制下照亮对象。该光源可以不同的颜色和/或对象背景照亮对象。

总体而言，根据另一方面，本发明的特征在于一种用于显微镜的避碰方法。该方法包括捕获对象在不同角度的图像数据，生成对象的模型，并使用该模型来配置显微镜进行操作。

总体而言，根据又一方面，本发明的特征在于一种在显微系统的显示器上呈现的用户界面。该界面包括：控件，其用于移动源载物台和/或对象载物台和/或检测器载物台；以及图像区域，其中呈现待成像的对象的模型。

现将参照附图且在权利要求书中更具体地描述本发明的上述和其他特征，包括各种新颖性构建细节和部件组合以及其他优势。应当理解，体现本发明的特定方法和设备是通过举例说明的方式示出，而非对本发明的限制。在不脱离本发明保护范围的情况下，可以在若干实施方案中采用本发明的原理和特征。

附图说明

在附图中，不同视图中的附图标记指代相同的部分。附图未必按比例绘制；而重点在于说明本发明的原理。图中：

图1是某一实施方案中应用本发明的X射线显微系统的示意图；

图2是示出在显微系统的计算机系统上执行避碰应用的操作的流程图；

图3和图4示出在不同光照条件下将对象装载到显微镜中。

图5至图10示出显微镜所生成的用户界面。

具体实施方式

下文将参照附图来更全面地描述本发明，图中示出本发明的说明性实施方案。然而，本发明可体现为许多不同的形式，不应解释为本发明局限于本文阐述的实施方案；相反，提供这些实施方案的目的是全面并完整地理解本发明，并向本领域技术人员充分传达本发明的范围。

如本文所用，术语“和/或”包括一个或多个相关列项的任何和全部组合。另外，单数形式和冠词“一”、“某一”和“该”同样旨在包括复数形式，除非另作明确说明。可进一步理解，术语“包括”和/或“包含”在本说明书中使用时指定存在所述特征、整数、步骤、操作、元素和/或组件，但不排除存在或附加一个或多个其他特征、整数、步骤、操作、元素、组件和/或其群组。还应理解，当某一元素(包括组件或子系统)称为和/或示出连接或耦接至另一元素时，这一元素能够直接连接或耦接至另一元素，或者可以存在中介元素。

本文所用的全部术语(包括科技术语)具有与本发明所属领域的普通技术人员的通常理解相同的含义，除非另作定义。还应理解，诸如词典中常用定义的那些术语应解释为其含义与其在相关技术领域的语境含义一致，而不应采用理想化或过度正式化的解释，除非本文另作明确定义。

图1是本发明可应用的显微系统200的示意图。

图中所示的显微系统200为X射线CT系统，并大体上包括几个子系统。X射线源子系统102产生多色或可能单色的X射线束103。具有对象保持器112的对象载物台子系统110将对象114保持在射束中，并对其进行定位和重新定位，以能够在静态束103、105中扫描对象114。在射束105已被对象调制之后，检测器子系统118检测射束105。诸如平台或光学工作台的基座107为显微系统200及其子系统提供稳定的基础。

一般而言，对象载物台子系统110具有在射束103中定位和旋转对象114的能力。因此，对象载物台子系统110通常将包括线性载物台和旋转载物台。图中所示的实例具有精密的三轴载物台150，该三轴载物台150非常精密而仅在相对较小的行进范围内使对象沿x轴、y轴和z轴平移和定位。这允许对象114的关注区域位于射束103/105内。3轴载物台150安装在θ载物台152上，该θ载物台152使对象114在射束中绕y轴旋转。θ载物台152又安装在基座107上。

在某些实施方案中，源子系统102通常是同步加速器X射线辐射源，或替选地，它是“实验室X射线源”。

如本文所用，“实验室X射线源”是同步加速器X射线辐射源以外的任何适用的X射线源。实验室X射线源102能够是X射线管，其中电子在真空中被电场加速并射入金属靶片，随着电子在金属中减速，发射X射线。通常，根据所用金属靶材的类型，这类源会产生连续的背景X射线谱，并结合一定能量下的强度尖峰，这得自选定靶材的特征曲线。另外，X射线束呈发散态并缺乏空间和时间相干性。

在某一实例中，源子系统102是具有钨靶的旋转阳极型源或微聚焦源。也能采用含钼、金、铂、银或铜的靶材。优选地，使用透射配置，其中电子束从其背面撞击薄靶。从靶材的另一侧发射出的X射线用作射束103。

由源子系统102生成的X射线束通常被调节为抑制多余的能量或辐射波长。例如，通过使用如保持在滤光轮160中的能量滤波器(其设计成选择期望的X射线能量范围(带宽))来消除或衰减射束中存在的不理想波长。也常由准直器或聚光器来提供调节。

对于其他类型的显微系统，将使用不同的源。例如，如果显微系统200是扫描电子显微镜(SEM)，则源子系统102生成电子束。如果显微系统是聚焦离子束(FIB)系统，则源子系统102生成离子束。最后，如果显微系统在光学态下操作，则源子系统102生成光束。

当对象114暴露于X射线或其他射束103时，传播穿过对象的X射线光子或粒子形成调制束105，该调制束105被检测器子系统118接收。在某些其他实例中，使用物镜将图像形成到显微系统200的检测器子系统118上。

通常，在检测器子系统118上形成对象114的放大投影图像。放大倍率等于源到对象的距离202与源到检测器的距离204的反比。

为了获得高分辨率，X射线CT系统200利用分辨率极高的检测器子系统118，并可能结合将对象114定位成靠近X射线源子系统102。在此情形下，X射线图像的分辨率受限于检测器子系统118的分辨率、X射线源子系统102的焦斑尺寸、对象114的位置以及对象114在检测器子系统118上的几何放大倍率。在其他实例中，对象可能定位成靠近检测器子系统，尤其是在该检测器子系统采用光学放大倍率的情况下。

对于其他类型的显微系统，选择适当的检测器(电子、粒子、光学)。

通常，源子系统102和检测器子系统118安装在各自的z轴载物台上。例如，在所示的实例中，源子系统102经由源载物台154安装到基座107，而检测器子系统118经由检测器载物台156安装到基座107。实际上，源载物台154和检测器载物台156是低精度又远行程的载物台，其允许源子系统102和检测器子系统118移动就位，通常在扫描期间极为靠近对象，然后收回，以允许将对象从对象载物台子系统110的对象保持器112上移开，将新对象装载到其上，和/或将对象在其上重新定位。

由计算机子系统124控制显微系统200的操作和对象114的扫描，该计算机子系统124通常包括图像处理器120和控制器122。

计算机系统124包括一个或多个处理器160以及它们的数据存储资源，诸如磁盘或固态驱动器和存储器MEM。处理器160执行操作系统162，并且各种应用在该操作系统162上运行，以允许用户控制和操作显微系统200。连接到计算机子系统124的显示设备136在图形用户界面中显示来自显微系统200的信息，诸如层析成像重建。诸如触摸屏、计算机鼠标和/或键盘等用户输入设备135使得操作者与计算机子系统124之间能够进行交互。

控制器122允许计算机子系统124在软件控制下控制和管理X射线CT显微镜200中的组件。该控制器可以是适于处理实时操作的独立计算机系统或在处理器160上执行的应用程序。源子系统102包括控制接口130，允许由控制器122对其进行控制和监测。类似地，对象载物台子系统110和检测器子系统118具有各自的控制接口132、134，以允许由计算机子系统124经由控制器122对其进行控制和监测。

为了配置显微系统200以扫描对象并调整其他参数，诸如几何放大倍率，操作者利用在显示设备上呈现的用户界面，通过源载物台154和检测器载物台156的各自操作来调整源到对象的距离202和源到检测器的距离204，以实现期望的扫描设置。

具体而言，源载物台154和检测器载物台156包括各自的电机编码器系统或其他致动器系统，它们允许计算机系统124通过控制器122经由控制接口130、134将各自的X射线源子系统102和检测器子系统118定位到指定位置。另外，源载物台154和检测器载物台156向控制器122发信号通知它们的实际位置。

系统的操作者在自动控制下经由计算机子系统、控制器122和控制接口130、132、134操作对象载物台子系统110以执行CT扫描。通常，对象载物台子系统110将通过控制θ载物台152使对象围绕与X射线束103、105的光轴正交的轴线旋转而使对象定位，和/或通过使用载物台150而使对象在x轴、y轴、z轴方向上定位。

检测器子系统118创建来自衰减束105的光子或粒子的图像表示。例如，在X射线系统的情形下，它通常包括闪烁体和空间分辨电子检测器。检测器子系统118处形成的图像又称为投影或投影图像。

通过使用显示设备上呈现的用户界面，操作者定义/选择包括CT扫描参数的扫描设置。它们包括有助于确定X射线能谱和X射线源子系统102上曝光时间的电压设置。操作者通常也选择其他设置，诸如入射到对象114上的X射线束103的视场、关于对象114创建的X射线投影图像的数目。一般而言，扫描设置包括由载物台子系统110旋转和定位对象的角度。此外，经常指定源到对象的距离202和源到检测器的距离204，并将它们转换为源载物台154和检测器载物台156的必要位置或设置，作为扫描设置的一部分。

计算机子系统124在其图像处理器120的可能协助下，从检测器子系统118接受与对象114的每个旋转角度相关联的图像集，以建立扫描。图像处理器120使用CT重建算法来组合投影图像，以创建对象的3D层析成像体信息。该重建算法可以是解析算法，其中将投影数据的卷积或频域滤波与反投影组合到重建网格上。替选地，该重建算法可以是迭代算法，其中使用数值线性代数或优化理论技术来求解投影过程的离散化方案，这可以包括对成像系统的物理特性进行建模。

本显微系统200进一步添加光学相机210，诸如摄影机，其收集保持在对象保持器112中的对象114的图像数据。该相机通常经由诸如托架的安装系统215直接或间接地安装至系统基座107。通常，光学相机210以可见光谱部分和/或诸如红外的相邻光谱区域收集图像。通常，光学相机210具有CCD或CMOS图像传感器。也包括光源212，其以光学相机所采用的光谱区域照亮对象。优选地，光源212以多个光谱区域(颜色)照射对象114，并且光学相机210以那些光谱区域中的每个光谱区域收集不同的彩色图像。此外，光源优选以一种操作模式选择性照亮对象并以另一种操作模式照亮对象的背景。

操作：

图2示出由计算机系统124上执行的避碰应用230所执行的过程。

在步骤410中，避碰应用230控制显微系统的对象载物台系统110，以首先通过θ载物台152的控制使对象114绕y轴旋转360度。为了节省时间，可以连续进行这一旋转。当对象114转动时，光学相机210记录对象的视频和/或序列图像，并且例如将该图像数据经由USB线缆提供给计算机子系统。由计算机子系统124的避碰应用230存储图像数据。通过光源212的控制，使用不同的照明设置(参阅下文)重复扫描几次(两次)。

当前的实施方案使用两种独立的照明条件(参见图3)。该构思是通过避碰应用对光源212的控制，第一图像310中照亮对象和背景，而第二图像312中仅照亮背景。

在图2的步骤412中，避碰应用230隔离图像数据中的对象。在某一实施方案中，应用根据两种照明条件来分析图像数据。如果背景在两个图像中表观相同，则避碰应用230执行简单的图像相减以隔离出图像数据中的对象114。

当然，实践中难以实现完美的照明条件使背景相同。因此，在某一实例中，在计算机子系统124上执行的避碰应用230使用校准步骤来匹配两种照明条件的背景强度。在针对不同的背景照明强度进行调整之后，由避碰应用230计算出的解混图像作为前景与背景之差。这样计算出的图像隔离出对象114并对应于对象的正规反射图像(在此时暗色背景的前方)。避碰应用230通过求透射图像对比度的倒数并减去平均背景强度(能够根据第一解混图像来估计)而获得第二解混图像。该图像对应于对象的阴影轮廓线(参见图4)。避碰应用230将这两个图像融为一体(均值)以便进行重建，并使用层析成像高通滤波器(例如“ram-lak”滤波器)进行滤波。替选地，这些图像中的任何一个均能用于对象重建，例如，仅使用背景图像对应于阴影雕刻重建。

在其他实例中，用户经由诸如鼠标和键盘的用户输入设备135以几个角度绘制围绕对象的边界框，至少需要2个正交角度，以指定对象114的延伸范围。这可用于定义对象的轮廓线或细化(修整或扩展)所构建的3D轮廓线。

图5示出由在计算机系统124的操作系统162上执行的避碰应用230所生成的用户界面500，并且该用户界面呈现在显示设备136上。它包括图像区域512，其显示选择网络摄像头查看按钮520时从光学相机210接收到的当前图像数据，该网络摄像头查看按钮520相对于系统模型按钮522作为单选按钮进行操作。

用户界面500允许选择不同的扫描设置参数。物镜选择器524允许在检测器子系统118的倒三角上下拉选择不同的物镜。也包括针对源子系统102的电压设置526和功率设置528。

用户界面500包括源位置部分514。源位置部分514包括用于操作源载物台154和步长的位置控制按钮。它也包括源位置读数，其显示源载物台的当前位置，并因此显示源子系统102的当前位置。

用户界面500包括检测器位置部分516。检测器位置部分516包括用于操作检测器载物台156和步长的位置控制按钮。它也包括检测器位置读数，其显示检测器载物台的当前位置，并因此显示检测器子系统118的当前位置。

用户界面500也包括对象位置部分518。它也通过显示3轴样本台150的x轴、y轴、z轴位置而显示对象的位置。它也通过显示θ载物台152的位置而显示对象的θ位置。存在用于操作3轴样本台150和θ载物台152的每个轴的单独位置控制按钮以及单独步长设置。

图中还示出，当选择十字准线叠加按钮520时，其在图像区域512中生成图形十字准线叠加534，由计算机系统124生成并在显示设备136上显示的用户界面500。当选择适合全部叠加按钮532(Fit All)时，在图像区域512中围绕对象生成图形框叠加。

图6示出由计算机系统124生成并在显示设备上显示的用户界面，其用于在不同照明条件下对对象进行第二次光学扫描。本例中，光源212仅照亮背景。

回顾图2，在步骤412中，由避碰应用230对来自相机210的视频数据进行预处理。由避碰应用230将照明条件解混以分离前景(对象)和背景(相机视场的其余部分)。

然后，在步骤414中，避碰应用230使用来自相机210的图像数据来重建对象114的3D体模型。在某一实例中，避碰应用执行特殊加权的滤波反投影算法，以根据图像数据来重建对象。通常，该3D模型是外壳或边界。这样的模型表示表面，即对象的边界，而非其体积。也就是说，在其他实例中，模型是定义对象体积的实体模型，诸如使用构建实体几何所建立的实体模型。

同时，避碰应用也包含显微系统200的3D系统模型235，尤其是显微系统200可能与样本144发生碰撞的部分。因此，通常3D系统模型235包括X射线源子系统102和检测器子系统118的模型。该模型可能是基于来自相机的图像数据所生成的外壳或边界。在其他实例中，它可以是作为系统200的设计或制造部分而创建的实体模型。

此外，避碰应用接收源载物台的当前位置338、检测器载物台的当前位置、3轴样本台150的x轴、y轴、z轴位置以及θ载物台152的位置。

此外，当检测器子系统包括带多个物镜的转塔119时，避碰应用经由接口134接收检测器子系统当前选择的物镜。当不同的物镜相对于对象114具有不同的间隙时，这一信息十分重要。

在3D重建为体素体(voxel volume)之后，在步骤416中，生成对象的点云。具体而言，分割对象。该分割能够通过阈值化、滞后阈值化、主曲线或机器学习来完成。然后，例如将体转换为点云。

然后，避碰应用通过组合对象的点云、3D系统模型235、当前位置数据338和当前选择的对象而生成对象114周围区域的3D模型。然后，在步骤418中，当选择模型查看按钮522时，在显示设备136上呈现模型。

图7示出由计算机系统124生成并在对象重建之后显示在显示设备136上的用户界面500。对象的实时视频图像以及该对象附近系统100的各部分被替换为所生成的3D实体模型。该模型包括3D呈现的对象114M的点云、呈现的源子系统112M和呈现的检测器子系统118M。基于表征扫描设置的当前位置数据338来定位呈现的对象114M、呈现的源子系统112M和呈现的检测器子系统118M的相对位置。

此时，在步骤420中，采用对象重建和3D实体模型来配置显微镜用于对象的X射线扫描。

在某一实例中，通过使用代表系统硬件和对象的模型之间的三角相交来确定碰撞。在使用STL(Standard Triangle Language-标准三角语言)格式化模型的情况下，提供模型的每个组件的边界框，如果这些边界框相交，则分析该模型的每个三角形。如果这些三角形的边界框相交，则对每个三角形进行相交测试，以推断出是否可能发生碰撞。

在当前的实施方案中，用户限于一次移动一个载物台或轴。如果继续进行移动或执行移动之前，当认为发生碰撞时，则中断该移动。

存在测试碰撞的不同时机。其中之一是在用户命令的每次移动之前。而且，如果该轴上发生碰撞，则系统将轴移动至最近的非碰撞位置，并通知用户这是最近的位置。

也能在复合移动之前测试碰撞，诸如束线在检测器上发生变化的过程中。例如，当用户命令系统从安装在转塔上的物镜更改为安装在转塔旁的微距镜时，该微距镜是视场更大的透镜，该系统在允许切换到所有电机启动之前执行碰撞测试。

此外，该系统也可以在采集之前测试碰撞，诸如在通过X轴、Y轴、Z轴和θ轴移动对象时的层析成像扫描过程中。在允许进行采集之前，该系统测试所有这些移动。

图8和图9示出由计算机系统124生成并显示在显示设备上的用户界面。如图8所示，采用对象重建将检测器子系统移动到靠近对象的位置，而不会与对象发生碰撞。然后，如图9所示，采用对象重建将源子系统移动到靠近对象的位置，而不会与对象发生碰撞。该系统准备执行如图10所示的X射线扫描。

此外，利用所构建的3D实体模型，由避碰应用创建优化的扫描轨迹(投影总数和/或任意特定旋转角度下每个角度的投影总数)，以减少后续的X射线层析成像伪影(例如，优化HART或判定180+扇面是否允许更快的扫描)。

此外，能够优化源子系统和检测器子系统的定位，不仅可避免碰撞，而且可实现最快或最佳分辨率或最大视场的扫描。

最后，在初始硬件设置过程中，能够采用3D实体模型直观地指导源和检测器的定位。

作为网格划分的替选方案，能够使用体来直接计算碰撞(使用到对象表面的距离变换)。

计算机系统124需要对对象进行全3D扫描，因此需要360度旋转。这适用于可采用如条带投影或激光线扫描的其他替选技术作为上述摄影机和反投影重建的附加或替选方案。连续旋转会显著缩短这种扫描所需的时间。所记录的图像由静态背景和(旋转)前景组成。为了重建，计算机系统124应当隔离出图像的前景部分以获得对象。本方法使用来自不同照明条件的图像来执行这种隔离。也可能有其他方法，诸如在不存在对象的情况下生成背景模型或建模显微镜的罩壳。

在某一实例中，对象重建是(加权)滤波后的反投影。该计算机系统优选使用一种新的加权形式，该加权形式是根据光流计算中常用的强度恒定性(也可使用颜色)假设来计算。可以从立体(多)相机系统得出其他形式的加权，其中权重来自同时的立体(多相机)图像之间的强度恒定性。另一选项是条纹投影系统。

在FBP重建之后，3D体包含对象的3D表示。此时，该体能够直接用于计算碰撞(使用距离变换)或用于模拟X射线图像(通过用预定材料填充对象)。替选地，将体分割(例如，通过阈值化)，并将所得的点云转换为网格表示(例如，通过三角测量、α形状或类似算法)。

背景减除法：

背景减除法是一种尚未解决的难题，也是活跃的研究领域。文献中有许多方法。最接近本发明方法的是使用颜色分离背景的绿屏技术。尽管它们的性能得到良好优化，但至少需要两种颜色才能分割每种类型的对象，但仍会遭遇背景不均匀的问题(无法更改X射线显微镜的壳(门))。

背景减除法记录背景图像(不包含对象)，并尝试从最终图像中将其删除(减除)。这有很强的限制性，取决于场景中的其他变化(如照明或由移动部件引起的阴影)。本发明提议的两种照明程序具有以下优势：

·背景减除：即使背景发生变化，也能解混图像。这种解混的质量主要由照明质量决定。产生相同背景外观的完美漫射照明可实现完美的解混(与背景中的对象无关)。

·反射图像和阴影图像皆可用于重建，特别是对于光学方面不佳的对象而言：

·对象极暗：在此情形下，反射图像不会包含很多信息(任何内容均呈黑色)，但由于背景浅亮(在多数情形下)，对象的轮廓仍清晰可见，并且重建至少能简化为(光学)对象外壳。

·暗色背景：在某些情形下，背景可能变暗。轮廓图像则将不起作用，但若非对象同样很暗，反射图像仍包含3D重建所需的信息。

·反射镜：与暗色对象的说明相同，主要是镜面反射会影响反射图像。

·透明对象：根据其透明度，该方法能够分割和重建透明对象。相机不可能变得看不见对象。

应当领会，上述本发明的系统和方法不限于(X射线)显微镜，能够通过专用硬件来完成扫描(这当然允许包含其他方法)。关系到X射线显微镜的一个关键因素是所有坐标系都应调准。这可通过针对X射线和相机系统使用相同的校准对象(调准柱)来实现。这样的校准对象可以是在两个系统中皆可见的简单球体，或者是具有相同属性的点阵网格。

尽管本发明已参照本发明的优选实施方案来具体图示和描述，但本领域技术人员应当理解，在不脱离所附权利要求书所涵盖的本发明保护范围的情况下，可以在形式和细节上作出各种更改。

例如，再一选项是，通过图像融合或卡尔曼(Kalman)型表决算法，利用来自显微镜或其他主层析成像系统的X射线数据来增强光学数据和光学重建。在光学系统的置信度很低的情形下，可利用根据X射线投影产生的粗略CT扫描来增强光学模型，以创建更佳的模型。