准备用于对样品成像的显微镜的方法

技术领域

本发明涉及一种用于准备用于对样品成像的显微镜的方法，其中，显微镜包括物镜，所述物镜具有用于校正成像像差(imaging aberrations)的可调节的，尤其是可马达调节的物镜校正环。本发明还涉及显微方法。

背景技术

显微镜物镜的设计使其在特定的光学条件下可获得最佳成像效果。随着分辨率的提高，显微镜的光学系统对偏离其设计所基于的情况的反应越来越敏感。图像像差增加。因此，高性能物镜，特别是浸没物镜具有所谓的校正环，该校正环光学地作用在物镜上并校正球面图像像差(spherical image aberrations)，所述球面图像像差例如可能是因偏离设计情况而引起的。这样的偏离可以是例如变化的盖玻片厚度、偏离的样品温度或样品中的温度差异或包埋介质与浸没介质之间的折射率差异。这样的偏离还可能是样品中焦平面的不同深度位置。

这种物镜校正环的最佳设置对于高分辨率应用，特别是活体细胞应用非常重要，因为只有在那时才能实现最大分辨率。同样，也只有在那时，光敏度才是最佳的，考虑到其减少光毒性(即照明辐射的破坏性影响、荧光团的漂白作用等)的作用，这在显微活体细胞时尤其重要。另一个重要的应用是所谓的“多光子显微镜”，其中，具有高深度分辨率的多光子显微镜，因此，为了进行三维记录，多个深度平面必须布置在所谓的z堆栈(z-stack)中。此外，由于这里的样品通常具有较高的光密度并且也是不均匀的，因此，图像像差会以特别令人不安的程度出现。

为了方便地设置物镜校正环，作为手动致动的替代方案，已经知道可马达调节的校正环比较久了，其例如可以由显微镜的控制装置驱动，并且可以由用户通过软件进行设置。

然而，物镜校正环的正确设置的选择仍然存在问题，特别是在变化的显微任务和样品的情况下。另外，物镜校正环的设置有通常会改变样品中焦点的偏移，这必须通过相应地对显微镜的重新调整来补偿。

发明内容

因此，本发明的目的是说明一种准备用于对样品成像的显微镜的方法，该方法允许以简单的方式确定尽可能最佳的物镜校正环的设置。

本发明提供一种对显微镜进行准备的方法，所述显微镜用于对样品进行成像，所述方法包括以下步骤：a)提供用于对样品进行成像的显微镜，其中，显微镜包括物镜，该物镜具有用于校正成像像差的可调节物镜校正环；b)使用显微镜对样品成像，以使用物镜校正环的第一设置产生样品的至少一个原始图像；c)将所述至少一个原始图像输入到被机器学习的或机器学习算法中，以及d)基于原始图像，借助于所述算法确定物镜校正环的相对或绝对第二设置，所述第二设置相对于第一设置降低了成像像差。

优选地，根据如上所述的方法，其中，所述算法被实施为机器学习算法，并且在步骤d)中执行以下子步骤：

e1)确定原始图像的品质因数，并在模拟过程中或在对样品重新成像的过程中，将物镜校正环调整到改变的设置，并迭代执行以下步骤e2)-e5)：

e2)对于物镜校正环的改变的设置，确定样品的另外的原始图像，

e3)生成在步骤e2)中确定的样品的原始图像的当前品质因数，

e4)检查当前品质因数是否达到最小值，如果是这种情况或者已经达到预定的迭代次数，则使用最后确定的物镜校正环的设置作为第二设置来结束迭代，否则执行步骤e5)继续迭代，

e5)如果当前品质因数比前一个品质因数好，则沿与最后一次调整相同的方向调整物镜校正环，否则沿相反方向调整物镜校正环，并执行步骤e2)继续迭代。

优选地，根据如上所述的方法，其中，所述品质因数基于根据质量标准的评估，所述质量标准包括以下图像特性中的至少一个：成像清晰度；信噪比；预定伪影的存在、频率或程度；预定结构的可识别性。

优选地，根据任一如上所述的方法，其中，所述算法包括神经网络，其评估图像质量和/或确定所述第二设置。

优选地，根据任一如上所述的方法，包括：获取样品信息，所述样品信息包括以下信息中的至少一个：盖玻片的厚度、盖玻片的材料、样品温度、样品类型、样品在样品载体上的位置、样品的包埋介质、浸没介质，其中，所述算法也在所述样品信息的基础上确定所述第二设置。

优选地，根据任一如上所述的方法，其中，所述算法在步骤d)中确定所述物镜校正环的至少一个临时设置，并且利用该临时设置来迭代步骤b)和步骤c)。

优选地，根据任一如上所述的方法，其中，所述算法基于所述物镜校正环的改变的设置，特别是基于所述临时设置或所述第二设置，来计算预览图像。

优选地，根据任一如上所述的方法，其中，为显微镜提供点扩展函数(PSF)，并且所述算法评估该点扩展函数(PSF)。

优选地，根据任一如上所述的方法，其中，所述算法由所述显微镜的控制装置执行，并且所述物镜校正环能够通过马达进行调节并且通过所述控制装置被设置到所述第二设置。

本发明提供一种用于通过显微术检查样品的方法，其中，通过前述任一所述的方法准备显微镜，并且随后使用物镜校正环的所述第二设置对样品进行成像。

为了准备用于对样品进行成像的显微镜，首先提供显微镜，该显微镜包括物镜，该物镜具有用于校正成像像差的可调节的，尤其是可马达调节的物镜校正环。随后使用显微镜对样品成像，以通过物镜校正环的第一设置产生样品的至少一个原始图像。原始图像是电子图像。它被输入到预定的机器学习(machine learning)算法或被机器学习的(machine-learned)算法中，所述算法然后确定物镜校正环的第二设置，该第二设置相对于第一设置降低了成像像差。这是基于原始图像完成的。

所使用的算法或者是机器学习算法，或者是被机器学习的算法，也就是说，在两种情况下均基于所谓的机器学习。这种算法的技术实现在人工智能领域中是已知的，并且例如可以被实施为神经网络或包括这种神经网络。在机器学习算法或被机器学习的算法中，学习过程涉及将原始图像分配给校正环设置。被机器学习的算法能够通常无需中间步骤的、直接从原始图像中导出所述原始图像能够如何通过改变校正环设置来改善。在这种情况下，所述改变可以是相对指示，也就是说，必须在校正环设置或绝对校正环设置上进行的更改，如果算法知道原始图像所使用的校正环设置则尤其是这样。因此，实施例规定，与原始图像相关联的校正环设置也将在步骤c中输入到算法中。校正环可以是马达化的，即可马达调整的。然后，在基于马达的调节驱动的情况下，关于校正环设置的信息的提供已知是被作为驱动反馈的结果，或是之前设置的校正环设置。但是，同样地，该方法也可以通过以下方式进行：纯手工的校正环调节，这是由于以下事实，即用户预先确定了校正环的设置值，该设置值然后由用户手动设置在校正环上，或者仅与原始图像相关联的校正环设置被用户读取，并相应地被馈送到算法中。

步骤d中的所述第二设置可以可选地通过执行进一步的中间步骤来获得，其中，确定校正环的临时设置，并且针对所述临时设置的每一种情况生成原始图像。这对于机器学习算法尤其有利。在这种情况下，寻找第二设置尤其可以包括迭代过程。这同样适用于被机器学习的算法。

在准备显微镜的过程中减轻了用户的负担，这是因为借助于人工智能，从以校正环的第一设置获得的原始图像中得出校正环的第二和改进的设置，其中人工智能是通过被机器学习的算法或机器学习算法来实现的。在这种情况下，所述被机器学习的算法通过监督学习(supervised learning)或强化学习(reinforcement learning)在训练数据的基础上被训练，并相应地被配置为从原始图像中得出校正环的相对或绝对的设置，从而获得所述第二设置。机器学习算法同样在优选实施例中使用具有多个中间位置的迭代序列来获得第二设置，在每个中间位置中评估品质因数。

所述算法执行所谓的机器学习。所述机器学习模拟由人类专家根据其经验来执行的对物镜校正环的设置。在这种情况下，在现有技术中，原始图像的图像质量通常被评估，并且人类专家将结合其关于类似物镜、样品和应用环境的先前经验以及另外的知识(即样品信息)。这种本质上人类的流程通过机器学习被自动化。机器学习的基本原理例如被提供在https://en.wikipedia.org/wiki/Machine_learning。

原则上，各种类型的机器学习都是可能的，尤其是所谓的强化学习(例如，在

关于强化学习，也可以参考出版物，R.Sutton和A.Barto，“强化学习：简介”，第二版，麻省理工学院出版社，剑桥市，MA 2018年。该部分特别从第2页开始，在各种类型的机器学习相互之间做了界定。该出版物解释了各种学习类型之间的差异。强化学习不同于监督学习。在监督学习中，由专家分类的训练数据被提供。系统在这些训练数据的基础上被教导，以便它也可以对其他数据进行正确的推断。在无监督学习中，系统在非分类数据中学会找到结构。强化学习不同于两者，尽管在某些文献出版物中强化学习被认为是无监督学习的一个子类型。然而，所引用的出版物解释说，强化学习并没有发现隐藏的结构，而是最大化了品质(merit)或奖励(reward)函数。因此，在所引用的出版物中，强化学习被分类为机器学习的第三种学习类型。

在实施例中，算法在用于确定第二设置的步骤中执行多个子步骤。第一步涉及确定原始图像的品质因数(figure of merit)。在这种情况下，例如以预定义的质量标准为基础。或者，可以使用神经网络(见下文)。品质因数实际上在算法的后续迭代中被用作奖励或惩罚，也就是说，其最终被用于评估迭代中是否实现了物镜校正环设置方面的改进。物镜校正环然后被调整为更改的设置。这或者可以通过模拟来完成，或者可以在重新对样品成像期间完成。随后迭代地执行以下步骤：为改变的物镜校正环的设置确定样品的图像。当然，这再次是根据调整在模拟中或从对样品的成像来完成的。接下来，为该图像生成当前品质因数。然后进行检查以确定当前的品质因数是否达到最小值(例如相对于上一个品质因数的最小改进)。如果是这种情况，则最后确定的物镜校正环的设置就足够了，并被用作第二设置。迭代然后结束。如果当前品质因数未能达到最小值，则再次调整物镜校正环。当然，这再次是在模拟中或在对样品的重新成像中发生的。如果当前品质因数相对于上一个品质因数有所改善，则可以选择与上次调整相同的方向进行调整。如果是劣化的话，则可选地沿相反方向调节物镜校正环，优选超过对物镜校正环的倒数第二次设置。然后继续迭代，即，再次使用物镜校正环的当前更改的设置来确定样品的图像-依次地在模拟中或通过对样品成像。作为所述迭代的结果，该算法最终获得第二设置，这是相对于第一设置的改进。取决于最小值的预定，所述第二设置则甚至非常接近理论最优值或者甚至达到理论最优值。

品质因数可以基于质量标准。后者可以包括以下图像特性中的至少一个：成像清晰度、信噪比、预定伪影(predetermined artefacts)的存在、频率或程度、预定结构的可识别性。补充地或替代地，所述算法可以包括评估图像质量并且特别是确定品质因数的神经网络。事先对这种神经网络进行适当的训练，以区分好图像和坏图像。因此，不必明确地定义与所提及的图像属性之一相挂钩的品质因数，而是生成对于算法而言足以作为奖赏或惩罚的品质因数，即，足以确定当前物镜校正环的设置是否构成改进的品质因数。

在监督学习的情况下，品质因数表示例如关于物镜校正环的设置是可以接受的还是不可接受的分类，并且如果合适的话，表示设置偏离的方向。然后可以基于确定物镜校正环的设置的改进值的模型来调节物镜校正环。该模型例如可以使用回归(regression)，以便预测物镜校正环的设置的最佳值或必要改变。

如已概述的那样，该算法可以使用物镜校正环的不同设置对样品进行一系列重新成像，也可以使用模拟。这种模拟例如使用图像合成，以便获得对应于物镜校正环的改变设置的样品图像。所述图像合成还可以从图像到图像的映射来实现，也就是说，从实际获得的图像，即原始图像，变化被基于物镜校正环的改变的设置合成地确定，并且进一步的图像被以这种方式获得。

可选地，样品信息被所述算法获取并使用以确定第二设置。样品信息包括以下至少一项：盖玻片的厚度、盖玻片的材料、样品温度、样品类型、样品在样品载体上的位置、样品的包埋介质、浸没液体。在这种情况下，盖玻片是位于样品和物镜之间的那一层玻璃。因此，这不必一定是常规意义上的盖玻片；而是，在通过样品载体进行显微的情况下，后者是从上面所理解的意义上讲的“盖玻片”。所述样品信息在算法确定第二设置时被算法考虑在内。

在实施例中，方便的是为显微镜提供点扩展函数(point spread function)，以使算法评估所述点扩展函数。这可以是二维点扩展函数，也可以是三维点扩展函数。特别优选地，点扩展函数对物镜校正环的设置的依赖关系是已知的。

用于准备显微镜的方法优选地通过由显微镜的控制装置执行的所述算法完全自动地进行，并且物镜校正环也由所述控制装置设定为第二设置。因此，全自动操作是可能的，其准备显微镜，使得物镜校正环的第二设置同时在预定范围内实现成像像差的最佳校正。该方法当然可以由用户手动触发。同样，该方法可以被自动启动，例如，当识别出样品变化、识别到物镜变化时，或者当识别出图像质量从预定义的最小值偏离或从最佳值偏离的程度过大。

此外，准备用于对样品成像的显微镜的方法可以是通过显微术检查样品的方法的一部分，其中，显微镜被如上所述地准备，并且随后使用物镜校正环的第二设置对样品成像。

从上面的说明中可以清楚地看出，物镜校正环的第二设置通常不是在用于原始图像的第一设置之后实际执行的第二个设置。而是，术语第二设置与由优化算法确定的设置有关。不言而喻，在执行算法的过程中，可能发生物镜校正环的许多调整。换句话说，术语“第二设置”不应从设置的计数意义上理解。

应当理解，以上指定的特征和以下将要说明的特征不仅可以以指定的组合使用，还可以以其他组合或单独使用，而不会脱离本发明的范围。

附图说明

下面根据实施例参照附图对本发明进行更详细的说明，这些附图同样公开了本发明的基本特征。这些示例性实施例仅是说明性的，不应被解释为限制性的。通过示例的方式，对具有多个元素或部件的示例性实施例的描述不应被解释为意味着所有这些元素或部件对于实施都是必需的。而是，其他示例性实施例还可以包含替代元素和部件、较少的元素或部件或附加的元素或部件。除非另有说明，否则不同示例性实施例的元素或部件可以彼此组合。针对示例性实施例之一描述的修改和变化也可以适用于其他示例性实施例。为了避免重复，在不同附图中相同的元素或相应的元素用相同的附图标记表示并且不多次说明。在图中：

图1显示了显微镜的示意图，该显微镜用于对样品成像，包括具有物镜校正环的物镜，

图2示出了通过找到物镜校正环的改进设置或最佳设置来准备显微镜的方法的框图，

图3示出了具有子步骤的框图，所述子步骤在实施例中可以在图2的步骤中执行，以及

图4示出了框图，该框图示出了通过显微术检查样品的方法，所述显微镜使用根据图2的实施例中的或其他实施例中的准备方法。

具体实施方式

图1示意性地示出了用于对样品4成像的显微镜2。样品4位于样品载体6上并且被嵌入在盖玻片10下方的包埋介质8中。样品4、样品载体6、包埋介质8以及盖玻片10并不是显微镜的一部分，但它们在样品成像过程中是一种常规的存在。显微镜2通过物镜12和管透镜14将样品8沿光轴18成像到检测器16上。在这种情况下，通常以流体形式实现的浸没介质19通常位于物镜12的末端和盖玻璃10之间。所述浸没介质增加了光学分辨率，因为其带来了数值孔径的增加。

物镜12针对样品的特定情况和特定的焦点位置而设计，特别是针对球面像差(spherical aberration)进行了优化。这种设计不适用于不同的条件(deviatingconditions)。为了适应，物镜12因此具有所谓的校正环20，其以可适应的方式改变物镜12的光学特性，例如影响球面像差。校正环20由驱动器22致动，驱动器22由控制装置24控制，该控制装置24还读出检测器16(样品成像到该检测器16上)的图像数据。控制设备24尤其包括输入设备或输入接口26。在后者处，特别是关于样品的参数，例如已经在说明书的总论部分中说明的参数，可以输入到控制装置24中。

为了对样品4进行最佳的成像，有必要找到校正环20的最佳设置。这构成了在对样品4进行实际显微之前的准备步骤。图2中的框图示出了相应的方法28。

该方法的初始步骤是提供步骤S1，该步骤涉及为显微镜2提供在样品载体6上的包埋介质8或盖玻片10中的样品4。之后，在步骤S2中，通过控制装置24的输入装置26获取并输入样品信息。样品信息包括以下信息中的至少一项：盖玻片10的厚度、盖玻片10的材料、样品4的温度4、样品4的类型、样品4在样品载体6上的位置、样品4的包埋介质8的类型、浸没介质19的类型。

之后，在成像步骤S3中，通过显微镜2对样品进行成像，结果是控制装置24从检测器16获得样品的原始图像。在这种情况下，校正环20被设置到第一设置。

在输入步骤S4中，所述原始图像与所述样品信息被一起输入到机器算法，该机器算法作为一种确定程序(determining program)被预先存储在例如控制装置26中。在步骤S5中，所述机器算法确定校正环20的被改进的第二设置。所述设置被配置为使得与第一设置相比，减小了像差。所述算法为此目的使用原始图像和样品信息。

图4示出了显微方法30，其中，首先实施准备方法28，准备方法28例如是根据图2的。然后在步骤S6，校正环20被设置为第二设置，并且然后在成像步骤S7中，以物镜校正环20的该设置对样品4进行成像，从而最终得到具有优化的图像质量的样品4的图像。

图3示出了来自步骤S5的算法32的一个示例性实施例，即机器算法32的配置，该机器算法使用原始图像和样品信息来确定校正环20的改进的第二设置。

在步骤S5.1中，确定原始图像的品质因数，并且将校正环20设置到改变的设置。这种以改变的方式对校正环20设置的检查可以参照成像模拟进行或者参照关于样品的真实成像来执行。首先，对样进行真实成像的变形在下面被解释。然而，如稍后将变得清楚的，所概括的原理也适用于模拟成像，因此也适用于校正环20的模拟调节。

之后，在步骤S5.2中，利用校正环20的改变的设置对样品4成像，从而获得另一原始图像。然后，在步骤S5.3中，为该改变的原始图像确定品质因数。然后进行双重检查。首先，步骤S5.4涉及询问是否已经实现了特定的最大迭代次数。这也可以在流程的其他地方进行。为此，在每次经过步骤S5.3或S5.2时，计数器增加，并且在步骤S5.4的询问中，迭代次数被与最大迭代次数比较。如果超过所述最大次数，则该方法结束并且将校正环20的最后的设置作为第二设置。这是步骤S5.4中的分支“A”。相反，如果尚未达到最大迭代次数，则该方法以分支“B”继续进行到步骤S5.5，在步骤S5.5中进行检查以确定最后确定的品质因数是否达到最小值。如果是这种情况，该品质因数，如步骤S5.4的分支“A”那样，在步骤S5.6中作为第二设置被输出(步骤S5.5的分支“C”)。相反，如果最后确定的品质因数尚未达到最小值，则该方法在进一步的迭代循环中继续步骤S5.2(分支“D”)。

然而，在这种情况下，先在步骤S5.7中进行确定最后的品质因数是否比前一个品质因数更好的检查。如果是这种情况(步骤S5.7的分支“E”)，则在步骤S8中，校正环20被调节，特别是在与上次调节期间被调节的方向相同的方向上被调节。换句话说，在步骤S5.8中其被进一步设置。相反，如果最后一个原始图像的品质因数比倒数第二个的(penultimate)品质因数差(步骤S5.7的分支“F”)，则在步骤S5.9中沿相反的方向调节校正环20。在两种情况下，该方法然后跳回到步骤S5.2，也就是说，对于校正环20的最近改变的设置，获得样品的另一原始图像。

如果已经进行了预定次数的迭代(步骤S5.4中的询问)，或者如果已经达到了最低的品质因数(步骤S5.5中的询问)，则在步骤S5.6中结束迭代。

在算法32的先前描述的实施例中，样品被真实地成像以形成另外的原始图像，并且物镜校正环20也确实被调整。这可以由模拟代替，在该模拟中，例如使用显微镜2的已知的2D或可选的3D点扩展函数(point spread function)来模拟校正环20的调整和样品4的成像。这样的点扩展函数(PSF)如本领域技术人员所公知的，可以预先从测试测量中确定。使用模拟的优点在于，在步骤S5中由算法32执行的机器学习过程被加速，并且特别地，样品不被照明辐射所负担。

算法32的示例性实施例(如在图3的实施例中描述的)遵循强化学习(reinforcement learning)的原则。借助于品质因数，算法32独立地确定最佳校正环设置，而关于内部关系的知识不是必要的。如说明书的总论部分中所解释的，所使用的品质因数可以涉及特定的图像特性，例如图像清晰度、信噪比等。同样地，也可以使用经过相应训练的神经网络34，该神经网络可以可选地设置在控制装置24中(因此在图1中用虚线示出)。神经网络34被训练以识别良好的图像并输出图像质量的品质因数。图像越好，品质因数越高。这种神经网络的配置和训练是本领域技术人员已知的。

在被机器学习的算法32的实施例中，后者基于在所提供的训练数据的基础上的被监督的学习。利用这些训练数据，将输入x映射到输出y的模型被习得。优选使用来自所谓的深度学习的模型，特别是所谓的卷积神经网络(请参阅https://de.wikipedia.org/wiki/Deep_Learning和https://de.wikipedia.org/wiki/Convolutional_Neural_Network)。举例来说，取决于输入或输出，模型可以对校正环20的设置进行分类，例如该设置是好或不好、太低或太高，然后如果合适的话，可以执行回归，以便计算校正环20的改进的设置，例如预测最佳值或为此所需的调整和/或图像合成或图像到图像映射，例如用于产生预览图像，即，以校正环20的改变的设置产生样品4的新的原始图像，或者，例如用于在校正环20的设置改变之前和/或之后产生显微镜2的成像系统的2D或3D PSF的估计。

输入x可以包括样品4的单个图像、样品的多个图像(例如，为了找到对样品4的多个区域有效的平均设置)、样品4的z堆栈图像(z-stack images)、显微镜2成像系统的理论PSF和/或其他信息，其他信息例如像是校正环20的当前设置、样品载体6和/或盖玻片10的类型和/或材料、样品载体6上的任何位置、样品的类型、样品的包埋介质、有关浸液和/或玻璃盖罩厚度的指示，如已在引言中提到的那样。此外，优选地可以指定材料的折射率。所提到的参数的组合也可以形成输入x。举例来说，可以使用包含校正环20的当前设置、原始图像、显微镜2的成像系统的理论PSF、样品4的类型和浸没介质19的折射率的输入x。

该模型的输出y可以具有以下形式：校正环20的当前设置是否正确的指示、校正环20的改进的设置、分配给样品4中不同的z深度的校正环20的不同设置、描述校正环20的旧设置和/或新设置有多好品质因数、对于校正环20的设置改变后样品4的原始图像将如何展现的预测(所谓的预览图像)、关于由校正环20的设置的改变引起的样品4在原始图像中的位移的预测、对于显微镜2的应用校正环20的改变的设置之后的成像系统的PSF的预测；或其他形式。

用于确定校正环20的改进的或最优的设置的方法28可以被嵌入到各种工作流程中。优选在识别到样品变化之后和/或在图像质量下降特定量之后和/或在更换物镜之后自动启动该方法。同样也优选用户的手动启动。

在确定校正环20的最佳设置时执行的迭代次数至少为两次。少量的迭代导致第二设置值的快速确定，但是该第二设置值可能不是最佳的。

方法28可选地针对不同的z深度执行一次。之后，重新调整被根据各个z深度自动地执行。优化也可以作为控制回路连续进行。

如果在没有确定校正环20的最佳设置的情况下迭代被终止，或者基于品质因数的最优未被达到或未被充分达到的情况下迭代被终止，则与用户的交互可以包括警告。