使用几何特征的整个载玻片注释转移

相关申请的交叉引用

本申请要求于2020年8月24日提交的美国临时申请号63/069,507的权益和优先权，该美国临时申请出于所有目的通过引用整体并入本文。

技术领域

公开涉及数字病理学，并且特别地涉及用于使用几何特征在组织样品的图像之间转移整个载玻片注释的技术。

背景技术

数字病理学涉及将载玻片(例如，组织病理学或细胞病理学载玻片)扫描为数字图像。出于包括疾病诊断、对治疗的反应的评估以及药物制剂的开发以对抗疾病的多种原因，数字图像内的组织和/或细胞可以随后通过数字病理学图像分析进行检查和/或由病理学家进行解释。为了检查数字图像(其几乎是透明的)内的组织和/或细胞，可以使用选择性结合到组织和/或细胞组分的各种染色测定(例如，免疫染色剂)来制备病理学载玻片。

染色测定的最常见的示例中的一个示例为苏木精-伊红(H&E)染色测定，其包括两种有助于识别组织解剖学信息的染色剂。苏木精主要将细胞核染色为一般蓝色，而伊红主要用作细胞质的一般粉红色染色剂，其中其他结构呈现不同的阴影、色调和这些颜色的组合。H&E染色测定可以用于基于组织的化学特征、生物学特征或病理特征来识别该组织中的目标物质。染色测定的示例中的另一个示例为免疫组织化学(IHC)染色测定，其涉及通过利用抗体和其他化合物(或物质)与生物组织中的抗原特异性结合的原理，选择性地识别组织切片的细胞中的抗原(蛋白质)的过程。在一些测定中，样本中染色的靶抗原可称为生物标记物。此后，可以在染色组织和/或细胞的数字图像上进行数字病理学图像分析，以识别和量化生物组织中针对抗原(例如，指示肿瘤细胞的生物标记物)的染色。

发明内容

提供了用于使用几何特征在组织样品的图像之间自动地转移整个载玻片注释的装置和方法。

根据各个方面，提供了一种在组织样品的图像之间转移数字病理学注释的方法。在一些方面，该方法可以包括：针对组织样品的切片的第一图像的几何特征来识别第一组点；针对相同组织样品的第二图像的对应几何特征来识别对应的第二组点，第二图像为组织样品的另一切片的图像；确定第一组点的坐标和第二组点的坐标；确定第一组点与第二组点之间的变换；以及将变换应用于第一图像内的一组数字病理学注释，以将该组数字病理学注释从第一图像转移至第二图像。第一组点中的点的最小对数和第二组点中的对应点可以为三对点。第一组点和第二组点可以含有相同数量的点。

该方法可以进一步包括：将第一图像和第二图像的组织样品的切片的区域转换为灰度表示，以提供与每个图像的背景的对比；以及基于每个图像的背景与组织样品的切片的灰度表示之间的对比来识别几何特征。

该方法可以进一步包括：将二元掩模应用于第一图像和第二图像的组织样品的切片的区域，以提供与每个图像的背景的对比；以及基于每个图像的背景与组织样品的切片的二元掩模之间的对比来识别几何特征。

该方法可以进一步包括：选择含有第一图像的该组数字病理学注释的一部分的区域，该第一图像具有低放大倍率；以及将变换应用于第一图像上的选定区域，以将选定区域转移至第二图像上的对应位置。

该方法可以进一步包括：将第一图像放大至比低放大倍率更高的放大倍率，以获得包括选定区域的第三图像；将第二图像放大至与第三图像相同的更高放大倍率，以获得包括选定区域的第四图像；识别关于第三图像的选定区域内的特征的第三组点；识别关于第四图像的选定区域内的对应特征的对应的第四组点；确定第三图像上的第三组点的坐标和第四图像上的第四组点的坐标；确定第三组点与第四组点之间的变换；以及应用变换，以将第四图像的选定区域中含有的一组数字病理学注释与第三图像的选定区域中含有的该组数字病理学注释对齐。第三组点中的点的最小对数为三个点，并且第四组点中的对应点可以为三对点。第三组点和第四组点可以含有相同数量的点。

该方法可以进一步包括：将第三图像和第四图像的选定区域内的特征转换为灰度表示，以提供与每个图像的背景的对比；以及基于每个图像的背景与特征的灰度表示之间的对比来识别具体特征。

该方法可以进一步包括：将二元掩模应用于第三图像和第四图像的选定区域内的特征，以提供与每个图像的背景的对比；以及基于每个图像的背景与特征的切片的二元掩模之间的对比来识别具体特征。

根据各个方面，提供了一种非暂时性计算机可读介质。在一些方面，非暂时性计算机可读介质可以包括用于使一个或多个处理器执行用于在组织样品的图像之间转移数字病理学注释的操作的指令，该操作包括：针对组织样品的切片的第一图像的几何特征来识别第一组点；针对相同组织样品的第二图像的对应几何特征来识别对应的第二组点，第二图像为组织样品的另一切片的图像；确定第一组点的坐标和第二组点的坐标；确定第一组点与第二组点之间的变换；以及将变换应用于第一图像内的一组数字病理学注释，以将该组数字病理学注释从第一图像转移至第二图像。第一组点中的点的最小对数和第二组点中的对应点可以为三对点。第一组点和第二组点可以含有相同数量的点。

非暂时性计算机可读介质可以进一步包括用于使一个或多个处理器执行操作的指令，该操作包括：将第一图像和第二图像的组织样品的切片的区域转换为灰度表示，以提供与每个图像的背景的对比；以及基于每个图像的背景与组织样品的切片的灰度表示之间的对比来识别几何特征。

非暂时性计算机可读介质可以进一步包括用于使一个或多个处理器执行操作的指令，该操作包括：将二元掩模应用于第一图像和第二图像的组织样品的切片的区域，以提供与每个图像的背景的对比；以及基于每个图像的背景与组织样品的切片的二元掩模之间的对比来识别几何特征。

非暂时性计算机可读介质可以进一步包括用于使一个或多个处理器执行操作的指令，该操作包括：选择含有第一图像的该组数字病理学注释的一部分的区域，该第一图像具有低放大倍率；以及将变换应用于第一图像上的选定区域，以将选定区域转移至第二图像上的对应位置。

非暂时性计算机可读介质可以进一步包括用于使一个或多个处理器执行操作的指令，该操作包括：将第一图像放大至比低放大倍率更高的放大倍率，以获得包括选定区域的第三图像；将第二图像放大至与第三图像相同的更高放大倍率，以获得包括选定区域的第四图像；识别关于第三图像的选定区域内的特征的第三组点；识别关于第四图像的选定区域内的对应特征的对应的第四组点；确定第三图像上的第三组点的坐标和第四图像上的第四组点的坐标；确定第三组点与第四组点之间的变换；以及应用变换，以将第四图像的选定区域中含有的一组数字病理学注释与第三图像的选定区域中含有的该组数字病理学注释对齐。第三组点中的点的最小对数为三个点，并且第四组点中的对应点可以为三对点。第三组点和第四组点可以含有相同数量的点。

非暂时性计算机可读介质可以进一步包括用于使一个或多个处理器执行操作的指令，该操作包括：将第三图像和第四图像的选定区域内的特征转换为灰度表示，以提供与每个图像的背景的对比；以及基于每个图像的背景与特征的灰度表示之间的对比来识别具体特征。

非暂时性计算机可读介质可以进一步包括用于使一个或多个处理器执行操作的指令，该操作包括：将二元掩模应用于第三图像和第四图像的选定区域内的特征，以提供与每个图像的背景的对比；以及基于每个图像的背景与特征的切片的二元掩模之间的对比来识别具体特征。

相对于常规技术，通过各种实施例实现了许多益处。例如，各种实施例提供了可以用于在组织样品的连续切片的图像之间自动地转移病理学家数字病理学注释的方法和系统。在一些实施例中，在组织样品的边界上的点被识别并且用于对齐连续图像。可以生成已识别的点之间的变换矩阵并且将其应用于注释。结合下文和附图更详细地描述这些和其他实施例及其优点和特征中的许多优点和特征。

附图说明

通过参考附图描述示例，各种实施例的方面和特征将更加明显，其中：

图1示出在第一图像上具有数字病理学注释的组织样品的连续切片的图像；

图2示出根据本公开的一些方面的具有数字病理学注释的组织样品的连续切片的图像；

图3示出根据本公开的各个方面的在低放大倍率下在组织样品的图像上的数字病理学注释的区域；

图4示出根据本公开的各个方面的在高放大倍率下数字病理学注释的已转移区域的错位；

图5示出根据本公开的各个方面的在高放大倍率下的图4的数字病理学注释的经对齐的已转移区域；

图6为示出根据本公开的一些方面的用于在图像之间转移数字病理学注释的方法600的示例的流程图；

图7为示出根据本公开的一些方面的用于在图像之间转移选定区域的数字病理学注释的方法700的示例的流程图；并且

图8为具有适用于在一些示例性实施方式中使用的示例性计算设备的示例性计算环境的框图。

具体实施方式

虽然描述了某些实施例，但这些实施例仅作为示例呈现，并且不旨在限制保护范围。本文所述的装置、方法和系统可以以多种其他形式体现。此外，在不脱离保护范围的情况下，可以对本文所述的示例性方法和系统的形式进行各种省略、替换和变化。

I.概述

可以通过检查薄组织切片来执行对例如由疾病引起的组织变化的评估。可以将组织样品切片以获得一系列切片(例如，4-5μm切片)，并且每个组织切片可以用不同的染色剂或标记物染色，以表达组织的不同特征。每个切片可以被安装在载玻片上并且扫描以创建数字图像，以供病理学家检查。病理学家可以查看并且手动注释载玻片的数字图像(例如，肿瘤区域、坏死等)，以使得能够使用图像分析算法来提取有意义的定量测度。按照惯例，病理学家将手动注释来自组织样品的组织切片的每个连续的图像，以识别每个连续的组织切片上的相同方面。

图1示出在第一图像上具有数字病理学注释的组织样品的连续切片的图像。如图1所示，组织的连续切片使用H&E、PD-L1 SP142和PD-L1SP263生物标记物来进行染色，并且用不同的载玻片扫描仪来进行扫描。按照惯例，病理学家将手动注释第一(H&E)图像，该图像识别组织的哪个部分(例如，肿瘤区域、坏死区域等)待使用图像分析来进行分析，以及待从图像分析中排除的区域。然后，病理学家将在每个先前或后续的图像(PD-L1 SP142和PD-L1SP263)上分别手动再现数字病理学注释，以便实现自动图像分析。对组织的连续切片的图像的重复注释消耗大量病理学家的时间。

为了克服这些限制以及其他限制，本公开的实施例提供使用几何特征来在组织样品的图像之间自动地转移整个载玻片注释。注释转移过程包括：获得组织样品的图像(例如，组织和/或细胞载玻片图像)和图像的至少一个图像(例如，源图像)的数字病理学注释，使用基于特征的配准技术来对齐图像对(例如，源图像和一个或多个连续的目标图像)，以及基于图像的对齐来将数字病理学注释从源图像转移至连续的目标图像。注释转移过程可能与染色和扫描仪无关。由不同类型的扫描仪(例如，来自不同设备供应商的不同扫描仪或来自同一设备供应商的同一扫描仪的不同版本)获取的不同染色测定(例如，H&E或IHC)的载玻片的图像的配准可以实现载玻片图像之间的注释转移。基于特征的配准技术依赖于寻找源图像与目标图像之间的对应点；然而，当源图像和目标图像来自两种不同类型的染色测定(例如，IHC和HE)或两种染色测定均含有靶向不同形态学结构(例如，不同的IHC抗原)的染色剂时，图像的染色测定特征(例如，代表荧光抗原的具有类似像素强度的一组像素)不可以用于寻找对应点。在此类情况下，本公开的实施例基于组织的轮廓的几何特征(例如，拐角、曲率等)而不是其内容物(例如，具有IHC测定的经染色的细胞)来对齐样品图像对。几何特征为由可以通过特征检测方法检测的一组几何元素(诸如点、线或曲线)构建的对象的特征。从两个图像中的对应点(其为几何实体而不是颜色/强度)计算变换。这些点是从特征图像计算的，该特征图像可以为基于外观的(例如，灰度强度图像)或基于几何特征的(例如，边界轮廓、线段等)。例如，样品图像中的组织和/或细胞的描绘的轮廓，而不是图像的染色测定特征，可以提供几何特征(例如，拐角、曲率等)或基于外观的特征(例如，灰度强度图像)，可能基于该几何特征或该基于外观的特征。对齐该意指两个匹配图像上的相同组织和/或细胞结构在空间上彼此对应。对齐

II.定义

如本文所用，当动作“基于”某物时，这意味着该动作至少部分地基于某物的至少一部分。

如本文所用，术语“基本上”、“大约”和“约”被定义为在很大程度上但不必完全是所规定的(并且包括完全是所规定的)，如本领域普通技术人员所理解的。在任何公开的实施例中，术语“基本上”、“大约”或“约”可以用对于所指定的“在[某个百分比]内”替代，其中百分比包括0.1％、1％、5％和10％。

如本文所用，术语“样品”、“生物样品”或“组织样品”是指从包括病毒在内的任何生物体获得的包括生物分子(诸如蛋白质、肽、核酸、脂质、碳水化合物或它们的组合)在内的任何样品。其他生物体的实例包括哺乳动物(诸如人类；兽类动物，如猫、狗、马、牛和猪；以及实验室动物，如小鼠、大鼠和灵长类动物)、昆虫、环节动物、蛛形纲动物、有袋类动物、爬行类动物、两栖类动物、细菌和真菌。生物样品包括组织样品(例如，组织切片和组织的穿刺活检)、细胞样品(例如，细胞学涂片，如子宫颈涂片或血液涂片或通过显微解剖获得的细胞样品)，或细胞级分、碎片或细胞器(例如，通过裂解细胞并通过离心或其他方式分离其组分获得)。生物样品的其他实例包括血液、血清、尿液、精液、粪便、脑脊液、间质液、粘液、眼泪、汗液、脓液、活检组织(例如，通过手术活检或穿刺活检获得)、乳头抽吸物、耵聍、乳汁、阴道分泌物、唾液、拭子(诸如口腔拭子)、或任何含有从第一生物样品导出的生物分子的材料。在某些实施例中，本文使用的术语“生物样品”是指从受试者获得的肿瘤或其一部分制备的样品(例如经均质或液化处理的样品)。

如本文所用，术语“生物材料或结构”是指天然材料或结构，其包含整个或部分的活体结构(例如，细胞核、细胞膜、细胞质、染色体、DNA、细胞、细胞簇等)。

如本文所用，术语“非靶标区域”是指具有图像数据的图像的区域，其图像数据不打算在图像分析处理中评估。非靶标区域可以包括对应于基底(诸如没有样品的玻璃)的图像的非组织区域，例如其中只存在来自成像源的白光。非靶标区域可以附加地或替代地包括图像的组织区域，该图像的组织区域对应于不打算在图像分析过程中分析或难以与靶标区域内的生物材料或结构(例如，坏死、基质细胞、正常细胞、扫描伪影)区分开来的生物材料或结构。

如本文所用，术语“靶标区域”是指包含图像数据的图像的区域，其图像数据打算在图像分析处理中评估。靶标区域包括如图像的组织区域的打算在图像分析过程中分析的任何区域(例如，肿瘤细胞或染色表达)。

如本文所用，术语“瓦片”或“瓦片图像”是指对应于整个图像或整个载玻片的一部分的单个图像。在一些实施例中，“瓦片”或“瓦片图像”是指整个载玻片扫描的区域或具有(x、y)像素维度(例如，1000像素x 1000像素)的目标区域。例如，考虑将整个图像分成M列的瓦片和N行的瓦片，其中M x N拼接中的每个瓦片包含整个图像的一部分，即在位置MI，NI处的瓦片包含图像的第一部分，而在位置M3，N4处的瓦片包含图像的第二部分，第一部分和第二部分是不同的。在一些实施例中，瓦片可以各自具有相同的维度(像素尺寸x像素尺寸)。

III.自动图像配准技术

图2示出根据本公开的一些方面的具有数字病理学注释的组织样品的连续切片的图像。如图2所示，使用不同结构和生物标记物的多重染色测定来对组织样品的连续切片进行染色。例如，组织样品的第一切片205可以用H&E染色剂来进行染色，并且组织样品的连续的切片210；215可以用一种或多种IHC染色剂(例如，PD-L1 SP142和PD-L1 SP263)来进行染色。组织样品的第一切片205和连续的切片210；215可以使用一台或多台扫描仪来进行扫描，以获得组织样品内的组织和/或细胞的图像。该一台或多台扫描仪可以为相同的扫描仪、相同扫描仪的不同版本或不同类型的扫描仪(例如，Aperio AT2明场扫描仪和

第一切片205的源图像可以被选择为组织样品的代表，并且由病理学家手动注释。如本文中详细描述的，基于源图像和目标图像的对齐，本公开的实施例自动地将手动注释从组织样品的连续的切片210；215的源图像转移至之前或之后的目标图像。本公开的方面可以经由图像配准过程来对齐组织切片的源图像和目标图像，该图像配准过程包括：1)在与源图像和目标图像中的每一者相关联的图像金字塔之间找到对应放大倍率级别；2)计算特征图像；3)定位图像的控制点；4)找到图像之间的匹配控制点；以及5)使用局内(inlier)控制点来计算图像之间的变换。在计算机系统(例如，图8的计算机系统)上执行的图像配准算法可以执行上述操作。

为了对齐源组织切片图像和目标组织切片图像，可以确定与源图像和目标图像中的每一者相关联的图像金字塔之间的对应放大倍率或分辨率级别。整个载玻片扫描仪逐个瓦片地或以行扫描方式捕获组织切片的图像。将多个图像(分别为瓦片或行)进行捕获并且进行数字化组装(“拼接”)，以生成整个载玻片的数字图像。图像金字塔为整个载玻片的数字图像的多分辨率表示。整个载玻片图像以多种分辨率存储，以适应图像的加载和渲染。例如，由载玻片扫描仪以40x放大倍率获取的整个载玻片图像可能伴随着以10x、2.5x和1.25x放大倍率下采样的相同图像。低放大倍率图像可以有利地用于分析诸如图像配准，因为与高放大倍率图像相比，这些图像需要更少的存储器以用于处理，并且一旦源组织切片图像和目标组织切片图像对齐，数字病理学注释就可以针对使用高放大倍率图像的目标组织切片图像而进行转移。

然而，由于可能使用不同扫描仪来获取图像，因此与源和目标中的每一者相关联的图像金字塔可能采用不同的格式。一些图像格式(例如，.SVS)不遵循用于构建图像金字塔的一致方法，而其他格式(例如，二进制信息文件(.BIF))遵循用于构建图像金字塔的一致方法。例如，呈.BIF格式的图像金字塔的第二级存储10x放大倍率下的图像。另一方面，对于.SVS格式的图像，金字塔级数和每一级处的放大倍率并不一致。呈.SVS格式的图像金字塔的第二级可以存储任何放大倍率或分辨率下的图像。这种在构建图像金字塔时的不一致使得难以识别相同放大倍率或分辨率的图像以用于图像配准(例如，每个金字塔的第2级不一定总是10x放大倍率)。因此，可以确定与源图像和目标图像中的每一者相关联的图像金字塔之间的对应放大倍率或分辨率级别。

为了确定与源图像和目标图像中的每一者相关联的图像金字塔之间的对应放大倍率或分辨率级别，可以分析与源相关联的图像金字塔以确定图像金字塔的每个级别处的放大倍率或分辨率，并且可以分析与目标相关联的图像金字塔以确定图像金字塔的每个级别处的放大倍率或分辨率。然后可以将源图像的图像金字塔的每个级别处的确定的放大倍率或分辨率与目标图像的图像金字塔的每个级别处的确定的放大倍率或分辨率进行比较。基于该比较，识别与源图像和目标图像中的每一者相关联的图像金字塔之间的对应放大倍率或分辨率级别。例如，如果源图像的图像金字塔的第三级别处的确定的放大倍率或分辨率为15x，并且目标图像的图像金字塔的第二级别处的确定的放大倍率或分辨率为15x，则基于放大倍率级别之间的比较和匹配，待使用的对应放大倍率级别可以被识别为15x。在其他情况下，基于比较以及阈值放大倍率或分辨率级别，识别与源图像和目标图像中的每一者相关联的图像金字塔之间的对应放大倍率或分辨率级别。例如，低放大倍率或分辨率图像可以用于图像配准，因此可以在最大放大倍率或分辨率级别(例如，10x放大倍率)下对要在对齐过程中使用的图像对进行阈值化。因此，如果源图像的图像金字塔的第二级别处的确定的放大倍率或分辨率为10x，并且目标图像的图像金字塔的第三级别处的确定的放大倍率或分辨率为10x，则基于放大倍率或分辨率级别与10x放大倍率或分辨率阈值之间的比较和匹配，待使用的对应放大倍率或分辨率级别可以被识别为10x。

一旦确定了源图像和目标图像的对应放大倍率或分辨率级别，就可以在对应放大倍率或分辨率级别下针对源图像和目标图像确定特征图像。作为线、表面和主体的基础的点特征(围绕控制点或兴趣点提取的特征)可以用于图像配准。为了获得点特征的空间变换，已经开发了许多点集匹配算法(PM)，以通过优化各种距离函数来匹配两个点集。然而，当源图像和目标图像来自两种不同类型的扫描测定(例如，IHC和H&E)或两个图像均为IHC染色测定但含有不同的染色剂(例如，PD-L1 SP142、PD-L1SP263)时，图像之间的匹配点可能无法从特定于组织和/或细胞的染色的特征(诸如具有相关的或形成对比的像素强度的点、边缘或对象)中获得。不同的染色测定(例如，HE和IHC)产生不同的颜色，该颜色可能导致图像具有特定于组织和/或细胞的染色的不同特征(例如，在一个染色测定中，细胞核可能为蓝色的，而在另一个染色测定中，相同的细胞核可能是几乎透明的)。因此，特定于组织和/或细胞的染色的特征的像素值可能无法用于提取用于对齐点特征和图像的控制点。

相反，在从不同染色测定、不同染色或不同扫描设备获得的图像之间，在对应放大倍率或分辨率级别下的组织和/或细胞的部分的总体形状可以为基本恒定的。因此，几何特征(诸如组织和/或细胞的部分的总体形状)可以用于识别用于提取特征和对齐图像的控制点。本公开的方面利用特征图像以获得图像之间的匹配点。特征图像基本上为在对应放大倍率或分辨率级别下的源图像和目标图像，其被修改以突出或强调几何特征(诸如组织和/或细胞的部分的总体形状)。在一些情况下，针对相同类型的染色测定和染色剂的源图像和目标图像而生成的特征图像可以为源图像和目标图像的灰度版本，该灰度版本强调图像内的组织和/或细胞的部分的几何特征(诸如轮廓或边界)。灰度为从黑色至白色的一系列单色阴影。因此，灰度图像仅含有灰色和没有颜色的阴影，在一些情况下，这会从颜色通道中滤出噪声，该噪声可能使得难以辨别图像内的几何特征。在其他情况下，针对不同类型的染色测定或染色剂的源图像和目标图像而生成的特征图像或从不同图像扫描仪生成的特征图像可以为二元掩模，该二元掩模强调图像内的组织和/或细胞的几何特征(诸如轮廓或边界)。二元掩模为含有像素值0和1的二进制光栅，例如，0被分配给被识别为背景的像素，并且1被分配给被识别为组织和/或细胞的像素。二元掩模可以提供图像背景与组织切片的边界之间的对比，在一些情况下，这会滤出噪声，该噪声可能使得难以辨别图像内几何特征。在一些实施方式中，用户可以选择待用于图像配准的特征图像的类型(例如，灰度或二元掩模)。在其他实施方式中，特征图像的类型可以例如由执行图像配准算法的计算机来自动地确定。

如本文所讨论的，使用灰度图像或二元掩模以用于寻找源图像与目标图像之间的匹配点背后的想法是，当特定于组织和/或细胞的染色的特征不适用于寻找匹配点时，可以利用组织和/或细胞的几何特征以用于对齐。由于源图像和目标图像为同一组织样品的连续薄切片，组织和/或细胞的几何特征可以在图像之间保持基本恒定；因此，组织的灰度图像或二元掩模可以携带连续图像的组织和/或细胞的几何特征(例如，边界)信息。因此，特征图像可以利用组织切片的整个组织切片(例如，特征图像＝灰度图像)或仅利用组织切片的几何特征(例如，特征图像＝二元掩模)，以用于对齐源图像和目标图像。在不脱离本公开的范围的情况下，可以使用其他类型的特征图像，例如但不限于边缘特征图像、熵特征图像等。

在一些情况下，通过将彩色图像转换为黑白或灰度来生成具有对应放大倍率或分辨率级别的图像对(即源图像和目标图像)的每个图像的特征图。该过程移除所有颜色信息，仅留下每个像素的亮度。由于数字彩色图像使用红色、绿色和蓝色(RGB)颜色的组合来显示，因此每个像素均具有三个单独的亮度值。因此，当从图像中移除颜色时，这三个值将合并为一个值。存在若干方法以做到这一点。在一些情况下，将每个像素的所有亮度值平均化。在其他情况下，仅保留来自红色、绿色或蓝色通道的亮度值。在又一些情况下，可以使用灰度转换算法，该灰度转换算法允许转换来自颜色通道的亮度值以生成黑白图像。

在一些情况下，通过图像分割和掩模生成来生成具有对应放大倍率或分辨率级别的图像对(即源图像和目标图像)的每个图像的特征图。图像分割识别图像的非目标区域和目标区域，例如，区分背景与组织。图像分割的一种技术可以为图像阈值化，其从单频段或多频段图像生成二进制图像。图像阈值化包括选择一个或多个阈值级别，该一个或多个阈值级别区分背景中的像素与组织中的像素；以及将高于/低于给定阈值图的所有像素值分配给零(例如，黑色)，并且将高于/低于给定阈值图的所有像素值分配给一(例如，白色)。该一个或多个阈值可以使用若干方法来选择，该方法包括最大熵法、平衡直方图阈值化、Otsu方法(最大方差)、k-均值聚类或它们的组合。可以用于图像分割的其他技术包括聚类技术(例如，K均值算法为迭代技术，其用于将图像划分为K个簇)、基于直方图的技术(例如，直方图根据图像中的所有像素来进行计算，并且直方图中的峰和谷用于定位图像中的簇)、边缘检测技术、区域生长技术、基于偏微分方程(PDE)的技术等。图像分割针对每个对象(例如，图像中的组织和/或细胞)创建逐像素掩模，该逐像素掩模提供对图像中对象的几何特征(例如，边界)信息的更细化的理解。

一旦生成了特征图像，就使用特征检测器和描述器来在特征图像内检测特征。待在图像中检测的最低级别特征中的一些最低级别特征为一些可区分的点(诸如拐角、边缘点或直线点)的具体位置。这些可区分的点称为控制点或兴趣点。如本文所用，“控制点”或“兴趣点”为一组点的成员，其特征在于数学上有充分根据的定义，该定义可以用于确定几何特征，诸如图像内的对象的形状或轮廓。控制点(例如，出现在两个或更多个图像边缘的交叉点处的拐角)具有特定特征，该特征包括：图像空间中明确定义的位置，它们在信息内容方面是丰富的(例如，围绕图像的局部图像结构在局部信息内容(例如，显著的2D纹理)方面是丰富的，并且它们对图像域中的局部和全局变化也是稳定的(例如，在图像域中的局部和全局扰动(诸如照明/亮度变化)下是稳定的，使得可以以高度可重复性来可靠地计算兴趣点)。控制点可以用作图像序列的几何特征(例如，边界)的良好指标，并且可以在连续图像(诸如源图像和目标图像)之间进行匹配。图像中的大量检测到的控制点增加了连续图像之间的匹配点的可能性以及图像的成功配准(对齐)的可能性。

控制点通常以拐角、斑点、边缘点、接头、直线点、曲线点等形式被检测到。检测到的控制点随后基于其相邻像素所具有的独特模式以逻辑上不同的方式进行描述.该过程称为特征描述，因为它描述了每个控制点从而为其分配不同的身份，该身份能够实现有效的识别以用于匹配。一些特征检测器可以使用指定的特征描述算法，而其他特征检测器则单独存在。然而，各个特征检测器可以与若干类型的相关特征描述符配对。尺度不变特征变换(SIFT)、加速稳健特征(SURF)、来自加速分段测试的特征(FAST)、KAZE、加速KAZE(AKAZE)、方向FAST和旋转BRIEF(ORB)以及针对K空间的块区域插值方案(BRISK)属于基本的尺度、旋转和仿射不变特征检测器，每个特征检测器均具有指定的特征描述符并且具有其自己的优点和限制。

在特征检测和描述之后，基于检测到的和所述的控制点来在源图像与目标图像之间执行特征匹配。特征匹配在源图像上的控制点与目标图像上的控制点之间建立一对一的对应关系(即匹配)。为了找到控制点之间的一对一的对应关系，提取来自每个控制点的邻域的特征，以表征每个邻域的局部外观。特征提取背后的基本想法为表征每个控制点的邻域的局部外观。然后将从每个控制点的邻域中提取的特征彼此比较，以识别源图像与目标图像之间最近的匹配(例如，局内)控制点。多种标准特征计算方法(例如，方向梯度直方图(HOG)、SURF、SIFT等)可以用于特征提取，并且可以采用不同的匹配策略以用于匹配特征，诸如基于阈值的匹配、最近邻、最近邻距离比等。例如，在生成组织和/或细胞的二元掩模作为特征图像的情况下，由于可用信息仅限于几何特征(例如，组织的形状)，因此可以使用HOG技术作为特征提取器，以捕获每个控制点周围的局部梯度或边缘方向的分布。然后可以经由基于阈值的匹配、最近邻、最近邻距离比等，将每个控制点的局部梯度或边缘方向的分布彼此比较，以识别匹配控制点。此外，由于通过不同的计算方法或技术(例如，HOG与SURF)提取的特征针对每个控制点提供了不同的局部信息，因此特征匹配可以作为组合方法来实现，以识别源图像与目标图像之间的匹配控制点。例如，HOG计算方法可以用于提取每个控制点周围的局部梯度或边缘方向的分布，然后该分布可以用于识别匹配控制点，并且一种或多种额外的方法(例如，SURF、SIFT等)可以用于提取每个控制点周围的其他特征(例如，基于字符串的描述符或汉明距离)，该特征可以用于确认匹配控制点和/或识别额外的匹配控制点。

在识别出匹配控制点(即目标和源上的局内控制点)之后，可以针对源图像和目标图像确定匹配控制点的坐标。可以使用控制点的坐标来计算源图像上的匹配控制点与目标图像上的控制点之间的变换矩阵。然而，在特征匹配中无法完全避免匹配控制点的不准确(或局外值)，并且可能导致不正确的变换矩阵的生成。随机抽样一致性(RANSAC)、M估计样品一致性(MSAC)和渐进样品一致性(PROSAC)为一些概率性方法或技术，该方法或技术可以用于从匹配的特征中移除局外值并且拟合变换函数(在变换矩阵方面)。例如，可以使用RANSAC方法以滤出局外匹配，并且使用局内匹配以拟合变换函数并计算变换矩阵。

变换矩阵可以为相似性变换矩阵。相似性变换矩阵可以使用平移、旋转和缩放来提供源图像与目标图像之间的配准(对齐)。源与目标之间的最小三对控制点可以用于计算变换矩阵。当额外的控制点对可用时，可以使用多于三对控制点。更大数量的控制点对可以增加对齐的准确性。此外，可以评估各种度量以确定控制点的质量，并且仅超过指定质量阈值的控制点可以用于计算变换矩阵。

阈值可以凭经验设定，并且可能有助于配准误差的公差(例如，可接受的错位的量)。RANSAC方法可以用于在计算变换矩阵的同时移除低质量匹配。因此，可以保留提供两个图像之间最准确对齐的变换，而低质量匹配可能作为最终变换的局外值出现。

可以将变换矩阵应用于源图像上的注释，以将注释转移至目标图像。图2示出从H&E源图像自动地转移至PD-L1(SP142)目标图像的数字病理学注释的示例。可以用PD-L1(SP142)图像作为源图像来重复该过程，以将注释转移至作为目标图像的PD-L1(SP263)图像。

本公开的一些方面可以实现源图像的选定区域内的数字病理学注释的识别以及将该数字病理学注释转移至目标图像。在一些情况下，可以在具有低放大倍率或分辨率的图像金字塔中的图像上识别目标区域。图3示出根据本公开的各个方面的在低放大倍率或分辨率下的在组织样品300的图像上的数字病理学注释的区域。如图3所示，矩形305可以定义含有数字病理学注释的目标区域。这些区域可以被识别为需要以更高放大倍率或分辨率进行图像分析的区域。为了以更高放大倍率或分辨率在组织样品的之前或之后图像上执行图像分析，已识别的区域(例如，区域310)可以位于在低放大倍率或分辨率下的之前或之后的图像上并且转移至该图像。可以使用本文所述的用于转移数字病理学注释的类似过程，将已识别的区域从源图像转移至目标图像。

当选定区域以低放大倍率或分辨率来进行转移时，源区域与目标区域之间的错位可以忽略不计。然而，可能会发生选定区域内数字病理学注释的错位，该错位在更高放大倍率或分辨率下可能为可辨别的或可见的。图4示出根据本公开的各个方面的在高放大倍率或分辨率下数字病理学注释的已转移区域的错位。如图4所示，当以低放大倍率或分辨率转移至目标图像时，含有来自源图像的注释的选定区域410可能错位，如区域420所示。因此，当以更高放大倍率或分辨率来进行渲染时，数字病理学注释(例如，区域410内的指定注释)可能在目标图像(例如，区域420)上错位并且为可见的。

本公开的一些方面可以实现已转移区域的对齐。参考图4，在更高放大倍率或分辨率下，可以在源图像和目标图像的选定区域内识别特征，以在矩形中的每个矩形内建立控制点。类似于本文所述的用于转移数字病理学注释的过程，可以识别选定区域之间的匹配控制点对。可以计算匹配控制点之间的变换。然后可以将变换应用于已转移区域内的注释，以将目标图像上的已转移区域与源图像的区域对齐。图5示出根据本公开的各个方面的在高放大倍率下的图4的数字病理学注释的经对齐的已转移区域。

图6为示出根据本公开的一些方面的用于在图像之间转移数字病理学注释的方法600的示例的流程图。参考图6，在框610处，针对组织样品的切片的第一图像(例如，源图像)的几何特征来检测第一组控制点。在一些情况下，在与第一图像相关联的第一特征图像内检测第一组控制点。

第一特征图像可以从与第一图像相关联的图像金字塔内的图像生成(例如，组织切片的图像的二元掩模或灰度表示)。第一图像包括由用户手动应用于第一图像内描绘的一个或多个生物结构的数字病理学注释。在一些情况下，图像金字塔内的图像基于在源组织切片图像与目标组织切片图像之间确定的对应放大倍率或分辨率级别来进行选择，如本文中详细描述的。第一特征图像提供图像背景与组织切片的几何特征(例如，轮廓)之间的对比。特征图像的类型(例如，灰度或二元掩模)可以由用户针对第一特征图像来进行选择，或例如由计算机系统针对第一特征图像来自动地选择。控制点可以包括组织样品的几何特征的不同方面，例如，拐角或其他尖的部分。在从源图像生成的特征图像上检测到的第一组控制点可以为用于在从目标图像生成的特征图像上定位对应的第二组控制点的候选。可以利用用于检测控制点的多种标准方法，例如BRISK、SURF、FAST等。

在框620处，针对组织样品的之前或之后的切片的第二图像(例如，目标图像)的几何特征来检测第二组控制点。在一些情况下，在与第二图像相关联的第二特征图像内检测第二组控制点。第二特征图像可以从与第二图像相关联的图像金字塔内的图像生成(例如，组织切片的图像的二元掩模或灰度表示)。第二图像不包括由用户手动应用于目标图像内描绘的一个或多个生物结构的数字病理学注释。在一些情况下，图像金字塔内的图像基于在源组织切片图像与目标组织切片图像之间确定的对应放大倍率或分辨率级别来进行选择，如本文中详细描述的。第二图像内的第二组控制点可以以与第一图像内的第一组控制点相同的方式来进行确定。

在框630处，确定匹配控制点。为了确定匹配控制点，提取来自第一组控制点和第二组控制点内的每个控制点的邻域中的特征，以表征每个邻域的局部外观。然后将从每个控制点的邻域中提取的特征彼此比较，以识别源图像与目标图像之间最近的匹配(例如，局内)控制点。多种标准特征计算方法(例如，HOG、SURF、SIFT等)可以用于特征提取，并且可以采用不同的匹配策略以用于匹配特征，诸如基于阈值的匹配、最近邻、最近邻距离比等。

在框640处，可以确定匹配控制点的坐标。可以确定来自第一组控制点的匹配控制点相对于第一图像的坐标。可以确定来自第二组控制点的匹配控制点相对于第二图像的坐标。

在框650处，使用匹配控制点的坐标来生成第一图像内的匹配控制点与第二图像内的匹配控制点之间的变换矩阵。在使用平移、旋转和缩放的拟合变换函数方面，变换矩阵提供第二图像相对于第一图像的透视变换。匹配控制点的不准确可能导致不正确的变换矩阵的生成。因此，在一些情况下，可以利用概率性方法或技术(例如，RANSAC)以滤出局外匹配，并且使用局内匹配以在拟合变换函数方面计算变换矩阵。在一些情况下，然后可以基于导出的变换函数来执行图像重建，以将第一图像与第二图像对齐。然后将第二图像的重建版本叠加在第一图像的前面，直到所有匹配的特征点均重叠。该较小图像的大合并版本称为马赛克或拼接图像。

在框660处，将变换矩阵应用于第一图像内的数字病理学注释，以基于导出的变换函数将注释转移至第二图像。注释可以为第一图像上的一组x、y点。变换矩阵可以为方阵，例如3x3矩阵或另一大小的方阵。可以将变换矩阵应用于第一图像上的每个注释点，以获得第二(目标)图像的变换注释。

在框670处，可以在第二图像上执行图像分析。转移至第二图像的数字病理学注释可以识别第二图像的需要图像分析的部分，例如以确定异常状况(诸如肿瘤区域、坏死区域等)。可以以更高放大倍率或分辨率执行第二图像的图像分析，以更准确地评估组织和/或细胞。

应当理解，图6中所示的具体步骤提供了根据本发明的实施例的用于在图像之间转移数字病理学注释的特定方法。根据替代实施例，也可以执行其他顺序的步骤。例如，本发明的替代实施例可以以不同的顺序执行上文概述的步骤。此外，图6中所示的各个步骤可以包括多个子步骤，该多个子步骤可以以适合于各个步骤的各种顺序执行。此外，可以取决于特定应用来添加或移除额外的步骤。本领域普通技术人员将认识到许多变化、修改和替代。

图7为示出根据本公开的一些方面的用于在图像之间转移选定区域的数字病理学注释的方法700的示例的流程图。图7的方法700可以在完成图6的方法600之后执行。参考图7，在框710处，可以在低放大倍率下的第一图像上选择含有数字病理学注释的区域。第一(例如，源)图像上的选定区域可以由指定形状(例如，矩形或其他形状)定义。选定区域可能含有大量待转移至第二(例如，目标)图像的数字病理学注释。

在框715处，可以将变换应用于选定区域，以将选定区域转移至第二图像。用于将选定区域从第一(例如，源)图像转移至第二(例如，目标)图像的变换可以如关于图6的方法600所述的那样进行计算和应用。

在框720处，可以放大第一(例如，源)和第二(目标)图像。可以选择更高放大倍率(例如，最高的可用放大倍率)，以获得源图像的选定区域的第三图像和包括目标图像的选定区域的第四图像。第三图像和第四图像可以放大选定区域以提供选定区域内组织样品的细节(例如，组织样品的结构、注释的类型和位置等)。

在框725处，可以在第三图像的选定区域内识别第三组点。第三组点可以为控制点。控制点可以包括选定区域内组织样品的不同方面。例如，可以基于组织样品、具体细胞等中的异常来识别控制点。在一些实施方式中，第三图像和第四图像的选定区域内的特征可以转换为灰度表示，以提供与每个图像的背景的对比。在一些实施方式中，可以将二元掩模应用于第三图像和第四图像的选定区域内的特征，以提供与每个图像的背景的对比。第三组点可以基于每个图像的背景与特征的灰度表示或二元掩模之间的对比来识别具体特征。可以利用用于检测控制点的多种标准方法(例如，针对K空间的块区域插值方案(BRISK)、加速稳健特征(SURF)、来自加速分段测试的特征(FAST)等)。

在框730处，可以在第四图像的选定区域内识别第四组点。第四组点可以为控制点。可以以与源图像上的第三组点相同的方式来识别目标图像上的第四组点。

在框735处，可以识别匹配控制点。为了找到源图像与目标图像之间的对应控制点，可以提取来自每个控制点的邻域的特征，以表征每个控制点的每个邻域的局部外观。可以使用多种标准特征计算方法，例如方向梯度直方图(HOG)、SURF、尺度不变特征变换(SIFT)等。

在框740处，可以确定匹配控制点的坐标。可以确定来自第三组点的匹配控制点相对于第三图像的坐标。可以确定来自第四组点的匹配控制点相对于第四图像的坐标。

在框745处，可以确定第三组匹配控制点与第四组匹配控制点之间的变换。可以计算源图像上的局内控制点与目标图像上的局内控制点之间的变换矩阵。匹配控制点的不准确可能导致不正确的变换矩阵的生成。可以利用随机抽样一致性(RANSAC)方法以计算变换矩阵。RANSAC方法可以滤出局外匹配，并且使用局内匹配以计算变换矩阵。变换矩阵可以为相似性变换矩阵。相似性变换矩阵可以使用平移、旋转和缩放来提供源图像与目标图像之间的配准(对齐)。

在框750处，可以将变换应用于来自第三图像的选定区域的注释，以将注释转移至第四图像的选定区域。可以将变换矩阵应用于源图像上的注释，以将注释转移至目标图像。仅选定区域中的注释，而不是整个图像，可以被变换。

在框755处，可以在第四图像上执行图像分析。转移至第四图像的数字病理学注释可以识别第四图像的需要图像分析的部分，例如以确定异常状况(诸如肿瘤区域、坏死区域等)。可以以更高放大倍率或分辨率执行第四图像的图像分析，以更准确地评估组织和/或细胞。

应当理解，图7中所示的具体步骤提供了根据本发明的实施例的用于在图像之间转移选定区域的数字病理学注释的特定方法。根据替代实施例，也可以执行其他顺序的步骤。例如，本发明的替代实施例可以以不同的顺序执行上文概述的步骤。此外，图7中所示的各个步骤可以包括多个子步骤，该多个子步骤可以以适合于各个步骤的各种顺序执行。此外，可以取决于特定应用来添加或移除额外的步骤。本领域普通技术人员将认识到许多变化、修改和替代。

方法600和700分别可以体现在非暂时性计算机可读介质(例如但不限于存储器或本领域技术人员已知的其他非暂时性计算机可读介质)上，其中存储有包括计算机可执行指令的程序，该计算机可执行指令用于使处理器、计算机或其他可编程设备执行该方法的操作。

IV.自动图像配准的示例性系统

图8为具有适用于在一些示例性实施方式中使用的示例性计算设备的示例性计算环境(例如，执行方法600和700)的框图。计算环境800中的计算设备805可以包括一个或多个处理单元、核心或处理器810、存储器815(例如，RAM、ROM等)、内部存储器820(例如，磁性、光学、固态存储和/或有机)和/或I/O接口825，它们中的任一者均可以耦接在通信机制或总线830上以用于传达信息，或嵌入计算设备805中。

计算设备805可以通信地耦接至输入/用户界面835和输出设备/接口840。输入/用户界面835和输出设备/接口840中的一者或两者可以为有线或无线接口并且可以为可拆卸的。输入/用户界面835可以包括可用于提供输入的任何物理的或虚拟的设备、部件、传感器或接口(例如，按钮、触摸屏界面、键盘、指向/光标控制、麦克风、相机、盲文、运动传感器、光学读取器等)。输出设备/接口840可以包括显示器、电视、监视器、打印机、扬声器、盲文等。在一些示例性实施方式中，输入/用户界面835和输出设备/接口840可以嵌入或物理耦接至计算设备805。在其他示例性实施方式中，其他计算设备可以充当或提供用于计算设备805的输入/用户界面835和输出设备/接口840的功能。

计算设备805可以通信地耦接(例如，经由I/O接口825)至外部存储设备845和网络850，以用于与任意数量的联网部件、设备和系统(包括相同或不同配置的一个或多个计算设备)通信。计算设备805或任何连接的计算设备可以充当以下项、提供以下项的服务或称为以下项：服务器、客户端、瘦服务器、通用机器、专用机器或另一个标签。

I/O接口825可以包括但不限于使用任何通信或I/O协议或标准(例如，以太网、802.11x、通用系统总线、WiMax、调制解调器、蜂窝网络协议等)以用于向/或从计算环境800中的至少所有连接的部件、设备和网络传达信息的有线和/或无线接口。网络850可以为任何网络或网络的组合(例如，互联网、局域网、广域网、电话网络、蜂窝网络、卫星网络等)。

计算设备805可以使用计算机可用或计算机可读介质(包括暂时性介质和非暂时性介质)来进行使用和/或通信。暂时性介质包括传输介质(例如，金属电缆、光纤)、信号、载波等。非暂时性介质包括磁性介质(例如，磁盘和磁带)、光学介质(例如，CD ROM、数字视频光盘、蓝光光盘)、固态介质(例如，RAM、ROM、闪存、固态存储)和其他非易失性存储或存储器。

计算设备805可以用于在一些示例性计算环境中实施技术、方法、应用、过程或计算机可执行指令。计算机可执行指令可以从暂时性介质中检索，并且存储在非暂时性介质上并从该非暂时性介质中检索。可执行指令可以源自任何编程、脚本和机器语言(例如，C、C++、C#、Java、Visual Basic、Python、Perl、JavaScript以及其他)中的一者或多者。

处理器810可以在本机或虚拟环境中的任何操作系统(OS)(未示出)下执行。可以部署一个或多个应用，其包括逻辑单元860、应用编程接口(API)单元865、输入单元870、输出单元875、边界映射单元880、控制点确定单元885、变换计算和应用单元890；以及单元间通信机制895，以用于不同单元彼此通信、与OS通信以及与其他应用(未示出)通信。例如，边界映射单元880、控制点确定单元885以及变换计算和应用单元890可以实施图6和图7所述和/或所示的一个或多个过程。所述的单元和元件可以在设计、功能、配置或实施方式方面有所不同，并且不限于所提供的描述。

在一些示例性实施方式中，当由API单元865接收到信息或执行指令时，它可以被传送至一个或多个其他单元(例如，逻辑单元860、输入单元870、输出单元875、边界映射单元880、控制点确定单元885以及变换计算和应用单元890)。例如，在输入单元870已经检测到用户输入之后，可以使用API单元865将用户输入传送至边界映射单元880，以将组织切片图像转换为灰度或者将二元掩模应用于组织切片图像。边界映射单元880可以经由API单元865与控制点确定单元885交互，以检测组织切片边界上的控制点。使用API单元865，控制点确定单元885可以与变换计算和应用单元890交互以计算变换并且将变换应用于组织切片图像的数字病理学注释，以将数字病理学注释转移至下一个连续组织样品图像。

在一些情况下，逻辑单元860可以被配置为控制单元之间的信息流并且指导由上述一些示例性实施方式中的API单元865、输入单元870、输出单元875、边界映射单元880、控制点确定单元885以及变换计算和应用单元890提供的服务。例如，一个或多个过程或实施方式的流程可以由逻辑单元860单独控制或与API单元865结合来控制。

V.其他注意事项

本公开的一些实施例包括一种系统，该系统包括一个或多个数据处理器。在一些实施例中，该系统包括含有指令的非暂时性计算机可读存储介质，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。

已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施例和任选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。

随后的描述仅提供优选的示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，优选示例性实施例的随后描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。

在以下描述中给出具体细节以提供对实施方案的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他组件可以以框图形式显示为部件，以免在不必要的细节中混淆实施例。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免混淆实施例。