掌桥专利:专业的专利平台
掌桥专利
首页

用于数字病理学的灵敏度分析

文献发布时间:2023-06-19 09:33:52


用于数字病理学的灵敏度分析

技术领域

本发明涉及一种用于处理数字病理学图像数据以生成病理学评分数据和病理学评分数据的灵敏度分析的装置,以及相关联的方法、数字病理学系统、计算机程序单元和计算机可读介质。

背景技术

在病理学的领域中,持续的趋势是数字病理学图像的分析的方面的自动化。数字图像处理技术非常适合于以标准化方式分析大量的输入图像。然而,这样的方法高度取决于被用于获得病理学图像的样本的初始准备中的变化(诸如当例如准备、存储和检查组织病理学幻灯片时呈现的确切技术和条件)。

此处,对灵敏度分析进行参考,其中,可以例如在关于灵敏度分析的文章

在计算机视觉大津方法中,参见例如,

US2013/0030305A1描述了一种用于确定肝中的纤维化的分期的方法。方法包括以下步骤:获得与肝有关的输入数据,输入数据使用基于二次谐波生成的成像系统来生成;从与肝有关的输入数据识别肝的多个形态特征;基于所识别的多个形态特征来生成多个测量结果;并且基于所生成的多个测量结果来确定肝中的纤维化的分期。

WO2016/138041A2描述了用于评价样本中的细胞的状态的方法、系统和设备,涉及细胞的成像、将细胞图像变换为生物物理学度量,以及将生物物理学度量变换为细胞和受检者水平上的预后指示。还描述了自动化装置、过程和分析。

Macenko等人的公开“A Method for Normalizing Histology Slides forQuantitative Analysis”(在ISBI 2009会刊、第1107至1110页、IEEE 2009、978-1-4244-3932-4/09中公开)讨论了旨在克服组织病理学染色过程中的已知不一致性的数字处理技术。

然而,可以进一步改进这样的技术。

发明内容

因此,需要改进数字病理学成像方法。

本发明的目标由随附的独立权利要求的主题解决,其中,其他实施例被包含在从属权利要求中。

根据第一方面,提供了一种用于数字处理数字病理学图像数据以生成病理学评分数据和所述病理学评分数据的灵敏度分析的装置。所述装置包括:

-输入单元;以及

-处理单元。

所述输入单元被配置为获得数字病理学图像数据,包括病理学样本的图像。

所述处理单元被配置为将所述数字病理学图像数据中的对象分类为多个候选对象,根据一个或多个检测阈值和/或检测概率将第一病理状态分配给所述多个候选对象中的至少一个候选对象,基于已经分配所述第一病理状态的多个候选对象中的候选对象来获得所述病理学样本的初始病理学评分数据,根据扰动函数扰动所述一个或多个检测阈值和/或所述检测概率以生成扰动检测阈值和/或扰动检测概率,根据所述一个或多个扰动检测阈值和/或扰动检测概率将所述第一病理状态重新分配给所述多个候选对象中的至少一个候选对象,根据所述一个或多个扰动检测阈值和/或所述扰动检测概率基于已经重新分配所述第一病理状态的候选对象来获得所述病理学样本的更新的病理学评分数据,并且将所述初始病理学评分数据与所述更新的病理学评分数据相比较以获得所述病理学评分数据的灵敏度。

因此,将关于病理学评分数据的灵敏度的反馈生成并且提供到使用在已经用于产生所述评分的分析中的一个或多个阈值中的现实变化是可能的。所述阈值可以例如与数字病理学图像中的对象的像素或区域分类的概率有关。可选地或者组合,所述阈值可以与表示病理学样本中的生物标记的表达的强度和/或波长有关。

换句话说,以及自动地生成使得条件的诊断能够根据数字病理学图像执行的病理学评分,医学专家可以被提供有所述病理学评分对于所述分析中的次要改变多么敏感的评估。这可以当输出病理学评分在边界值处或附近时是特别重要的,其中,稍微高于或稍微低于所述边界值的病理学评分可能导致备选治疗选择。医学专家可以在决策制定和报告中使用关于所述病理学技术的灵敏度,并且可选地可以执行指示的有问题区域的手动检查。因此,使所述病理学过程更快速并且更可靠。

可选地,所述一个或多个检测阈值和/或检测概率表征当确定所述数字病理学图像数据中的候选对象的存在时的自动形态特征检测中的变化。

因此,可以测试当检测诸如细胞、细胞核、或膜的特征时的病理评分方法的灵敏度。诸如“形态学闭”的形态学特征检测算法可以具有改变其有效性的若干输入参数。通过使用初始输入参数和随机扰动输入参量生成所述形态学特征检测的若干版本,可以考虑所述病理学评分算法对于当利用特定数字病理学图像考虑时的形态学特征检测算法的灵敏度。

可选地,其中,所述一个或多个检测阈值表征将所述数字病理学图像数据中的对象自动分类为所述多个候选对象的概率。

可选地,所述检测阈值和/或所述检测概率表征从病理学样本发射并且在所述数字病理学图像数据中表示的光的强度水平和/或波长范围。

通常,病理学样本利用当所述生物标记与材料目标接触时使样本着第一颜色和当所述生物标记不与材料目标时使样本着第二颜色(或不着色)的生物标记处理。这样的着色可以例如使用光显微镜和/或荧光显微镜(在荧光标记生物标记的情况下)观察。所述生物标记应用协议、样本准备、存储和/或观看的改变全部导致病理学评分的提供中的灵敏度。因此,在该可选的实施例中,评估从病理学样本发射的光的强度水平和/或波长范围的改变对与该样本有关的最后病理学评分的影响是可能的。

可选地,从所述病理学样本发射并且在所述数字病理学图像数据中表示的强度水平和/或波长范围指示生物标记的表达的相对水平。

可选地,所述处理单元还被配置为获得形成所述数字病理学图像数据的病理学评分的灵敏度函数的多个扰动检测阈值和/或扰动检测概率,并且计算提供所述病理学评分的改变所需要的相对检测阈值改变。

因此,基于多个扰动检测阈值生成灵敏度函数使得灵敏度函数的改变的速率能够评估为所述检测阈值和/或概率而不是离散阈值化点处中的一个或多个的改变的速率。从此,可以提供不大可能导致例如所述病理学评分中的不可预测的改变的针对特定样本类型和其他分析设置的最佳阈值。

可选地,所述处理单元还被配置为通过计算在扰动之前和/或之后已经分配所述第一病理状态的数字病理学数据的感兴趣场中的候选对象的数目,或者通过计算在扰动之前和/或之后已经分配所述第一病理状态的数字病理学数据的感兴趣场中的候选对象的数目的百分比评分,获得所述初始病理学评分数据和/或所述更新病理学评分数据。

可选地,所述处理单元还被配置为:将第二病理状态分配给示出第一感兴趣生物标记的阳性表达的至少一个候选对象,将第三病理状态分配给示出所述第一感兴趣生物标记的阴性表达的至少一个候选对象,通过使用所述第二和第三病理状态中的数字病理学数据的感兴趣场中的候选对象执行计算来获得所述初始病理学评分数据,扰动用于将所述第二和第三病理状态分配给所述候选对象并且在扰动之后将所述第二和第三病理状态重新分配给所述候选对象的检测阈值,并且通过在扰动之后使用所述第二和第三病理状态中的候选对象执行计算来获得更新的病理学评分数据。

涉及阴性和阳性标记表达的测量结果的组织病理学协议执行复杂,并且因此所述数字病理学图像的样本准备和数字图像处理中的可变测量阈值的影响可能导致这样的复杂协议的结果的更准确的评估。

可选地,所述装置还包括:

-输出单元。

所述输出单元被配置为可选地组合所述初始和/或更新的病理学评分数据输出所述病理学评分数据对用户的灵敏度和/或输出所述病理学评分相对于临床阈值的灵敏度。

因此,所述医学专家迅速地并且方便地提供有病理参数对内部测试变化的灵敏度的评估。迄今,阈值变化对病理测试的影响已经难以察觉。

可选地,所述处理单元还被配置为将所述数字病理学图像数据空间子采样到多个扇区中,并且获得针对每个扇区的初始病理学评分数据和更新的病理学评分,使用针对所述每个扇区的初始病理学评分数据和更新的病理学评分生成所述数字病理学图像数据的空间灵敏度掩模。所述输出单元被配置为将所述空间灵敏度掩模显示给用户,可选地作为叠加在所述数字病理学图像数据上的空间对准中的半透明交叠。

因此,当可以提供根据数字病理学图像生成病理学评分数据时,病理学分析管线对阈值变化的灵敏度的影响的直观并且用户友好的评估被提供给医学专家。

可选地,所述病理学样本是组织病理学样本或细胞病理学样本。

根据第二方面,提供了一种数字病理学系统。所述数字病理学系统包括:

-数字病理学图像采集设备;以及

-根据第一方面或其实施例之一所述的装置,

其中,所述数字病理学扫描器被配置为接收病理学样本,自动地分析所述病理学样本并且因此获得数字病理学图像数据,以及将所述数字病理学图像数据传递到所述装置。

根据第三方面,提供了一种用于数字处理数字病理学图像数据以生成病理学评分数据和所述病理学评分数据的灵敏度分析的方法。所述方法包括:

a)获得数字病理学图像数据,包括病理学样本的图像;

b)将所述数字病理学图像数据中的对象分类为多个候选对象;

c)根据一个或多个检测阈值和/或检测概率将第一病理状态分配给所述多个候选对象中的至少一个候选对象;

d)基于已经分配所述第一病理状态的多个候选对象中的候选对象来获得所述病理学样本的初始病理学评分数据;

e)根据扰动函数扰动所述一个或多个检测阈值和/或所述检测概率以生成扰动检测阈值和/或扰动检测概率;

f)将所述第一病理状态重新分配给所述多个候选对象中的至少一个候选对象,或根据所述一个或多个扰动检测阈值和/或扰动检测概率将所述第一病理状态重新分配给扰动多个候选对象中的至少一个候选对象;并且

g)根据所述一个或多个扰动检测阈值和/或所述扰动检测概率基于已经重新分配所述第一病理状态的候选对象来获得所述病理学样本的更新的病理学评分数据,并且将所述初始病理学评分数据与所述更新的病理学评分数据相比较以获得所述病理学评分数据的灵敏度。

可选地,所述方法是用于处理数字组织病理学图像数据以生成组织病理学评分数据和所述组织病理学评分数据的灵敏度分析的方法。

可选地,所述方法是用于处理数字细胞病理学图像数据以生成细胞病理学评分数据和所述细胞病理学评分数据的灵敏度分析的方法。

根据第四方面,提供了一种计算机程序单元,包括指令,所述指令当所述程序由计算机或处理单元执行时,使得所述处理器执行第三方面的方法。

根据第五方面,提供了一种已经在其上存储第四方面的计算机程序单元的计算机可读介质。

在以下应用中,术语“数字病理学图像数据”意指使用例如数字光显微镜或数字荧光显微镜获得的病理学幻灯片的数字表示。许多扫描器可以支持10x与40x放大率之间的分辨率。与15mm x 20mm样本的20x扫描相关联的图像文件与3.6GB一样大。所述图像可以使用例如JPEG-2000压缩来压缩到更易管理的大小。所述图像通常伴随有包含扫描参数、扫描计划等的元数据。在数字组织病理学图像中,定义所述部分、块和应变类型的部分的识别符可以包括在所述元数据中。

在以下应用中,术语“病理学”是指通过检查组织、细胞和体液样本对医学状况的诊断。特别地,“组织病理学”是指例如然后粘着到在载玻片上制备的连续切片中的树脂块中的活检组织样本的制备。“细胞病理学”是指自由细胞或组织微片段的检查。

在以下应用中,术语“病理学评分数据”意指病理学(组织病理学、细胞病理学)的检查以提供某些医学状况存在的可能性。病理学评分可以通过检查组织病理学幻灯片并且计算感兴趣对象的数目导出,诸如满足用于某种疾病存在的细胞或细胞核,与不满足所述条件的细胞的数目相反。如此,病理学评分可以被提供为例如数字病理学图像的细胞计数每单位面积或百分比。

在以下应用中,术语“临床阈值”意指病理学评分指示医学状况基于所述数字病理学图像数据中所识别的感兴趣对象的计数来呈现。通常,临床阈值的实现可以被用于决定不同形式的医学治疗。

在以下应用中,术语“灵敏度分析”意指病理学评分如何改变的评估,和/或病理学评分改变的速率,用于确定或生成所述病理学评分的算法中的内部阈值何时改变(或扰动)。这样的内部阈值可能不对数字病理学系统的终端用户可见。另外,在复杂的协议中,可以存在太多内部阈值以致于对那些阈值的改变的复杂性和其对所述数字病理学图像数据处理管线的影响甚至迅速地覆盖有经验的用户。灵敏度分析因此提供所述分析管线中使用的参数的改变(扰动)可以如何影响所述病理学评分的现实评估。

因此,在以下应用中,术语“灵敏度函数”意指所述分析管线中的内部阈值的水平与其对如应用到相同输入数字病理学图像数据的病理学评分的影响之间的关系。

在以下应用中,术语“扰动”意指对所述数字病理学图像分析管线的内部阈值中的一个或多个做出的改变。熟练读者将理解到,数字病理学图像分析管线的内部阈值的数目和类型高度取决于由所述分析管线执行的协议。在简单的情况下,图像分析管线可以接收利用常规地在0.1的吸收水平处阈值化的苏木精着色的数字组织病理学图像作为输入。扰动的简单范例将是改变用于将0.095或0.15的水平处的数字组织病理学图像阈值化的阈值。该简单扰动将使得所述输入数字组织病理学图像中的更多或更少的特征存在,并且因此任何后续分类或形态算法将检测更大或更小数目的细胞,例如,这导致最终病理学评分的改变。

当然,复杂的分析管线可能具有10或100个单独阈值或能够变化的决策概率,这导致高度确定尺寸的可能扰动空间。提供所述扰动的一种方法是改变许多给定不确定性范围上的一个决策阈值或决策概率和记录对所述病理学评分的影响的灵敏度分析方法。该过程可以针对其他阈值或决策能力重复。虽然该技术是简单的,但是其不分析所述全部输入空间,因为其不评估阈值的同时变化。当然,也可以应用其他更复杂的灵敏度分析技术,诸如跨整个扰动空间的回归分析或偏导数分析。

在以下应用中,术语“自动形态学特征检测”意指能够识别数字病理学图像中的候选对象的算法,诸如细胞、细胞核、细胞膜(是否完整或部分)等。诸如形态学开或形态学闭的技术可以被用于执行自动形态学特征检测。当然,这些算法可以具有定义其性能的许多输入参数,并且这些输入参数中的全部或一些可以扰动作为灵敏度分析的一部分。

在以下申请中,本申请的上下文中的术语“生物标记”意指使能特定表达蛋白质或其他生物信号的特定检测(隔离)的病理学(组织病理学、细胞病理学)中检测到的对象或分子。所述对象或分子可以例如借助于将荧光活性蛋白绑定到生物标记目标或者通过利用以所述生物标记为目标的染色将生物标记目标染色来检测。

在以下申请中,术语“数字病理学图像采集设备”(或数字病理学图像扫描器)意指能够提供病理学切片(例如,组织病理学制备切片或备选地细胞病理学样本)的高分辨率和高质量数字图像的专业化和自动化数字光学分析系统。数字病理学图像采集设备可以经由计算机网络连接到PACS系统,例如以使能在计算机网络中的远程计算机上获得的图像的进一步的分析。

因此,本申请的基本思想是提供一种在其中数字病理学图像的自动评估是归因于使用的图像处理算法的内部阈值而不准确的高风险的情况下警报用户的反馈机制。提出表示所述病理学评分相对于分析管线中使用的算法的选择阈值的灵敏度,使得病理学家当建立诊断时可以考虑这一点。

本发明的这些和其他方面将从随后所描述的实施例而显而易见并且得以阐述。

附图说明

将参考以下附图描述本发明的示范性实施例:

图1示出了根据第三方面的方法的示意性图示;

图2a)至d)示意性地示出了算法参数的变化对数字图像分析管线的影响;

图3a)和b)示意性地证明了调节检测阈值对数字病理学图像数据中的检测到的候选对象的影响;

图4示意性地图示了简单数字病理学图像分析管线;

图5示出了作为DAP吸收上的阈值的函数的肿瘤比例评分的范例图;

图6示意性地图示了复杂数字病理学图像分析管线;

图7a)和b)示意性地图示了数字病理学图像数据灵敏度信息的输出显示器的范例;

图8示意性地图示了根据第一方面的装置;并且

图9示意性地图示了根据第二方面的数字病理学系统。

具体实施方式

免疫组织化学染色广泛使用在诸如癌肿瘤中找到的那些的异常细胞的诊断中。特定分子标记是特定细胞事件的特性,诸如增殖或细胞死亡(凋亡)。使抗体抗原相互作用可视化可以以许多方式完成。在最常见的实例中,抗体可以缀合到酶,诸如过氧化物酶,其可以催化显色反应(免疫过氧化物酶染色),备选地,抗体也可以标记到诸如荧光素或若丹明(免疫荧光)的荧光团。

由Hirsch等人在Journal of Thoracic Oncology(胸部肿瘤学杂志)、第12卷、第2号、第208-222页中的文章“PD-L1 Immunohistochemistry Assays for Lung Cancer:Results from Phase 1of the Blueprint PD-L1 IHC Assay Comparison Project”讨论了临床试验中使用的四个PD-L1 IHC化验的分析和临床可比较性。

特定染色协议基准以使得病理学评分能够基于病理学样本获得。例如,由Dako(TM)(Agilent Technology Solutions(TM))的公开“Interpretation Manual for PD-L1IHC 22C3 pharmDx is CE-IVD-Marked”使用用于福尔马林固定、石蜡包埋的非小细胞肺癌和黑色素瘤组织中的PD-L1的检测的单克隆老鼠anti-PD-L1 Clone 22C3的定量免疫组织化学化验,并且使用该测试导出“肿瘤比例评分”作为用于利用“KEYTRUDA(TM)”处理的指示剂。然而,技术人员将理解到,涉及染色的许多病理学协议是可用的并且从本申请中讨论的技术的应用获益。本申请中讨论的PD-L1测试被提供为范例。

例如,参考“用于PD-L1 IHC 22C3 pharmDx的人工解释是CE-IVD-Marked”,示出了PD-L1染色组织的范例。褐色指示细胞膜处的PD-L1标记的过表达。箭头指示标记的表达的强度的局部变化。蓝色细胞使用复染剂染色。

通常,免疫组织化学标记的评分包含两个步骤。第一,执行细胞或感兴趣区域的分割(例如,基于其外观)。第二,执行感兴趣区域中的染色强度的量化。通常,在两个或两个以上强度水平之间进行区分。作为范例,在“Her2”染色的情况下,四个级别(0、1+、2+、和3+)基于肿瘤细胞的膜的颜色强度量来区分,并且其膜的面积分数染色。类似原理适用于类似ER和PR的核染色协议。

典型的免疫组织化学评估具有许多关键步骤。例如,存活的肿瘤细胞可能需要与其他细胞类型区分。备选地或组合地,表达某种生物标记的细胞需要与不表达某种生物标记的细胞区分。这些评估可以通过使用图像处理算法分析数字病理学图像数字地执行。然而,图像处理算法可以具有一个或多个决策阈值。

例如,可能需要决定如何将核分类为属于存活的肿瘤细胞。所得概率可以在0.5处阈值化,但是可以选择其他水平,诸如更低的(或更保守的)或更高的(更积极的)阈值。可选地,在数字成像算法中应用的检测阈值和/或检测概率可以根据使用专家判断的基准测试来设定。例如,可以提供在目标条件的范例数字病理学图像的语料库上训练的机器学习算法(深度学习算法),其中,注释已经由专家执行。

在大多数情况下,算法中使用的阈值的确切值将不显著地改变病理学评分的结果。然而,当病理学评分更接近于临床决策水平时,或者如果给定测试针对图像处理算法中使用的阈值或参数之一高度敏感,则病理学评分的评估的不准确度可能成为问题。现在讨论这些问题的方案。

本发明将首先根据第三方面的方法的步骤和其可选实施例宽广地描述。

第三方面提供一种用于数字处理数字病理学图像数据以生成病理学评分数据和病理学评分数据的灵敏度分析的方法,包括:

a)获得10数字病理学图像数据,包括病理学样本的图像;

b)将数字病理学图像数据中的对象分类11为多个候选对象;

c)根据一个或多个检测阈值和/或检测概率将第一病理状态分配12给多个候选对象中的至少一个候选对象;

d)基于已经分配第一病理状态的多个候选对象中的候选对象来获得13病理学样本的初始病理学评分数据;

e)根据扰动函数扰动14一个或多个检测阈值和/或检测概率以生成扰动检测阈值和/或扰动检测概率;

f)根据一个或多个扰动检测阈值和/或扰动检测概率将第一病理状态分配15指定多个候选对象中的至少一个候选对象;

g)根据一个或多个扰动检测阈值和/或扰动检测概率基于已经分配第一病理状态的候选对象来获得16病理学样本的更新的病理学评分数据,其中,初始病理学评分数据和更新病理学评分数据的比较定义病理学评分数据的灵敏度。

技术人员将理解到,以下算法被用作如由例如计算机处理器实现的数字图像处理算法。

在步骤a)中,获得用于生成病理学评分数据和相关联的灵敏度分析要求的初始图像数据。在其中数字病理学图像的灵敏度分析被要求接近于其采集的时间的情况下,例如,数字病理学图像可以从数字光显微镜或数字荧光显微镜获得作为数字病理学系统的一部分。在其中灵敏度分析将在归档图像上执行的情况下,存储在PACS归档中的原始数字病理学图像可以经由医学设施的计算机网络从PACS系统获得并且传送到例如PC终端、手持式计算机、或另一计算机处理装置。因此,技术适用于归档的数字病理学图像以及图像采集的时间。

未处理的数字病理学图像包含许多对象的视觉表示,诸如细胞核、部分细胞核、细胞膜、癌细胞、纤维母细胞、免疫细胞等。针对某个免疫组织协议,很可能这些对象的子集将被染色和分析。在先前提到的“PD-L1 IHC22C3”测试的特定范例中,通常需要识别数字病理学图像中的存活的肿瘤细胞。

可选地,可以提供预处理步骤,包括使原始数字病理学图像平滑以抑制噪声。在苏木精染色数据的情况下,通常在步骤a)中获得的原始数字病理学图像的像素还受限于颜色表征以移除具有小于例如全尺寸强度的10%的颜色分量的像素。当然,颜色表征算法具有可以根据本方法阈值化的配置参数。可选地,形态学闭算法随后应用于平滑和颜色表征的数字病理学图像以校正染色质图案中的亮斑。

在步骤b)中,因此存在将数字病理学图像数据中的对象分类为候选对象(其将在后续分析中要求)和在后续分析中不要求的其他对象。在“PD-L1 IHC 22C3”测试的情况下,候选对象是存活的肿瘤细胞。因此,细胞质染色伪影、免疫细胞、正常细胞、坏死细胞和残骸从分析排除。

可选地,分类过程可以根据深度学习算法部分或全部执行。在这样的方法中,跟随全部幻灯图像(数字病理学图像数据)的预处理,可以应用于本技术的各种类型的深度学习方法宽广地被定义为监督式学习、非监督式学习、半监督式学习和多实例学习。

深度学习算法包括将先前层的输出当作后续层的输入的层的级联。每层中的组件通常是执行例如特征提取的任务的非线性函数。深度学习算法可以包括非监督式和/或监督式学习阶段。在深度学习算法中,临界参数通常是关于概率(柔性最大值层的输出)的阈值或关于网络的输出中的导出的不确定性/(一个或多个)置信度度量的阈值。

可选地,分类过程可以使用监督式学习算法部分或全部执行。监督式学习技术推断表示数字输入图像数据中的项到其适当的标签(诸如“T-细胞”)之间的映射的函数。监督式学习算法的范例是卷积神经网络(CNN)或支持向量机(SVM)。

可选地,分类过程可以使用非监督式学习算法部分或全部执行。非监督式学习技术推断描述未标记图像中的隐藏结构的函数。非监督式学习方法的范例是主成分分析和k均值分析。

可选地,分类过程可以使用半监督式学习算法部分或全部执行。

可选地,分类过程可以使用多实例算法部分或全部执行。

技术人员将理解到,取决于待应用的特定免疫组织协议,可以识别其他对象或对象的组合。在“PD-L1 IHC 22C3”协议的特定情况下,至少100个候选对象应当在生成测试评分之前分类,尽管针对其他病理学测试协议,大于或小于100个候选对象可能需要识别。

可选地,发现存活肿瘤细胞并且分配他们状态作为候选对象的技术将在数字病理学图像上应用形态学开算法以移除小细胞和纤维母细胞。然后,形态学闭算法适用于扩大数字病理学图像中的相邻核以形成一个对象。随后地,孔洞填充算法在肿瘤区域中适用于移除背景区域。最后,形态学开算法的进一步的迭代适用于使肿瘤区域的边界平滑,因此补偿起因于先前形态学算法操作的伪影。

可选地,各种各样的图像处理技术可以被用于执行将数字病理学图像数据中的对象分类为候选对象,诸如深度学习、分割、特征提取、非监督式学习、聚类、K均值、主成分分析、或监督式学习方法诸如支持向量机或卷积神经网络。

重要的是,注意,前述段落中讨论的图像处理算法是利用各种各样的参数可配置的。作为简单范例,可选的预处理步骤可以在10%的强度值处将数字病理学图像的像素阈值化,但是相反可以选择5%或15%的值。在所选择的阈值化值与数字病理学图像中的哪些对象可以最终被分类为例如步骤b)中的候选对象之间存在复杂的相互作用。在步骤b)中用于分类对象的形态学算法和分类算法还具有影响候选对象的分类的配置参数集的完整范围。

图2a)图示了固体掩模22已经被用于指示属于结缔组织的区域或因此不是存活肿瘤细胞24的背景区域的数字病理学图像20。

在步骤c)中,第一病理状态(组织病理学状态、细胞病理学状态)根据一个或多个检测阈值和/或检测概率分配给多个候选对象中的一个或多个候选对象。给定本发明可以适用的宽范围的数字病理学测试,将第一病理状态分配给候选对象可以在确定后续诊断结果中被认为是小的步骤。作为特定范例,“PD-L1 IHC 22C3”协议的一部分是计算示出用于PD-L1生物标记的阳性细胞膜染色的给定区域中的存活肿瘤细胞的数目。在该特定范例中,候选对象是存活肿瘤细胞,并且第一病理状态的分配在于,考虑的白色对象是“针对PD-L1生物标记阳性”,或其等效数字表示。例如,在数字病理学图像的给定区域上,候选对象可以通过列向量在数据结构中表示,其中,逻辑“零”表示无PD-L1生物标记表达并且逻辑“一”表示PD-L1生物标记表达。备选地,数据结构可以包括表示PD-L1生物标记表达的相对比例的列向量。

在步骤d)中,生成病理学样本上的初始病理学评分(或初始组织病理学评分、初始细胞病理学评分)。在当前考虑的特定“PD-L1 IHC 22C3”协议的情况下,该步骤包括计算“肿瘤比例评分”作为初始病理学评分,其是示出相对于存在于样本中的所有存活肿瘤细胞(阳性和阴性)的部分或完全膜染色的存活肿瘤细胞(候选对象)的百分比。然而,技术人员将理解到,针对不同的协议,不同类型的细胞可以被识别为候选对象,并且可以做出不同的计算以获得初始病理学评分。

可选地,初始病理学评分可以通过图形用户接口(GUI)显示给用户随后关于输出方法待讨论的技术之一。

通常,用户将满足于这样获得的初始病理学评分。然而,如关于步骤b)和c)所讨论的,图像处理和分类技术是可参数化的,并且图像处理和分类算法如何参数化中的小的变更可能导致病理学评分的改变。

图3a)示意性地图示了已经应用步骤a)、b)和c)的数字病理学图像30。中空圆32i表示不能存活的肿瘤细胞(相对于特定范例)并且填充圆34i图示了存活肿瘤细胞。在数字病理学图像30中,已经应用将原始数字病理学图像阈值化到具有大于IT1=0.1的强度的像素的预处理步骤,这导致图像中的所识别的对象的大约50%被分类为候选对象(诸如存活肿瘤细胞)。

图3b)示意性地图示了已经应用将原始数字病理学图像阈值化到具有大于IT2=0.15的强度的像素的预处理步骤的数字病理学图像36。在这种情况下,看起来许多存活肿瘤细胞已经通过阈值化步骤从数字病理学图像错误地移除,这导致图像中的所识别的对象的大约12.5%被分类为候选对象(诸如存活肿瘤细胞)。这是算法参数的小的改变可能如何导致病理学结果的显著改变的范例。

在步骤e)中,扰动根据扰动函数适用于检测阈值和/或检测概率。换句话说,在已经使用IT1=0.1的截止像素强度计算初始病理学评分数据的图3a)和3b)中考虑的简单范例中,IT2=0.15的扰动检测阈值已经用作扰动检测阈值。在该简单范例中,扰动函数因此是0.05的正阶跃函数。

图4图示了用于数字病理学图像分析管线的一个变量(初始像素阈值化)的简单扰动函数的生成。

扰动函数生成器44提供列向量IT3,包括图像水平阈值的三个值。包括可以或可以不被分类为候选对象42的对象的初始数字病理学图像40被输入,并且阈值化函数46被应用三次以生成在由扰动函数生成的三个不同阈值水平处生成的三个中间图像。三个中间图像被输入到图像分类器48以取决于应用于初始阈值的扰动函数的水平而产生包括不同数目的候选对象的数字病理学输出图像50a、50b、和50c。

当然,扰动函数生成器44可以以许多不同的方式生成扰动函数。技术人员将理解到,扰动函数的输出将缩放到适于分析管线中的阶段的值的范围和扰动适用的特定函数。可选地,扰动函数生成器44被配置为从概率分布随机地选择检测阈值和/或检测概率,诸如高斯分布、均匀分布、卡方分布等。扰动函数生成器44可以被配置为从值、代数函数、在预定标度内操作的随机数生成器、混沌吸引子函数等的预提供范围选择检测阈值。

扰动函数可以基于历史上获得的校准和训练数据。例如,病理学家的群体可以被用于分类测试幻灯片,并且这将使得能够从来自病理学家的群体的结果中观察的变化导出扰动值的现实范围。导出的现实范围可以然后被提供为扰动函数。

在步骤f)中,提供了以下步骤:根据一个或多个扰动检测阈值和/或扰动检测概率将第一病理状态重新分配给多个候选对象中的一个或多个候选对象,或者扰动的多个候选对象中的至少一个候选对象。

利用扰动检测阈值,第一病理状态可以被用于取决于扰动的幅度和分析管线对该扰动的灵敏度,检测多个候选对象中的更小或更大数目的候选对象。可选地,在预处理和/或分类步骤中应用的参数扰动,这意指生成扰动的多个候选对象。换句话说,参考PD-L1生物标记检测的特定范例,在步骤a)和b)中应用的算法的扰动可能导致最初包括在待从扰动的多个候选对象排除的多个候选对象中的一些对象,反之亦然。随后地,用于将第一病理状态分配给一个或多个存活肿瘤细胞(候选对象)的算法也可能对检测阈值和/或检测能力的变化敏感。

在步骤g)中,病理学(组织病理学、细胞病理学)样本的更新病理评分基于已经分配第一病理状态的改变数目的候选对象来提供。由于更新病理学评分已经根据扰动部分阈值和/或概率来计算,因而很可能其将与初始病理学评分稍微(或者显著地)不同。因此,初始病理学评分数据与更新病理学评分数据之间的比较定义使用特定分析管线获得的病理学评分数据的灵敏度。

可选地,检测阈值和/或检测概率可以被认为是检测条件。

图2b-2d)图示了确定存在于数字病理学图像切片20中的肿瘤比例评分(TPS)中的PD-L1生物标记(阴性和阳性表达)的使用的特定范例的结果。指示为26b、26c和26d灰色阴影区域分别示出具有针对三个不同强度阈值的PD-L1生物标记的过表达的区域。

在图2b)中,应用0.1处的像素强度阈值,导致33%的总体TPS。

在图2c)中,应用0.15的像素强度阈值,导致5%的总体TPS。

在图2d)中,应用0.2的像素强度阈值,导致1%的总体TPS。显著地,1%的TPS是针对无PD-L1表达发生的条件的边界,其表示针对利用某些化合物的处理的临界临床决策边界。因此,由图2的图示表示的灵敏度分析和可变TPS评分可以自动提供使得医学专家能够更准确并且自信地评估临床上下文中的数字病理学评分的灵敏度的结果。

尽管已经对Dako(TM)PD-L1生物标记的特定测试做出许多参考,但是技术人员将理解到,该特定测试涉及阳性和阴性生物标记表达的复杂的评估。内部分析管线参数的扰动的数字病理学图像数据的灵敏度分析也可以针对更简单的病理学、组织病理学、或细胞病理学方法执行。

可选地,一个或多个检测阈值与测试“PD-L1”病理学评分的灵敏度相关联。

例如,“CD3”测试常常用作分类淋巴瘤的T细胞的标记。

在使用例如数字光显微镜根据CD3协议获得样本的数字病理学图像数据以采集染色部分包,要么使用软件成像包获得(4x、10x、20x、40x)不同放大率处的样本的数字病理学图像数据,或者不同放大率处的多个数字病理学图像也可以由数字光显微镜采集。然后,图像通过一个或多个临界检测阈值(参数)被分割为包含肿瘤细胞、感兴趣对象的不同的感兴趣组织区域。跟随该分割流程,可以在肿瘤组织(包括肿瘤细胞、感兴趣对象)中的不同的染色量(表达水平)之间做出区分。相同肿瘤的不同区域之间的该差异被称为肿瘤异质性。因此,特定表达类型或第一病理状态被分配给肿瘤组织的某些区域,而另一表达类型和第二病理状态可以被分配给肿瘤组织的另一区域并且甚至另一表达类型和至少病理状态可以被分配给另一区域。

在该范例中,CD3染色说明i)位于肿瘤损害的基质中或肿瘤细胞巢内的淋巴细胞的肿瘤内淋巴细胞和ii)肿瘤损害周围的淋巴细胞的癌周淋巴细胞。针对淋巴细胞,应用分布和密度评分。评分从0至6范围变化。从0至3范围变化的淋巴细胞分布评分被定义如下:0=组织内的淋巴细胞的缺少,1=占用组织的<25%的淋巴细胞的存在,2=占用组织的25%至50%的淋巴细胞的存在,并且3=占用组织的>50%的淋巴细胞的存在。从0至3范围变化的淋巴细胞密度被定义如下:0=缺少的,1=适度的,2=中等的,并且3=严重的。

该获得的数据可以被用于灵敏度分析,用于分割和/或识别淋巴细胞的算法的参数是适合于根据所描述的算法的扰动的一个检测阈值(参数)。而且,也可以手动地调节定义检测阈值。该定义在组织的评价期间辅助病理学家证明组织的评价是否是合理的并且在客观定义的范围内。

可选地,一个或多个检测阈值与测试“CD3”病理学评分的灵敏度相关联。

例如,“CD8”协议可以被用于识别肿瘤组织中的效应器T细胞。

在使用例如数字光显微镜根据CD8协议获得样本的数字病理学图像数据以采集染色部分包,要么使用软件成像包获得(4x、10x、20x、40x)不同放大率处的样本的数字病理学图像数据,或者不同放大率处的多个数字病理学图像也可以由数字光显微镜采集。

然后,图像通过一个或多个临界阈值数字地分割为包含肿瘤细胞、感兴趣对象的不同的感兴趣组织区域。跟随该分割流程,在肿瘤组织(包括肿瘤细胞、感兴趣对象)中的不同的染色浓度(表达水平)之间做出数字区分。相同肿瘤的不同区域之间的该差异被称为肿瘤异质性。因此,特定表达类型或第一病理状态被分配给肿瘤组织的某些区域,而另一表达类型和第二病理状态可以被分配给肿瘤组织的另一区域并且甚至另一表达类型和至少病理状态可以被分配给另一区域。

在该范例中,CD8染色说明i)位于肿瘤损害的基质中或肿瘤细胞巢的淋巴细胞的肿瘤内淋巴细胞和ii)肿瘤损害周围的淋巴细胞的癌周淋巴细胞。影响淋巴细胞分布和密度评分的因素是基质区域被分割多么精确,例如,和/或针对CD8阳性调用的检查阈值和/或针对核检测的阈值。评分从0至6范围变化。从0至3范围变化的淋巴细胞分布评分被定义如下:0=组织内的淋巴细胞的缺少,1=占用组织的<25%的淋巴细胞的存在,2=占用组织的25%至50%的淋巴细胞的存在,并且3=占用组织的>50%的淋巴细胞的存在。从0至3范围变化的淋巴细胞密度被定义如下:0=缺少的,1=适度的,2=中等的,并且3=严重的。

该获得的数据可以被用于根据该申请中描述的算法的灵敏度分析,其中,针对第一和第二病理状态的分配是适合于扰动的一个阈值(参数)的范例。通过将肿瘤的不同区域与其周围组织相比较,因此获得不同的阈值,定义一个阈值。而且,也可以手动地调节定义检测阈值。该定义在组织的评价期间辅助病理学家证明组织的评价是否是合理的并且在客观定义的范围内。

可选地,一个或多个检测阈值与测试“CD8”病理学评分的灵敏度相关联。

例如,“ER”协议(雌激素受体)常常与乳腺筛查程序相关联使用。在使用例如数字光显微镜根据ER协议获得样本的数字病理学图像数据以采集染色部分包,要么使用软件成像包获得(4x、10x、20x、40x)不同放大率处的样本的数字病理学图像数据,或者不同放大率处的多个数字病理学图像也可以由数字光显微镜采集。

然后,图像通过一个或多个临界阈值数字地分割为包含肿瘤细胞、感兴趣对象的不同的感兴趣组织区域。跟随该分割流程,在肿瘤组织(包括肿瘤细胞、感兴趣对象)中的不同表达水平之间做出数字区分。相同肿瘤的不同区域之间的该差异被称为肿瘤异质性。因此,特定表达类型或第一病理状态被分配给肿瘤组织的某些区域,而另一表达类型和第二病理状态可以被分配给肿瘤组织的另一区域并且甚至另一表达类型和至少病理状态可以被分配给另一区域。

在该范例中,总评分(TS)是比例评分(PS)和强度评分(IS)的和,从0;2-8范围变化。针对ER和PR的阳性结果被定义为TS≥3。分配表示具有阳性核染色的肿瘤细胞的比例的比例评分(PS)。PS从0至5范围变化,其中,0=0,1=0-1/100,2=>1/100-1/10,3=>1/10至1/3,4=>1/3至2/3并且5=>2/3至1。分配表示所有阳性肿瘤细胞的平均染色强度的强度评分(IS)。IS从0至3范围变化,其中,0=阴性的,1=弱的,2=中间的并且3=强的。常常地,ER和PR分析被组合在一个诊断测试中。

该获得的数据可以被用于灵敏度分析,比例评分是适合于根据本文所描述的算法的扰动的一个阈值(参数)的范例并且强度评分是适合于扰动的另一阈值(参数)的范例。通过比较肿瘤的不同区域,因此获得不同的阈值,定义一个阈值。而且,也可以手动地调节定义检测阈值。该定义在组织的评价期间辅助病理学家证明组织的评价是否是合理的并且在客观定义的范围内。

可选地,一个或多个检测阈值与测试“ER”病理学评分的灵敏度相关联。

在使用例如数字光显微镜根据PR协议获得样本的数字病理学图像数据以采集染色部分包,要么使用软件成像包获得(4x、10x、20x、40x)不同放大率处的样本的数字病理学图像数据,或者不同放大率处的多个数字病理学图像也可以由数字光显微镜采集。

然后,图像通过一个或多个临界阈值数字地分割为包含肿瘤细胞、感兴趣对象的不同的感兴趣组织区域。跟随该分割流程,在肿瘤组织(包括肿瘤细胞、感兴趣对象)中的不同的表达水平之间做出区分。相同肿瘤的不同区域之间的该差异被称为肿瘤异质性。因此,特定表达类型或第一病理状态被分配给肿瘤组织的某些区域,而另一表达类型和第二病理状态可以被分配给肿瘤组织的另一区域并且甚至另一表达类型和至少病理状态可以被分配给另一区域。

在该范例中,总评分(TS)是比例评分(PS)和强度评分(IS)的和,从0;2-8范围变化。针对ER和PR的阳性结果被定义为TS≥3。分配表示具有阳性核染色的肿瘤细胞的比例的比例评分(PS)。PS从0至5范围变化,其中,0=0,1=0-1/100,2=>1/100-1/10,3=>1/10至1/3,4=>1/3至2/3并且5=>2/3至1。分配表示所有阳性肿瘤细胞的平均染色强度的强度评分(IS)。IS从0至3范围变化,其中,0=阴性的,1=弱的,2=中间的并且3=强的。常常地,ER和PR分析被组合在一个诊断测试中。

该获得的数据可以被用于根据本申请中所描述的算法的灵敏度分析。例如,比例评分是适合于扰动的一个阈值(参数),并且强度评分是适合于扰动的另一参数的范例。通过比较肿瘤的不同区域,因此获得不同的阈值,定义一个阈值。而且,也可以手动地调节定义检测阈值。该定义在组织的评价期间辅助病理学家证明组织的评价是否是合理的并且在客观定义的范围内。

可选地,一个或多个检测阈值与测试“PR”病理学评分的灵敏度相关联。

例如,“HER2”协议(赫赛汀)被用于检测乳腺组织中的赫赛汀的异常水平的存在,针对乳腺癌的预测性生物标记。在使用例如数字光显微镜根据HER2协议获得样本的数字病理学图像数据以采集染色部分包,要么使用软件成像包获得(4x、10x、20x、40x)不同放大率处的样本的数字病理学图像数据,或者不同放大率处的多个数字病理学图像也可以由数字光显微镜采集。

然后,图像通过一个或多个临界阈值数字地分割为包含肿瘤细胞、感兴趣对象的不同的感兴趣组织区域。跟随该分割流程,在肿瘤组织(包括肿瘤细胞、感兴趣对象)中的不同的表达水平之间区分。相同肿瘤的不同区域之间的该差异被称为肿瘤异质性。因此,特定表达类型或第一病理状态被分配给肿瘤组织的某些区域,而另一表达类型和第二病理状态可以被分配给肿瘤组织的另一区域并且甚至另一表达类型和至少病理状态可以被分配给另一区域。

在该范例中,HER2-阴性肿瘤(评分0)保留肿瘤细胞的膜表HER2表达<10%。+1的评分对应于肿瘤细胞的>10%中的膜HER2表达,而+2的评分对应于具有肿瘤细胞的>10%的膜中的弱到中等HER2表达的肿瘤细胞。肿瘤细胞的>10%中的强完全膜染色对应于+3的评分。该获得的数据可以被用于根据该应用的算法的灵敏度分析,膜,即空间信息是针对扰动的一个阈值(参数)的范例并且强度评分是适合于扰动的另一参数的范例。通过比较肿瘤的不同区域,因此获得不同的阈值,定义一个阈值。而且,也可以手动地调节定义检测阈值。该定义在组织的评价期间辅助病理学家证明组织的评价是否是合理的并且在客观定义的范围内。

可选地,一个或多个检测阈值与测试“HER2”病理学评分的灵敏度相关联。

例如,“EGFR”协议(表皮生长因子受体)测试可以被用于测试导致EGFR过表达的细胞突变的测试,其已经与许多癌症相关联。

在使用例如数字光显微镜根据EGFR协议获得样本的数字病理学图像数据以采集染色部分包,要么使用软件成像包获得(4x、10x、20x、40x)不同放大率处的样本的数字病理学图像数据,或者不同放大率处的多个数字病理学图像也可以由数字光显微镜采集。

然后,图像通过一个或多个临界阈值数字地分割为包含肿瘤细胞、感兴趣对象的不同的感兴趣组织区域。跟随该分割流程,在肿瘤组织(包括肿瘤细胞、感兴趣对象)中的不同的表达水平之间区分。相同肿瘤的不同区域之间的该差异被称为肿瘤异质性。因此,特定表达类型或第一病理状态被分配给肿瘤组织的某些区域,而另一表达类型和第二病理状态可以被分配给肿瘤组织的另一区域并且甚至另一表达类型和至少病理状态可以被分配给另一区域。

在该范例中,优选地结肠肿瘤的EGFR被计算如下:EGFR-阴性肿瘤不具有高于所有肿瘤细胞中的背景的膜染色。相反地,EGFR-阳性染色,并且因此,表达被定义为高于背景水平的肿瘤细胞膜的任何IHC染色;其是否是完全或不完全的周向染色。染色强度并且因此表达是+1、+2或+3的评分,其中,肿瘤细胞的超过0%被染色并且因此,针对EGFR阳性。该获得的数据可以被用于根据本申请中所描述的算法的灵敏度分析,强度评分是用于扰动的阈值(参数)。通过比较肿瘤的不同区域,因此获得不同的阈值,定义一个阈值。而且,也可以手动地调节定义检测阈值。该定义在组织的评价期间辅助病理学家证明组织的评价是否是合理的并且在客观定义的范围内。

可选地,一个或多个检测阈值与测试“EGFR”病理学评分的灵敏度相关联。

例如,“Ki67”协议检测Ki7抗原。在跟随标准流程之后以获得根据“Ki67”准备的样本的数字病理学。

在使用例如数字光显微镜根据Ki67协议获得样本的数字病理学图像数据以采集染色部分包,要么使用软件成像包获得(4x、10x、20x、40x)不同放大率处的样本的数字病理学图像数据,或者不同放大率处的多个数字病理学图像也可以由数字光显微镜采集。

然后,图像通过一个或多个临界阈值数字地分割为包含肿瘤细胞、感兴趣对象的不同的感兴趣组织区域。跟随该分割流程,在肿瘤组织(包括肿瘤细胞、感兴趣对象)中的不同的表达水平之间区分。相同肿瘤的不同区域之间的该差异被称为肿瘤异质性。因此,特定表达类型或第一病理状态被分配给肿瘤组织的某些区域,而另一表达类型和第二病理状态可以被分配给肿瘤组织的另一区域并且甚至另一表达类型和至少病理状态可以被分配给另一区域。存在不同的方法来获得Ki67评分。一个方法涉及选择肿瘤的五个不同区域,其中,评价每个区域中的100个肿瘤细胞。考虑100个细胞中的阳性Ki67细胞(染色核)的百分比并且五个区域的结果加起来。

该获得的数据可以被用于灵敏度分析,空间信息,即,核染色是经历扰动的阈值(参数)。通过比较肿瘤的不同区域,因此获得不同的阈值,定义一个阈值。而且,也可以手动地调节定义检测阈值。该定义在组织的评价期间辅助病理学家证明组织的评价是否是合理的并且在客观定义的范围内。

可选地,一个或多个检测阈值与测试“Ki67”病理学评分的灵敏度相关联。

可选地,一个或多个检测阈值和/或检测概率表示当确定数字病理学图像数据中的候选对象的存在时的自动形态特征检测中的变化。

可选地,一个或多个检测阈值表示将数字病理学图像数据中的对象自动分类为多个候选对象的概率。

可选地,检测阈值和/或检测概率表征从病理学样本发射并且在数字病理学图像数据中表示的光的强度水平和/或波长范围。

可选地,从病理学样本发射并且在数字病理学图像数据中表示的强度水平和/或波长范围指示生物标记的表达的相对水平。

可选地,方法还包括:

f1)重复步骤c)至g)以获得多个扰动检测阈值和/或形成数字病理学图像数据的病理学评分的灵敏度函数的扰动检测概率;

f2)可选地,计算提供病理学评分的改变所需要的相对检测阈值改变。可选地,方法还包括:

d1)通过计算在扰动之前和/或之后已经分配第一病理状态的数字病理学数据的感兴趣场中的候选对象的数目,或者通过计算在扰动之前和/或之后已经分配第一病理状态的数字病理学数据的感兴趣场中的候选对象的数目的百分比评分,获得初始病理学评分数据和/或更新病理学评分数据。

图5图示了示出使用“PD-L1 IHC 22C3”获得的肿瘤比例评分(TPS)的灵敏度函数54的特定范例的图52。X轴表示用于PD-L1染色的存在的评估的阈值。换句话说,X轴58表示潜在扰动值的范围。Y轴60表示TPS的百分比值。针对特定临床协议,可以提供病理学评分数据的最佳值(在这种情况下,虚线56表示5%处的X轴TPS截距)。在这种情况下,0.15处的PD-L1强度的阈值提供接近于该临床阈值的更新病理学评分。

上文讨论的许多简单样本涉及检测单个生物标记的阳性表达。然而,“PD-L1 IHC”要求检测PD-L1生物标记的阳性和阴性表达。以下实施例解决该情况:

可选地,方法还包括:

c1)将第二病理状态分配给示出第一感兴趣生物标记的阳性表达的至少一个候选对象;

c2)将第三病理状态分配给示出第一感兴趣生物标记的阴性表达的至少一个候选对象,并且

d2)通过使用第二和第三病理状态中的数字病理学数据的感兴趣场中的候选对象执行计算来获得初始病理学评分数据;

e1)扰动用于将第二和第三病理状态分配给候选对象的检测阈值;

e2)在扰动之后将第二和第三病理状态重新分配给候选对象;并且

g1)通过在扰动之后使用第二和第三病理状态中的候选对象执行计算来获得更新的病理学评分数据。

可选地,多生物标记成像可以由该技术支持。换句话说,在步骤c3)中,第二病理状态可以分配给示出第二感兴趣生物标记的阳性表达的至少一个候选对象。在步骤c4)中,第三病理状态可以分配给示出第三感兴趣生物标记的阳性表达的至少一个候选。可选地,第一、第二和第三生物标记是免疫荧光生物标记。

与PD-L1染色组织中的TPS(肿瘤比例评分)的推导有关的更复杂的分析管线的免疫组织化学范例包括以下可选步骤:

1)获得在相对高放大率处(通常在10x、20x、或40x)处的IHC染色组织病理学图像。

2)应用使用一个或多个临界阈值参数将图像(半)自动分割为感兴趣对象的算法。

3)应用使用一个或多个临界阈值或参数设置在感兴趣对象中的正常表达与过表达之间(半)自动区分的算法。

4)执行如本申请中所描述的灵敏度分析。

5)如果灵敏度分析指示评分可以从一个决策水平改变到另一个作为临界阈值的实际变化,则提供视觉反馈或警报消息。

6)提供对阈值变化最敏感的数字病理学图像数据的区域的视觉反馈。

7)提供不满足用于评分的准则的区域的视觉反馈。

在步骤2)、3)和/或4)中的一个或多个中,可以可选地应用深度学习或机器学习方法。

因此,给定PD-L1染色组织的初始RGB图像,可以执行颜色解卷积以使用如以上“背景”章节中引用的论文“Macenko等人的A Method for Normalizing Histology Slidesfor Quantitative Analysis”中讨论的方法将苏木精的吸收与DAB标记的吸收分离。

去卷积图像中的核的位置通过以下步骤获得:

8)苏木精染色数据的平滑(以便抑制噪声)和在吸收水平0.1处的阈值化。

9)应用形态学闭以校正染色质图案中的亮斑。

10)应用形态学开以移除小细胞和纤维母细胞。

11)应用形态学闭以使相邻核生长在一起以形成一个对象。

12)将孔洞填充应用到肿瘤区域并且移除背景区域。

13)执行最后形态学开以使肿瘤区域的边界平滑以补偿起因于先前形态学操作的伪影。

在这种情况下,在将DAB(PD-L1)染色吸收数据之后获得TPS的分母。高于某个阈值的DAB吸收(在具有存活肿瘤细胞的区域内)指示具有过表达的区域,换句话说,PD-L1肿瘤细胞。如在图2b)至2d)中先前提到的,这些图像对于分析管线中的阈值参数的扰动敏感。

图5图示了作为DAB吸收(x轴)上的检测阈值的扰动的函数(y轴)的TPS。图5的情况中的PD-L1染色的评估的“最佳阈值”由垂直虚线指示。低检测阈值0.05将已经包括更多肿瘤细胞,这导致TPS的显著地更高的估计。高检测阈值0.05将已经包括更少肿瘤细胞,使得TPS下降到1%的临界临床决策水平。

图6图示了用于上文给定的特定范例的实现的复杂分析管线61的范例。

数字病理学图像数据输入单元62接收并且预处理数字病理学图像数据。用户提供扰动配置数据63(例如,经由数字病理学系统和/或软件分析软件上的输入图形用户接口)。该特定范例中的分析管线被分成核位置63决定子63和肿瘤细胞识别符64。

在核位置决定子63中,准备单元64a使给定吸收水平处的苏木精染色数据(以抑制噪声)和阈值平滑。第一形态学闭单元66a校正染色质图案中的亮斑。

在肿瘤细胞识别符64中,形态学开单元67a被配置为移除数字病理学图像中的小细胞和纤维母细胞的图像。形态学闭单元68a被配置为使相邻核生长在一起以形成一个对象。孔洞填充单元69a被配置为将孔洞填充应用到肿瘤区域并且移除由低吸收值识别的背景区域。形态学开单元70a应用于使肿瘤区域的边界平滑以因此补偿起因于先前形态学操作的伪影。

在分析管线中,每个处理子单元65a至70a连接到相应的扰动确定单元65b至70b。在特定范例中,扰动单元70b基于高斯分布来选择形态学闭算法的扰动值。扰动单元的剩余部分基于阶跃函数来提供扰动值。扰动控制单元71接收由用户输入的扰动配置数据63并且可能地确定扰动规格以给定扰动选项的总搜索空间上的足够的覆盖。已经确定了扰动规格,针对扰动单元中的每一个的扰动设置被计算并且传送到扰动单元65b至70b。当然,并非分析管线的所有步骤需要由可调节的检查阈值和/或概率表征,并且分析管线的一个或多个设置可以是“硬编码”或固定的,而不受限于扰动。

出于计算简单性的原因,扰动控制单元71可以操作“一次一个”灵敏度分析协议,其中,每次调节扰动单元65b至70b中的一个或多个,其中,其他扰动单元保持在恒定扰动值处。

可选地,扰动控制单元17可以应用“随机采样”灵敏度分析协议,其中,扰动单元65b至70b中的一个或多个利用随机生成的扰动值(可选地在固定边界范围内)寻址。以这种方式,扰动值的大样本空间可以以计算高效的方式来采样,并且扰动单元65b至70b的扰动设置之间的互相关可以以利用“一次一个”灵敏度分析协议的方式来评估。

可选地,扰动控制单元71可以应用“强力”灵敏度分析协议,其中,扰动单元65b至70b中的一个或多个利用其相应扰动阈值的所有组合寻址。这具有以下优点:灵敏度分析是详尽的,尽管可能占用太多计算时间以致于本技术可以仅适用于强大的计算机或计算分析管线。

可选地,扰动控制单元71可以应用“梯度下降”算法、或另一优化算法,来计算最佳灵敏度。结果收集单元72将由扰动设置的各种组合的应用生成的病理学评分获得并且保存到用于相同输入数字病理学图像的分析管线。

在范例中,肿瘤比例评分可以被计算为存在于多个候选对象中的PD-L1阳性肿瘤细胞的数目除以存在于多个候选对象(存活肿瘤细胞)中的PD-L1阳性和PD-L1阴性肿瘤细胞的总数。

肿瘤比例评分可以被用于在无PD-L1表达(小于存活肿瘤细胞的1%中的部分或完全细胞膜染色)、PD-L1表达(存活肿瘤细胞的1%与49%之间中的部分或完全细胞膜染色)与高PD-L1表达(大于或等于存活肿瘤细胞的50%中的部分或完全细胞膜染色)。

因此,分析管线中使用的检测阈值和/或检测能力的扰动可以给医学专家提供病理学协议太敏感以致于其可能影响总体处理指示的警报。

可选地,方法还包括:

h1)可选地组合初始和/或更新的病理学评分数据输出病理学评分数据对用户的灵敏度和/或输出病理学评分相对于临床阈值的灵敏度。

因此,病理学评分数据的灵敏度可以显示在数字病理学系统的图形用户接口(GUI)上,或者在个人计算机(PC)或其他数字显示设备上使用的数字病理学软件。病理学评分数据可以报告给用户作为数字串,或者作为例如色彩图或热图。这给数字病理学系统和/或分析软件的用户提供关于具有原始数字病理学幻灯图像的上下文中的给定结果的灵敏度的直接并且直观的反馈。

可选地,方法还包括:

b2)将数字病理学图像数据子采样到多个扇区中;

g2)获得针对每个扇区的初始病理学评分数据和更新病理学评分;

h2)生成数字病理学图像数据的空间灵敏度掩模;并且

h3)将空间灵敏度掩模显示给用户,可选地作为与数字病理学图像数据对准的半透明交叠。

图7a)图示了数字病理学图像数据80已经分成多个子部分80a、80b、80c...的可能显示格式。在该显示实施例中,已经计算初始病理学评分、更新病理学评分和用于每个子部分的总体灵敏度。显示图例82向GUI的解释提供引导。饱和的子部分表示对分析管线中的扰动的低灵敏度,并且非饱和的子部分表示对分析管线中的扰动的高灵敏度。

图7b)图示了数字病理学图像数据84已经分成多个子部分84a、84b、...的另一可能显示格式。在该显示实施例中,已经计算初始病理学评分、更新病理学评分和用于每个子部分的总体灵敏度。以该GUI格式,用户可以围绕显示的数字病理学图像数据84移动鼠标光标86。可选对话框88报告光标相对于所显示的数字病理学图像数据84的原点90的当前空间位置。灵敏度反馈对话框显示鼠标光标的位置处的病理学评分的计算灵敏度。

可选地,在指示分析的灵敏度的输出步骤中,消息可以被提供给用户。作为范例,可以提供针对评分的相对改变需要的相对阈值改变的计算。可选地,可以提供将导致不同诊断结果的要求的阈值改变。

可选地,病理学样本是组织病理学样本或细胞病理学样本。

图8图示了根据第一方面的装置100。

根据第一方面,提供了一种用于数字处理数字病理学图像数据以生成病理学评分数据和所述病理学评分数据的灵敏度分析的装置100。装置100包括:

-输入单元102;以及

-处理单元104。

输入单元102被配置为获得数字病理学图像数据,包括病理学样本的图像。

处理单元104被配置为将数字病理学图像数据中的对象分类为多个候选对象,根据一个或多个检测阈值和/或检测概率将第一病理状态分配给多个候选对象中的至少一个候选对象,基于已经分配第一病理状态的多个候选对象中的候选对象来获得病理学样本的初始病理学评分数据,根据扰动函数扰动一个或多个检测阈值和/或检测概率以生成扰动检测阈值和/或扰动检测概率,将第一病理状态重新分配给多个候选对象中的至少一个候选对象,或根据一个或多个扰动检测阈值和/或扰动检测概率将第一病理状态重新分配给扰动多个候选对象中的至少一个候选对象,根据一个或多个扰动检测阈值和/或扰动检测概率基于已经重新分配第一病理状态的候选对象来获得病理学样本的更新的病理学评分数据,并且将初始病理学评分数据与更新的病理学评分数据相比较以获得病理学评分数据的灵敏度。

装置还可以包括输出单元106。

输入单元102可以包括能够传送数字病理学图像数据的数据通信调制解调器,例如USB(TM)连接、FireWire(TM)连接、DICOM连接等。输入单元102可以包括硬盘驱动器和/或可移除硬盘驱动器、USB驱动器、DVD驱动、或传送存储数据的另一装置。数据可以通过安全通信网络接收,诸如LAN或WAN,或安全无线装置。

将理解到,处理单元102可以实际上被实现为能够处理图像数据的任何数据处理器。例如,装置100可以被实现在个人计算机、智能电话处理器、嵌入式处理器、数字信号处理器(DSP)或实例化在现场可编程门阵列(FPGA)上的处理单元上。可选地,由处理单元100执行的功能的一部分或全部可以使用使用图形处理单元GPU可用的加速能力执行。

在数据输出是待由另一部件解释的原始数据的情况下,输出单元106可以被提供有如关于输入单元102讨论的模态的类似范围。输出单元16还可以包括在图形用户接口(GUI)上显示灵敏度分析的结果的图形接口。

图9图示了数字病理学系统110。

根据第二方面,提供了一种数字病理学系统110。数字病理学系统110包括:

-数字病理学图像采集设备112;以及

-根据第一方面或其实施例之一所述的装置114,

其中,数字病理学图像采集设备112被配置为获得数字病理学图像数据,并且将数字病理学图像数据传递到装置114。

计算机程序单元可以被存储在计算机单元上,其还可以是本发明的实施例。该计算单元可以适于执行或者引起上文所描述的方法的步骤的性能。而且,其可以适于操作上文所描述的装置的部件。计算单元可以适于自动地操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。数据处理器可以因此被装备以执行本发明的方法。

本发明的该示例性实施例覆盖具有从开始安装的介入的计算机程序和借助于更新将现有程序转变为使用本发明的程序的计算机程序二者。

可选地,幻灯图像数据可以通过局域网上载到“PACS”系统或者本地医院服务器。当然,幻灯图像可以保存在物理介质上,诸如数字通用光盘(DVD)、磁带驱动器或USB盘并且物理地发送到托管服务器的位置,其中,物理介质可以加载到服务器上。

然后,幻灯图像数据根据第二方面或其可选实施例来处理。生物样本的视场的多视图数据然后被传送到客户端设备以用于使用,例如通过能够解释多视图数据的图形用户接口。可选地,多视图数据被解释为服务器上的显示格式(诸如.JPG、.GIF或另一成像格式),并且多视图数据的GUI显示被传送到客户端(“基于网络的应用”的范例)。

计算机程序可以被存储和/或被分布在适合的介质(诸如连同其他硬件一起或作为其一部分供应的光学存储介质或固态介质),而且可以以其他形式分布(诸如经由因特网或其他有线或无线电信系统)。然而,计算机程序还可以被呈现在类似万维网的网络上,并且还可以从这样的网络被下载到数据处理器的工作存储器中。根据第二方面的图像处理方法将然后在上执行。

根据本发明的另一示例性实施例,提供用于制造可用于下载的计算机程序单元的介质,该计算机程序单元被布置为执行根据本发明的先前地所描述的实施例之一的方法。

应当指出,参考不同的主题描述本发明的实施例。特别地,参考方法类型权利要求描述一些实施例,然而参考设备类型权利要求描述其他实施例。然而,本领域的技术人员将从上文和以下描述理解到,除非另外通知,否则除属于一种类型的主题的特征的任何组合之外,与不同的主题有关的特征之间的其他组合还被认为是利用本申请公开。

所有特征可以被组合以提供超过特征的简单求和的协同效应。

虽然已经在附图和前述描述中详细图示和描述本发明,但是这样的图示和描述将被认为是说明性或者示范性而非限制性的。本发明不限于所公开的实施例。

通过研究附图、说明书和随附的权利要求书,本领域的技术人员在实践所主张的本发明时可以理解和实现所公开的实施例的其他变型。

在权利要求中,词语“包括”不排除其他元件或者步骤,并且量词“一”或“一个”不排除多个。单个处理器或其他单元可以实现权利要求中记载的若干项的功能。互不相同的从属权利要求中记载了特定措施的仅有事实并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应当被解释为对范围的限制。

技术分类

06120112211017