计算机辅助医疗诊断系统和方法

技术领域

本发明涉及用于数字病理学中的医疗应用的计算机辅助诊断系统。特别地，本发明涉及用于诊断决策支持的人工神经网络的使用。

背景技术

本发明将主要应用于组织样本中分子生物标志物的预测，特别是用于癌症检测，但是本发明的原理具有更广泛的范围。

新技术的发展以及大数据在医疗应用中的急速增加催生了精准医疗的概念，在精准医疗中，医疗诊断可以根据具体情况针对不同患者进行不同的预后和靶向治疗。为了处理和解释大量数据，计算机辅助应用特别是人工智能、机器学习和深度学习是当今公认的工具，其在医疗和临床工作流程中的存在正在稳步增加。

在癌症诊断和治疗的特定领域中，基于图像的人工智能不仅用于检测组织样本中的肿瘤，还用于从数字化组织病理学样本中提取并解释更细微的信息。个性化医疗和患者特定疗法受益于对癌症背后潜在的生物和分子机制的日益了解。

分子改变或分子生物标志物与某些癌症病例相关联，并且它们的存在或不存在是决定后续疗法的重要指标。已经开发了适用于不同生物标志物的不同测试。

如今，基于DNA测序的下一代测序(NGS)被认为是最安全的测试方法。仅次于聚合酶链式反应测试(PCR测试)，基于免疫组织化学(IHC)的技术仍广泛用于临床环境。然而，所有这些测试都是昂贵的。

另一方面，基于AI的方法受到分子生物标志物中的一些难以基于形态特征进行识别的事实的阻碍，形态特征是基于图像的人工智能方法所依赖的。因此，它们在这些情况下所能达到的准确度对于临床诊断标准来说是不够的。

发明内容

本发明的目的是提供一种用于医疗应用的计算机实现的诊断辅助系统，该系统根据数字化组织病理学切片中特别是全切片图像中存在的形态特征来优化对分子生物标志物的预测，以便提供能够执行具有诊断相关性的预测的计算机实现的诊断决策支持。

本发明的目的是通过具有本发明的技术方案中所述的特征的系统和具有本发明的技术方案中所述的特征的计算机实现的方法实现的。

在从属权利要求中给出了具有有利特征的本发明的优选实施方式。

在下文中，针对所要求保护的系统以及针对所要求保护的方法描述了根据本发明的解决方案。本文的特征、优点或替选实施方式可以分配给其他对应的要求保护的对象，反之亦然。换句话说，可以利用在对应系统的上下文中描述或要求保护的特征来改进方法。在这种情况下，方法的功能特征对应于系统的单元和模块。

本发明的第一方面提供了一种用于医疗应用的计算机实现的诊断辅助系统，该系统包括：输入接口，其被配置成获得患者的图像数据集；人工智能实体，其具有人工智能神经网络ANN，该人工智能神经网络ANN被配置成根据类别的集合对所获得的图像数据集中的图像进行分类，并且人工智能实体具有置信度模块，该置信度模块被配置成生成与所分类的图像中的每一个相关联的置信度度量；标记模块，其被配置成基于与所分类的图像相关联的所生成的置信度度量来生成针对患者的诊断信号，其中，如果所生成的置信度度量的经处理的组合满足预定义的条件，则将针对患者的诊断信号标记为结论性的，以及如果所生成的置信度度量的经处理的组合不满足预定义的条件，则将针对患者的诊断信号标记为非结论性的；以及输出接口，其被配置成输出诊断信号，其中，如果诊断信号为结论性的，则发布分类结果，以及如果诊断信号为非结论性的，则触发附加的诊断分析。

输入接口和/或人工智能实体和/或标记模块和/或输出接口被广泛理解为能够获取、获得、接收或检索图像数据并且传送该图像数据以用于另外处理的实体。因此，它们中的每一个或其的一部分可以至少包含中央处理单元CPU和/或至少一个图形处理单元GPU和/或至少一个现场可编程门阵列FPGA和/或至少一个专用集成电路ASIC和/或前述的任何组合。它们中的每一个还可以包括可操作地连接至至少一个CPU的工作存储器以及/或者可操作地连接至至少一个CPU和/或工作存储器的非暂态存储器。它们中的每一个可以部分和/或完全在本地装置中实现，以及/或者例如通过云计算平台部分和/或完全在远程系统中实现。

诊断辅助系统的所有元件可以以硬件和/或软件、线缆连接和/或无线及其任何组合来实现。元件中的任一个可以包括与内联网或因特网、云计算服务、远程服务器等的接口。

特别地，诊断辅助系统可以部分和/或完全在诸如计算机的本地装置中、在计算机的系统中实现，以及/或者部分和/或完全在诸如云计算平台的远程系统中实现。

图像数据集广泛描述了可以用于医疗应用中另外的处理和分析的任何信息。在预测癌性肿瘤中的分子改变的背景下，图像数据集可以由患者的组织样本的一个或更多个图像组成，所述组织样本是通过外科手术或活组织检查获得的并且使用本领域中使用的染色方法中的任一种进行了人工染色。这些染色的组织样本中的一些可以包括其中应用了分割的所选择的子图像部分或较大图像的裁剪。图像数据集还可以包括元数据。在下文中，图像数据集、图像数据或图像将模糊地用于描述呈图像形式或作为元数据的信息。

人工智能实体应被理解为包括人工神经网络以及可能的主成分分析(PCA)和偏最小二乘法(PLS)，或者由人工神经网络以及可能的主成分分析(PCA)和偏最小二乘法(PLS)组成。无论本文何时提及人工神经网络，其都应被理解为能够实现在术语人工智能、机器学习、深度学习或计算机学习下广泛描述的不同数据分析方法的计算机化实体。人工神经网络可以是生成对抗网络(GAN)、卷积神经网络(CNN)或任何其他神经网络。

类别的集合在本文中指的是人工神经网络的可能输出。在大多数应用中，类别的集合是预先确定的。例如，在检测某种分子生物标志物时，类别可以指示某种分子生物标志物的存在或不存在。

置信度度量(或置信水平或确定性得分或信任级别)应被理解为根据模型或算法指示做出某种预测的确定性或不确定性的程度以及/或者某种分类的质量的数值或数值集合(例如，向量)。置信度度量可以基于人工神经网络的输出层或者可以使用更复杂的统计工具来获得。

诊断信号可以包括在患者体内可能存在或甚至正存在的特定疾病或状况的指示。在预测癌性肿瘤中的分子生物标志物的背景下，诊断信号可以指示生物标志物的存在或生物标志物的不存在。结论性诊断应被理解为具有足够的预测置信度以至于要被用于临床工作流程的诊断。相比之下，非结论性诊断应被理解为没有足够的置信度以至于无法被纳入临床工作流程的诊断。

本发明的第二方面提供了一种用于医疗应用的计算机实现的诊断辅助方法，该方法包括以下步骤：(a)获得患者的图像数据集；(b)根据类别的集合对图像数据集中的图像进行分类；(c)生成与图像数据集中的每个所分类的图像相关联的置信度度量；(d)基于与所分类的图像相关联的所生成的置信度量度来生成针对患者的诊断信号，其中，如果所生成的置信度量度的经处理的组合满足预定义的条件，则将针对患者的诊断信号标记为结论性的，以及如果所生成的置信度量度的经处理的组合不满足预定义的条件，则将针对患者的诊断信号标记为非结论性的；以及(e)输出诊断信号，其中，如果该诊断信号为结论性的，则发布分类结果，以及如果该诊断信号为非结论性的，则触发附加的诊断分析。

特别地，可以利用根据本发明的第一方面的计算机实现的诊断辅助系统来实现根据本发明的第二方面的方法。因此，本文结合计算机实现的诊断辅助系统公开的特征和优点也被公开用于该方法，反之亦然。

根据第三方面，本发明提供了一种包括可执行程序代码的计算机程序产品，该可执行程序代码被配置成：该可执行程序代码在被执行时执行根据本发明的第二方面的方法。

根据第四方面，本发明提供了一种包括可执行程序代码的非暂态计算机可读数据存储介质，该可执行程序代码被配置成：该可执行程序代码在被执行时执行根据本发明的第二方面的方法。

非暂态计算机可读数据存储介质可以包括以下或者由以下组成：任何类型的计算机存储器，特别是半导体存储器例如固态存储器。数据存储介质还可以包括CD、DVD、蓝光光盘、USB记忆棒等，或者由CD、DVD、蓝光光盘、USB记忆棒等组成。

根据第五方面，本发明提供了一种数据流，该数据流包括可执行程序代码或者被配置成生成可执行程序代码，该可执行程序代码被配置成：该可执行程序代码在被执行时执行根据本发明的第二方面的方法。

本发明的主要构思中的一个是提供一种用于医疗应用的特别是用于预测肿瘤组织的高分辨率显微镜数据中的形态分子改变以便辅助相关癌症类型的诊断并且最终辅助预后和治疗选择的基于计算机的支持系统。该系统被配置成：获得、接收或获取患者的图像数据的集合，并且利用预先训练的人工神经网络对数据集中的每个图像进行分类。给每个分类的图像分配置信度度量，然后将该置信度度量提升至与患者的所有图像相关联的置信度度量。如果该置信度度量满足某个条件(例如，其高于预定义的阈值)，则生成针对患者的结论性诊断。如果该置信度度量不满足某个条件(例如，其处于预定义的阈值处或低于预定义的阈值)，则针对该特定患者的诊断为非结论性的。如果诊断信号为结论性的，则发布分类结果作为输出信号。相反，如果诊断信号为非结论性的，则触发附加的诊断分析。

特别地，对于分子改变的预测，结论性诊断可以是关于分子生物标志物的存在或不存在的安全预测。

如上所述的系统提供了基于计算机的辅助诊断方法的简单实现方式。在第一步骤中，获得患者的图像数据的集合。这些图像数据由预先训练的人工神经网络处理，该预先训练的人工神经网络基于预先确定的类别的集合生成分类。在另一步骤中，针对每个所分类的图像生成置信度度量。基于与所分类的图像中的每一个相关联的所生成的置信度度量，推断与患者的所有图像相关联的置信度度量，并且生成针对患者的诊断信号，如果置信度度量满足某个条件(例如，置信度度量高于预定义的阈值)，则该诊断信号可以为结论性的，以及如果置信度度量不满足某个条件(例如，置信水平处于预定义的阈值处或低于预定义的阈值)，则该诊断信号可以为非结论性的。如果诊断信号为结论性的，则发布分类结果。相反，如果诊断信号为非结论性的，则触发附加的诊断分析。

本发明的一个优点在于：通过选择可以利用置信度做出预测的那些情况，提高了人工神经网络作为用于分子改变的预测工具的性能。这样，人工智能被用于其可以在临床上产生重大影响的地方。因此，本发明是对不具有置信度评估的人工智能方法的改进。

本发明的另一优点在于：与基于IHC、NGS或PCR测试的预测系统相比，本发明更加有效。这些测试是任务特定的，而本发明的系统和方法可以使用作为医疗工作流程的一部分的标准H&E切片。更加昂贵的IHC、NGS或PCR测试可以被保留用于利用置信度不能做出利用人工智能方法进行预测的那些情况。换句话说，本发明为利用更便宜的H&E图像可以做出预测的那些患者削减了IHC、NGS或PCR测试的成本。这致使资源的优化。

本发明的另外的优点在于：由于本发明依赖于可以从H&E图像中提取的形态特征，因此图像数据集可以用于不同的任务。这使得本发明具有多功能性，因为本发明可以在不必改变图像数据集的情况下处理针对患者体内不同分子生物标志物的预测。

有利的实施方式和另外的进展来自从属权利要求以及附图中所示的不同优选实施方式的描述。

根据实施方式中的一些、改进或实施方式的变体，所获得的图像数据集包括数字化图像的集合，优选地患者的组织病理学全切片图像的集合。全切片图像是经显微镜放大的切片，所述切片在每个维度上包含数十万像素，这致使精度达到微米。这些图像的形态信息非常丰富，因此尤其适于利用人工智能和机器学习工具对这些图像进行处理，尤其是在对分子改变进行标识和分类时，所述分子改变是微妙的，因此难以使用非基于AI的方法进行标识。

根据实施方式中的一些、改进或实施方式的变体，全切片图像是从苏木精-伊红染色的染色切片生成的。如上面已经提及的，苏木精和伊红的染色切片是临床工作流程的一部分。因此，它们很容易获得，并且不需要针对每次分析都生成。此外，它们可以用于不同的任务。

根据实施方式中的一些、改进或实施方式的变体，人工智能神经网络ANN是卷积神经网络CNN。考虑到全切片图像中包含的大量数据，CNN在处理图像分析和模式识别时特别有效。本发明的优选实施方式使用强大、高效且复杂的CNN，例如EfficientNet-B0。

根据实施方式中的一些、改进或实施方式的变体，利用训练数据对卷积神经网络CNN进行端到端训练，所述训练数据不具有也被称为注释的辅助标签。如上面已提及的，全切片图像包含大量数据。根据手头任务，图像的一些部分可能比其他部分更相关。在一些基于AI的方法中，利用经训练的分割模型来标识图像的感兴趣区域。根据任务，该注释可能要求相当高。发明人做出贡献的本领域中的最新进展表明，可以取消该分割步骤，并且具有无注释、端到端可训练的CNN，其结果相比于涉及注释的更常规的方法更有竞争力。在本发明的一些优选实施方式中，使用了在以下文献中介绍的k-Siamese CNN架构：M.Teichmann、A.Aichert、H.Bohnenberger、P.

根据实施方式中的一些、改进或实施方式的变体，卷积神经网络CNN被配置成接收所获得的图像数据集以及附加地患者的非基于图像的信息作为输入。具有患者特定的元数据例如性别、年龄和/或先前的医学疾病与状况的数据集的扩充可以提高CNN的性能。

根据实施方式中的一些、改进或实施方式的变体，类别的集合包括用于癌症检测的各种类型的分子生物标志物，特别是MSI和/或林奇综合征和/或表皮生长因子受体(EGFR)和/或Kirsten大鼠肉瘤病毒癌基因同源物(KRAS)和/或程序性死亡配体1(PD-L1)。分子生物标志物是液体(例如，血液)或组织中的指示异常过程、状况或疾病的生物分子。用于癌症检测的分子生物标志物指示某类癌症的存在及其演变状态。因此，所述分子生物标志物是实现诊断以及患者特定预后和治疗建议的重要工具。

根据实施方式中的一些、改进或实施方式的变体，类别(C1至C4)的集合包括用于MSI的分类器，其中，图像数据集包括从患有结直肠癌的患者获得的图像。通过包括用于MSI的分类器的类别(C1至C4)的集合，可以认为医疗诊断辅助系统作为整体被配置成用于MSI的分类器。微卫星不稳定性(MSI)是由受损的DNA错配修复引起的遗传超突变的状况。因此，MSI的检测指示错配修复功能异常，这与诸如结肠癌、胃癌、子宫内膜癌、卵巢癌、肝胆管癌、泌尿道癌、脑癌或皮肤癌的许多癌症相关联。最普遍的是，MSI与结直肠癌相关联。大约15％的患有结肠癌的患者是MSI阳性。因此，患有结直肠肿瘤的患者常规进行MSI测试。

根据实施方式中的一些、改进或实施方式的变体，诊断信号基于针对所获得的图像数据集中的所有所分类的图像计算的加权平均值，其中，用于计算加权平均值的权重基于与所分类的图像相关联的置信度度量。

根据实施方式中的一些、改进或实施方式的变体，诊断信号还基于患者特定的非基于图像的信息。如上面所讨论的，在一些实施方式中，患者的元数据可以与图像数据一起用作人工神经网络的输入。一旦已知图像的置信水平以及必须生成诊断信号，患者的元数据的使用也可以被使用。患者特定的信息(例如，先前癌症的发生)是生成诊断时的相关信息。

根据实施方式中的一些、改进或实施方式的变体，置信度模块包括softmax单元，该softmax单元被配置成基于softmax动作选择来确定至少一个置信度度量，以及/或者置信度模块包括贝叶斯单元，该贝叶斯单元被配置成基于贝叶斯推断来确定至少一个置信度度量。

例如与分子生物标志物的检测或不存在相关联的可能的置信度度量是logit函数的输出，该logit函数可以在人工神经网络的最终层中实现。可以基于对logit函数的输出的概率解读来计算更复杂的置信度度量。

在softmax动作选择中，采用统计方法。例如，可以假设通过logit函数输出的logit遵循玻尔兹曼分布，并且然后将置信度度量与使用逻辑回归发现的可能性相关联。另一种可能性是使用贝叶斯推断。存在可用的基于贝叶斯的不同方法，据称所述方法产生与人工神经网络的预测相关联的非常强的置信水平。

根据实施方式中的一些，附加的诊断分析是基于IHC的测试和/或基于PCR的测试和/或基于NGS的测试。换句话说，其诊断信号被本发明的第一方面的系统标记为非结论性的患者可以使用最先进的非基于IA的方法进行测试。

根据实施方式中的一些，附加的诊断分析被配置成生成另外的诊断信号。因此，其诊断信号被本发明的第一方面的系统标记为非结论性的患者基于替选方法获得另外的诊断。

根据实施方式中的一些，计算机实现的诊断辅助系统是医疗诊断辅助系统的一部分，该医疗诊断辅助系统还包括IHC模块和全局输出接口。IHC模块被配置成：预测其诊断信号被计算机实现的诊断辅助系统标记为非结论性的那些患者的分子生物标志物的存在，并且生成另外的诊断信号。

IHC模块应被理解为能够执行以下测试的实体：不仅是IHC测试，还有PCR测试、NGS以及不基于人工智能实现方式的其他最先进的测试。IHC模块的能力可以取决于患者和手头任务。

换句话说，分子生物标志物不能通过形态方面清楚地被标识并且因此不能由基于图像的人工智能神经网络利用足够高的置信度预测的那些患者必须利用最先进的测试进行诊断以获得第二诊断信号。这致使了资源的优化使用，因为利用基于AI的方法的预测比IHC、PCR或NGS测试便宜得多，IHC、PCR或NGS测试仅在基于AI的方法不够可靠时才使用。医疗诊断辅助系统可以嵌入诊断决策支持系统(DDSS)内，以辅助临床工作流程和/或医疗工作流程中的人类决策。

尽管在此处、在前文以及在下文，一些功能被描述为由模块执行，但应当理解，这不一定意味着这样的模块被设置为彼此分离的实体。在一个或更多个模块被设置为软件的情况下，所述模块可以由程序代码段或程序代码片段来实现，所述程序代码段或程序代码片段可以彼此不同，但也可以相互交织或集成。

类似地，在一个或更多个模块被设置为硬件的情况下，一个或更多个模块的功能可以由一个且相同的硬件部件提供，或者若干个模块的功能可以分布在若干个硬件部件上，所述硬件部件不一定对应于模块。因此，展示归属于特定模块的所有特征和功能的任何设备、系统、方法等应被理解为包括所述模块或者实现所述模块。特别地，所有模块都可以通过由计算设备例如服务器或云计算平台执行的程序代码来实现。

只要合理，上面的实施方式和实现方式可以根据需要彼此组合。

附图说明

根据所附附图、具体实施方式和权利要求书，本方法和设备的其他的应用范围将变得明显。然而，应当理解，具体实施方式和具体示例虽然指示本发明的优选实施方式，但仅通过说明的方式给出，因为在本发明的精神和范围内的各种变化和修改对于本领域技术人员来说将变得明显。

参照附图将更好地理解本公开内容的各方面。附图中的部件不一定是按比例绘制的，而是将重点放在清楚地示出本公开内容的原理上。不同附图中与相同元件对应的部分用相同的附图标记来标识。

在附图中：

图1是根据本发明的实施方式的用于医疗应用的计算机实现的诊断辅助系统的示意性描绘；

图2是根据本发明的另一实施方式的医疗诊断辅助系统的示意性图示；

图3是示出用于医疗应用的计算机实现的诊断辅助方法的示例性实施方式的框图；

图4是示出根据本发明的第三方面的实施方式的计算机程序产品的示意性框图；以及

图5是示出根据本发明的第四方面的实施方式的非暂态计算机可读数据存储介质的示意性框图。

附图可以不是按比例绘制的，并且为了清晰和简洁起见，某些部件可以以概括性或示意性的形式示出。在一些情况下，公知的结构和设备以框图形式示出，以避免模糊本发明的概念。同样，方法中的步骤的编号意指简化其描述。编号不一定暗指步骤的特定顺序。特别地，可以同时执行若干个步骤。

具体实施方式

详细描述包括具体细节以用于提供对本发明的透彻理解的目的。然而，对于本领域技术人员来说明显的是，本发明可以在没有这些具体细节的情况下实施。

图1示出了根据本发明的实施方式的用于医疗应用的计算机实现的诊断辅助系统100的示意性图示。只要具体示例可以有助于示出该系统是如何操作的，我们将使用结直肠癌样本中微卫星不稳定性(MSI)的预测作为应用。然而，应当理解，该特定示例并不限制本发明的范围。

计算机实现的诊断辅助系统100包括输入接口10、人工智能实体20、标记模块30和输出接口40。

输入接口10被广泛理解为能够获取、获得或接收图像数据D0并且传送该图像数据D0用于进一步处理的任何实体。图像数据D0可以包括肿瘤组织的经放大的显微镜数据，优选地具有苏木精和伊红(H&E)染色的组织样本的福尔马林固定石蜡包埋(FFPE)切片的全切片成像。该图像数据D0可以包括例如通过分割和/或细分(tessellation)和/或选择图像的一部分的任何其他程序生成的全切片图像的一部分。图像数据D0还可以包括患者的多于一个图像。

人工智能实体20被广泛理解为能够处理数据的任何实体。图1中的人工智能实体20包括人工智能神经网络210和置信度模块220。

人工智能神经网络210优选地是卷积神经网络。本发明的优选实施方式使用强大、高效且复杂的CNN，例如EfficientNet-B0。利用算法来实现人工智能神经网络210。发明人已经意识到，特别地，在以下文献中被描述为k-Siamese CNN架构的算法产生了最佳结果：M.Teichmann、A.Aichert、H.Bohnenberger、P.

在MSI预测的特定示例中，在细分之后，WSI的k个随机选择的小图块被CNN的k个副本(即具有相同参数、特别是具有相同权重选择的k个CNN)同时处理。每个CNN输出特征向量，该特征向量给出对在WSI的对应图块中存在或不存在MSI的预测。整个特征向量被组合以指示在该特定WSI中存在或不存在MSI。在假设的情况下，在WSI中的一些中，将预测MSI，而在一些其他WSI中，将预测不存在MSI。可以通过考虑每个WSI的预测来进行全局预测。

使用从标准EfficientNet权重开始的微调方法来训练人工智能神经网络210。基本学习率被设置为2×10

人工智能神经网络210基于类别集合执行分类。在MSI预测的特定示例中，类别C1至C4的集合可以被限制为类别，即MSI的存在和MSI的不存在。然而，更复杂的情况也是可能的。林奇综合征(Lynchsyndrome)是也与结直肠癌相关联的分子生物标志物。人工智能神经网络210然后可以被配置成同时执行两个不同的任务，即，例如MSI和林奇综合征的预测。这两种分子生物标志物不相互排斥，即在全切片图像(WSI)被分割成的小图块中的一些中不相互排斥。可以存在示出MSI和林奇综合征(MSI和林奇综合征中的仅一种或一种都没有)的肿瘤。在该示例中，人工智能神经网络210可以产生四种不同的预测结果，即存在MSI和林奇综合征两者的预测、不存在MSI和林奇综合征两者的预测、存在MSI且不存在林奇综合征的预测、以及不存在MSI且存在林奇综合征的预测。

然后可以对WSI的每个图块的预测结果进行组合，以实现对相应WSI的预测，并且然后实现在全局级别上对所有WSI的预测，从而指示在所获得的图像数据集D0中存在或不存在诸如MSI和林奇综合征的分子生物标志物。

置信度模块220被配置成给通过人工智能神经网络210实现的预测中的每一个分配置信度度量。如上面所讨论的，可以使用从人工神经网络210的logit层的原始输出到更复杂的实现方式例如基于统计的方法或基于贝叶斯的方法的不同技术来获得该置信水平或置信度度量。在上面提及的利用k-Siamese CNN的特定实施方式中，置信度模块220可以给每个WSI的每k个CNN的输出分配置信度度量。然而，其他实现方式是可能的，例如给针对每个WSI的预测分配置信度度量。这些方法的部分实现方式或组合实现方式也是可能的。根据特定实现方式，置信度模块220可以给WSI的所有k个图块或给仅其子集分配置信度度量，或者给每个WSI分配全局置信度度量。每当针对WSI的各个图块生成置信度度量时，置信度模块220被配置成计算所述各个图块的加权平均值。

通过人工智能神经网络210的功能和置信度模块220的功能的组合与相互作用，人工智能实体20被配置成利用针对每个所获得且经处理的WSI的相关联的置信度度量生成预测。

标记模块30被配置成：基于与所分类的图像中的每一个相关联的所生成的置信度度量，生成针对患者的诊断信号。对于患者的整个经处理的图像，该置信度度量被提升至全局信任级别。在优选实施方式中的一些中，可以基于对患者的WSI的置信度度量的加权平均值来生成该全局信任级别。这种计算的全局信任级别是数字量。如果针对患者的全局信任级别满足某个条件(例如，其高于预先确定的阈值)，则标记模块30将针对该患者的诊断结果标记为结论性的。相比之下，如果针对患者的全局信任级别不满足该条件(例如，其处于该预先确定的阈值或低于该预先确定的阈值)，则标记模块30将针对该患者的诊断结果标记为非结论性的。在MSI预测的示例中，针对患者的结论性诊断预测在患者的肿瘤组织样本中存在MSI，或者预测在患者的肿瘤组织样本中不存在MSI。选择要满足的条件背后的标准可以基于在临床工作流程中限定明确预测的当前标准，使得由本发明的系统提供的预测可以用于临床路径决策。

系统100的输出接口40被广泛理解为能够基于从系统100的标记模块30获取的信息来生成诊断信号的任何实体。如果所生成的诊断信号已被标记为结论性的，则系统100的输出接口40适于发布标记模块30的分类结果。相反，如果诊断信号为非结论性的，则可以通过系统100自动触发附加的诊断分析。

如果计算机实现的诊断辅助系统100被实现为嵌入诊断决策支持系统(DDSS)内的计算机辅助临床诊断功能的一部分，则系统100的输出接口40可以将诊断信号呈现在诸如网站、应用、软件或电子健康记录(EHR)前端接口的用户接口上。

在如图1中所示的优选实施方式中，计算机实现的诊断辅助系统100还包括元数据模块4，元数据模块4被配置成存储已获得来自其的图像数据集D0的同一患者的非基于图像的信息。该信息可以包括年龄和/或性别和/或患者医疗记录的一部分。系统100的元数据模块4可以至少包括非暂态计算机可读数据存储介质，该非暂态计算机可读数据存储介质可以包括以下或者由以下组成：一个或更多个硬盘驱动器、SSD、外部硬盘驱动器、诸如CD和/或DVD的光学介质、蓝光光盘、诸如拇指驱动器和USB记忆棒的闪存介质、或者能够为数据库和/或数据仓库的存储单元提供快速且一致的输入/输出执行的任何设备。系统100的元数据模块4还可以包括云数据库。元数据模块4还可以包括中央处理单元CPU、和/或至少一个现场可编程门阵列FPGA、和/或至少一个专用集成电路ASIC、和/或前述的任意组合以及可执行程序代码。它们中的每一个可以部分和/或完全在诸如计算机或平板计算机的本地装置中实现，以及/或者例如通过云计算平台部分和/或完全在远程系统中实现。系统100的元数据模块4可以以硬件和/或软件、线缆连接和/或无线及其任何组合来实现。元数据模块4可以包括与内联网或因特网、云计算服务、远程服务器等的接口。特别地，元数据模块4可以从电子健康记录(EHR)检索数据。

系统100的元数据模块4可以将所存储的患者的非图像信息提供给人工智能实体20，然后将所存储的患者的非图像信息与同一患者的所获得的图像数据集D0一起输入人工智能神经网络210中。同样，元数据模块4还可以向标记模块30提供非图像信息，该非图像信息然后被处理并且用于实现诊断。

图2示出了根据本发明的另一实施方式的医疗诊断辅助系统1000的示意性图示。该医疗诊断辅助系统1000包括IHC模块50和诸如图1中描述的计算机实现的诊断辅助系统100。

如图1所示，计算机实现的诊断辅助系统100被配置成基于患者的H&E数据集来处理全切片图像。系统100的标记模块30被配置成将得到的诊断信号标记为结论性的或非结论性的。结论性诊断可以被纳入临床工作流程以辅助做出临床决策，从而影响例如患者的预后和治疗选择。非结论性诊断信号指示：基于图像的AI方法不能达到用于所研究的分子生物标志物的足够置信水平。这可能是因为以下情况：在特定患者中，分子改变不会导致可检测的形态变化。系统100的测试已经显示：在某些患者中确实是这种情况，而在其他患者中，分子改变以形态变化的形式留下痕迹，这被系统100的人工智能神经网络210用来推断分子生物标志物的存在。可以利用更昂贵的、最先进的测试例如IHC、NGS或PCR来对其诊断信号根据标记模块30为非结论性的患者进行诊断。

IHC模块50被配置成预测其诊断信号被计算机实现的诊断辅助系统100标记为非结论性的那些患者的分子生物标志物的存在，并且IHC模块50被配置成生成另外的诊断信号。如上面所提及的，IHC模块50的能力不限于执行IHC测试，而应该被理解为涵盖广泛范围的不同测试，所述测试由负责患者的专家决定并且因此可能根据手头任务和患者而不同。IHC模块50示意性地包括(相当一般地)如下模块，所述模块能够基于更复杂的测试例如免疫组织化学(IHC)以及下一代测序(NGS)和聚合酶链式反应测试(PCR-测试)来执行分析。

计算机实现的诊断辅助系统100和IHC模块50是线缆连接和/或无线连接的。在一些优选实施方式中，系统100的输出接口40还可以被配置成向IHC模块50发送信号，例如发送对由系统100不能进行结论性诊断的患者进行标识的文件。然后，在IHC模块50中对该信号信息进行处理，并且最终由IHC模块50发布基于IHC测试和/或NGS和/或PCR测试(列举最常见的测试中的一些)的针对那些患者的另外的诊断信号。

因此，计算机实现的诊断辅助系统100对可以省去这些测试并且可以仅通过处理更廉价且通用的H&E(苏木精-伊红)图像来做出诊断的患者进行筛选。与常规的基于IHC的方法相比，系统100具有竞争性的性能。在一些情况下，本发明的系统100甚至优于基于IHC的测试的预测能力。例如，针对MSI的预测，根据计算机实现的诊断辅助系统100的实施方式中的一些的预测的灵敏度范围在91％和97％之间，而基于IHC的分析仅产生88％。针对特异性，根据计算机实现的诊断辅助系统100的相同实施方式的预测达到98％，而基于IHC的分析仅产生94％。

在一些实施方式中，医疗诊断辅助系统1000允许对计算机实现的诊断辅助系统100进行验证。这可以通过对具有结论性诊断结果的患者的选集进行采样来完成，可以将其报告给IHC模块50，以便使用最先进的测试进行另外的处理。医疗诊断辅助系统1000的验证单元60可以被配置成：将由计算机实现的诊断辅助系统100发布的(结论性)诊断信号与另外的诊断信号进行比较。

医疗诊断辅助系统1000可以嵌入诊断决策支持系统(DDSS)内，以辅助临床和/或医疗工作流程中的人类决策。在这种情况下，系统100的输出接口40可以将诊断信号呈现在诸如网站、应用、软件或电子健康记录(EHR)前端接口的用户接口上。

图3是示出优选地与图1中描述的计算机实现的诊断辅助系统100一起应用的用于医疗应用的计算机实现的诊断辅助方法M的示例性实施方式的框图。一个步骤M1包括获得患者的图像数据集D0，该图像数据集D0优选地包括从患者的肿瘤组织的H&E染色切片生成的全切片图像(WSI)。在另一步骤M2中，根据类别C1至C4的集合对图像数据集D0中的图像进行分类。

在另外的步骤M3中，给每个分类的图像分配置信度度量，该置信度度量测量分类的可靠性。在另一步骤M4中，基于所分类的图像的所生成的置信度度量，生成针对患者的诊断信号。如果置信度度量满足某个条件，例如其高于预定义的阈值，则将针对患者的诊断信号标记为结论性的，并且如果置信度度量不满足条件，例如其处于预定义的阈值处或低于预定义的阈值，则将针对患者的诊断信号标记为非结论性的。在先前讨论的MSI检测的示例中，结论性诊断可以确定地指示存在MSI或者确定地指示不存在MSI。在另一步骤M5中，输出该诊断信号以进行进一步地处理。如果针对患者的诊断为结论性的，则可以使用该诊断例如作为用于临床路径中采取的决策的辅助。如果针对患者的诊断为非结论性的，则可以触发利用其他方法的另外的诊断分析。

在该方法的一些实施方式中，预见另外的步骤M6，在该步骤M6中，发送关于非结论性诊断的患者的信息，以便执行最终应该生成针对这些患者的另外的诊断信号的附加测试。在该方法的又一些实施方式中，预见另一步骤M7，在该步骤M7中，可以例如通过对具有待测试的结论性诊断并且使用诸如IHC、NGS或PCR的其他方法进行另外的诊断的多个患者进行采样来对结论性诊断进行验证。然后可以比较诊断信号，并且因此可以对由根据本发明的方法提供的诊断结果进行验证。

图4显示了示出根据本发明的第三方面的实施方式的计算机程序产品300的示意性框图。计算机程序产品300包括可执行程序代码350，该可执行程序代码350被配置成：在被执行时执行根据本发明的第二方面的任何实施方式的方法，特别是如关于前面附图所描述的方法。

图5显示了示出根据本发明的第四方面的实施方式的非暂态计算机可读数据存储介质400的示意性框图。数据存储介质400包括可执行程序代码450，该可执行程序代码450被配置成：在被执行时执行根据本发明的第二方面的任何实施方式的方法，特别是如关于前面附图所描述的方法。

非暂态计算机可读数据存储介质可以包括以下或者由以下组成：任何类型的计算机存储器，特别是半导体存储器例如固态存储器。数据存储介质还可以包括CD、DVD、蓝光光盘、USB记忆棒等，或者由CD、DVD、蓝光光盘、USB记忆棒等组成。

所公开的实施方式的先前描述仅是可能的实现方式的示例，提供所述示例以使本领域的任何技术人员能够制造或使用本发明。这些实施方式的各种变体和修改对于本领域技术人员来说将是明显的，并且在不脱离本公开内容的精神或范围的情况下，本文定义的一般原理可以应用于其他实施方式。因此，本发明并不旨在局限于本文所示实施方式，而是将被赋予与本文公开的原理和新颖特征一致的最宽范围。因此，除了根据所附权利要求之外，本发明不受限制。