通过机器学习模型对特征评价的显著视觉解释

技术领域

在本公开中所描述的各种实施例涉及包含用于绘制解剖区域或解剖器官的医学成像的特征评价的一个或多个机器学习模型的系统、机器、控制器和方法。更具体地，但是并非排他地，各种实施例涉及通过解剖区域/器官的医学成像的(一个或多个)机器学习模型来提供对特征评价的显著(salient)视觉解释。

背景技术

基于深度学习的人工智能(AI)技术已经表明：在基于医学成像的诊断(例如，超声(US)成像、X射线成像、计算机断层摄影(CT)成像、磁共振成像(MRI)、正电子发射断层摄影(PET)成像、单光子发射计算机断层摄影(SPECT)成像和扩散光学断层摄影(DOT)成像的深度学习诊断)方面提供了有前景的结果。尽管有前景的结果，但是大多数这样的算法仅输出最高风险，并且将面临规章和临床采用的挑战。为了解决这种问题，在深度学习界中，对于研究人员来说，显著量的努力已经投入到深度神经网络的可解读性。然而，这些方案是针对深度学习实践者而非临床医师(例如，临床医师和放射科医师)进行的优化，由此许多方案专门集中于深度神经网络自身的可视化，而一些其他方案试图探究医学图像的部分与医学图像的概率之间的关系。因此，被构建用于临床医师交互地探究深度神经网络如何与超过风险输出的医学图像一起工作的部件目前是不存在的。此外，医学图像的图像特性不同于具有扩散的不定结构并且通常3D+维度的自然图像。

更具体地，基于机器学习模型的AI技术在医学领域中的采用的一个问题是机器学习模型常常被临床医师认为是“黑盒”。尽管机器学习模型在基于医学成像的诊断方面的性能得到证明，机器学习模型的不透明推理过程使得临床医师难以理解模型如何以及为什么工作。这尤其是临床医师所忧虑的，因为部分地由于临床医师与AI之间的不良交互，计算机辅助的诊断还未产生可以预期的益处。例如，因为筛查环境中的大多数情况是阴性的，即使好的AI通常将产生比真阳性多许多的假阳性。因此，信息的阳性预测值是低的。这降低了临床医师信任，并且妨碍可以挽救生命的AI的临床采用。

尽管已经做了用于通过呈现2D定位图(例如，热图)来可视化来自二维(2D)卷积神经网络(2D ConvNet)的预测的一些工作，用于对来自三维(3D)卷积神经网络(3D ConvNet)的预测/分类的可视化的方法已经证明是难以发展的。当第3维度被隐藏或者最相关的角度和视角事先不是已知的时，特别是这种情况。更具体地，3D ConvNet常常被用于基于体积医学图像(例如，3D US、3D X射线、CT、MRI、PET、SPECT和DOT)的计算机辅助的诊断。理解3DConvNet的决策制定过程对于经过良好训练的临床医师确认并且接纳所提出的预测是至关重要的。另外，3D定位图(热图)的可视化的挑战主要是因为来自3D ConvNet的最后一层或中间层的这样的图是：(1)多维的(4D张量)、(2)与输入的体积医学图像相比是低分辨率的、以及(3)使用简单的绘制技术难以解读。

发明内容

根据前述内容，在本公开中所描述的各种实施例呈现了将允许基于机器学习模型的特征评价算法向临床医师‘解释’其自己的显著可视化技术。

本公开的一组实施例涉及本公开的“通过显著可视化的解释”方面。更具体地，本公开的该方面提供了图形用户界面的各种实施例，所述图形用户界面提供与提供身体、人类或动物的医学成像的特征评价的一个或多个机器学习模型的用户交互。

该组实施例的第一实施例是一种采用存储器的显著医学成像控制器，所述存储器存储人工智能引擎和图形用户界面，其中，所述人工智能引擎包括一个或多个机器学习模型。所述显著医学成像控制器还采用一个或多个处理器，所述一个或多个处理器与所述存储器通信，其中，所述(一个或多个)处理器被配置为：(1)将所述(一个或多个)机器学习模型应用于表示医学图像的一个或多个特征的医学图像数据以绘制所述医学图像的特征评价，并且(2)控制图形用户界面的显示，所述图形用户界面提供与所述人工智能引擎的用户交互以操纵通过(一个或多个)机器学习模型对所述医学图像的所述特征评价的显著可视化。

该组实施例的第二实施例是一种被编码有用于由一个或多个处理器执行的指令的非瞬态机器可读存储介质。所述非瞬态机器可读存储介质存储用于以下操作的指令：(1)将包括一个或多个机器学习模型的人工智能引擎应用于表示医学图像的一个或多个特征的医学图像数据以绘制所述医学图像的特征评价，并且(2)控制图形用户界面的显示，所述图形用户界面提供与所述人工智能引擎的用户交互以操纵通过所述(一个或多个)机器学习模型对所述医学图像的所述特征评价的显著可视化。

该组实施例的第三实施例是一种显著医学成像方法，包含：(1)将包括一个或多个机器学习模型的人工智能引擎应用于表示医学图像的特征的医学图像数据以绘制所述医学图像的特征评价，并且(2)控制图形用户界面的显示，所述图形用户界面提供与所述人工智能引擎的用户交互以操纵通过所述(一个或多个)机器学习模型对所述医学图像的所述特征评价的显著可视化。

出于描述和要求保护本公开的目的：

(1)在本公开的领域中的术语，包括但不限于："医学成像"、"人工智能引擎"、"数据预处理器"、"机器学习模型"、"神经网络"、"支持向量机"、"显著图像管理器"、"医学图像显示引擎"、"图像查看器"、"医学图像"、"医学图像生成器"、"显著图像生成器"、"图像切片"、"图像分割"和"图形用户界面"，要如在本公开的领域中已知并且意识到的并且在本公开中示范性描述的那样宽泛地进行解读；

(2)术语"特征"宽泛地涵盖医学图像内的通过一个或多个经训练的机器学习模型可识别和/或可表征的任何类型的对象，包括但不限于：解剖对象(例如，脉管、器官等)、异物(例如，流程工具/仪器和植入的设备)和图像伪影(例如，噪声、光栅波瓣)；

(3)术语"特征评价"宽泛地涵盖特征的识别和/或表征的任何类型的预测或分类；

(4)术语"显著图像"宽泛地涵盖宽泛地涵盖特征评价的图示。显著图像的范例包括但不限于热图、特征分割和激活图；

(5)术语"显著可视化"宽泛地涵盖一幅或多幅显著图像的显示；

(6)术语“控制器”宽泛地涵盖如在本公开的领域中理解和下文构想的用于如随后在本公开中所描述的那样控制本公开的各种原理的应用的主电路板或集成电路的所有结构构造。控制器的结构构造可以包括但不限于：(一个或多个)处理器、(一个或多个)非瞬态机器可读存储介质、操作系统、(一个或多个)应用模块、(一个或多个)外围设备控制器、(一个或多个)槽和(一个或多个)端口；以及

(7)“数据”可以以如在本公开的领域中理解的以及如在本公开中示例性描述的所有形式的可检测物理量或脉冲(例如，电压、电流、磁场强度、阻抗、颜色)方式被实施用于传输支持如随后在本公开中所描述的那样应用本公开的各种原理的信息和/或指令。被本公开涵盖的数据通信可以涉及如在本公开的领域中已知的通信方法，包括但不限于：通过任何类型的有线或无线数据链路的数据发送/接收以及被上传到计算机可用/计算机可读存储介质的数据的读取。

在下文中，结合随附的附图，根据本发明的各种实施例的详细描述，本公开的前述实施例和其他实施例以及本公开的各种特征和优点将变得更加明显。这些详细描述和附图仅仅是对本公开的例示说明而并非限制，本公开范围由随附的权利要求以及其等同物来限定。

附图说明

为了更好地理解各种范例实施例，对附图进行参考，在附图中：

图1图示了根据本公开的原理的显著医学成像方法的示范性实施例；

图2A图示了根据本公开的原理的人工智能引擎和医学图像显示引擎的示范性实施例；

图2B图示了根据本公开的原理的特征评价方法；

图2C图示了根据本公开的原理的显著可视化方法；

图3A图示了根据本公开的原理的二维(2D)卷积神经网络(CNN)的示范性实施例；

图3B图示了根据本公开的原理的二维(2D)卷积神经网络/支持向量机(CNN/SVM)的示范性实施例；

图3C图示了根据本公开的原理的3D CNN的示范性实施例；

图3D图示了根据本公开的原理的3D CNN/SVM的示范性实施例；

图3E图示了根据本公开的原理的2D CNN的一系列网络的示范性实施例；

图3F图示了根据本公开的原理的3D CNN的一系列网络的示范性实施例；

图3G图示了根据本公开的原理的2D CNN的并联网络的第一示范性实施例；

图3H图示了根据本公开的原理的3D CNN的并联网络的第一示范性实施例；

图3I图示了根据本公开的原理的2D CNN的并联网络的第一示范性实施例；

图3J图示了根据本公开的原理的3D CNN的并联网络的第一示范性实施例；

图4A图示了如在本公开的领域中已知的示范性2D平面CT图像和对应于2D平面CT图像的2D平面热图的示范性生成；

图4B图示了根据本公开的原理的3D体积CT图像的示范性绘制和对应于3D体积CT图像的3D体积热图的示范性生成；

图5A-5F图示了根据本公开的原理的在第一主平面处的3D体积显著图像的示范性重新切片；

图6A图示了根据本公开的原理的示范性特征分割；

图6B图示了根据本公开的原理的在第一主平面处的3D体积CT图像和图4B的3D体积热图的示范性重新切片；

图6C图示了根据本公开的原理的在第二主平面处的3D体积CT图像和图4B的3D体积热图的示范性重新切片；

图6D图示了根据本公开的原理的在第三主平面处的3D体积CT图像和图4B的3D体积热图的示范性重新切片；

图7图示了根据本公开的原理的激活图的示范性实施例；

图8图示了根据本公开的原理的临床报告的示范性实施例；

图9A图示了根据本公开的原理的图形用户界面的示范性实施例；

图9B图示了根据本公开的原理的显著操纵方法；

图10A图示了根据本公开的原理的图像掩模图形用户界面(GUI)的示范性实施例；

图10B图示了根据本公开的原理的数据修正图形用户界面(GUI)的示范性实施例；

图10C图示了根据本公开的原理的相关性阈值图形用户界面(GUI)的示范性实施例；

图10D图示了根据本公开的原理的备选评价图形用户界面(GUI)的示范性实施例；

图11图示了根据本公开的原理的显著医学成像控制器的示范性实施例；

图12A图示了根据本公开的原理的显著医学成像系统的第一示范性实施例；并且

图12B图示了根据本公开的原理的显著医学成像系统的第二示范性实施例。

具体实施方式

如将在本公开中进一步详细解释的，本公开以将允许基于机器学习模型的特征评价算法向临床医师‘解释’其自己的显著可视化技术为前提。对于本公开，机器学习模型可以是在本公开的领域中已知的任何类型的预测机器学习模型或任何类型的分类机器学习模型，包括但不限于：深度神经网络(例如，卷积神经网络、递归神经网络等)和监督式学习机器(例如，线性或非线性支持向量机、提升分类器等)。

为了促进对本公开的理解，图1的以下描述教导了本公开的显著可视化方法的各种实施例。根据图1的描述，在本公开的领域中的技术人员将意识到如何将本公开应用于制作并且使用本公开的显著可视化方法的许多和各种额外实施例。

参考图1，本公开的显著医学成像方法20实施特征评价阶段S22、显著可视化阶段S24和显著操纵阶段26。

特征评价阶段S22包含将包括一个或多个机器学习模型的人工智能引擎应用于身体、人类或动物的医学成像30，以绘制医学成像30的特征评价31。

在实践中，医学成像30涵盖用于在许多和各种流程(包括但不限于临床诊断流程、介入/外科手术流程和患者监测)中所使用的身体的部分或全部的可视化。医学成像30的范例包括但不限于：通过由医学成像机器(例如，2D/3D US、2D/3D X射线、CT、MRI、PET、SPECT和DOT)生成的原始成像数据表示或者通过根据所述原始成像数据重建的解剖区域/器官的医学图像表示的解剖区域/器官的二维(2D)医学成像和三维(3D)医学成像。

在实践中，特征评价31涵盖身体的医学成像内图示的一个或多个特征根据(一个或多个)特征的识别和/或表征的预测或分类。更具体地，特征涵盖医学图像内的通过一个或多个经训练的机器学习模型可识别和/或可表征的任何类型的对象，包括但不限于：解剖对象(例如，脉管、器官等)、异物(例如，流程工具/仪器和植入的设备)和图像伪影(例如，噪声、光栅波瓣)。

医学成像30内图示的特征的分类的范例包括但不限于对以下项进行分类：(1)解剖结构(例如，脑的灰质或白质)、(2)异物(例如，导丝、植入的支架或瓣膜)、(3)病灶恶性(例如，皮肤病灶良性的或恶性的)、(4)特定疾病(例如，对于糖尿病性视网膜病变阳性或阴性)、(5)多类别病灶分类(例如，正常、胶质母细胞瘤、肉瘤和脑转移瘤)、以及(6)具体组织内的变化(例如，脉管中的狭窄、组织/器官中的血液池化和组织硬度变化)。

医学成像30内所图示的特征的预测的范例包括但不限于：预测(1)块状物是非癌性的(阴性诊断)还是癌性的(阳性诊断)，诸如，例如对于肺结节的风险评分；以及(2)患者结果，诸如，例如被诊断有结直肠癌的患者的例如五年疾病特异性存活的高可能性和低可能性。

仍然参考图1，在阶段S22期间的特征评价31的绘制之后，显著可视化阶段24包含一幅或多幅医学图像32和显著图像33的显示。

在实践中，医学图像32涵盖由医学成像机器(例如，2D/3D超声机器、2D/3D X射线机器、CT机器、MRI机器、PET机器、SPECT机器和DOT机器)采集的任何类型的图像。医学图像32的范例包括但不限于：(1)如由医学成像机器采集的图像帧或视频、(2)医学成像30内图示的(一个或多个)特征的图像分割、以及(3)由一种类型的医学成像机器采集的图像帧/视频到由不同类型的医学成像机器采集的图像帧/视频上的图像叠加(例如，2D超声图像到2D/3D X射线图像上的叠加)。医学图像32可以被显示为医学成像30的平面视图或体积视图。

在实践中，显著图像33涵盖特征评价31的图示。显著图像33的范例包括但不限于热图、特征分割和激活图。

如将在本公开中进一步描述的，热图涵盖使用颜色方案(例如，灰度和可见光谱)来突出特征与医学成像30的特征评价31之间的任何相关性差异的特征评价31的平面或体积图形表示。

如将在本公开中进一步描述的，特征分割涵盖与医学成像30的特征评价31的具体最小相关性的(一个或多个)特征的平面或体积分割，由此(一个或多个)特征可以被个体地显示或者在所显示的医学图像32内被突出。

如将在本公开中进一步描述的，激活图涵盖以相关性的顺序(例如，左到右或者上到下)布置的(一个或多个)机器学习模型的输出(例如，神经网络的经过滤的输出)的n×m矩阵的平面视图，n≥1并且m≥1。

在显著可视化阶段24期间，本公开提供体积显著图像33的相关性重新切片和用户指定的重新切片。

在实践中，如将在本公开中进一步描述的，体积显著图像的相关性重新切片涵盖由(一个或多个)机器学习模型基于每个特征与体积医学图像的特征评价31的相关性水平从体积显著图像重新切片平面显著图像。更具体地，体积显著图像的显著体素具有超过相关性阈值的相关性水平，并且多个显著体素将限定医学图像30的评价的特征的显著视图。出于重新切片的目的，所述体积显著图像内的重新切片的平面显著图像的中心点和取向是根据重新切片的显著平面与包括一个或多个显著体素的体积显著图像的相交导出的。

在如将在本公开中进一步描述的第一相关性重新切片实施例中，所述体积显著图像内的重新切片的平面显著图像的中心点和取向是相对于体积显著图像的坐标平面从重新切片的显著平面与包括显著体素的最高空间分布、显著体素的最高加和或者显著体素的最高平均值的体积显著图像的相交导出的。

在如将在本公开中进一步描述的第二相关性重新切片实施例中，所述体积显著图像内的重新切片的平面显著图像的位置和取向是基于体积显著图像的坐标平面(即，XY平面、XZ平面或YZ平面)从重新切片的显著平面与体积显著图像的相交导出的。更具体地，体积显著图像内的重新切片的平面显著图像的位置和取向是相对于体积显著图像的坐标平面从重新切片的显著平面与包括最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值的体积显著图像的相交导出的。

在如将在本公开中进一步描述的第三相关性重新切片实施例中，体积显著图像内的重新切片的平面显著图像的位置和取向是基于体积体素的质心从重新切片的显著平面与体积显著图像的相交导出的。更具体地，体积显著图像内的重新切片的平面显著图像的位置和取向是相对于显著体素的质心从重新切片的显著平面与包括最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值的体积显著图像的相交导出的。

在实践中，体积显著图像的用户指定的重新切片涵盖基于包括一个或多个显著体素的平面显著图像的用户指定的中心点或取向从体积显著图像重新切片平面显著图像。更具体地，体积显著图像内的重新切片的平面显著图像的位置和取向是基于平面显著图像的用户指定的中心点或取向从重新切片的显著平面与包括最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值的体积显著图像的相交导出的。

仍然参考图1，在阶段S22期间的特征评价31的初始绘制之前或者在图像32或图像33的初始显示之后，显著操纵阶段S26包含经由图形用户界面(GUI)与人工智能引擎的用户交互，以操纵医学成像30的特征评价31的显著可视化。

在实践中，医学成像30的特征评价31的显著可视化涵盖(一幅或多幅)显著图像33和任选地医学图像32以支持潜在流程的方式的静态或交互式显示，并且医学成像30的显著可视化的操纵涵盖用于掩模或修正医学成像30的与人工智能引擎的医学成像交互34、或者改变用于医学成像40的特征的相关性阈值或假设医学成像30的备选特征评价31的特征评价交互35。

更具体地，在如将在本公开中进一步描述的医学成像交互34的数据掩模实施例中，所显示的GUI使得临床医师能够直接与平面医学图像或体积医学图像进行交互并且看到人工智能引擎如何响应。例如，临床医师可以分析(一幅或多幅)显著图像33以确认平面医学图像或体积医学图像的一个或多个具体区域是否与当前特征评价31无关。如果临床医师怀疑平面医学图像或体积医学图像的一个或多个具体区域与这样的图像的当前特征评价31无关，那么临床医师可以掩模(一个或多个)无关图像，并且查看(一幅或多幅)显著图像以看到这样的掩模对医学成像30的特征评价31具有的影响。

在如将在本公开中进一步描述的医学成像交互34的数据修正实施例中，所显示的GUI使得临床医师能够测试到人工智能引擎中的每个输入对如通过(一幅或多幅)显著图像30可视化的医学成像30的特征评价31的影响。数据修正的范例包括但不限于：(1)启用/禁用人工智能引擎的医学成像输入或者医学成像输入的组合，(2)增大/减小人工智能引擎的医学成像输入或者医学成像输入的组合的像素/体素强度值，(3)启用/禁用人工智能引擎的辅助信息输入或者辅助信息输入的组合，或者(4)改变人工智能引擎的辅助信息输入或者辅助信息输入的组合。

在如将在本公开中进一步描述的特征评价交互35的相关性阈值实施例中，所显示的GUI使得临床医师能够设置平面医学图像的像素与平面医学图像的特征评价31的相关性水平，或者使得临床医师能够设置体积医学图像的体素与体积医学图像的特征评价31的相关性水平。见解在于不是平面医学图像的所有像素或体积平面图像的所有体素都同样地与特征评价31相关，并且临床医师通常聚焦于他们最怀疑的图像的(一个或多个)特征。这样，平面医学图像的像素或体积平面图像的体素的相关性水平可以被临床医师设置为一个值，使得如果图像的特征到达该相关性水平，则该特征将在(一幅或多幅)显著图像33内被更独特地突出。

在如将在本公开中进一步描述的特征评价交互35的备选特征评价实施例中，临床医师可以在医学成像30的特征评价31的不同预测或不同分类(例如，预测/分类x和预测/分类y)之间进行假设，并且如果人工智能引擎绘制如通过图示医学成像30的预测/分类x的(一幅或多幅)显著图像31可视化的医学成像30的预测/分类x，那么临床医师可以经由GUI选择预测/分类y以看到与如通过图示医学成像30的预测/分类y的(一幅或多幅)显著图像31可视化的医学成像30的预测/分类y最相关的特征。

在实践中，医学成像交互34和特征评价交互35可以被个体地或组合地使用。

流程图20将不断地有条件地循环通过阶段S22-S26，直至相关联的流程或者相关联的流程的相关阶段被终止。

为了促进对本公开的进一步理解，图2A-2C的以下描述教导了本公开的人工智能引擎和医学图像显示引擎的各种实施例。根据图2A-2C的描述，本公开的领域中的普通技术人员将意识到如何将本公开应用于制作并且使用本公开的人工智能引擎和医学图像显示引擎的许多和各种额外实施例。

参考图2A，人工智能引擎40绘制医学成像30的特征评价31，如先前针对图1的阶段S22所描述的。对此，人工智能引擎40包括用于实施如通过图2B的流程图140表示的特征评价方法的数据预处理器41、一个或多个机器学习模型42和显著图像管理器43。

参考图2A和图2B两者，数据预处理器41在流程图140的阶段S142期间通过将数据30a/30b输入到(一个或多个)机器学习模型42中以由此在流程图140的阶段S144期间绘制特征评价31a来处理平面医学成像数据30a或体积医学成像数据30b。另外，数据预处理器41可以进一步处理来自医学成像机器(例如，2D/3D超声机器、2D/3D X射线机器、CT机器、MRI机器、PET机器、SPECT机器和DOT机器)的与平面医学成像数据30a或体积医学成像数据30b相关联的(例如，从重建的医学图像132a分割的解剖器官的半径和/或球形)的辅助成像信息30c，以用于将信息30c输入到(一个或多个)机器学习模型42中，以由此在阶段S144期间绘制特征评价31a。辅助成像信息30c可以进一步包括与患者相关的在年龄、性别和健康历史方面的信息。通过数据预处理器25处理医学图像数30a/30b和辅助成像信息30c的范例包括但不限于：对医学图像数据30a/30b和辅助成像信息30c的编码、嵌入或时间采样。

在实践中，如果这样的预处理在将医学图像数据30a/30b和任选的辅助成像信息30c传输到AI引擎40之前不是必要的或者先前已被执行，数据预处理器41可以从AI引擎40省略。

返回参考图2A，机器学习模型42是分类机器学习模型或预测机器学习模型，包括但不限于：(1)深度神经网络(例如，卷积神经网络、递归神经网络等)和(2)监督式学习机器(例如，线性或非线性支持向量机、提升分类器等)。在实践中，机器学习模型43可以被训练为针对任何类型的医学流程、任何类型的医学成像机器或者任何类型的患者绘制医学成像30a/30b的特征评价31a，或者备选地可以被训练为针对一个或多个具体医学流程或者一种或多种具体类型的医学成像机器绘制医学成像数据30a/30b的特征评价，由此机器学习模型43可以针对一种或多种具体类型的患者被进一步训练。同样地，在实践中，AI引擎40可以包括单个机器学习模型42或者多个相似的和/或不同的机器学习模型42，包括但不限于：(1)个体机器学习模型42的分布式布置、(2)两个或更多个相似的和/或不同的深度神经网络的网络、或者(3)两个或更多个相似的和/或不同的监督式学习机器的网络。

参考图2A和图2B两者，AI引擎40的(一个或多个)机器学习模型42输入(预处理)医学成像数据30a/30b，以在流程图140的阶段S144期间绘制医学成像数据30a/30b的特征评价31a，如先前针对图1的特征评价阶段S22所描述的。在阶段S144的初始执行之后，在流程图140的阶段S146期间，显著图像管理器43生成表示医学成像数据30a/30b的每个特征与特征评价31a的相关性的显著图像数据36a。

在实践中，显著图像数据36a表示掩模/修正的医学成像数据30a/30b的每个特征与新的特征评价31a的相关性。在针对任何类型的机器学习模型的一个实施例中，显著图像数据36a提供通过平面医学成像数据30a表示的每个像素和体积医学成像数据40a的每个体素从最不相关的(一个或多个)像素/(一个或多个)体素(例如，0)到最相关的(一个或多个)像素/(一个或多个)体素(例如，169)的缩放。所述缩放使得显著图像生成器51能够生成热图或特征图。在具体针对神经网络的第二实施例中，缩放图像数据36a提供范围从最不相关的(一个或多个)过滤器输出到最相关的(一个或多个)过滤器输出的过滤器输出。

更具体地，深度神经网络涵盖被相互连接并且被训练用于特征提取和变换的多层激活神经元(即，特征元素)，以由此计算(预处理的)医学成像数据30a/30b(例如，2D像素或3D体素)/辅助信息30c(如果适用的话)与经由一个或多个输出神经元(即，预测元素)的预测或分类之间的复杂映射。每个激活神经元将非线性激活函数应用于输入(例如，2D像素、3D体素、上游激活神经元输出或下游激活神经元输出)的加权线性组合。这样，对深度神经网络重要的参数是连接性神经元网络的结构、非线性激活函数和激活神经元的权重。同样地，重要的是执行任何类型的相关性映射以用于确认预测或分类的解释的能力，由此这样的相关性映射可以被用于本公开的显著图像数据36a(例如，反向传播、引导的反向传播、反卷积、类激活映射、梯度类激活映射等)。例如，检测到的类激活可以通过网络被反向投影到输入像素/体素空间，以检测输入医学图像30a/30b的哪些部分与预测或分类最相关。

对于(一个或多个)机器学习模型42的深度神经网络实施例，显著图像管理器43基于针对每个激活的缺省特征相关性阈值执行前文提到的相关性映射，以由此针对绘制的特征评价31a来生成显著图像数据36a。

此外，如在本公开的领域中已知的支持向量机涵盖被训练用于描绘超平面(即，预测元素)以用于线性地或非线性地将医学成像数据30a/30b(例如，2D像素或3D体素)、辅助信息30c(如果适用的话)的特征向量(即，特征元素)分成两个类中的一个类的支持向量。线性支持向量机具体地学习线性判别函数，由此线性判别函数的权重可以被用于将分数分配给每个2D像素或3D体素，以由此支持特征评价31a的绘制。

对于(一个或多个)机器学习模型42的支持向量机实施例，显著图像管理器43可以利用2D像素/3D体素评分结合相对于缺省特征相关性阈值的最近邻算法，以由此针对所绘制的特征评价31a生成显著图像数据36a。

仍然参考图2A和图2B，在阶段S146期间生成显著信息数据36a之后，显著图像管理器43前进到流程图140的阶段S148，由此显著图像管理器43在接收到数据掩模指定34a或数据修正指定34b后返回到阶段S142，或者在接收到特征相关性阈值指定35a或备选特征评价指定35b后返回到阶段S146。

更具体地，如果掩模指定34a或数据修正指定34b经由GUI被显著图像管理器43接收(如将在本公开中进一步描述的)，那么显著图像管理器43引导数据预处理器41执行平面医学图像数据30a或体积医学图像数据30b的数据掩模(如通过数据掩模指定34a引导的，如先前针对图1的显著操纵阶段S26所描述的)或者平面医学图像数据30a或体积医学图像数据30b的数据修正(如通过数据掩模指定34a引导的，如先前针对图1的显著操纵阶段S26所描述的)。随后，阶段S144被重复以基于数据掩模或数据修正绘制新的特征评价31a，并且阶段S146被重复以生成表示掩模/修正的医学成像数据30a/30b的每个特征与新的特征评价31a的相关性的新的显著图像数据36a。

此外，如果特征相关性阈值指定35a或者备选特征评价指定35b经由GUI被显著图像管理器43接收(如将在本公开中进一步描述的)，那么显著图像管理器43基于通过特征相关性阈值指定35a所指定的特征相关性阈值(如先前针对图1的显著操纵阶段S26所描述的)或者通过备选特征评价指定35b所指定的备选特征评价(如先前针对图1的显著操纵阶段S26所描述的)生成显著图像数据36a。

流程图140将不断地有条件地循环通过阶段S142-S148，直至相关联的流程或相关联的流程的相关阶段被终止。

图3A-3J图示了绘制平面医学图像数据30a或体积医学图像数据30b的预测或分类的特征评价的经训练的卷积神经网络(CNN)的示范性范例。针对每个范例，卷积神经网络采用一个或多个卷积/修正的线性单元(ReLU)/池化层和完全连接层，以由此输出特征评价(例如，被训练为提供具体类型的预测(包括但不限于肿瘤分类、脉管分割等)的具有四(4)个卷积层的卷积神经网络(CNN))。备选地，CNN的完全连接层被连接到支持向量机(CNN/SVM)或者利用支持向量机(CNN/SVM)来替代。

在实践中，本公开的CNN在身体的2D或3D医学成像上进行训练，其涵盖分类的整个集合的预测分数的整个范围。另外地，本公开的CNN被构造为出于生成平面显著图像或体积显著图像的目的而输出显著图像数据，如将在本公开中进一步解释的。具体地，显著图像数据是CNN的最后卷积层的过滤器输出。

此外，在实践中，本公开的CNN可以处理指示以下项的医学成像交互数据：(1)临床医师掩模医学平面医学图像或医学体积医学图像的区域以看到数据掩模对特征评价的影响(如先前针对图1的阶段S26所描述的)，或者(2)临床医师启用/禁用和/或到CNN的图像和辅助信息输入的变化以看到数据修正对特征评价的影响(如先前针对图1的阶段S26所描述的)。

另外地，在实践中，本公开的CNN可以处理指示以下项的特征评价交互数据：(1)临床医师设置平面医学成像数据的像素或体积医学成像的体素的相关性水平用于生成(一幅或多幅)显著图像(如先前针对图1的阶段S26所描述的)或者指示(2)在不同的假设(例如，x和y)之间的临床医师选择(如先前针对图1的阶段S26所描述的)。

在如在图3A中所示的AI引擎40的一个实施例中，2D CNN 242a如在本公开的领域中已知的那样在以前患者的多种种类的解读的医学图像上进行训练，以绘制通过平面医学成像数据30a表示的身体的医学成像的特征评价231a。另外地，2D CNN 242a由显著图像管理器43经由相关性映射进行操作，以出于生成图示特征评价231a的平面显著图像的目的而输出2D显著图像数据236a(例如，2D热图、2D特征图或激活图)。此外，2D CNN242a如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34c或特征评价交互数据35c进行操作。

在如在图3B中所示的AI引擎40的第二实施例中，2D CNN/SVM 242b如在本公开的领域中已知的那样在以前患者的多种种类的解读的医学图像上进行训练，以绘制通过平面医学成像数据30a表示的身体的医学成像的特征评价231b。另外地，2D CNN/SVM 242b由显著图像管理器43经由相关性映射进行操作，以出于生成图示特征评价231b的平面显著图像的目的而输出2D显著图像数据236b(例如，2D热图、2D特征图或激活图)。此外，2D CNN/SVM242b如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34c或特征评价交互数据35c进行操作。

在如在图3C中所示的AI引擎40的第三实施例中，3D CNN 242c如在本公开的领域中已知的那样在以前患者的多种种类的解读的医学图像上进行训练，以绘制通过体积医学成像数据30b表示的身体的医学成像的特征评价231c。另外地，AI引擎242c由显著图像管理器43经由相关性映射进行操作，以出于生成图示特征评价231c的体积显著图像的目的而输出2D显著图像数据236c(例如，3D热图、3D特征图或激活图)。此外，3D CNN242c如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34d或特征评价交互数据35d进行操作。

在如在图3D中所示的AI引擎40的第四实施例中，3D CNN/SVM 242d如在本公开的领域中已知的那样在以前患者的多种种类的解读的医学图像上进行训练，以绘制通过体积医学成像数据30b表示的身体的医学成像的特征评价231d。另外地，3D CNN/SVM 242d由显著图像管理器43经由相关性映射进行操作，以出于生成图示特征评价231d的体积显著图像的目的而输出2D显著图像数据236d(例如，3D热图、3D特征图或激活图)。此外，3D CNN/SVM242d如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34d或特征评价交互数据35d进行操作。

在如在图3E中所示的AI引擎40的第五实施例中，2D CNN 242a(图3A)充当向充当初级CNN的2D CNN 242e提供特征评价231a和显著图像数据236作为输入的次级CNN。2D CNN242e如在本公开的领域中已知的那样在以前患者的多种种类的解读的医学图像和特征评价231a上进行训练，以绘制如通过体积医学成像数据30b表示的身体的医学成像的特征评价231e。另外地，2D CNN 242e由显著图像管理器43经由相关性映射进行操作，以出于生成图示特征评价231a的平面显著图像的目的而输出2D显著图像数据236e(例如，2D热图、2D特征图或激活图)。此外，2D CNN 242e如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34e或特征评价交互数据35e进行操作。

在如在图3F中所示的AI引擎40的第六实施例中，3D CNN 242c(图3C)充当向充当初级CNN的3D CNN 242f提供特征评价231c和显著图像数据23c作为输入的次级CNN。3D CNN242f如在本公开的领域中已知的那样在以前患者的多种种类的解读的医学图像和特征评价231c上进行训练，以绘制通过体积医学成像数据30b表示的身体的医学成像的特征评价231f。另外地，3D CNN 242f经由相关性映射进行操作，以出于生成图示特征评价231f的体积显著图像的目的而输出3D显著图像数据236f(例如，3D热图、3D特征图或激活图)。此外，3D CNN 242f如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34f或特征评价交互数据35f进行操作。

在如在图3G中示出的AI引擎40的第七实施例中，2D CNN 242g如在本公开的领域中已知的那样在以前患者的一类阳性解读的医学图像(例如，癌症患者的图像、外科手术工具在解剖区域内的存在的图像等)进行训练，以绘制通过平面医学成像数据30a表示的身体的医学成像的初步特征评价231g。另外地，2D CNN 242g由显著图像管理器43经由相关性映射进行操作，以出于生成图示特征评价231g的平面显著图像的目的而输出2D显著图像数据236g(例如，2D热图、2D特征图或激活图)。此外，2D CNN 242g如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34g或特征评价交互数据35g进行操作。

仍然参考图3G，2D CNN 242h如在本公开的领域中已知的那样在以前患者的一类阴性解读的医学图像(例如，非癌症患者的图像、外科手术工具在解剖区域内的不存在的图像等)进行训练，以绘制通过平面医学成像数据30a表示的身体的医学成像的初步特征评价231h。另外地，2D CNN242h由显著图像管理器43经由相关性映射进行操作，以出于生成图示特征评价231h的平面显著图像的目的而输出2D显著图像数据236h(例如，2D热图、2D特征图或激活图)。此外，2D CNN 242h如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34h或特征评价交互数据35h进行操作。

仍然参考图3G，分类器/预测器242i被构造为生成通过平面医学成像数据30a表示的身体的医学成像的最终特征评价231i。在实践中，分类器/预测器242i可以实施如在本公开的领域中已知的用于组合初步特征评价231g和初步特征评价231h的任何技术以绘制最终特征评价231i。在一个实施例中，分类器/预测器242i可以平均与初步特征评价231g和初步特征评价231h相关联的风险分数，以由此绘制最终特征评价231i。在第二实施例中，分类器/预测器242i可以实施代表网络242g和242h的完全连接层。

仍然参考图3G，分类器/预测器242i还被构造为出于生成图示特征评价231i的平面显著图像的目的而输出显著图像数据236i(例如，2D热图、2D特征图或激活图)。在实践中，分类器/预测器242i可以实施如在本公开的领域中已知的用于组合网络242g和242h的卷积层的过滤器输出的任何技术以产生图示特征评价231i的显著图像数据236i(例如，2D热图、2D特征图或激活图)。在一个实施例中，分类器/预测器242i可以平均网络242g和242h的最后卷积层的过滤器输出以产生显著图像数据236i。

在如在图3H中所示的AI引擎40的第八实施例中，3D CNN 242j如在本公开的领域中已知的那样在以前患者的一类阳性解读的医学图像(例如，癌症患者的图像、外科手术工具在解剖区域内的存在的图像等)进行训练，以绘制通过体积医学成像数据30b表示的身体的医学成像的初步特征评价231j。另外地，3D CNN 242j由显著图像管理器43经由相关性映射进行操作，以出于生成图示特征评价231j的体积显著图像的目的而输出3D显著图像数据236j(例如，3D热图、3D特征图或激活图)。此外，3D CNN 242j如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34j或特征评价交互数据35j进行操作。

仍然参考图3H，3D CNN 242k如在本公开的领域中已知的那样在以前患者的一类阴性解读的医学图像(例如，非癌症患者的图像、外科手术工具在解剖区域内的不存在的图像等)进行训练，以绘制通过体积医学成像数据30b表示的身体的医学成像的初步特征评价231k。另外地，3D CNN242k由显著图像管理器43经由相关性映射进行操作，以出于生成图示特征评价231k的体积显著图像的目的而输出3D显著图像数据236k(例如，3D热图、3D特征图或激活图)。此外，3D CNN 242k如先前在本公开中所描述的那样经由(一个或多个)GUI根据医学成像交互数据34k或特征评价交互数据35k进行操作。

仍然参考图3H，分类器/预测器242l被构造为生成通过体积医学成像数据30b表示的身体的医学成像的最终特征评价231l。在实践中，分类器/预测器242l可以实施如在本公开的领域中已知的用于组合初步特征评价231j和初步特征评价231k的任何技术以绘制最终特征评价231l。在一个实施例中，分类器/预测器242l可以平均与初步特征评价231j和初步特征评价231k相关联的风险分数，以由此绘制最终特征评价231l。在第二实施例中，分类器/预测器242l可以实施代表网络242j和242k的完全连接层。

仍然参考图3H，分类器/预测器242l还被构造为出于生成体积显著图像的目的而输出显著图像数据236l(例如，3D热图、3D特征图或激活图)。在实践中，分类器/预测器242l可以实施如在本公开的领域中已知的用于组合网络242j和242k的卷积层的过滤器输出的任何技术以产生显著图像数据236l。在一个实施例中，分类器/预测器242l可以平均网络242j和242k的最后卷积层的过滤器输出以产生显著图像数据236l。

在如在图3I中所示的AI引擎40的第九实施例中，分类器/预测器242m被构造为生成通过平面医学成像数据30a表示的身体的医学成像的最终特征评价231m。在实践中，分类器/预测器242m可以实施如在本公开的领域中已知的用于组合来自2D CNN 242a(图3A)的初步特征评价231c、来自2D CNN 242g(图3G)的初步特征评价231g和来自3D CNN 242h(图3G)的初步特征评价231h的任何技术以绘制最终特征评价231m。在一个实施例中，分类器/预测器242m可以平均与初步特征评价231c、初步特征评价231g和初步特征评价231h相关联的风险分数，以由此绘制最终特征评价231m。在第二实施例中，分类器/预测器242m可以实施代表网络242a、242g和242h的完全连接层。

仍然参考图3I，分类器/预测器241m还被构造为出于生成图示特征评价231m的平面显著图像的目的而输出显著图像数据236m(例如，2D热图、2D特征图或激活图)。在实践中，分类器/预测器241m可以实施如在本公开的领域中已知的用于组合网络242c、242g和242h的卷积层的过滤器输出的任何技术以产生显著图像数据236m。在一个实施例中，分类器/预测器242i可以平均网络242c、242g和242h的最后卷积层的过滤器输出以产生显著图像数据236m。

在如在图3J中所示的AI引擎40的第十实施例中，分类器/预测器242n被构造为生成通过体积医学成像数据30b表示的身体的医学成像的最终特征评价231n。在实践中，分类器/预测器242n可以实施如在本公开的领域中已知的用于组合来自3D CNN 242a(图3A)的初步特征评价231c、来自3D CNN 242J(图3H)的初步特征评价231j和来自3D CNN 242k(图3h)的初步特征评价231K的任何技术以绘制最终特征评价231N。在一个实施例中，分类器/预测器242n可以平均与初步特征评价231c、初步特征评价231j和初步特征评价231k相关联的风险分数，以由此绘制最终特征评价231n。在第二实施例中，分类器/预测器242n可以实施代表网络242c、242j和242k的完全连接层。

仍然参考图3J，分类器/预测器241n还被构造为出于生成图示特征评价231n的体积显著图像的目的而输出显著图像数据236n(例如，3D热图、3D特征图或激活图)。在实践中，分类器/预测器242n可以实施如在本公开的领域中已知的用于组合网络242c、242j和242k的卷积层的过滤器输出的任何技术以产生显著图像数据236n。在一个实施例中，分类器/预测器242n可以平均网络242c、242j和242k的最后卷积层的过滤器输出以产生显著图像数据236n。

返回参考图2A，医学图像显示引擎50控制(一幅或多幅)医学图像32和(一幅或多幅)显著图像33的显示，如先前针对图1的阶段S24所描述的。对此，医学图像显示引擎50包括用于实施如通过图2C的流程图150表示的显著可视化方法的图像查看器51、医学图像生成器52和显著图像生成器53。

参考图2A和图2C两者，在流程图150的阶段S152期间，平面医学成像数据30a或体积医学成像数据40a可以以可查看的形式被医学图像显示引擎50接收。在这样的接收之后，自主地或者经由临床医师激活，图像查看器51前进到实施通过平面医学成像数据30a或体积医学成像数据40a表示的医学图像的显示，并且还为查看所显示的医学图像的临床医师提供图像导航功能(例如，放大、缩小、旋转等)和图像注释功能。另外地，医学图像生成器52可以自主地或者经由临床医师激活来实施：(1)通过平面医学成像数据30表示的一系列平面医学图像的体积绘制、(2)通过体积医学成像数据40或者通过体积绘制表示的体积医学图像的图像分割、或者(3)本领域中已知的用于生成额外医学图像的任何其他技术。

在阶段S152期间，平面医学成像数据30a或体积医学成像数据40a可以备选地以原始形式被医学图像显示引擎50接收。在这样的接收之后，医学图像生成器51可以实施平面医学成像数据30a或体积医学成像数据30b的图像重建技术。在这样的成像重建之后，自主地或者经由临床医师激活，图像查看器51前进到实施重建的医学图像的显示，并且还为查看所显示的重建的医学图像的临床医师提供图像导航功能(例如，放大、缩小、旋转等)和图像注释功能。另外地，医学图像生成器52可以自主地或者经由临床医师激活来实施：(1)一系列重建的平面医学图像的体积绘制、(2)通过重建的体积医学图像或者通过体积绘制表示的体积医学图像的图像分割、或者(3)本领域中已知的用于生成额外医学图像的任何其他技术。

随后地或者与阶段S152同时地，在流程图的阶段S154期间，特征评价数据31a和显著图像数据36a被医学图像显示引擎50接收。在这样的接收之后，自主地或者经由临床医师激活，图像查看器51前进到以文本形式或图形形式显示特征评价数据31a，并且显著图像生成器53处理显著图像数据36a以生成用于通过图像查看器51显示的(一幅或多幅)显著图像33。

再次地，在实践中，显著图像数据36a表示掩模/修正的医学成像数据30a/30b的每个特征与新的特征评价31a的相关性。在针对任何类型的机器学习模型的一个实施例中，显著图像数据36a提供通过平面医学成像数据30a表示的每个像素和体积医学成像数据40a的每个体素从最不相关的(一个或多个)像素/(一个或多个)体素(例如，0)到最相关的(一个或多个)像素/(一个或多个)体素(例如，169)的缩放。所述缩放使得显著图像生成器51能够生成热图或特征图。在具体针对神经网络的第二实施例中，缩放图像数据36a提供范围从最不相关的(一个或多个)过滤器输出到最相关的(一个或多个)过滤器输出的过滤器输出。

在一个卷积神经网络实施例中，显著图像管理器43相对于CNN的最后3D卷积层来计算种类的梯度，并且使用全局平均池化获得每个过滤器输出的权重，由此显著图像生成器53通过将权重应用于对应的过滤器输出和ReLU而生成热图，并且然后将过滤器输出归一化并且缩放至期望的尺寸。

例如，图4A示出了与范围从0至255的强度尺度137a相关联的示范性平面CT图像132a以及与范围从0至169的重要性尺度137b相关联的对应的平面热图133a。对于图4A，平面CT图像132a的每个像素已经基于与特征评价31a的相关性水平被分配强度值，并且如在平面热图133a中所显示的像素的重要性水平表示像素与特征评价31a的相关性水平，诸如，例如在平面热图133a内以0的水平示出的像素表示该像素具有与特征评价31a的最不相关性水平，并且在平面热图133a内以169的水平示出的像素表示该像素具有与特征评价31a的最相关性水平。

类似地，例如，图4B示出了与范围从0至255的强度尺度137a相关联的示范性体积CT图像132b和与范围从0至169的重要性尺度137b相关联的对应的体积热图133b。对于图4A，体积CT图像132b的每个体素已经基于与特征评价31b的相关性水平被分配强度值，并且如在体积热图133b中所显示的体素的重要性水平表示体素与特征评价31b的相关性水平，诸如，例如在体积热图133b内以0的水平示出的体素表示该体素具有与特征评价31b的最不相关性水平，并且在体积热图133b内以169的水平示出的体素表示该体素具有与特征评价31b的最相关性水平。

返回参考图2C，对于热图实施例，阶段S154还涵盖显著图像生成器53(图2A)定义与体积热图相交的重新切片显著平面以暴露用于医学成像30的特征评价31a的最相关或描述性信息，并且图像查看器51提供用于由临床医师鉴于基于相关性的引导在医学成像30的体积空间内的手动探究和导航的用户交互功能。

更具体地，显著图像生成器53自主地或者经由临床医师激活来执行：(1)通过(一个或多个)机器学习模型基于每个特征与体积医学图像的特征评价31的相关性水平对来自体积显著图像的平面显著图像的相关性重新切片、或者(2)来自体积显著图像的平面显著图像的中心点或取向的用户指定的重新切片。

在实践中，阶段S154的相关性重新切片和用户指定的重新切片以体积显著图像的显著体素具有超过相关性阈值的相关性水平并且多个显著体素将定义体积医学成像数据30b的评价的特征的显著视图为前提。出于重新切片目的，体积显著图像内的重新切片的平面显著图像的中心点和取向是从重新切片的显著平面与包括一个或多个显著体素的体积显著图像的相交导出的。

在实践中，相关性重新切片包含显著体素的识别、包括一个或多个显著体素的平面相交的描绘并且然后优化显著体素的视图的平面相交中的一个平面相交的选择，诸如，例如具有最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值的选择。

在实践中，用户指定的重新切片包含显著体素的识别、平面相交的中心点或取向的用户指定、包括一个或多个显著体素的平面相交的描绘并且然后优化显著体素的视图的平面相交中的一个平面相交的选择，诸如，例如具有最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值的选择。

例如，如出于清楚原因而在图5A中简单示出的，体积显著图像230包括具有增加的强度的相关性水平232-235的显著体素的行的集合231，其中，每个相关性水平超过相关性阈值。针对该范例，相关性阈值可以是200，相关性水平232可以是210，相关性水平233可以是225，相关性水平234可以是240，并且相关性水平235可以是255。

图5B图示了显著体素的行231的XY平面视图，其中，水平线表示候选重新切片显著YZ平面与包括一个或多个显著体素的体积显著图像230的相交，并且垂直线表示候选重新切片显著XZ平面与包括一个或多个显著体素的体积显著图像230的相交。对于图5B，重新切片显著平面236a或重新切片显著平面236b可以鉴于最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值而被选取。

图5C图示了显著体素的行231的XY平面视图，其中，水平表示候选重新切片显著YZ平面与包括一个或多个显著体素的体积显著图像230的相交。对于图5C，重新切片显著平面236c可以鉴于最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值而被选取。

图5D图示了显著体素的行231的XY平面视图，其中，黑色圆点表示显著体素的质心，并且线表示候选重新切片显著YZ平面与包括一个或多个显著体素的通过质心的体积显著图像230的相交。对于图5D，重新切片显著平面236d可以鉴于相对于质心的最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值而被选取。

在实践中，质心可以被计算为显著体素的所有3D点(p∈R

图5E图示了显著体素的行231的XY平面视图，其中，黑色圆点表示用户指定的中心点，并且线表示候选重新切片显著YZ平面与包括一个或多个显著体素的通过用户指定的位置的体积显著图像230的相交。对于图5E，重新切片显著平面236e可以鉴于相对于用户指定的中心点的最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值而被选取。

图5F图示了显著体素的行231的XY平面视图，其中，黑色线表示候选重新切片显著YZ平面与包括一个或多个显著体素的在用户指定的取向处的体积显著图像230的相交。对于图5F，重新切片显著平面236F可以鉴于相对于用户指定的中心点的最高空间分布显著体素、显著体素的最高加和或者显著体素的最高平均值而被选取。

返回参考图2A和图2C，在阶段S154期间，图像查看器51可以例如控制对以下项的显示：

(1)重建的医学图像132a的3D体积绘制以及对应的显著视觉体积图像(例如，如在图4B中所示的具有相关联的强度尺度1371的3D体积CT图像133b和具有相关联的相关性尺度234的对应的3D显著视觉图像137b)；

(2)如在图6A中所示的来自医学图像132a的特征分割338；

(3)遵循倾斜平面的重建的医学图像132a和对应的显著视觉体积图像的智能重新切片(例如，如在图6B中所示的在第一主平面处的3D体积CT图像132b的重新切片138a和3D显著视觉图像133b的重新切片139a、如在图6C中所示的在第二主平面处的3D体积CT图像132a的重新切片138b和3D显著视觉图像133b的重新切片139b、以及如在图6D中所示的在第三主平面处的3D体积CT图像132a的重新切片138c和3D显著视觉图像133b的重新切片139c)；

(4)在标准正交平面(未示出)(例如，矢状平面、冠状平面和轴向平面)中的智能重新切片；和/或

(5)如由用户经由用户输入设备(例如，触摸屏、鼠标、键盘、增强现实眼镜等)定义的手动重新切片的重建的医学图像和对应的显著视觉体积图像。

更具体地，体积绘制是使用在本公开的领域中已知的方法(诸如，例如光线投射算法)来计算的，并且相比于输入图像而示出。与输入图像的比较可以使用并排可视化或图像混合来实现。重要性图可以使用在本公开的领域中已知的常用内插技术(诸如，例如基于线性的内插或基于样条的内插)被重新采样到输入图像的尺寸。

重新切片平面取向和位置可以由用户经由GUI手动地或者由显著图像生成器53自动地定义。在一个实施例中，显著图像生成器53可以将重新切片平面定位在标准轴向、矢状、冠状视图中的一个中，或者根据沿着最高方差(散布)的主平面将重新切片平面定位在重要性图中的最突出的显著特征(例如，如在图6A中所示的3D体积CT图像333的显著特征338)中的一个中。这些最重要的(一个或多个)显著特征可以由显著图像生成器53从重建的医学图像132a中提取，以便进行特征评价。主平面通过中心点和法向来定义。中心点位于从热图133b(图4B)内的最重要的(一个或多个)显著特征的位置计算的质心处。在实践中，质心可以被计算为显著体素的所有3D点(p∈R

更具体到图6A-6D，如在图6A中所示的3D体积CT图像132a的显著特征338的体素被医学成像显示引擎50自动地提取作为由3D人工智能引擎在决策制定过程中区分优先次序的重要性图中的具有最高值的特征中的一个特征。使用在本公开的领域中已知的分割方法(诸如，例如基于实例强度的阈值化或基于模型的分割)从重要性图中自动地提提取显著特征338的体素。

图6B图示了在到显著特征338(图6A)的由中心点和法向定义的第一主平面处的3D体积CT图像132a的重新切片138a和3D显著视觉图像133b的重新切片139a。

图6C图示了在到显著特征338的由中心点和法向定义的第二主平面处的3D体积CT图像132a的重新切片138b和3D显著视觉图像133b的重新切片139b。

图6D图示了在到显著特征338的第三主平面处的3D体积CT图像132a的重新切片138c和3D显著视觉图像133b的重新切片139c。

重新切片139a-139c的中心点位于从显著特征338在3D显著视觉图像133b内的位置计算的质心处。到第一主平面的法向通过具有使用在本公开的领域中已知的主成分分析方法从显著特征338计算的第二高特征值的特征向量来定义。到第二主平面的法向通过具有使用在本公开的领域中已知的主成分分析方法从显著特征338计算的最高特征值的特征向量来定义。到第三主平面的法向通过具有使用在本公开的领域中已知的主成分分析方法从显著特征338计算的最低特征值的特征向量来定义。

在实践中，用户可以修改第一主平面、第二主平面和第三主平面的位置(例如，经由GUI沿着其法向移动中心点)。

此外，在实践中，显著图像生成器53可以控制从由AI引擎40评价的特征元素导出的激活图的显示。例如，显著图像生成器53可以在激活图中的激活图示433中显示每个个体过滤器输出，如在图7中所示的。通过选择总权重的阈值(例如，90％)，激活图通过与那些最高的权重相关联的前n个激活来分等级，以由此以下降的顺序列出激活图。对于新的临床医师在早期生涯中或者不是非常有经验的医学学生，该实施例是特别有用的，并且能够是除了教科书之外的良好参考。

另外地，在实践中，3D显著视觉图像比2D显著视觉图像提供关于轮廓的更丰富的信息。例如，从3D热图，用户指定的灰度像素值可视化感兴趣区域(例如，结节)的轮廓，由此轮廓可以被转变为要不然需要人类注释的临床信息(例如，感兴趣体积的区域、最大半径、最大半径的轴线方向、轮廓的纹理等)，并且然后生成文本输出。例如，如在图8中所示的，本公开的临床医师报告方面的提供生成的文本信息531到图像30a、133b和132b的自动链接。

为了促进对本公开的进一步理解，图9A和图9B的以下描述教导了本公开的图形用户界面的各种实施例。根据图9A和图9B的描述，在本公开的领域的技术人员将意识到如何将本公开应用于制作并且使用本公开的图形用户界面的许多和各种另外实施例。

参考图2A和图2B，图形用户界面70采用用于执行如先前结合图1所描述的显著操纵阶段S26的实施的流程图170的GUI主页标签71、图像掩模标签72、数据修正标签73、相关性阈值标签74和备选评价标签75。

对此，流程图170的阶段S172涵盖用于GUI 70的GUI 70的激活，以由此接收经由用户输入设备(例如，鼠标、键盘、触摸屏、增强现实眼镜等)的用户输入数据和任选地辅助患者信息(例如，患者年龄、医学历史等)。根据该输入，GUI 70通过流程图170的阶段S174-S188进行处理，以由此如用户指定的那样与AI引擎40交互以操纵医学成像30的特征评价31显著可视化。

具体而言，在流程图170的阶段S174期间，GUI 70确认输入数据是否是经由图像掩模标签72接收的数据掩模数据34a，由此临床医师直接与平面医学图像或体积医学图像交互，并且看到人工智能引擎40如何响应。例如，临床医师可以分析(一幅或多幅)显著图像33(图1)以确认平面医学图像或体积医学图像的一个或多个具体区域是否与当前特征评价31(图1)无关。如果临床医师怀疑平面医学图像或体积医学图像的一个或多个具体区域与这样的图像的当前特征评价31无关，那么临床医师可以掩模(一个或多个)无关区域，并且查看(一幅或多幅)显著图像以看到这样的掩模对医学成像30的特征评价31具有的影响。

图10A示出了图像掩模GUI 72的实施例72a，其通过AI引擎40(图2A)的数据预处理器41提供图像掩模的临床医师指定，以由此看到AI引擎40如何对2D医学平面图像或3D医学体积图像的一个或多个区域的掩模做出响应。如果临床医师怀疑2D医学平面图像或3D医学体积图像的突出区域是无关的，那么临床医师可以掩模无关区域，并且看到这样的掩模对预测x或者对假设的预测y具有的影响。如在图7B中所示的，本公开的图像掩模GUI 72a可以同时地显示医学图像46a和46b，由此临床医师可以在使用医学图像271作为原始参考时利用工具图标273a、273b和274c来掩模医学图像272的区域。

如果GUI 70在阶段S174期间确认输入数据是用于数据掩模，那么GUI70前进到流程图170的阶段S176，以将数据掩模数据34a通信给AI引擎40，由此AI引擎40如在本文中先前所描述的那样执行流程图140(图2B)的S142-S146，并且医学成像显示引擎50如在本文中先前所描述的那样执行阶段S154(图2C)。

如果GUI 70在阶段S178期间确认输入数据不是用于数据掩模，GUI 70前进到流程图170的阶段S178，以确认输入数据是否是经由数据修正标签73接收的数据修正数据34b，由此临床医师可以测试到人工智能引擎中的每个输入对如通过(一幅或多幅)显著图像30可视化的医学成像30的特征评价31的影响。数据修正的范例包括但不限于：(1)启用/禁用人工智能引擎的医学成像输入或医学成像输入的组合，(2)增大/减小人工智能引擎的医学成像输入或医学成像输入的组合的像素/体素强度值，(3)启用/禁用人工智能引擎的辅助信息输入或者辅助信息输入的组合，或者(4)改变人工智能引擎的辅助信息输入或者辅助信息输入的组合。

图10B示出了数据修正GUI 73的实施例73a，其提供AI引擎40的数据输入配置的临床医师指定以测试每个输入对2D/3D医学成像30的所得到的特征评价31的影响。在一个实施例中，本公开的数据操纵GUI使得临床医师能够打开和关闭图像元素(例如，像素或体素)中的一个或组合，以及经由滑动条、切换按钮等来改变输入值。通过观察所得到的显著视觉图像30，临床医师可以视觉地评价每个输入对预测准确性的影响，并且因此，在未来消除所有无关信息或者理解每个输入的重要性。更具体地，如在图10B中所示的，AI引擎40可以包含主要输入图像元素370(例如，像素或体素)和若干辅助信息(例如，结节半径371、结节球形372以及来自另一机器学习模型373的输出)两者。主要输入可以是2D图像或3D图像。辅助输入也可以包括存在于图像注释中的词语的集合、患者年龄或医学历史、来自图像处理或机器学习算法的输出或输出的组合、以及被配准到主要输入图像的来自其他模态的图像。本公开的数据修正GUI 73a提供对输入370-373的修正，诸如，例如经由具有通过黑化或白化输入表征的修正的经修正的370'-373'。

如果GUI 70在阶段S178期间确认输入数据是用于数据修正，那么GUI70前进到流程图170的阶段S180，以将数据修正数据34a通信给AI引擎40，由此AI引擎40如在本文中先前所描述的那样执行流程图140(图2B)的S142-S146，并且医学成像显示引擎50如在本文中先前所描述的那样执行阶段S154(图2C)。

如果GUI 70在阶段S178期间确认输入数据不是用于数据修正，GUI 70前进到流程图170的阶段S182以确认输入数据是否是经由相关性阈值标签74接收到的特征相关性阈值数据35a，由此临床医师设置平面医学图像的像素与平面医学图像的特征评价31的相关性水平，或者临床医师能够设置体积医学图像的体素与体积医学图像的特征评价31的相关性水平。见解在于不是平面医学图像的所有像素或体积平面图像的所有体素都同样地与特征评价31相关，并且临床医师通常聚焦于他们最怀疑的图像的(一个或多个)特征。这样，平面医学图像的像素或体积平面图像的体素的相关性水平可以被临床医师设置为一个值，使得如果图像的特征到达该相关性水平，则该特征将在(一幅或多幅)显著图像33内被更独特地突出。

图10C示出了相关性阈值GUI 74的实施例74a，其提供关于解剖区域/器官的2D医学成像的像素与具体风险预测/状态分类或者3D医学成像的体素与具体风险预测/状态分类的相关性水平的AI引擎40(图1)的配置的临床医师指定。见解在于不是2D医学平面图像或3D医学体积图像的所有区域都同样地与特定诊断决策相关，并且临床医师通常聚焦于他们最怀疑的区域。在一个实施例中，本公开的图像相关性GUI控制2D重建的医学图像或3D医学体积图像的显示，由此临床医师可以将一个或多个区域的相关性的水平设置为一个值，使得如果(一个或多个)这些区域到达该相关性水平，2D医学平面图像中或3D医学体积图像中的(一个或多个)区域将被突出。例如，如在图10C中所示的，本公开的图像相关性GUI 74a可以显示来自特征评价的2D热图44a(或者备选地，3D热图)，由此临床医师可以使用接口475来修正AI引擎40的特征元素的相关性水平(r)以控制聚焦于被认为与特征评价最相关的区域的修正的2D热图44b(或者备选地，修正的3D热图)的显示。更具体地，如与图4A和图4B相关的，临床医师可以示范性地指定在135.2之下的任何强度可以是相同的颜色(例如，蓝色)，并且在135.2之上的任何强度可以是相同的颜色(例如，红色)，或者临床医师可以示范性地指定在67.6之下的任何强度可以是相同的颜色(例如，蓝色)，并且在135.2之上的所有强度将如所示的那样遵循在颜色上的线性变化。

如果GUI 70在阶段S182期间确认输入数据是用于相关性阈值指定，那么GUI 70前进到流程图170的阶段S184，以将相关性阈值数据34a通信给AI引擎40，由此AI引擎40如在本文中先前所描述的那样执行流程图140(图2B)的S144和S146，并且医学成像显示引擎50如在本文中先前所描述的那样执行阶段S154(图2C)。

如果GUI 70在阶段S182期间确认输入数据不是用于相关性阈值指定，GUI 70前进到流程图170的阶段S186以确认输入数据是否是经由备选评价标签75接收的备选特征评价数据35b，由此临床医师可以在医学成像30的特征评价31的不同预测或不同分类(例如，预测/分类x和预测/分类y)之间进行假设，并且如果人工智能引擎绘制如通过图示医学成像30的预测/分类x的(一幅或多幅)显著图像31可视化的医学成像30的预测/分类x，那么临床医师可以经由GUI来选择预测/分类y以看到与如通过图示医学成像30的预测/分类y的(一幅或多幅)显著图像31可视化的医学成像30a的预测/分类y最相关的特征。

图10D示出了备选评价GUI 75的实施例74a，其提供对备选特征评价的用户选择，由此如果AI引擎40绘制初始特征评价，那么临床医师可以看到与备选特征评价最相关的区域。例如，如在图10D中所示的，备选评价GUI 75a显示初始特征评价131a的平面热图575a(或者备选地3D热图)。备选评价GUI 75使得临床医师能够选择备选特征评价131b-131d中的一个来显示图示与选定的备选特征评价相关的图像特征的修正的2D热图575b。通过另外的范例，AI引擎40(图1)的评价输出可以是基于正常、胶质母细胞瘤、肉瘤和脑转移瘤的多类别病灶分类。初始特征评价131a可以是肉瘤，并且2D热图575b图示了肉瘤评价，由此临床医师可以选择正常(131b)、胶质母细胞瘤(131c)或者脑转移瘤(131d)，以由此看到与选定的备选特征评价相关的图像特征。

如果GUI 70在阶段S186期间确认输入数据是用于相关性阈值指定，那么GUI 70前进到流程图170的阶段S188，以将相关性阈值数据34a通信给AI引擎40，由此AI引擎40如在本文中先前所描述的那样执行流程图140(图2B)的S144和S146，并且医学成像显示引擎50如在本文中所描述的那样执行阶段S154(图2C)。

如果GUI 70在阶段S186期间确认输入数据不是用于备选评价指定，GUI 70返回到阶段S172。

为了促进对本公开的进一步理解，图11的以下描述教导了本公开的显著医学成像控制器的各种实施例，并且图12的以下描述教导了本公开的显著可视化系统的各种实施例。根据图11和图12的描述，在本公开的领域中的技术人员将意识到如何将本公开应用于制作并且使用本公开的显著医学成像控制器的许多和各种另外实施例。

在实践中，本公开的显著医学成像控制器可以被体现为用于如在本文中先前所描述的那样实施本公开的显著医学成像方法的硬件/电路/软件/固件。此外，在实践中，显著医学成像控制器可以被定制并且安装在服务器、工作站等中或者被编程在通用计算机上。

在图11中所示的一个实施例中，显著医学成像控制器80包括经由一个或多个系统总线86相互连接的处理器81、存储器82、用户接口83、网络接口84和存储装置85。在实践中，控制器80的部件81-85的实际组织可以是比所图示的更复杂的。

处理器81可以是能够执行被存储在存储器或存储装置中的指令或者要不然处理数据的任何硬件设备。这样，处理器81可以包括微处理器、现场可编程门阵列(FPGA)、专用电路(ASIC)或者其他类似的设备。

存储器82可以包括各种存储器，诸如，例如L1、L2或L3高速缓存存储器或系统存储器。这样，存储器82可以包括静态随机存取存储器(SRAM)、动态RAM(DRAM)、闪烁存储器、只读存储器(ROM)或者其他类似的存储器设备。

用户接口83可以包括用于实现与用户(诸如管理员)通信的一个或多个设备。例如，用户接口83可以包括显示器、鼠标、以及用于接收用户命令的键盘。在一些实施例中，用户接口83可以包括可以经由网络接口84被呈现给远程终端的命令行接口或图形用户界面。

网络接口84可以包括用于实现与其他硬件设备通信的一个或多个设备。例如，网络接口84可以包括被配置为根据以太网协议进行通信的网络接口卡(NIC)。另外地，网络接口84可以实施用于TCP/IP协议进行通信的根据TCP/IP堆栈。用于网络接口84的各种备选的或额外的硬件或配置将是显而易见的。

存储装置85可以包括一个或多个机器可读存储介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪烁存储器设备或类似的存储介质。在各种实施例中，存储装置85可以存储用于由处理器81执行的指令或者处理器81可以对其进行操作的数据。例如，存储装置85存储用于控制硬件的各种基本操作的基本操作系统(未示出)。

更具体到本公开，存储装置85可以将AI引擎40a形式的控制模块87存储为AI引擎40(图2A)的实施例，将医学图像显示引擎50a存储为医学图像显示引擎50(图2A)的实施例，并且将(一个或多个)图形用户界面70a存储为AI引擎70(图8A)的实施例。

参考图12A，在实践中，显著医学成像控制器80可以被安装/编程在能由多个客户端(例如，如所示的客户端101和客户端102)访问的应用服务器100，和/或被安装/编程在采用监测器104、键盘105和计算机106的工作站103内。

在操作中，显著医学成像控制器80在训练阶段和阶段期间从医学成像数据源80输入医学成像数据30(平面或体积)。医学成像数据源90可以包括任何数量和类型的医学成像机器(例如，如所示的MRI机器91、CT机器93、X射线机器95和超声机器97)，并且还可以包括数据库管理/文件服务器(例如，如所示的MRI数据库管理服务器92、CT服务器94、X射线数据库管理服务器96和超声数据库管理器服务器97)。在实践中，应用服务器100或工作站103(无论哪个可应用)可以被直接或网络连接到医学成像数据源90，以由此输入用于显著医学成像控制器80的医学成像数据30。备选地，医学成像数据源90和应用服务器100或工作站103(无论哪个可应用)可以被直接集成，由此显著医学成像控制器80具有对医学成像数据30的直接访问。

图12B图示了显著医学成像控制器80的备选实施例，显著医学成像控制器80被分成用于实施AI引擎40a和GUI 70a的评价控制器80a和用于医学成像显示引擎50a的显示控制器80b。对于该实施例，评价控制器80a和显示控制器80b可以被安装/编程在应用服务器100或工作站103内，或者备选地可以被分布地安装/编程在应用服务器与工作站103之间。

参考图1-12，本领域技术人员将意识到本公开的许多益处，包括但不限于由：特征评价的临床医师通过身体、人类或动物的医学成像的(一个或多个)机器学习模型的可视化，所述可视化促进由特征评价的临床医师的清楚并且简明的理解。

此外，将显而易见的是，被描述为被存储在存储装置中的各种信息可以另外地或备选地被存储在存储器中。在这方面，存储器也可以被认为构成“存储设备”，并且存储装置也可以被认为是“存储器”。各种其他布置将是显而易见的。此外，存储器和存储装置都可以被认为是“非瞬态机器可读介质”。如在本文中所使用的术语“非瞬态”将被理解为排除瞬态信号但是包括所有形式的存储装置，包括易失性和非易失性存储器两者。

尽管该设备被示为包括每个描述的部件中的一个部件，但是在各种实施例中可以复制各种部件。例如，处理器可以包括多个微处理器，所述多个微处理器被配置为独立地执行在本公开中所描述的方法，或者被配置为执行在本公开中所描述的方法的步骤或子例程，使得多个处理器协作以实施在本公开中所描述的功能。此外，在云计算系统中实施该设备的情况下，各种硬件部件可以属于单独的物理系统。例如，处理器可以包括第一服务器中的第一处理器和第二服务器中的第二处理器。

根据前文的描述显而易见的是，本发明的各种范例实施例可以被实施为硬件或固件。此外，各种示范性实施例可以被实施为被存储在机器可读存储介质上的指令，所述指令可以由至少一个处理器读取和运行以执行在本文中详细描述的操作。机器可读存储介质可以包括用于以机器可读形式存储信息的任何机构，诸如个人计算机或膝上型计算机、服务器或其他计算设备。因此，机器可读存储介质可以包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪速存储设备和类似的存储介质。

本领域技术人员应当意识到，在本文中的任何框图均表示实施本发明原理的说明性电路的概念视图。类似地，将意识到，任何流程图解、流程图、状态转换图、伪代码等均表示可以基本上在机器可读介质中表示并且因此由计算机或处理器执行的各种过程，而无论这样的计算机或处理器是否被明确示出。

尽管已经具体参考本发明的特定示范性方面详细描述了各种示范性实施例，但是应当理解，本发明能够具有其他实施例，并且其细节能够在各种明显的方面进行修改。对于本领域技术人员显而易见的是，能够在保持在本发明的精神和范围内的同时做出改变和修改。因此，前述公开内容、说明书和附图仅用于说明目的，而并不以任何方式限制本发明，本发明仅由权利要求来定义。