一种基于医学概念的超声标准切面分类认知解释方法

技术领域

本发明涉及医学图像处理技术领域，更具体地，涉及一种基于医学概念的超声标准切面分类认知解释方法。

背景技术

产前超声检查由于其无创性和可重复性，已成为了解胎儿主要解剖结构最常用的方法。在产科早期超声检查中合理应用标准超声切面，对胎儿及附件结构异常的筛查和诊断具有积极作用。使用超声检查既能够对胎儿的结构机型进行筛查，还可以通过测量相关指标来对胎儿的生长发育情况进行评估，可以帮助医生早期发现胎儿心脏、中枢神经系统、膀胱、前腹壁、肢体等重要组织器官的畸形，降低胎儿畸形的出生率，对孕妇及其家庭、社会均有积极意义。

胎儿产前超声筛查的关键步骤是胎儿超声标准切面的获取，然而胎儿超声标准切面获取难度大，高度依赖于医生的工作经验，获取到的胎儿超声标准切面可重复性差，结果因操作者的专业水平和经验而异，可能产生漏报和误报，相对而言高水平医生采集的图像质量相对较高。在临床实践中，超声采集技术和经验在很大程度上影响着产前超声检查的质量，采集过程耗时且容易获得图像质量差的切片。因此，寻找一种可行的超声标准断面识别算法尤为重要。

目前，机器学习特别是深度学习的快速发展，使医学图像分析的方式发生了革命性的变化。医学人工智能(AI)模型往往需要解决图像识别、疾病诊断等问题，而这些问题需要医生长时间积累经验和知识。现有的医疗AI技术在疾病诊断、病灶检测和分割方面都取得了良好的效果，而医疗AI系统的真正落地却面临着重重困难，其主要原因是深层神经网络的不透明性和不可解释性。因此医疗诊断系统要真正应用于临床实践，必须得到临床医师的信任。

近年来，针对深度神经网络可解释性的研究已经取得了一定的进展，主要包括基于梯度、对抗攻击等方法进行解释。基于反向传播的显著性方法通过生成一个注意力热图来获得对决策有重要贡献的区域。最早的研究是将神经网络层的梯度可视化以获得显著图，但这种解释方法容易受到噪声的影响。其他的工作尝试将梯度和特征映射结合起来，如CAM，Grad-CAM，CAMERAS等。然而，这些方法在解释医疗AI模型时依然存在以下问题：

1)现有技术只提供基于像素级关系的低阶解释，没有考虑到医学图像中组织器官之间的相互作用。

2)有些情况下提供的解释与预测结果不一定有因果关系，存在虚假的相关性，从而会降低使用者对模型的信任度。

3)现有的解释方法没有结合医学知识和医生的临床经验，医生在理解和使用时依然存在问题。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于医学概念的超声标准切面分类认知解释方法。该方法包括以下步骤：

从医学概念出发结合医学先验知识从超声图像中提取医学概念，并从医学概念中提取医学概念的几何特征；

构建医学概念图G:＝(V,E)，其中，E表示边，V表示节点，节点的属性

对于所述医学概念图，使用图卷积神经网络进行分类，得到预测类别；

对于所述预测类别，计算每个节点对于预测的重要性。

与现有技术相比，本发明的优点在于，提供一种基于医学概念的胎儿超声标准切面分类的认知解释器实现方法，能够对胎儿超声检查中的标准切面进行分类，契合临床分析结果，帮助有效减少误诊和漏诊，并从医生认知的角度来对分类器的分类结果进行解释，从而提高了使用者对模型的信任度。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的基于医学概念的超声标准切面分类认知解释方法的流程图；

图2是根据本发明一个实施例的基于医学概念的超声标准切面分类认知解释方法的过程示意图；

图3是根据本发明一个实施例的胎儿超声标准切面解剖图及超声图像示例；

图4是根据本发明一个实施例的超声图像的JD和CV示例；

图5是根据本发明一个实施例的超声标准切面分类解释结果示意图；

附图中，sonogrpher-超声医师；Medical prior-医学先验；Concept analysis-概念分析；Superpixel segmentation-超像素分割；Base encoder-基础编码器；Conceptgraph-概念图；Explainability tenique-可解释性技术。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

简言之，本发明针对深度学习模型的不透明性和不可解释性，从医学概念出发，使用简单的迭代聚类算法获取视觉概念，并通过医学先验知识(如位置、形状、亮度、纹理等)来进行分析，寻找对分类有鉴别性意义的视觉概念。在找到医学概念之后，进一步使用卷积神经网络提取高维特征作为节点属性，将节点之间的空间位置关系作为边属性来构建图结构数据，并使用图神经网络来对图结构数据进行分类，然后基于梯度来计算每个节点的重要性，从而对神经网络预测结果进行解释。

在下文中，以胎儿超声标准切面图像作为研究图像，以图神经网络分类器包含5个卷积层，然后通过多层感知机(MLP)映射为一个3维向量为例进行说明。应理解的是，本发明也适用于其他类型的超声图像，并且对于图卷积神经网络的具体结构不进行限制。

具体地，结合图1和图2所示，所提供的基于医学概念的超声标准切面分类认知解释方法包括以下步骤：

步骤S110，前期数据准备，以获得超声数据集。

目前还没有胎儿超声标准切面图像的公开数据集，因此需要从临床采集一定量的数据用于研究，采集超声图像的同时采集诊断报告以及核对超声标准切面类别。例如，所使用的数据来自北京大学深圳医院超声影像科以及深圳宝安妇幼保健院超声科，收集了来自1109名孕妇的860名健康胎儿的超声标准切面图像，采集设备为GE Voluson E8彩色多普勒超声诊断系统。胎儿的最小胎龄为16周，最大胎龄为39周。研究选择胎儿腹围标准切面、胎儿股骨标准切面和胎儿头尾标准切面作为研究对象。所获得数据集反映胎儿超声图像与超声标准切面类别之间的对应关系。

步骤S120，从超声数据集中提取医学概念。

将超声图像转换为图形结构数据的关键步骤是从超声图像中提取对鉴别和诊断有重要意义的医学概念，这确保了本发明的输入是超声科医师可以直接理解的。在一个实施例中，将医学先验知识与视觉概念提取相结合，找到具有代表性的特征。

首先，采用简单的线性迭代聚类(SLIC)分割方法对超声图像进行多分辨率分割，以获取包含医学概念的超像素；然后，由两位专业超声医师或已有的统计知识提供了医学概念的先验知识，包括纹理、位置、形状、亮度等，此外还提供了医学概念的一些典型例子。然而，由于医学图像的前景区域较小，多分辨率方法得到的超像素多为背景和脂肪组织，增加了概念提取的难度。从超声标准切面鉴别的角度而言，上腹部标准切面与丘脑标准切面鉴别难度较大，股骨标准切面则更易区分，三个标准切面的解剖图如图3所示，其中图3(a)是上腹部标准切面、图3(b)是股骨标准切面，图3(c)是丘脑标准切面。基于此特点，可采用不同的方法来对超声标准切面中的医学概念来进行分析。例如，胎儿上腹部切面中的关键概念包括：胃泡、脊柱、血管、腹壁羊水界面强回声。胎儿丘脑标准切面中的关键概念包括：头骨、上下丘脑、透明隔腔。胎儿股骨标准切面的关键概念包括：股骨以及两侧的干骺端。

具体而言，对于上腹部标准切面与丘脑标准切面，可采用预训练的Unet分割模型从超声图像中先提取腹部和头部，然后对分割结果进行椭圆拟合，得到椭圆的长轴和短轴。从图3的解剖图可以看出，上腹部切面中的胃泡分布在短轴之上，并且表现为低亮度。门静脉血管和脊柱则分布在长轴附近，脊柱的特点为高亮度，粗纹理；相比之下门静脉血管表现为低亮度，细纹理。基于此特点，可引入灰度游程长度矩阵中的短游程强调特征来对二者进行分析。除此之外，圆周附近是羊水壁，呈现出高亮度。基于上述先验信息，可以得到上腹部中的关键医学概念。相应的，对于丘脑标准切面，左右丘脑位于椭圆的中心，透明髓腔则位于长轴附近，并且亮度较低，头骨位于圆周，基于这些特点，可以得到丘脑切面的关键医学概念。股骨切面鉴别的关键在于找到高亮度的股骨以及两侧的骨骺端，例如可使用基于GradCAM生成的注意力热图来对股骨切面的概念进行过滤。

步骤S130，从超声图像中提取微分几何信息。

考虑到超声图像的低分辨率和固有的散斑噪声的影响，进一步使用微分几何的方法提取医学概念的几何特征，并将其作为超声图像分类网络F(·)的输入。具体而言，提取超声图像的雅可比行列式(JD)和旋度向量(CV)，它们对微分同态有着很重要的作用。

例如，可采用网格变换方法生成给定图像的JD和CV。具体方法为：假设

f(x,0)＝1

对于

可以通过求解如下的微分方程解得：

变形方法可以生成网格图。在此基础上，利用微分同态计算了JD和CV。其中JD表示网格单元的大小，而CV则表示网格生成时网格单元的旋转，因此变形方法可以成功应用于医学图像分析。

图4是超声图像的JD和CV示例。第一行为原始图像，第二行为JD图像，第三行为CV图像。从左到右依次为上腹部标准切面、股骨标准切面和丘脑标准切面。

步骤S140，通过建模图神经网络对医学概念图进行分类预测。

具体地，将医学概念图G:＝(V,E)定义为一系列边E和节点V的组合，节点的属性是由CNN分类器F(·)编码的高阶特征。具体而言，对于一个给定的医学概念I，节点的属性

对于构建好的医学概念图G(超声图像的图结构数据)，使用图卷积神经网络(GCN)Ψ来进行分类，利用选择GraphConv作为我们网络的主干结构。不同于传统的卷积神经网络，GCN在处理数据的过程中要经历两个步骤：消息聚合和更新，具体操作如下所示：

其中

在N次迭代之后，可使用多层感知机(MLP)去处理图特征并生成一个n维的概率分布向量，从而得到分类结果。在训练过程中，例如使用经典的交叉熵损失函数，并用Adam优化器进行调整，初始学习率设为0.01，并根据验证集的表现对学习率进行动态调整，当验证集loss 10个epoch还未下降时，就将其调整为原来的一半。

步骤S150，基于预测的分类结果对图神经网络进行解释。

如图2所示，当图结构数据输入到GCN网络之后，可以得到预测值

其中，

每个节点的贡献得分通过以下方法计算：

利用上述过程，可以得到节点的重要性评分，进而对分类结果进行解释。

图5超声标准切面分类解释结果。第一行为原始超声图像，第二行是本发明的解释结果，其中图5(a)对应上腹部标准切面。图5(b)对应股骨标准切面，图5(c)对应丘脑标准切面。

综上所述，本发明使用卷积神经网络提取高维特征作为节点属性，将节点之间的空间位置关系作为边属性来构建图结构数据，并使用图神经网络来对图结构数据进行分类，进而基于梯度来计算每个节点的重要性，从而对神经网络预测结果进行有效解释。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++、Python等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。