掌桥专利:专业的专利平台
掌桥专利
首页

生物测定测量和质量评估

文献发布时间:2023-06-19 10:32:14


生物测定测量和质量评估

技术领域

本公开涉及用于经由超声成像来测量解剖特征并且使用至少一个神经网络来确定相关联的测量质量的超声系统和方法。具体的实现方式涉及被配置为针对经由配备有一个或多个生物测定工具的超声成像系统获得的每个测量结果生成基于概率的置信度水平的系统。

背景技术

超声胎儿生物测定法通常被用于针对妊娠管理来估计胎龄和生长轨迹,并且是针对潜在胎儿健康缺陷的主要诊断工具。常常基于在给定胎龄下特定解剖学测量的实际关系与预期关系之间的差异来识别胎儿疾病。胎儿疾病识别的准确性高度取决于超声医师在超声图像获取和测量提取中的技能,这可能需要针对特定的解剖学测量精确找到正确的成像平面,并且使用虚拟仪器(例如,卡尺)来获得测量结果。超声成像和评估的观察者内部和观察者之间的差异往往引起对胎儿大小和生长的不正确的估计,这导致不必要的重复检查、增加了成本以及针对准父母的不必要的压力。此外,训练有素的超声医师的短缺和增加的超声检查处方增加了健康护理提供者使用缺乏训练的超声医师的压力,并且减少了重复检查的次数和每个患者停留的长度。因此,需要被配置为在更少的时间内以提高的准确性和一致性来获得和分析胎儿或其他解剖特征的超声图像的新技术。

发明内容

本公开描述了用于通过采用至少一个深度学习神经网络来获得和分析各种解剖对象的超声图像的系统和方法。尽管在本文中的示例专门针对胎儿的产前评估,但是本领域技术人员应当理解,所公开的系统和方法是仅出于例示说明目的针对胎儿评估而描述的,并且解剖测量能够在时间点范围处在患者内的各种对象上执行,所述各种对象例如包括但不限于心脏和肺。在一些实施例中,所述系统可以被配置为提高产前超声扫描或者与其他临床应用(例如,心脏、肝脏、乳腺等)相关联的超声扫描协议的准确性、效率和自动化。所述系统可以通过鉴于作为整体的当前测量集、解剖特征和/或患者的先验测量结果以及已知的健康风险确定所获得的测量结果的质量,来减少超声检查错误。示例性系统实现深度学习方法以生成从超声数据获得的每个测量结果属于独有集合的概率,由此提供可以被显示给用户的置信度度量。在一些实施例中,能够使用解释解剖测量结果与自然群体变化性之间的广泛关系的专家数据来训练神经网络。结果能够被用于指导用户(例如,超声检查医师)重做特定的测量。

根据本公开的一些示例,一种超声成像系统可以包括超声换能器,其被配置为响应于朝向目标区域发送的超声脉冲而获取回波信号。所述系统还可以包括图形用户界面,其被配置为显示生物测定工具微件,所述生物测定工具微件用于从根据超声回波生成的至少一个图像帧中获取目标区域内的解剖特征的测量结果。所述系统还能够包括一个或多个处理器,所述一个或多个处理器与超声换能器通信并且被配置为:确定指示测量结果的准确性的置信度度量;并且使所述图形用户界面显示与所述置信度度量相对应的图形指示符。

在一些示例中,所述处理器被配置为通过将所述至少一个图像帧输入到利用包括解剖特征的成像数据训练的第一神经网络中来确定所述置信度度量。在一些实施例中,所述处理器还被配置为通过将患者统计数据、解剖特征的先验测量结果、基于先验测量结果的导出的测量结果、图像帧包含与解剖特征相关联的解剖界标的概率、图像帧的质量水平、超声换能器的设置或者其组合输入到所述第一神经网络中,来确定置信度度量。在一些示例中,所述图像帧包含解剖界标的概率指示是否已经获得用于测量解剖特征的正确成像平面。在一些实施例中,所述图像帧包含解剖界标的概率的指示被显示在所述图形用户界面上。在一些示例中,所导出的测量结果包括胎龄或者染色体异常的随胎龄调整的风险(age-adjusted risk)。在一些实施例中,所述患者统计数据包括:产妇年龄、患者体重、患者身高或者其组合。在一些示例中,所述图像帧的质量水平基于解剖特征距超声换能器的距离、生物测定工具微件相对于超声换能器的取向、波束聚焦区域到解剖特征的距离、经由频率分析获得的噪声估计、或者其组合。在一些示例中,所述图形用户界面未被物理地耦合到所述超声换能器。

在一些实施例中,所述处理器还被配置为:对所述置信度度量应用阈值,以确定是否应当重新获取测量结果;并且使所述图形用户界面显示是否应当重新获取测量结果的指示。在一些示例中,所述生物测定工具微件包括:卡尺、跟踪工具、椭圆工具、曲线工具、面积工具、体积工具或者其组合。在一些示例中,所述解剖特征是与胎儿或子宫相关联的特征。在一些实施例中,所述处理器还被配置为基于所述测量结果来确定胎龄和/或体重估计。在一些示例中,所述第一神经网络包括:多层感知器网络,其被配置为执行具有随机舍弃(stochastic dropout)的监督的学习;或者自动编码器网络,其被配置为生成所述图像帧和所述测量结果的压缩的表示,并且将所述压缩的表示与基于群体的数据的流形(manifold)进行比较。

根据本公开的一些示例,一种超声成像的方法能够包括:由被可操作地耦合到超声系统的换能器响应于被发送到目标区域中的超声脉冲而获取回波信号。所述方法还能够包括:显示生物测定工具微件,其用于从根据超声回波生成的至少一个图像帧中获取目标区域内的解剖特征的测量结果。所述方法还能够包括:确定指示所述测量结果的准确性的置信度度量;并且使所述图形用户界面显示与置信度度量相对应的图形指示符。

在一些示例中,确定所述置信度度量包括:将所述至少一个图像帧输入到利用包括所述解剖特征的成像数据训练的第一神经网络中。在一些实施例中,所述方法还可以包括:将患者统计数据、解剖特征的先验测量结果、基于先验测量结果的导出的测量结果、图像帧包含与解剖特征相关联的解剖界标的概率、图像帧的质量水平、超声换能器的设置或者其组合输入到第一神经网络中。在一些实施例中,所述患者统计数据包括:产妇年龄、患者体重、患者身高或者其组合。在一些示例中,所导出的测量结果包括胎龄或者染色体异常的随胎龄调整的风险。在一些实施例中,所述方法还可以包括:基于所述测量结果来确定胎龄和/或体重估计。

在本文中所描述的方法中的任意方法或者其步骤可以被体现在包括可执行指令的非瞬态计算机可读介质中,所述可执行指令当被运行时使医学成像系统的处理器执行在本文中所体现的方法或步骤。

附图说明

图1是根据本公开的原理的超声系统的框图。

图2是根据本公开的原理实现的系统部件的操作布置的框图。

图3是根据本公开的原理实现的自动编码器网络的图。

图4是示出了图1的超声系统的额外部件的图。

图5是根据本公开的原理执行的超声成像的方法的流程图。

具体实施方式

特定实施例的以下描述在本质上仅仅是示例性的,而决不旨在限制本发明或者其应用或使用。在对本系统和方法的实施例的以下详细描述中,参考了形成其一部分的附图,并且这些附图通过其中可以实践所描述的系统和方法的例示性特定实施例的方式示出。对这些实施例进行了足够详细的描述,以使得本领域技术人员能够实践当前公开的系统和方法,并且应当理解,可以利用其他实施例,并且可以在不背离本系统的主旨和范围的情况下进行结构和逻辑改变。此外,出于清楚的目的,当特定特征对于本领域技术人员而言是显而易见时将不讨论对这些特征的详细描述,以免模糊对本系统的描述。因此,以下详细描述不应当被视为具有限制意义,并且本系统的范围仅由随附的权利要求来限定。

胎儿大小和生长轨迹是胎儿健康的重要指示符。例如,通常基于针对给定胎龄的实际生物测定测量结果与预期生物测定测量结果之间的差异来识别胎儿生长疾病。部分由于频繁的人为错误,这样的差异通常被归因于经由超声成像获得的不准确的解剖测量结果,从而导致假阳性结果。类似地,测量结果错误会无法发现真正的差异,从而导致假阴性。因此,确定哪些测量结果是准确的以及哪些测量结果对胎儿或患者的额外解剖特征的精确解剖评估不是至关重要的。在本文中的系统和方法能够改善超声图像获取和评估技术,所述技术被配置为通过在准确的解剖测量结果与不准确的解剖测量结果之间进行区分和/或通过减少或消除对不准确的测量结果的获取来测量各种解剖特征。在本文中的系统能够被配置为通过确定针对测量结果的置信度水平来量化特定测量结果的准确性。具体实现方式涉及获取胎儿的超声图像并且从中获得各种解剖测量结果。基于所获得的测量结果,能够确定一个或多个导出的测量结果,诸如胎龄、胎儿体重和/或解剖学异常的存在。通过确定与所获得的测量结果相关联的置信度水平,在本文中的系统可以减少对胎儿图像的错误解读,由此减少关于异常检测的假阳性和假阴性的可能性,并且例如提高基于群体的生长比较的准确性。能够配置特定的实现方式,以通过识别获取每个测量结果所需的正确成像平面来提高与获得的解剖测量结果相关联的置信度水平。也可以通过增强的声耦合以及对获取特定图像所需的最佳图像设置的自动选择来提高图像质量。当检查难以成像的患者(例如,肥胖患者)时,这样的改善可能特别显著。

根据本公开的超声系统可以利用神经网络,例如深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)、自动编码器神经网络等,来确定解剖特征的测量结果的质量。在一些示例中,还可以采用神经网络确定从其初始获得测量结果的超声图像的质量。图像质量能够涵盖图像在视觉上是易于解读还是难以解读,或者图像是否包含获取特定目标特征的准确并且一致的测量结果所必需的特定必要界标特征。在各种示例中,可以使用多种当前已知的或以后开发的学习技术中的任意一种来训练(一个或多个)神经网络,以获得神经网络(例如,经训练的算法或基于硬件的节点系统),所述神经网络被配置为分析以超声图像帧、测量结果和/或统计数据的形式的输入数据并且确定测量结果的质量,这可以被体现在针对每个测量结果通过网络输出的置信度水平中。

根据本发明的原理的超声系统可以包括或者被可操作地耦合到超声换能器,所述超声换能器被配置为向介质(例如,人体或者其特定部分)发送超声脉冲,并且响应于超声脉冲来生成回波信号。所述超声系统可以包括:被配置为执行发送和/或接收波束形成的波束形成器,以及被配置为在一些示例中显示由超声成像系统生成的超声图像的显示器。所述超声成像系统可以包括一个或多个处理器和神经网络的至少一个模型,其可以以硬件和/或软件部件来实现。能够训练所述神经网络来评估经由生物测定工具获得的解剖测量结果的准确性。在一些示例中,能够训练一个或额外的神经网络以评估被用于获得测量结果的图像的质量和内容充足性。所述神经网络能够被通信地耦合或集成到一个多层网络中。

根据本公开实现的神经网络可以是基于硬件的(例如,神经元由物理部件来表示)或者基于软件的(例如,在软件应用中实现神经元和路径),并且能够使用多种拓扑以及用于训练神经网络以产生所需的输出的学习算法。例如,可以使用被配置为执行指令的处理器(例如,单核或多核CPU、单个GPU或GPU集群或者被布置用于并行处理的多个处理器)来实现基于软件的神经网络,所述指令可以被存储在计算机可读介质中,并且所述指令当被运行时使所述处理器执行经训练的算法以用于评估图像和/或测量结果质量。所述超声系统可以包括显示器或图形处理器,其可操作用于在显示窗口中布置超声图像(2D、3D、4D等)和/或额外的图形信息(其可以包括注释、置信度度量、用户指令、组织信息、患者信息、指示符、颜色编码、突出部分和其他图形部件),以用于在超声系统的用户界面上进行显示。在一些实施例中,所述超声图像和相关联的测量结果可以被提供给存储装置和/或存储器设备,诸如图片存档和通信系统(PACS),以用于检查后查看、报告目的或者将来的训练(例如,继续以增强神经网络的性能),尤其是用于产生与高置信度水平相关联的测量结果的图像。所述显示器能够被远程地定位,并且能够由执行实时成像或异步成像的超声医师之外的用户与之交互。在一些示例中,在扫描期间获得的超声图像和/或相关联的测量结果可能不被显示给操作所述超声系统的用户,而是可能由系统分析在执行超声扫描时是否存在潜在的解剖异常或测量结果错误。根据这样的实现方式,可以在所生成的报告中提取图像和/或测量结果,以供诸如超声医师、产科医师或临床医师的用户查看。

图1示出了根据本公开的原理的示例性超声系统。超声系统100可以包括超声数据获取单元110。超声数据获取单元110能够包括超声探头,所述超声探头包括超声传感器阵列112,超声传感器阵列112被配置为将超声脉冲114发送到受检体的例如腹部的区域116,并且响应于所发送的脉冲而接收超声回波118。如所示的,区域116可以包括发育中的胎儿,或者多种其他解剖对象,诸如心脏或肺。如进一步所示的,超声数据获取单元110能够包括波束形成器120和信号处理器122,其能够被配置为根据在阵列112处接收到的超声回波118来生成离散的超声图像帧124的流。另外,一个或多个图像生物测定工具微件123(例如,卡尺、跟踪工具和/或椭圆工具、曲线工具、面积工具、体积工具等)能够被配置为获得在图像帧124内可见的解剖特征的一个或多个测量结果125。工具微件测量结果可能需要手动的用户输入,或者是自动的。图像帧124和/或相关联的测量结果125能够被传送到数据处理器126,例如计算模块或电路,其被配置为确定测量结果的准确性。在一些示例中,数据处理器126可以被配置为通过实现至少一个神经网络(诸如神经网络128)来确定测量结果准确性,所述神经网络能够被训练为估计从所述超声图像获得的测量结果的准确性。数据处理器126还可以被配置为实现图像分类网络144和/或图像质量网络148,在一些实施例中,这些网络的输出可以被输入到神经网络128中以提高网络128的准确性。在各种示例中,数据处理器126还能够被通信地或者以其他方式耦合到数据库127,数据库127被配置为存储各种数据类型,包括训练数据和新获取的特定于患者的数据。

超声数据获取单元110能够被配置为从一个或多个感兴趣区域116获取超声数据,所述感兴趣区域可以包括胎儿、子宫以及其特征。超声传感器阵列112可以包括至少一个换能器阵列,其被配置为发送和接收超声能量。超声传感器阵列112的设置能够被预设用于执行对胎儿的产前扫描,并且在实施例中,能够在特定扫描期间可调。可以使用各种换能器阵列,例如,线性阵列、凸形阵列或相控阵列。在不同的示例中,在传感器阵列112中所包括的换能器元件的数量和布置可以变化。例如,超声传感器阵列112可以包括换能器元件的1D阵列或2D阵列,分别对应于线性阵列探头和矩阵阵列探头。2D矩阵阵列可以被配置为在仰角维度和方位角维度上进行电子扫描(经由相控阵列波束形成)以用于2D或3D成像。除了B模式成像之外,根据本文中的公开内容实现的成像模态还能够包括例如剪切波和/或多普勒。各种用户可以处理和操作超声数据获取单元110以执行在本文中所描述的方法。在一些示例中,用户可能是经验不足的新手超声操作者,其无法准确地识别在给定扫描中所要求的胎儿的每个解剖特征。在一些情况下,数据获取单元110由机器人来控制(定位、设置等),并且能够代替人类操作者数据来执行在本文中所描述的方法。例如,数据获取单元110可以被配置为利用由数据处理器126获得的发现来细化一个或多个图像平面和/或根据其获得的解剖测量结果。根据这样的示例,数据获取单元110能够被配置为响应于从数据处理器接收到的反馈,通过调整换能器、信号处理器或波束形成器的一个或多个参数以自动化的方式来操作。

数据获取单元110还可以包括波束形成器120,例如,其包括微波束形成器或者微波束形成器与主波束形成器的组合,其被耦合到超声传感器阵列112。波束形成器120可以控制超声能量的传输,例如,通过将超声脉冲形成为聚焦波束。波束形成器120还可以被配置为控制对超声信号的接收,使得借助于其他系统部件来产生和处理可辨别的图像数据。波束形成器120的作用可以在不同的超声探头种类中变化。在一些实施例中,波束形成器120可以包括两个单独的波束形成器:发送波束形成器,其被配置为接收和处理超声能量的脉冲序列以用于发送到受检体中;以及单独的接收波束形成器,其被配置为放大、延迟和/或求和所接收到的超声回波信号。在一些实施例中,波束形成器120可以包括微波束形成器,所述微波束形成器在传感器元件组上操作以用于干扰发送和接收波束形成,被耦合到主波束形成器,所述主波束形成器分别在组输入和输出上操作用于发送和接收波束形成。

信号处理器122可以与传感器阵列112和/或波束形成器120通信地、操作地和/或物理地耦合。在图1中所示的示例中,信号处理器122作为数据获取单元110的集成部件被包括,但是在其他示例中,信号处理器122可以是单独的部件。在一些示例中,所述信号处理器可以与传感器阵列112一起被容纳在壳体中,或者其可以与传感器阵列112物理上分离但是在通信上耦合(例如,经由有线或无线连接)。信号处理器122可以被配置为接收体现在传感器阵列112处接收到的超声回波118的未过滤和杂乱的超声数据。在用户扫描胎儿区域116时,信号处理器122可以根据该数据连续地生成多个超声图像帧124。

在特定实施例中,神经网络128可以包括深度学习网络,所述深度学习网络经由成像数据被训练以生成经由生物测定工具微件123获得的每个测量结果125属于测量结果的独有集合的概率。然后,针对每个测量结果生成基于或等于该概率的相关联的置信度水平,从而为用户提供对测量结果准确性的实时评估,并且在一些示例中指示是否应当重新获取一个或多个测量结果。如下文相对于图2所解释的,神经网络128可以处理多个不同的输入,包括由图像分类网络144和图像质量网络148所生成的输出。

图2示出了根据系统100实现的部件的示例性操作布置,包括能够由数据处理器126分别接收和生成的各种输入和输出。如所示的,数据处理器126能够被配置为实现神经网络128,神经网络128能够被配置为接收一个或多个输入130。输入130可以改变。例如,输入130可以包括当前的胎儿测量结果以及在超声检查期间基本实时地获得的对应的超声图像130a。经由系统100获得的胎儿测量结果能够包括但不限于:顶臀长度、头围、双顶径、胎囊直径、枕额叶直径、股骨长度、肱骨长度、腹围、眼间距离和/或双眼距离;以及如心率、心脏容量和/或胎儿运动的功能成像。在一些示例中,还能够获取其他解剖特征的额外测量结果,例如诸如心脏或肺部的器官的横截面直径,以及诸如两个测量结果之间的角度的额外参数。输入还可以包括母亲的各种统计数据130b,包括母亲的体重、身高、年龄、种族等。还能够输入给定胎儿的先验胎儿测量结果130c。输入130还能够包括一个或多个导出的测量结果,诸如胎龄估计130d,其基于直接的胎儿测量结果,例如股骨长度。在一些实施例中,所导出的测量结果能够包括指示潜在的胎儿非整倍性或非染色体异常的随胎龄调整的风险增加的超声标记。神经网络128能够接收一个或多个上述输入130,神经网络128被配置为分析输入130并且基于所述输入来生成一个或多个输出132。这样的输出132能够包括一个或多个胎儿测量结果以及针对每个测量结果的相关联的置信度水平132a、胎龄估计和相关联的置信度水平132b、以及胎儿体重估计132c。

数据处理器126可以对神经网络128的每个输出132施加置信度阈值134,以确定给定测量结果的质量是否令人满意,或者是否需要重新测量。所述阈值能够根据经验进行调谐,或者能够由用户或审查者直接设置。根据一些实施例,阈值结果可以以一个或多个通知140的形式来传达。例如,数据处理器126能够被配置为针对不满足阈值的测量结果生成“再进行测量”通知136,以及针对确实满足阈值134的测量结果生成“一切都好”通知138。传达通知的具体方式可以变化。例如,所述通知能够包括显示的文本,如下文参考图4所描述的,或者呈现给用户的各种视觉和/或音频提示。另外地或备选地,数据处理器126能够被配置为生成报告142,报告142可以包括所有或者选择测量结果和由神经网络128确定的相关联的置信度水平。示例性报告142可以包括在给定扫描以及与其相关联的任何通知期间获得的输出132a、132b和/或132c。

在一些示例中,系统100能够被配置为实现第二神经网络,以通过评估相对于目标解剖结构的超声探头位置来进一步改善图像获取和评估的准确性,这可以在实现神经网络128之前执行。具体地,能够训练可以包括CNN的图像分类网络144以确定给定的超声图像是否包含用于获得特定测量结果的必要的解剖界标。例如,如果未利用超声探头获得经丘脑视图,则双顶径和头围测量可能是错误的。在经丘脑视图中,丘脑和腔隔膜两者应当都是可见的。类似地,如果胃、脐静脉和腹部每侧上的两个肋骨是不可见的,则腹围测量结果可能是错误的。因此,当寻求双顶径和头围测量结果时,图像分类网络144能够被配置为确定当前图像帧中是否包括丘脑和腔隔膜。类似地,当寻求腹围时,图像分类网络144能够被配置为确定当前图像帧中是否包括胃、脐静脉和腹部每侧上的两个肋骨。通过确认一个或多个界标的存在,图像分类网络144可以确认已经获得了针对指定的解剖测量结果的正确成像平面,这允许(一个或多个)生物测定工具123以更大的置信度水平测量图像中所包括的目标特征。在一些示例中,除了或替代图像分类网络144,可以实现分割处理器以执行对目标区域116的自动分割。

由图像分类网络144处理的输入146能够包括图像中的在预选圆周内部的区域。通过将区域限制为预选的周长,减少了图像分类网络144搜索一个或多个解剖界标的总区域,由此减少了用于训练网络的所需数据的量,并且进一步增强了系统100的处理效率。

在各种实施例中,图像分类网络144的输出130e能够用作由神经网络128处理的另一输入源。输出130e能够包括给定图像帧包含与特定解剖测量结果相关联的界标解剖特征的数值概率,由此提供了用于评估特定图像以及从中获得的测量结果的质量的置信度的额外量度。例如,如果未实现图像分类网络144以对初始图像帧进行滤波,则可以降低(一个或多个)最终置信度水平输出132为准确的可能性,因为与群体范围平均数一致但是从次优图像平面获得的测量结果可能不准确。在一些实施例中,能够显示输出130e,以供执行超声扫描的用户立即评估,由此使得用户能够辨认当前探头位置是否足以获得给定测量结果,或者是否需要调整探头位置、取向和/或设置。例如,能够将可疑的解剖测量结果以及对应的图像连同所述图像可能或确实缺少一个或多个解剖界标的通知140一起显示给用户。通过在实现神经网络128之前向用户提供这样的指示,可以避免徒劳的处理步骤,由此提高系统100的处理效率。

在额外的或备选的实施例中,系统100能够被配置为实现第三(或第二)神经网络,以通过评估在给定扫描期间获得的超声图像的质量来进一步提高图像获取和评估的准确性。具体地,能够训练图像质量网络148以确定给定的超声图像是高质量、低质量还是中等质量。由图像质量网络148接收到的输入150能够包括超声图像和/或图像设置,诸如频率、增益等。输入150还能够包括例如使图像质量降级的畸变估计,测量距超声换能器的最小、最大和平均距离,测量微件相对于换能器的取向,测量端点到波束聚焦区域的距离,沿着测量轴的估计的图像分辨率,和/或经由在围绕卡尺选择的端点的区域中频率分析获得的噪声估计。能够利用多幅图像来训练图像质量网络148,每幅图像与前述输入150相关并且被标记为具有高、低或中等质量。

在各种示例中,图像质量网络144的输出130f能够被用作由神经网络128处理的另一输入源。输出130f能够包括被用于获得测量结果的特定图像具有必要质量的数值概率。在一些示例中,能够在测量获取期间基本实时地生成和使用输出130f,以便向用户提供潜在测量误差的早期指示。例如,在选择两个测量端点时,可以生成并且显示图像质量的通知140,例如50%、75%或99%,所述图像质量传达了能够准确地确定特定测量结果的可能性,使得10%的图像质量度量将传达基于图像准确地确定测量结果的可能性很低,而99%的图像质量度量将传达基于图像准确地确定测量结果的可能性很高。在一些示例中,图像质量网络148能够被配置为允许用户“返回”输入150以确定哪个(哪些)特定输入对特定图像质量度量的贡献最大。

神经网络128能够被配置为通过实现被专门配置用于在本文中所描述的解剖测量应用的各种监督的或无监督的学习技术来识别错误的测量结果或者可能错误的测量结果。取决于所采用的技术,神经网络的架构也可以变化。例如,神经网络128可以包括多层感知器(MLP)网络,其被配置为执行具有随机舍弃的监督的学习。尽管特定架构可以变化,但是MLP网络通常可以包括输入层、输出层和多个隐藏层。给定层(i)内的每个神经元都能够被完全连接到下一层(i+1)中的每个其他神经元,并且一个或多个层中的神经元可以被配置为实现S形或softmax激活功能,以用于对每个输入进行分类。替代使用MLP网络的分类输出,能够实现随机舍弃以预测测量结果不确定性。具体地,在处理期间,能够暂时省略或忽略MLP内的随机选择的节点的预定百分比。为了预测在检查期间获得的给定测量结果为正确的不确定性,能够运行模型的多次前馈迭代,并且在每次运行期间,从网络中随机舍弃一个或多个节点。在多次迭代之后,由MLP针对单个患者产生的预测的变化能够被用作不确定性的指示符。例如,在多次迭代之后获得的高预测变化能够指示高的测量结果不确定性,并且因此存在测量误差的更大可能性。类似地,在多次迭代之后的低变化能够指示低的测量不确定性。为了训练MLP,能够使用各种胎儿图像和/或测量结果的医学专家注释以及对应的胎儿结果,例如出生体重、正常出生、异常出生。

在额外实施例中,可以经由基于自动编码器的表型分层和离群值识别来实现无监督的学习。具体而言,基于自动编码器的表型分层或受限Boltzmann机(RBM)能够被用于在没有人工输入的情况下发现在原始输入数据(被体现在输入130中)的潜在结构。在图3中图示了示例性的基于自动编码器的操作。如所示的,神经网络128能够包括自动编码器网络,其可以被配置为接收表示上文所描述的各种输入130的多个(例如,数千个或者更多个)稀疏码152。自动编码器128学习以生成稀疏码的压缩的向量154,可以将其与构成已知数据点的流形156的群体总体训练数据集合进行比较,由此确定新测量结果数据的组合是否类似于训练数据。如果否,则所述数据可能是异常值,这可能指示已经检测到罕见异常。所述异常能够体现出真实的解剖差异或不正确的测量结果。在任一种情况下,都可以向用户发送信号,以重新评估异常值,来确认所述数据是否实际上指示解剖异常,或者初始测量结果是否仅是不准确的。在示例中,经由诸如t分布随机邻居嵌入算法(t-SNE)之类的聚类算法来处理压缩的向量154。根据这样的示例,能够将新的测量结果数据的距离与被体现在流形156中的基于群体的分布数据进行比较,以确定新数据与训练数据的不同程度。

在一些示例中,在将测量结果的集合标识为模糊的或不确定的之后,能够应用基于规则的图表形式的域知识来评估结果。基于规则的图表能够被用于识别哪个(哪些)测量结果似乎是异常值。在一些示例中,并且能够通过从经由神经网络128分析的特定数据集中迭代地排除测量结果之一,然后经由处理器126或用户选择哪个测量结果对测量结果不确定性贡献最大,来识别不正确的测量结果。

在各种实施例中,神经网络128、图像分类网络144和/或图像质量网络148可以至少部分地在包括由处理器(例如,数据处理器126)运行的可执行指令的计算机可读介质中实现。为了训练神经网络128、144和/或148,可以将包括输入阵列和输出分类的多个实例的训练集呈现给(一个或多个)神经网络的(一种或多种)训练算法(例如,AlexNet训练算法,如由Krizhevsky,A.、Sutskever,I.和Hinton G.E在NIPS 2012或其后续中的“ImageNetClassification with Deep Convolutional Neural Networks”一文中所描述的)。

在一些示例中,与神经网络128、144和/或148相关联的神经网络训练算法能够被呈现成千上万甚至数百万个训练数据集,以便训练神经网络以确定针对从特定超声图像获取的每个测量结果的置信度水平。在各种示例中,用于训练(一个或多个)神经网络的超声图像的数量可以在约50,000至200,000或更多的范围内。如果要识别更多数量的不同解剖特征,或者容纳更多种类的患者变化(例如,体重、身高、年龄等),则用于训练(一个或多个)网络的图像数量可能增加。对于不同的解剖特征,训练图像的数量可能不同,并且可以取决于特定特征的外观的可变性。训练(一个或多个)网络以评估与群体总体可变性较高的特征相关联的测量结果质量,并且例如可能需要更大量的训练图像。

超声扫描的结果,包括在一个或多个置信度水平输出132中体现的所获得的测量结果的质量,能够经由系统100的一个或多个部件被显示给用户。如在图4中所示的,这样的部件能够包括与数据处理器126通信地耦合的显示处理器158。显示处理器158还与用户界面160相耦合,使得显示处理器158能够将数据处理器126(并且因此将在其上操作的一个或多个神经网络)链接到用户界面160,使得神经网络输出(例如,测量结果和置信度水平)能够被显示在用户界面上。在实施例中,显示处理器158能够被配置为根据在数据处理器126处接收到的图像帧124生成超声图像162。在一些示例中,用户界面160能够被配置为在正执行超声扫描时实时地显示超声图像162以及可能覆盖在图像上的一个或多个通知140。通知140能够包括注释、颜色映射、百分比、条以及听觉、语音或触觉渲染形式的测量结果和相关联的置信度水平,其可以被组织在报告142中。另外,在一些实施例中,特定测量是否满足给定阈值的指示能够与用于指导用户重新获取特定测量结果的一个或多个指令一起被包含在通知140中。

用户界面160还能够被配置为在超声扫描之前、期间或之后的任何时间接收用户输入166。例如,用户界面160可以是交互式的,接收指示确认已经准确地测量了解剖特征或者确认需要重新获取测量结果的用户输入166。在一些示例中,输入166可以包括提高或降低阈值134或者调整一个或多个图像获取设置的指令。如进一步示出的,用户界面160能够被配置为显示用于获取解剖特征的测量结果的生物测定工具微件123。

在图4连同图1中所示的部件的配置可以变化。例如,系统100能够是便携的或固定的。各种便携式设备(例如,膝上型计算机、平板计算机、智能电话、远程显示器和接口等)可以被用于实现系统100的一个或多个功能。一些或所有数据处理可以远程地执行(例如,在云中)。在合并了这样的设备的示例中,超声传感器阵列112例如可以经由USB接口可连接。在一些示例中,在图1至图4中所示的各种部件可以被组合。例如,神经网络128可以与图像分类网络144和/或图像质量网络148合并。根据这样的实施例,由网络144和/或148生成的输出仍然可以被输入到神经网络128中,但是这三个网络可以构成例如更大的分层网络的子部件。

图5是根据本公开的原理执行的超声成像方法的流程图。示例性方法500示出了可以由在本文中所描述的系统和/或装置以任意序列利用的步骤,以用于确定例如在由新手用户执行的和/或遵守由系统生成的指令的机器人超声装置执行的胎儿扫描期间的一个或多个解剖测量结果的质量。方法500可以由诸如系统100的超声成像系统或者包括例如诸如由Koninklijke Philips N.V(“Philips”)制造的LUMIFY之类的移动系统的其他系统来执行。额外的示例性系统可以包括也由Philips生产的SPARQ和/或EPIQ。

在所示的实施例中,方法500在框502处通过“由被可操作地耦合到超声系统的换能器响应于被发送到目标区域中的超声脉冲而获取回波信号”开始。

在框504处,所述方法涉及“显示用于从根据超声回波生成的至少一个图像帧中获取目标区域内的解剖特征的测量结果的生物测定工具微件”。

在框506处,所述方法涉及“确定指示测量结果的准确性的置信度度量”。

在框508处,所述方法涉及“使图形用户界面显示与置信度度量相对应的图形指示符”。

在其中使用诸如基于计算机的系统或可编程逻辑之类的可编程设备来实现部件、系统和/或方法的各种实施例中,应当意识到,上文所描述的系统和方法能够使用各种已知或以后开发的编程语言中的任意一种来实现,诸如“C”、“C++”、“FORTRAN”、“Pascal”、“VHDL”等。因此,能够准备各种存储介质,诸如计算机磁盘、光盘、电子存储器等,其能够包含能够指导诸如计算机的设备实现上文所描述的系统和/或方法的信息。一旦适当的设备可以访问被包含在存储介质上的信息和程序,则存储介质能够将信息和程序提供给所述设备,因此使得所述设备能够执行在本文中所描述的系统和/或方法的功能。例如,如果将包含诸如源文件、目标文件、可执行文件等的适当材料的计算机磁盘提供给计算机,则计算机可以接收信息,适当地对其自身进行配置并且执行在上文的图和流程图中所概述的各种系统和方法以实现各种功能的功能。亦即,计算机可以从磁盘接收与上文所描述的系统和/或方法的不同元素有关的信息的各个部分,实现个体系统和/或方法,并且协调上文所描述的个体系统和/或方法的功能。

鉴于本公开,应当注意,在本文中所描述的各种方法和设备能够以硬件、软件和固件来实现。此外,仅以示例的方式包括各种方法和参数,而没有任何限制的意义。鉴于本公开,本领域普通技术人员能够在确定其自己的技术和影响这些技术的所需设备的情况下实现本教导,同时仍保留在本发明的范围之内。在本文中所描述的处理器中的一个或多个处理器的功能可以被合并到更少数量或单个处理单元(例如,CPU)中,并且可以使用专用集成电路(ASIC)或响应于可执行指令以执行在本文中所描述的功能而编程的通用处理电路来实现。

尽管可能已经特别参考超声成像系统描述了本系统,但是还可以预见,本系统能够被扩展到以系统方式获得一幅或多幅图像的其他医学成像系统。因此,本系统可以被用于获得和/或记录关于但不限于肾、睾丸、乳腺、卵巢、子宫、甲状腺、肝、肺、肌肉骨骼、脾、心脏、动脉和血管系统的图像信息,以及与超声引导干预相关的其他成像应用。此外,本系统还可以包括可以与常规成像系统一起使用的一个或多个程序,从而其可以提供本系统的特征和优点。在研究本公开时,本公开的特定额外优点和特征对于本领域技术人员而言是显而易见的,或者可以由采用本公开的新颖系统和方法的人员来体验。本系统和方法的另一优点可以是常规医学图像系统能够被容易地升级以合并本系统、设备和方法的特征和优点。

当然,应当理解,在本文中所描述的示例、实施例或过程中的任何一个可以与一个或多个其他示例、实施例和/或过程相组合,或者可以在单独的设备或根据本系统、设备和方法中的设备部分中分离和/或执行。

最后,以上讨论旨在仅仅是本系统的说明,并且不应当被解释为将所附的权利要求限制为任何特定实施例或一组实施例。因此,尽管已经参考示例性实施例对本系统进行了详细描述,但是还应当理解,本领域普通技术人员可以设计出许多修改和替代实施例,而不背离如在随后的权利要求中阐述的本系统的更广泛和预期的主旨和范围。因此,说明书和附图应当以说明性方式来看待,并且无意于限制所附权利要求的范围。

相关技术
  • 生物测定测量和质量评估
  • 透镜焦距的测量装置及其测量方法和光学质量评估方法
技术分类

06120112581247