用于引导对超声图像的采集的系统和方法

技术领域

本发明涉及超声成像的领域，并且更特别地涉及引导式超声成像的领域。

背景技术

超声成像是对于胎儿筛查以及许多其他无创医学检查的选择的模态，因为其能够以足够的细节绘制胎儿解剖结构，同时在没有已知不利效应的情况下是时间和成本有效的。胎儿筛查覆盖各种胎儿生长量度，但是也覆盖对胎儿异常的检测。检查的主要部分在具有特定推荐标准测量结果的18至22周孕龄处开始。

通常，胎儿筛查检查使用2D超声图像执行。获得正确视图要求高级训练并且主要由专家用户执行。由于缺少专家资源，特别是在偏远地区，提供超声胎儿筛查不总是可能的。针对未训练的超声医师，采集用于执行对于胎儿生长评价必要的手动或自动生物测定测量的感兴趣标准临床平面和结构能够是具挑战性的。

通常，采集并且检查胎儿头部、胸部和腹部的自动定义平面的集合。针对3D US图像，针对标准生物测定测量结果的2D平面的自动选择是主要挑战。例如，腹围(AC)是估计胎儿大小和生长的标准测量结果。详细筛查指南定义扫描平面必须满足以便实现有效生物测定测量结果的准则。例如：胃和脐静脉必须是可见的，而心脏或肾脏不应当；扫描平面应当正交于从头到脚轴；并且腹部的形状应当是尽可能圆的。

文档US 2016/361045 A1涉及一种超声成像装置和其控制方法。该超声成像装置包括：采集单元，其被配置为采集物体的体积数据；以及过程，其被配置为通过使用预存储的界标信息来确定体积数据的采集位置是否在允许范围内，并且还被配置为当体积数据的采集位置在允许范围内时采集来自体积数据的多个参考平面。

此外，在US 2017/007208 A1中，公开了一种用于改进对象的感兴趣体积中的期望成像平面的成像质量，其中，可能的是，通过利用2D矩阵超声换能器的能力和/或超声探头的位置/取向的灵活性直接地扫描期望成像平面，而不是通过多个扫描平面的超声回波数据的内插重建期望成像平面的图像。

因此，需要一种在不要求显著额外硬件的情况下简化或自动化要求的标准临床平面的采集的超声成像方法。

发明内容

本发明由权利要求书定义。

根据本发明的方面的示例，提供了一种用于引导对超声图像的采集的方法，所述方法包括：

通过控制超声探头在第一位置处采集3D超声图像；

识别所述3D超声图像内的解剖结构；

基于所识别的解剖结构来估计目标成像平面；

确定所述目标成像平面是否存在于所述3D超声图像内；

在所述目标成像平面存在的情况下确定所述3D超声图像的中心平面与所述目标平面之间的移位；并且

在所述移位低于预定阈值的情况下从所述3D超声图像提取所述目标成像平面；或者

在所述移位高于所述预定阈值的情况下基于所述移位来生成用于利用所述超声探头在与所述第一位置不同的第二位置处采集3D超声图像的指令。

所述方法提供目标成像平面的简化采集。

所述方法从目标成像区附近的3D体积的采集开始。解剖结构在所述图像内被识别，并且相关联的目标图像平面是基于所识别的结构来确定的。

如果所述目标平面在所述3D体积内，所述目标平面可以在没有来自所述用户的额外输入的情况下自动采集。

如果所述目标平面不在所述3D体积内，则所述用户被提供有关于如何移动所述探头以采集包括所述目标平面的3D体积的指令。

以这种方式，用户能够仅被要求将所述超声探头移动到目标区的附近以便采集临床过程所需的准确目标成像平面。这减少或者消除用户执行所述探头的复杂操纵以便获得所要求的图像的需要。

以上方法包括目标成像平面的估计。根据依据本发明的方面的示例，提供了一种用于估计目标成像平面的方法，所述方法包括：

获得所述3D超声图像的中心平面，其中，所述中心平面包含所述解剖结构的至少部分；

在所述中心平面中的所述解剖结构周围生成边界框；

将所述边界框划分成具有多个网格点的网格；

针对所述多个网格点的每个网格点，估计所述中心平面与所述目标成像平面(例如，最佳成像平面)之间的偏移；并且

基于针对所述边界框的每个网格点的所述偏移来估计所述目标成像平面的坐标。

估计目标成像平面的该方法可以使用在引导超声图像的采集的背景下；然而，其还可以使用在要求目标成像平面的估计的任何其他成像背景下。

该方法提供一种用于采集3D超声体积中的目标图像平面的经改进的方法。

典型图像平面采集要求特定生物测定数据以便导航体积以到达所要求的成像平面。该方法允许成像平面被直接地采集，而不要求针对所述3D体积内的所有相关结构的搜索。

相反，所述目标图像平面被搜索用于直接地使用来自所述体积的中心图像平面的偏移值的集合。

在实施例中，对所述偏移的所述估计包括将多分辨率神经网络应用到所述中心平面。

在另外的实施例中，对所述多分辨率神经网络的所述应用包括：

根据所述中心平面来生成第一图像片块，其中，所述第一图像片块具有第一分辨率；

根据所述中心平面来生成第二图像片块，其中，所述第二图像片块具有低于所述第一分辨率的第二分辨率；

提取来自所述第一图像片块的第一特征图和来自所述第二图像片块的第二特征图；

将所述第一特征图与所述第二特征图进行组合；并且

基于组合图来生成输出层，其中，所述输出层包括针对每个网格点的所述偏移。

以这种方式，一系列卷积层可以被用于生成保持从所述中心平面到达所述目标平面所要求的偏移的输出层。

偏移网格具有比原始图像更低的分辨率。典型方法将要求每个连续层之间的上采样。然而，在这种情况下，所述网络的每个层从先前层下采样直到达到所述边界框网格的分辨率。

在布置中，所述解剖结构的识别包括对解剖结构进行分割。

以这种方式，准确地识别图像内的结构是可能的。

在布置中，所述移位包括以下各项中的一项或多项：

平移；以及

旋转。

因此，所述用户可以被引导以以清楚和简单的方式捕获特定目标平面。

在实施例中，所述指令包括以下各项中的一项或多项：

视觉指令；以及

可听指令。

以这种方式，所述用户可以根据其偏好以一方式接收所述指令。

在实施例中，所述视觉指令包括以下各项中的一项或多项：

基于示意图的指令；以及

基于3D体积的指令。

在布置中，所述方法还包括在所采集的目标成像平面上执行生物测定分析。

以这种方式，生物测定分析可以在所采集的目标平面上自动执行，而不要求来自所述用户的另外的介入。因此，可以进一步降低由所述用户要求以执行所述方法的技能水平。

根据本发明的方面的示例，提供了一种包括计算机程序代码模块的计算机程序，所述计算机程序代码模块适于当所述计算机程序在超声成像系统上运行时实施上面描述的方法。

根据本发明的方面的示例，提供了一种超声成像系统，所述系统包括：

超声探头，其适于当被定位于第一位置处时采集3D超声图像；

处理器，其中，所述处理器适于：

识别所述3D超声图像内的解剖结构；

基于所识别的解剖结构来估计目标成像平面；

确定所述目标成像平面是否存在于所述3D超声图像内；

在所述目标成像平面存在的情况下确定所述3D超声图像的中心平面与所述目标平面之间的移位；并且

在所述移位低于预定阈值的情况下从所述3D超声图像提取所述目标成像平面；或者

在所述移位高于所述预定阈值的情况下基于所述移位来生成用于利用所述超声探头在与所述第一位置不同的第二位置处采集3D超声图像的指令。

在布置中，所述处理器还适于：

获得所述3D超声图像的中心平面，其中，所述中心平面包含所述解剖结构的至少部分；

在所述中心平面中的所述解剖结构周围生成边界框；

将所述边界框划分成具有多个网格点的网格；

针对所述多个网格点的每个网格点，估计所述中心平面与所述目标成像平面之间的偏移；并且

基于针对所述边界框的每个网格点的所述偏移来估计所述目标成像平面的坐标。

在另外的布置中，所述处理器还适于将多分辨率神经网络应用到所述中心平面，其中，所述处理器适于：

根据所述中心平面来生成第一图像片块，其中，所述第一图像片块具有第一分辨率；

根据所述中心平面来生成第二图像片块，其中，所述第二图像片块具有低于所述第一分辨率的第二分辨率；

提取来自所述第一图像片块的第一特征图和来自所述第二图像片块的第二特征图；

将所述第一特征图与所述第二特征图进行组合；并且

基于所述组合图来生成输出层。

在实施例中，所述系统包括显示器，所述显示器适于将所述指令显示给用户以采集第二位置处的3D超声图像，其中，所述指令包括视觉指令。

在实施例中，所述系统包括音频输出设备，所述音频输出设备适于将所述指令输出给用户以采集第二位置处的3D超声图像，其中，所述指令包括可听指令。

本发明的这些和其他方面将根据在下文中所描述的(一个或多个)实施例而显而易见并且将参考在下文中所描述的(一个或多个)实施例得到阐述。

附图说明

为了更好地理解本发明并且更清楚地示出其可以如何实现，现在将仅通过示例对附图进行参考，其中：

图1示出了超声诊断系统以解释操作；

图2示出了本发明的方法；

图3示出了本发明的另外的方法；

图4A和4B示出了自动提取的成像平面与专家注释的成像平面之间的比较；

图5示出了用于识别解剖结构的分割结果；

图6示出了基于示意图的指令的示例；

图7示出了估计目标成像平面的可视化；

图8示出了多分辨率卷积回归网络的示意性表示；

图9示出了用于图8所示的网络的水平的输入片块的示例；并且

图10示出了用于图8所示的网络的水平的输入片块的另外的示例。

具体实施方式

将参考附图描述本发明。

应当理解，详细说明和特定示例尽管指示装置、系统和方法的示例性实施例，但是仅旨在用于说明的目的，而不旨在限制本发明的范围。根据以下描述、所附权利要求书和附图，本发明的装置、系统和方法的这些和其他特征、方面和优点将变为更好理解。应当理解，附图仅仅是示意性的，而未按比例绘制。还应当理解，贯穿附图使用相同的附图标记以指示相同或相似的部分。

本发明提供一种用于引导超声图像的采集的方法。3D超声图像由超声探头在第一位置处采集，并且解剖结构在所述3D超声图像内识别。目标成像平面基于所识别的解剖结构来估计并且确定所述目标成像平面是否存在于所述3D超声图像内。如果目标成像平面存在，则3D超声图像的中心平面与目标平面之间的移位被确定。如果移位低于预定阈值，则所述目标成像平面被提取，并且如果移位高于所述预定阈值，则基于移位生成利用超声探头在与第一位置不同的第二位置处采集3D超声图像的指令。

本发明还提供一种用于估计目标成像平面的方法。获得3D超声图像的中心平面，其中，中心平面包含解剖结构的至少部分，并且边界框在解剖结构周围生成。边界框被划分成具有多个网格点的网格，并且针对每个网格点；估计中心平面与目标成像平面之间的偏移。最后，目标成像平面的坐标基于针对边界框的每个网格点的偏移来估计。

由于以上方法可以采用在超声成像系统中，示例性超声系统的一般操作将首先参考图1以及对系统的信号处理功能的强调来描述，因为本发明涉及对由换能器阵列测量的信号的处理。

该系统包括阵列换能器探头4，其具有用于发射超声波和接收回波信息的换能器阵列6。换能器阵列6可以包括CMUT换能器；由诸如PZT或PVDF的材料形成的压电换能器；或任何其他合适的换能器技术。在该示例中，换能器阵列6是能够扫描感兴趣区域的2D平面或三维体积的换能器8的二维阵列。在另一示例中，换能器阵列可以是1D阵列。

换能器阵列6耦合到微波束形成器12，微波束形成器12控制由换能器元件对信号的接收。微波束形成器能够对由换能器的子阵列(通常称为“组”或“片块”)接收的信号进行至少部分波束形成，如美国专利US 5997479(Savord等人)、US 6013032(Savord)和US6623432(Powers等)中所描述的。

应当注意，微波束形成器是完全任选的。此外，该系统包括发射/接收(T/R)开关16，微波束形成器12可以耦合到该开关，并且该开关在发射模式和接收模式之间切换阵列，并在不使用微波束形成器并且换能器阵列由主系统波束形成器直接操作的情况下保护主波束形成器20免受高能量发射信号影响。来自换能器阵列6的超声波束的发射由通过T/R开关16和主发射波束形成器(未示出)耦合到微波束形成器的换能器控制器18引导，该主发射波束形成器可以从用户对用户接口或控制面板38的操作接收输入。控制器18可以包括发射电路，该发射电路被布置为在发射模式期间(直接或经由微波束形成器)驱动阵列6的换能器元件。

在典型的逐行成像序列中，探头内的波束形成系统可以如下操作。在发射期间，波束形成器(其取决于实施方式可以是微波束形成器或主系统波束形成器)激活换能器阵列或换能器阵列的子孔。子孔可以是较大阵列内的换能器的一维线或换能器的二维片块。在发射模式下，控制由阵列或阵列的子孔生成的超声波束的聚焦和操纵，如下所述。

在接收到来自对象的反向散射的回波信号后，接收到的信号经历接收波束形成(如下所述)，以便将接收到的信号对齐，并且在使用子孔的情况下，然后例如由一个换能器元件对子孔进行移位。经移位的子孔然后激活，并且该过程重复，直到换能器阵列的所有换能器元件已经激活。

对于每条线(或子孔)，用于形成最终超声图像的相关联线的总接收信号将是在接收时段期间由给定子孔的换能器元件所测量的电压信号的总和。在下面的波束形成过程之后，得到的线信号通常称为射频(RF)数据。然后由各个子孔生成的每条线信号(RF数据集)经历额外的处理以生成最终超声图像的线。线信号的幅度随时间的变化将贡献于超声图像的亮度随深度的变化，其中，高幅度峰将对应于最终图像中的亮像素(或像素的集合)。出现在线信号的开始附近的峰将表示来自浅结构的回波，而逐渐出现在线信号后期的峰将表示来自对象内增加深度处的结构的回波。

由换能器控制器18控制的功能之一是波束操纵和聚焦的方向。波束可以操纵为从换能器阵列笔直向前(正交于其)，或者在不同角度处以用于更宽视场。可以根据换能器元件致动时间来控制发射波束的操纵和聚焦。

在一般的超声数据采集中可以区分两种方法：平面波成像和“波束控制”成像。两种方法通过在发射模式(“波束操纵”成像)和/或接收模式(平面波成像和“波束操纵”成像)中波束形成的存在来区分。

首先看一下聚焦功能，通过同时激活所有换能器元件，换能器阵列生成平面波，该平面波在其行进通过对象时发散。在这种情况下，超声波的波束保持不聚焦。通过向换能器的激活引入位置相关时间延迟，能够使波束的波前聚在期望的点处，该点称为聚焦区。聚焦区定义为横向波束宽度小于发射波束宽度一半的点。以这种方式，改进了最终超声图像的横向分辨率。

例如，如果时间延迟使换能器元件从最外面的元件开始并在换能器阵列的(一个或多个)中心元件处结束在系列中激活，则将在距探头给定距离处形成聚焦区，与(一个或多个)中心元件一致。聚焦区距探头的距离将根据换能器元件激活的每个后续轮之间的时间延迟而变化。在波束经过聚焦区后，其将开始发散，从而形成远场成像区域。应当注意，对于定位靠近于换能器阵列的聚焦区，超声波束将在远场中迅速发散，从而导致最终图像中的波束宽度伪影。通常，由于超声波束中的大交叠，位于换能器阵列和聚焦区之间的近场示出很少细节。因此，改变聚焦区的位置会导致最终图像的质量的显著变化。

应当注意，在发射模式下，除非将超声图像划分为多个聚焦区(其中每个可能具有不同的发射焦点)，否则可以定义仅一个焦点。

另外，在从对象内接收到回波信号后，能够执行上述过程的逆过程以执行接收聚焦。换言之，传入的信号可以由换能器元件接收并且在被传递到系统中以进行信号处理之前经历电子时间延迟。这一点的最简单示例称为延迟求和(delay-and-sum)波束形成。能够根据时间动态调节换能器阵列的接收聚焦。

现在来看波束操纵的功能，通过对换能器元件正确地施加时间延迟，能够在超声波束离开换能器阵列时在超声波束上赋予期望的角度。例如，通过以在阵列的相对侧结束的顺序来激活换能器阵列的第一侧上的换能器，之后剩余的换能器，波束的波前将朝向第二侧成角度。相对于换能器阵列的法线的操纵角的大小取决于随后的换能器元件激活之间的时间延迟的大小。

此外，能够聚焦操纵波束，其中，施加到每个换能器元件的总时间延迟是聚焦和操纵时间延迟两者的总和。在这种情况下，换能器阵列称为相控阵列。

在需要用于对其进行激活的DC偏置电压的CMUT换能器的情况下，换能器控制器18可以耦合以控制换能器阵列的DC偏置控制45。DC偏置控制45设置施加到CMUT换能器元件的(一个或多个)DC偏置电压。

针对换能器阵列的每个换能器元件，通常称为信道数据的模拟超声信号通过接收信道进入系统。在接收信道中，部分波束形成信号由微波束形成器12根据信道数据中产生，并且然后传递到主接收波束形成器20，其中，来自换能器的个体片块的部分波束形成信号被组合为完全波束形成信号，被称为射频(RF)数据。在每个阶段处执行的波束形成可以如上所述被执行，或者可以包括额外的功能。例如，主波束形成器20可以具有128信道，其中每个从几十个或数百换能器元件的片块接收部分波束形成信号。以这种方式，由换能器阵列的数千个换能器接收到的信号可以有效地贡献于单个波束形成信号。

将波束形成接收信号耦合到信号处理器22。信号处理器22能够以各种方式处理接收到的回波信号，例如，带通滤波；抽选；I和Q分量分离；以及谐波信号分离，其用于分离线性信号与非线性信号，从而使得能够识别从组织和微泡返回的非线性(基频的较高谐波)回波信号。信号处理器22还可以执行额外的信号增强，例如，散斑减少、信号合成以及噪声消除。在信号处理器中的带通滤波器可以是跟踪滤波器，当从递增的深度接收回波信号时所述带通滤波器的通带从较高的频率带滑动到较低的频率带，从而拒绝来自更大深度的较高频率处的噪声，其通常缺乏解剖信息。

用于发射和用于接收的波束形成器以不同的硬件实施并且可以具有不同的功能。当然，接收器波束形成器被设计为考虑发射波束形成器的特性。为了简化，在图1中仅示出了接收器波束形成器12、20。在整个系统中，还将存在带有发射微波束形成器和主发射波束形成器的发射链。

微波束形成器12的功能是提供信号的初始组合以便减少模拟信号路径的数目。这通常地在模拟域中被执行。

最终波束形成在主波束形成器20中完成，并且通常在数字化之后完成。

发射和接收信道使用具有固定频带的相同换能器阵列6。然而，发射脉冲占用的带宽可以根据所使用的发射波束形成而变化。接收信道可以捕获整个换能器带宽(其是经典方法)，或者通过使用带通处理，其只能提取包含期望信息(例如主谐波的谐波)的带宽。

然后，可以将RF信号耦合到B模式(即，亮度模式或2D成像模式)处理器26和多普勒处理器28。B模式处理器26对接收到的超声信号执行幅度检测以对身体中的结构进行成像，例如器官组织和血管。在逐行成像的情况下，每条线(波束)由关联的RF信号表示，其幅度用于生成要分配给B模式图像中的像素的亮度值。图像内像素的确切位置由沿RF信号的相关联幅度测量结果的位置和RF信号的线(射束)数确定。这样的结构的B模式图像可以以谐波或基波图像模式或两者的组合形成，如在美国专利US6283919(Roundhill等人)和美国专利US 6458083(Jago等人)中所描述的。多普勒处理器28处理由组织移动和血流产生的时间上不同的信号，以检测移动物质，例如图像场中的血液细胞的流。多普勒处理器28通常包括壁滤波器，该壁滤波器具有设置成通过或拒绝从身体内的选定类型的材料返回的回波的参数。

由B模式和多普勒处理器产生的结构和运动信号被耦合到扫描转换器32和多平面重新格式化器44。扫描转换器32以空间关系布置回波信号，根据该空间关系以期望的图像格式接收回波信号。换言之，扫描转换器用于将RF数据从圆柱坐标系转换到适于在图像显示器40上显示超声图像的笛卡尔坐标系。在B模式成像的情况下，给定坐标处的像素的亮度与从该位置接收的RF信号的幅度成正比。例如，扫描转换器可以将回波信号布置成二维(2D)扇形格式或金字塔形三维(3D)图像。扫描转换器可以向B模式结构图像叠加与图像场中的点处的运动相对应的颜色，其中，多普勒估计速度产生给定的颜色。组合的B模式结构图像和彩色多普勒图像描绘了结构图像场内的组织和血流的运动。如美国专利US 6443896(Detmer)中所描述的，多平面重新格式化器将从身体的体积区域中的公共平面中的点接收的回波转换成该平面的超声图像。体积绘制器42将3D数据集的回波信号转换成投影的3D图像，如从给定参考点所查看到的，如美国专利US 6530885(Entrekin等人)中所描述的。

2D或3D图像从扫描转换器32、多平面重新格式化器44和体绘制器42耦合到图像处理器30，以用于进一步增强、缓冲和临时存储以显示在图像显示器40上。成像处理器可以适于从最终超声图像移除某些成像伪影，诸如：例如由强衰减器或折射引起的声学阴影；例如由弱衰减器引起的后增强；混响伪影，例如，其中，高度反射的组织界面紧邻定位；等等。另外，图像处理器可以适于处理某些散斑减少功能，以便改进最终超声图像的对比度。

除了用于成像，由多普勒处理器28产生的血流值和由B模式处理器26产生的组织结构信息还耦合到量化处理器34。该量化处理器产生不同流状况的量度，例如除了诸如器官的大小和胎龄的结构测量结果外的血流的体积速率。量化处理器可以从用户控制面板38接收输入，例如图像的解剖结构中要进行测量的点。

来自量化处理器的输出数据耦合到图形处理器36，其用于在显示器40上与图像一起再现测量图形和值，并且用于从显示设备40的音频输出。图形处理器36还可以生成图形叠加，以用于与超声图像一起显示。这些图形叠加可以包含标准识别信息，例如患者姓名、图像的日期和时间、成像参数等。出于这些目的，图形处理器从用户接口38接收输入，例如患者姓名。用户接口还耦合到发射控制器18，以控制生成来自换能器阵列6的超声信号，并且因此由换能器阵列和超声系统产生的图像。控制器18的发射控制功能仅是所执行的功能之一。控制器18还考虑操作模式(由用户给定)以及接收器模数转换器中的对应的所需的发射器配置和带通配置。控制器18可以是具有固定状态的状态机。

用户接口还耦合到多平面重新格式化器44，以用于选择和控制多个多平面重新格式化(MPR)图像的平面，其可以用于在MPR图像的图像场中执行量化的量度。

图2示出了用于引导超声图像的采集的方法100。

方法在步骤110中开始，其中，3D超声图像通过控制超声探头在第一位置处采集。

例如，超声检查能够涉及对位于第一位置处的感兴趣区域进行成像。感兴趣区域可以例如包括要检查的器官或胎儿。

在步骤120中，解剖结构在3D超声图像内被识别。

解剖特征可以包括：器官；器官的内室，诸如心脏的心室；骨骼结构；以及胎儿结构，诸如胎儿心脏或胃。

解剖结构可以通过分割解剖结构来识别。例如，自动分割可以对胎儿体积中的感兴趣结构(例如：头、胃、脐静脉)进行应用。

通过范例，用于识别结构的分割方法可以基于使用感兴趣形状的模板模型的模板变形。备选地，另一适当的方法可以利用基于UNET的算法，其基于深度学习并且提供要分割的器官的掩模。

换言之，解剖结构可以通过基于机器学习的算法在3D超声图像内识别。

在步骤130中，目标成像平面基于所识别的解剖结构来确定。

目标成像平面的确定可以包括基于感兴趣结构对空间坐标系的确定。例如，空间坐标系可以参考各种器官定义，诸如心脏、胃和脐静脉。这些结构可以使用在腹部标准临床平面的提取中；然而，可能的是，利用不同结构来采集其他标准临床平面，诸如股骨或头部平面。

下面参考图6进一步描述了示例空间坐标系。

目标成像平面的提取可以基于先前获取的知识，诸如通过定义的坐标系中的相关平面的位置的系统的用户输入或者训练。

下面参考图3更详细地讨论确定目标成像平面的方法。

在步骤140中，确定目标成像平面是否存在于采集的3D超声图像内。

对采集的3D超声图像内的目标成像平面的存在和位置的确定可以使用机器学习算法来执行。

例如，一旦在步骤130中确定目标成像平面，则算法可以确定所述目标成像平面或目标成像平面的至少部分是否在采集的3D超声图像的体积内。

如果目标成像平面不存在于采集的3D超声图像的体积内，则方法可以前进到步骤145，其中，消息被呈现给用户，其通知他们目标成像平面不存在于3D超声图像内。在这种情况下，方法可以然后返回到步骤110以采集包含目标成像平面的至少部分的不同3D超声图像。

如果目标成像平面存在，则方法前进到步骤150，其中，3D超声图像的中心平面与目标成像平面之间的移位被确定。该移位可以包括平移和旋转。换言之，确定从中心平面到目标成像平面的平移。

如果移位低于预定阈值，则方法前进到步骤160，其中，从3D超声图像中提取目标成像平面。预定阈值可以表示3D超声图像内的边界，这意指如果移位低于预定阈值，则目标成像平面完全地包含在3D超声图像的体积内。换言之，移位的最大幅度应当小于在每个方向上的3D超声图像的体积尺度的给定分数或阈值。备选地，预定阈值可以基于目标成像平面与中心平面之间的距离和/或角。

换言之，当用户采集被分析为接近于目标成像平面的3D超声图像时，信号可以被提供给用户，其指示目标成像平面提取根据当前探头位置处的3d超声图像执行。

返回到步骤150，如果移位被发现为高于预定阈值，则方法前进到步骤170。在步骤170中，利用超声探头在与第一位置不同的第二位置处采集3D超声图像的指令基于移位来生成。指令可以采取视觉指令或者可听指令的形式。

例如，如果目标成像平面在3D超声图像的体积内但是不足够接近于中心切片(即，在预定阈值外部)，则可以生成用户指令。阈值可以被设定为任何适合数量以用于将目标成像平面定位在3D超声图像内。阈值可以当高于阈值的值被检测到时触发。备选地，阈值可以当低于阈值的值被检测到时触发。

用户指令可以呈现提出的探头移动以获得后续采集的3D超声图像的中心的目标成像平面。在视觉指令的示例中，用户可以通过基于示意图的指令或者基于3D体积的指令引导。

基于示意图的指令可以包括示出超声探头的当前位置的示意图。示意图还可以包括用于平移和旋转的箭头的形式的探头的建议运动以便采集包括目标成像平面的3D超声图像。

基于3D体积的指令可以包括具有运动引导叠加的采集的3D超声图像的直接体积绘制。运动引导叠加可以包括针对超声探头的平移和运动的箭头。

跟随根据所提供的指令的超声探头的运动，方法可以返回到步骤140并且如上文所描述前进到步骤160，其中，采集目标成像平面。

跟随目标成像平面的采集，方法还可以包括在采集的目标成像平面上执行生物测定分析。当目标成像平面通常被选择用于使用在临床过程中时，生物测定测量结果可以在所采集的目标成像平面上自动地执行。

图3更详细地示出了确定目标成像平面的步骤130。

在步骤210中，获得3D超声图像的中心平面，其中，中心平面包含解剖结构的至少部分。

如上文所描述的，用户将超声探头导航到感兴趣结构以采集3D超声图像，使得3D超声图像包含解剖结构的至少部分。

例如，3D超声的中心平面(其在一些情况下可以通过多平面重建MPR采集)可以包含解剖结构。通过特定示例，针对胎儿腹围测量结果，通过腹部的近似正交切割可以包含在中心平面中。

在步骤220中，在中心平面中的解剖结构周围生成边界框。

存在若干方法可用于执行2D图像中的边界框检测，诸如3D超声图像的中心平面。例如，可以使用在Joseph Redmon等人YOLO9000:Better,Faster,Stronger,CVPR 2018中描述的方法。另外，针对诸如这个的计算机视觉问题的若干预训练的模型是可用的，这意指迁移学习可以用于解决身体部分检测并且在特定胎儿身体部分检测中，如Pan,S.J等人,Asurvey on transfer learning.IEEE Trans Knowl Data Eng,22(10),1345–1359,2009中描述的。

在步骤230中，边界框划分成具有多个网格点的网格。边界框可以划分成任何N×N网格，其中，N可以根据由应用要求的分辨率而变化。

例如，两个点b

在步骤240中，中心平面与目标成像平面(例如，最佳成像平面)之间的偏移针对每个网格点来估计。

针对每个网格点g

在步骤250中，目标成像平面的坐标基于针对边界框的每个网格点的偏移来估计。

通过使用线性回归内插g

偏移的估计可以包括将多分辨率神经网络应用到中心平面。多分辨率神经网络被训练以估计指示到目标成像平面的距离的针对每个网格点的偏移向量o

多分辨率神经网络已经示出以产生针对如以下讨论的医学成像中的若干分割任务的准确结果：Schmidt-Richberg等人：Abdomen Segmentation in 3D Fetal UltrasoundUsing CNN-powered Deformable Models,MICCAI Workshop on Fetal and InfantImaging(FIFI 2017)和Brosch,T.等人,Foveal fully convolutional nets for multi-organ segmentation.Proc.SPIE,105740U,2018。

多分辨率神经网络的一般想法是组合针对逐像素分类的不同分辨率的图像片块。在每个分辨率水平上，图像特征使用标准卷积层提取。然后，粗略水平的特征图连续地上采样并且与下一个更精细水平组合。以这种方式，获得原始图像分辨率的分割，同时具有大视角场以考虑广泛图像上下文。可以考虑备选机器学习方法。然而，神经网络产生针对诸如这些的复杂学习任务的准确结果，同时还能够产生几乎实时性能。

在这种情况下，该一般概念被用于平面回归，其中，多分辨率网络被训练使得大小N×N×1的最后输出层保持偏移o

这意指，代替于上采样粗略水平并且将其与如在典型多分辨率神经网络架构中的更精细水平组合，精细水平连续下采样并且与更粗略水平组合。图8还详述该网络架构，并且图9和10示出了针对对应图像片块的示例。

网络可以利用由用户注释的标准数据和作为损失函数的估计偏移之间的平均方差来训练。

图4A和4B分别地示出了根据以上详述方法提取的自动提取的平面300和320与专家注释的平面310和330之间的比较。在这两种情况下，清楚的是，看到目标成像平面的自动提取的性能可与专家注释的图像平面比较。

图5示出了各种解剖结构的自动分割的结果。在该图中，心脏H、胃S和脐静脉Uv被示出跟随具有深度学习算法的分割。图6示出了基于示意图的指令的示例，其定义基于如图5所示的分割解剖界标(心脏：H、胃：S、脐静脉：Uv)的空间参考坐标系。基于示意图的指令还可包括平移和旋转指令，通知用户如何移动超声探头。

图7示出了用于估计上文参考图3所描述的目标成像平面的方法的可视化，其中，解剖结构是胎儿的躯干。中心框340标记3D图像的中心切片的胎儿躯干周围的边界框。点350指示移位网格点g

图8示出了具有4个分辨率水平380和N＝8的多分辨率卷积回归网络的示例架构的示意性表示。每个圆形框代表一个或多个操作层，其中，CBR指示包括具有给定内核大小的非填充卷积(C)、批标准化(B)和ReLU激活(R)的块。

第一分辨率水平382将接收具有最高可用分辨率的图像片块，诸如3D超声的中心平面。如上文所描述的，多分辨率神经网络操作一系列下采样层以便生成输出层。因此，第二卷积层384、第三卷积层386和第四卷积层388接收各自具有顺序更低分辨率的图像片块。换言之，图像片块针对每个分辨率层下采样并且组合。

图9和10示出了图8所示的网络的所有四个水平的输入图像片块400的示例。针对x/y轴(图9)和x/z轴(图10)示出片块。每个输入片块中的灰色框对应于输出层的范围。

更特别地，具有最高分辨率的第一图像片块402被供应到第一分辨率水平。类似地，第二图像片块404被供应到第二分辨率水平，第三图像片块406被供应到第三分辨率水平，并且第四图像片块408被供应到第四分辨率水平。

跟随输入图像片块400的处理的多分辨率神经网络的输出层由偏移网格410示出。偏移网格表示针对边界框的每个网格点到达目标成像平面要求的偏移，其中，网格正方形的阴影越暗，偏移越大。

图像420表示标准数据视图平面420，其是如由用户识别的先前注释的目标成像平面。图像430示出了表示为输入图像片块中的灰色正方形的躯干边界框内重采样的标准数据平面。

如上文所提到的，本发明提供一种引导方法以及一种估计目标成像平面的方法。后者包括：

采集3D超声图像；

识别3D超声图像内的解剖结构；

获得3D超声图像的中心平面，其中，中心平面包含解剖结构的至少部分；

在中心平面中的解剖结构周围生成边界框；

将边界框划分成具有多个网格点的网格；

针对多个网格点中的每个网格点，估计中心平面与目标成像平面(例如，最佳成像平面)之间的偏移；并且

基于针对边界框的每个网格点的偏移，估计目标成像平面的坐标。

通过研究附图、公开内容以及权利要求书，本领域技术人员在实践所要求保护的本发明时能够理解和实现对所公开的实施例的变型。在权利要求书中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以履行权利要求书中所记载的若干项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质，但计算机程序也可以以其他形式来分布，例如经由因特网或者其他有线或无线电信系统分布。权利要求书中的任何附图标记不应被解读为对范围的限制。