多模态图像的可变形配准

背景技术

本文所公开的主题涉及自动多模态图像配准，该自动多模态图像配准利用结构分段来促进引导并且可用于移动对象的实时追踪。

非侵入性成像技术允许获得患者/对象的内部结构或特征的图像，而无需对患者/对象执行侵入性过程。具体地讲，此类非侵入性成像技术依赖于各种物理原理(诸如X射线穿过目标体积的差分透射、体积内的声波反射、体积内不同组织和材料的顺磁性、目标放射性核素在体内的分解等)，以采集数据和构建图像或以其它方式表示观察到的患者/对象的内部特征。

以举例的方式，磁共振成像(MRI)是外科手术程序和介入程序的情境中的有用成像模态，因为它提供软组织对比度，该软组织对比度使得能够在计划/诊断阶段中标测病理组织(例如，肿瘤)的位置和边界。然而，由于磁体孔中有限的患者空间、对MRI兼容的外科器械的要求和低成像帧率，因此很难将实时MRI集成到外科手术工作流程中。因此，实时MR图像在外科手术阶段通常是不可用的，这增加了在计划阶段不作为目标的健康组织区域的侵入性进入或治疗的风险。此外，由于缺乏对病理组织边界的实时追踪，临床医生可能无法完全接近或治疗病理组织。虽然在计划阶段中从MR图像中分段或手动追踪病变/肿瘤可提供一个或多个基准的初始位置，但是由于生理运动、位置或取向变化、变形等等，该初始位置在后续侵入性程序中可能不对应于目标病变/肿瘤的真实位置和/或边界。

相反，超声成像可用于提供实时成像，包括在外科手术程序或介入程序期间提供实时成像。然而，超声成像提供较差的软组织对比度，这可导致对感兴趣的组织(例如，病理组织，诸如肿瘤)和/或此类组织的边界的定位不准确。这些限制继而可限制定位或描绘病理或目标病灶的能力。

在某些情境中，此类成像技术可一起使用以诸如通过使用成像技术的组合提供或促进移动(即，动态)对象(例如，移动组织或器官)的实时追踪，以允许识别和监视患者/对象的内部结构或特征。具体地，此类成像目标可存在于体内的随时间推移而移动或改变尺寸和/或形状的区域中。对此类动态结构的准确追踪在医疗实践中提供了有用的信息。例如，在神经外科手术中，医生精确地查看脑肿瘤边缘所处的位置以便在不对周围脑组织造成损伤的情况下进行适当的切除是有用的。术前成像(诸如超声成像和磁共振成像)可提供用于在此类情境中识别肿瘤边界(例如，脑肿瘤边界)的有用参考。然而，在该示例中，在后续的脑外科手术期间，由于与硬脑膜打开相关联的流体和压力损失或者由于肿瘤切除，颅内组织存在变形。因此，与术前图像参考相比，肿瘤边界的术中图像可显著改变。

然而，在此类组合的或多模态情境中，将实时超声成像与预先采集的MR图像(在不同时间采集的图像)相链接可能是耗时的、计算量大的，并且可能具有不利地影响外科手术的精度和结果的不准确性。此外，MRI和超声成像中的图像对比度和空间分辨率不同并且这些差异增加了将MR图像和超声图像对准或配准的难度。因此，需要成像方法，其在介入/治疗阶段提供足够的软组织对比度，同时还提供目标病变的实时位置信息。

发明内容

下文示出了本文所公开的某些实施方案的概述。应当理解，提供这些方面仅仅是为了向读者提供这些特定实施方案的简要概述，并且这些方面并非旨在限制本公开的范围。实际上，本公开可涵盖下文可能未示出的各个方面。

在一个实施方案中，提供了一种用于图像配准的方法。根据所述方法，采集一个或多个术前磁共振(MR)图像和一个或多个术前超声图像。在所述术前MR图像与所述术前超声图像之间执行配准。在外科手术期间采集一个或多个术中超声图像。在所述术前超声图像与所述术中超声图像之间执行结构引导的配准以导出说明非线性变形的空间变换。将所述空间变换应用于与所述术前超声图像配准的所述术前MR图像以生成与所述术中超声图像对准的一个或多个变换的MR图像。基于所述外科手术期间的所述变换的MR图像提供引导以促进所述外科手术。

在另一个实施方案中，提供了一种图像配准系统。根据这个实施方案，所述图像配准系统包括存储器，所述存储器对处理器可执行例程进行编码；和处理部件，所述处理部件被配置为访问所述存储器并执行所述处理器可执行例程。所述例程在由所述处理部件执行时使所述处理部件执行包括以下各项的动作：访问或采集一个或多个术前磁共振(MR)图像和一个或多个术前超声图像；将所述术前MR图像与所述术前超声图像配准；接收在外科手术期间生成的一个或多个术中超声图像；在所述术前超声图像与所述术中超声图像之间执行结构引导的配准以导出说明非线性变形的空间变换；将所述空间变换应用于与术前超声图像配准的所述术前MR图像以生成与所述术中超声图像对准的一个或多个变换的MR图像；以及基于所述外科手术期间的所述变换的MR图像提供引导以促进所述外科手术。

在另外的实施方案中，提供了一种用于评估外科手术的方法。根据这种方法，同时或在时间上连续地采集一个或多个术前磁共振(MR)图像和一个或多个术前超声图像。在所述术前MR图像与所述术前超声图像之间执行配准。采集一个或多个术后超声图像。在所述术后超声图像与所述术前超声图像或所述术前超声图像的中间变换中的一个之间执行结构引导的配准以导出说明非线性变形的空间变换。将所述空间变换应用于所述术前MR图像或所述MR图像的中间变换以生成一个或多个术后变换的MR图像。基于所述术后变换的MR图像提供关于所述外科手术是否已经完成的引导。

附图说明

当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：

图1示出了根据本公开的各方面的磁共振成像(MRI)系统；

图2是根据本公开的各方面的超声系统的框图的实施方案；

图3示出了根据本公开的各方面的多模态成像系统的实施方案的示意图；

图4示出了根据本公开的各方面的US-MRI融合流程图；

图5A、图5B、图5C和图5D示出了根据本公开的各方面的US-MRI融合流水线中的不同阶段处的图像示例；

图6A、图6B、图6C、图6D示出了示出术前超声与术中超声配准的一组临床图像；并且

图7示出了来自临床验证测试的配准误差。

具体实施方式

在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，并非实际具体实施的所有特征都要在说明书中进行描述。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。

当介绍本公开的各种实施方案的元件时，词语“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。

本文所讨论的主题涉及术前磁共振成像(MRI)数据与术中超声(US)数据(例如，重建的图像或未重建的数据)的自动配准，诸如以促进外科手术引导或其他介入程序。在一个此类示例中，脑结构(或其他合适的解剖特征或结构)在术前超声数据和术中超声数据中自动分段。然后，在术前超声数据与术中超声数据之间应用解剖结构(例如，脑结构)引导的配准以说明成像的解剖结构的非线性变形，诸如由于硬脑膜打开引起的脑变形和由于切除引起的结构变化。然后对与术前超声图像预先配准的MR图像给定同一非线性空间变换以将该MR图像与术中超声图像对准以提供外科手术引导。该技术适合与(但不限于与)多模态成像平台一起使用，该多模态成像平台可使用同一MR兼容的探头或可比的超声探头同时采集术前超声和MR图像，之后采集术中超声。在一个实施方案中，适合同时采集术前MRI和超声图像的MR兼容的三维(3D)超声探头可用于提供适合程度的术前MRI和术前超声配准准确度。在此类示例中，可提供术前MRI与术中超声之间的可变形配准的更好初始化，从而导致更快且更精确的配准。

考虑到前述内容，下文提供了与成像技术和术语相关的材料，以便赋予此类成像系统一定的熟悉度，并且为本公开的其他方面提供有用的真实世界情境。关于磁共振成像(MRI)系统并且转到图1(其中示意性地示出了一个此类系统以供参考)，初级磁场、时变磁梯度场和射频(RF)场与在感兴趣的受检者(例如，患者)体内具有非零核磁矩的材料之间的相互作用用于生成患者体内的结构和/或功能关系的图像或体积表示。具有非零核磁矩的核(诸如水分子中的氢核)具有响应于可以这种方式利用的外加电磁场(例如，恒定的或时变的电场、磁场或它们的组合)的特征行为。例如，这些核的自旋的进动能够通过操纵场以产生可被检测、处理并且用于重构有用图像的RF信号来影响。

考虑到此，参考图1，磁共振成像系统10示意性地示出为包括扫描器12、扫描器控制电路14和系统控制电路16。该成像系统10还包括：远程访问和存储系统18和/或设备，诸如图像存档和通信系统(PACS)；或其它设备，诸如远程放射设备，使得能够现场访问或异地访问由成像系统10采集的数据。虽然成像系统10可包括任何合适的扫描器或检测器，但在例示的实施方案中，成像系统10包括具有壳体20的全身扫描器12，开口(例如，环形开口)穿过该壳体形成以容纳患者孔22。患者孔22可由任何合适的材料(诸如非金属材料和/或非磁性材料)制成，并且一般包括扫描器12的邻近受检者的部件。诊断台24可移入患者孔22中，使患者26可定位在其中，用于对患者26体内的所选解剖结构进行成像。如本文所述，患者孔22可包括一个或多个孔管以支撑扫描器12和/或患者26的各种部件。在一些实施方案中，患者孔22可支撑诊断台24和/或关节运动部件(例如，马达、滑轮，和/或滑块)。

扫描器12可包括一系列相关联的超导磁体线圈以产生受控的静态磁场以分离在被成像的受检者的解剖结构内具有非零磁矩的核(通常为体内的氢)的允许能量状态。具体地，提供主磁体线圈28，以用于生成与患者孔22的轴线44大致对准的主磁场。一系列梯度线圈30、32和34(共同称为35)允许在检查序列期间生成受控的梯度磁场以对患者26体内的某些核进行位置编码。RF线圈36被配置为生成射频脉冲以刺激患者26体内具有非零磁矩的某些核。根据本公开的一个方面，RF线圈36可在线圈支撑管22上实现，从而限定患者孔38的至少一部分。另外，RF屏蔽罩42可在屏蔽罩支撑管40上实现，从而也限定患者孔22的至少一部分，以减少成像系统10内的电磁干扰以及对与成像系统10分开的设备的电磁干扰。除可位于扫描器12本地的线圈之外，成像系统10还可包括被构造成放置在患者26近侧(例如，抵靠患者)的一组接收线圈46(例如，线圈阵列)。例如，接收线圈46可包括颈椎/胸椎/腰椎(CTL)线圈、头部线圈、单面脊线圈等。一般来讲，接收线圈46放置在患者26近处或头顶，以便接收在患者26体内具有非零磁矩的某些核返回到它们的平衡状态时由该核生成的弱RF信号(例如，弱是相对于由扫描器线圈生成的传输脉冲而言)。在一些实施方案中，RF线圈36可传输和接收RF信号，从而实现接收线圈46的作用。

成像系统10的各种线圈由外部电路控制以生成期望的场和脉冲并且以受控方式读取来具有非零磁矩的进动核(材料)的发射。在例示的实施方案中，主电源48向初级磁线圈28提供电力以产生主磁场。驱动电路50可包括放大和控制电路，以用于按照由扫描器控制电路14输出的数字化脉冲序列的限定向线圈供应电流。

提供RF控制电路52，用于调节RF线圈36的操作。RF控制电路52包括用于在有源操作模式和无源操作模式之间交替的开关设备，在两种操作模式下RF线圈36分别传输信号和不传输信号。RF控制电路52还可包括放大电路以生成RF脉冲。类似地，接收线圈46或RF线圈36(如果没有实现单独的接收线圈46)连接到开关54，该开关能够在接收模式和非接收模式之间切换接收线圈46。因此，在接收模式下，接收线圈46可与由患者26体内具有非零磁矩的核的横向磁化而产生的RF信号谐振，而在非接收模式下避免与RF信号谐振。另外，接收电路56可接收由接收线圈46检测到的数据，并且可包括一个或多个多路复用和/或放大电路。

应当指出的是，虽然上述扫描器12和控制/放大电路被示出为由单根线连接，但可根据具体实施使用一根或多根缆线或连接器。例如，可使用单独的线进行控制、数据通信、电力传输等。此外，可沿每种类型的线设置合适的硬件，用于正确处理数据和电流/电压。实际上，可在扫描器12与扫描器控制电路14和/或系统控制电路16之间设置各种滤波器、数字转换器和处理器。

如图所示，扫描器控制电路14包括接口电路58，该接口电路输出用于驱动梯度线圈35和RF线圈36以及用于接收代表检查序列中所产生磁共振信号的数据的信号。接口电路58可连接至控制和分析电路60。基于经由系统控制电路16选择的限定协议，控制和分析电路60执行用于驱动电路50和RF控制电路52的命令。

控制和分析电路60还可用于接收磁共振信号，以及在将数据传输至系统控制电路16之前执行后续处理。扫描器控制电路14还可包括一个或多个存储器电路62，该一个或多个存储器电路在操作期间存储配置参数、脉冲序列描述、检查结果等。

第二接口电路64可将控制和分析电路60连接到系统控制电路66，以用于在扫描器控制电路14与系统控制电路16之间交换数据。系统控制电路16可包括第三接口电路68，该第三接口电路从扫描器控制电路14接收数据并且将数据和命令传输回扫描器控制电路14。与控制和分析电路60一样，系统控制电路66可包括在多用途或专用计算机或工作站中的计算机处理单元(CPU)。系统控制电路66可包括或连接至第二存储器电路70，以存储用于操作成像系统10的编程代码，以及存储经处理的图像数据以供稍后重建、显示和传输。编程代码可执行一种或多种算法，该一种或多种算法在由处理器执行时被配置为执行采集数据的重建或涉及采集的数据的其他操作。

可提供另外的输入输出(I/O)接口72，以用于与外部系统部件(诸如远程访问和存储系统18)交换图像数据、配置参数等。最后，系统控制电路66可通信地耦接到各种外围设备，以促进操作员界面并且产生重建图像的硬拷贝。在例示的实施方案中，这些外围设备包括打印机74、显示器76和用户界面78，该用户界面例如包括诸如键盘、鼠标、触摸屏(例如，与显示器76集成在一起)等设备。

在操作中，用户(例如，放射科医生)可配置和/或监督成像系统10的控制。另外，用户可帮助将受检者(例如，患者26)定位在患者孔22内。在一些实施方案中，在执行成像会话时，患者孔22可环绕整个受检者或仅环绕其一部分(例如，患者的头部、胸腔和/或末端)。

除了MRI成像系统之外，本文所讨论的某些示例还利用超声数据采集，诸如以生成使用MRI系统10扫描的同一常见的解剖区域的超声图像，但是具有较小的视场(即，MR图像通常可为整个器官图像，而超声图像反而倾向于是器官的部分)。考虑到此并且为了提供对此类超声成像系统的各方面的熟悉度，图2示出了超声成像系统90的实施方案的框图，该超声成像系统能够采集经历成像的患者的超声数据，包括在介入程序期间采集超声数据。在例示的实施方案中，超声系统90是数字采集和波束形成器系统，但是在其他实施方案中，超声系统90可为任何合适类型的超声系统，不限于例示的类型。超声系统90可包括超声探头94和工作站96(例如，监视器、控制台、用户界面、超声信号处理电路)，该工作站可控制超声探头94的操作并且可处理由超声探头94所采集的图像数据并且形成图像。超声探头94可通过任何合适的技术(诸如无线、光学、同轴或其他合适的连接)耦接到工作站96，该技术用于在超声探头94与工作站96之间传达图像数据和控制信号。

超声探头94在超声检查期间接触患者26。超声探头94可包括面向患者或接触患者的表面，该表面包括换能器阵列98，该换能器阵列具有多个换能器元件100，该多个换能器元件能够以切换方式在发射模式与接收模式之间操作。每个单独的换能器元件100均可能能够将电能转换为机械能以发射，并且将机械能转换为电能以便接收。应当指出的是，换能器阵列98可被配置为双向换能器，当超声探头94被放置成与患者26接触时，该双向换能器能够在操作期间将超声波发射至受检者或患者26体内以及从受检者或患者26接收此类能量。更具体地，换能器元件100可将来自超声探头94的电能转换为超声波(例如，超声能量、声波)并且将超声波传输到患者26体内。超声波可诸如从患者26的组织被反射回到换能器阵列98，并且换能器元件100可将从患者26接收的超声能量(反射的信号或回波)转换为电信号，以供超声探头94和工作站96接收并处理以提供可被分析的超声图像。换能器阵列98中的换能器元件100的数量和换能器元件100操作的频率可根据应用而变化。

如先前所讨论的，超声探头94通信地耦接到超声成像系统90的工作站96以促进图像形成和处理。如将了解的，工作站96可包括多个部件或特征以控制超声探头94的操作，有利于超声探头94的放置和/或引导，并且有利于超声数据(包括重建的超声图像)的产生和/或解释。例如，如图所示，工作站96可包括控制器104、处理电路106、一个或多个用户输入设备108和显示器110。在某些实施方案中，工作站96可包括图2中未示出的附加元件，诸如附加的数据采集和处理控件、附加的图像显示面板、多个用户界面等等。

控制器104可包括存储器112和处理器114。在一些实施方案中，存储器112可包括一个或多个有形的非暂态计算机可读介质，该非暂态计算机可读介质存储能够由处理器114执行的指令和/或待由处理器114处理的数据。例如，存储器112可包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器(诸如闪速存储器)、硬盘驱动器、光盘等。另外，处理器114可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)或它们的任何组合。控制器104可控制超声波经由换能器阵列98至患者26体内的传输。

处理电路106可包括接收和转换电路。处理电路106可从超声探头94的换能器阵列98接收表示从患者26体内的组织界面返回的反射超声能量的电信号数据。处理电路106可处理来自换能器阵列98的数据，诸如校正噪声伪影等。处理电路106然后可将信号数据转换成超声图像以经由显示器110呈现。控制器104可使一个或多个超声图像(或者基于此类图像或原始图像数据生成的构造或模型)显示，该超声图像由处理电路106根据从超声探头94的换能器阵列98接收的信号数据而产生。

在操作中，控制器104可经由工作站96的一个或多个用户输入设备108接收指示患者26的目标解剖结构和/或目标解剖结构的目标扫描平面的信号。一个或多个用户输入设备108可包括键盘、触摸屏、鼠标、按钮、开关或适于允许操作者输入目标和/或目标解剖结构解剖结构的期望扫描平面的其他设备。基于目标解剖结构和/或目标解剖结构的目标扫描平面，控制器104可向超声探头94的换能器阵列98输出信号，该信号指示如下指令：将来自超声探头94的电能转换为超声波并且将超声波传输至患者26体内以及检测从患者26体内的组织界面反射回来的超声能量。

考虑到前述注释，在某些实施方案中并且如图3所示，可提供可用于非侵入性促进外科手术程序或介入程序的组合MR和超声成像系统130。组合MR和超声成像系统130可类似于2018年1月12日提交的名称为“图像引导活检技术(Image-guided Biopsy Techniques)”的美国专利申请号15/870,519中描述的系统，该申请针对全部目的以引用的方式全文并入本文。组合MR和超声成像系统130包括如本文所讨论的磁共振(MR)成像系统10和超声成像系统90的一些或所有方面。

超声成像系统90可通信地耦接到MR兼容的超声探头132。MR兼容的超声探头132可为被配置为与MR成像系统10结合使用的超声探头94。因此，MR兼容的超声探头(如2018年2月15日提交的名称为“磁共振兼容超声探头(Magnetic Resonance CompatibleUltrasound Probe)”的美国专利申请号15/897,964中所述，该申请针对全部目的以引用的方式全文并入本文)可包含低铁磁材料(例如，铁、镍、钴)含量或不包含铁磁材料(例如，铁、镍、钴)含量。在一个实施方案中，超声探头132能够以高时间分辨率进行三维(3D)体积采集，从而允许在离散时间点采集超声图像体积。此外，除了MR兼容之外，3D超声探头132在一个此类具体实施中是电子可操纵和免持的。这允许超声图像视野被电子操纵，从而不需要机器人或机械超声探头保持器来改变成像视野。以这种方式，可以容易地采集同时的MR图像和超声图像。此外，在介入程序期间，可以以与介入前MR+超声程序中大致相同的方式毫不困难地使用和定位相同的超声探头。这进一步简化了工作流程，因为在介入前和介入程序之间使用了大致相同的成像设置，并且使用了相同的超声探头和采用了相同的方式。

在所描绘的示例中，组合MR和超声成像系统10还可包括系统控制器140，该系统控制器通信地耦接到组合MR和超声成像系统130的其他元件，该其他元件包括MR成像系统10和超声成像系统90。控制器140可包括存储器134和处理器138。在一些实施方案中，存储器134可包括一个或多个有形的非暂态计算机可读介质，该非暂态计算机可读介质存储能够由处理器138执行的指令和/或待由处理器138处理的数据。例如，存储器134可包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器(诸如闪速存储器)、硬盘驱动器、光盘等。另外，处理器138可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)或它们的任何组合。此外，存储器134可以存储能够由处理器138执行的指令，以执行本文描述的方法。另外，存储器134可存储经由MR成像系统10和超声成像系统90获得的图像和/或由处理器138利用的算法，以基于来自MR成像系统10和超声成像系统90的图像输入来帮助引导介入程序或外科手术程序，如下面更详细讨论的。存储器134还可存储神经网络138，该神经网络在被训练时用于促进如下面更详细描述的多模态图像配准。在某些实施方案中，系统130可耦接到包括网络136的远程数据库。此外，控制器140可包括显示器144，该显示器可用于显示由MR成像系统10和超声成像系统90获得的图像。

应当注意，采集的MR图像和超声图像的类型可能不同。为了效率并且也为了匹配采集帧率，一个实施方案具有随着时间推移与三维(3D)超声图像同时采集的二维(2D)MR图像，即，在每个时间点将时间序列2D MR图像与时间序列3D超声图像匹配。在这种情况下，时间序列3D超声图像中的内源性基准结构/标记可能对于时间序列2D MR图像不常见。在某些实施方案中，MR图像和/或超声图像可以是随时间推移采集的叠加2D图像。

另选地，将时间序列2D MR图像分类成对应的集合，每个集合表示相同的呼吸状态，可以生成与时间序列3D(4D)超声图像在时间上匹配的重新格式化的时间序列3D(4D)MR图像。这增加了超声图像中的内源性基准结构/标记在MR图像中常见的可能性。然而，即使不是这种情况，下面公开的技术也提供MR图像和超声图像之间的充分匹配或配准。在另一个实施方案中，以足够快的采集速度，时间序列3D(4D)MR图像与时间序列3D(4D)超声图像同时采集，以产生在时间上匹配的对应时间序列3D体积图像。由于在参考时间点设置的MR图像和对应的超声图像体积是在同一时间点采集的，所以在MR和超声中可视化的感兴趣器官具有相同的形状、取向和特征轮廓，使得MR到超声的变换更容易进行。

考虑到前述内容并且如本文更详细地讨论，提供了用于组合MRI和实时超声成像以在超声的实时帧率下向医师提供MR图像的软组织(例如，脑组织)图像质量的技术。在一个此类示例中，诸如使用本文所讨论的技术的多模态图像引导的神经外科手术有助于外科医生作出临床决定以避免在切除患病组织(诸如肿瘤)的同时损伤脑结构。然而，在这种情境中，由于硬脑膜打开和肿瘤切除，脑可能经历显著的非线性结构变形。术中图像引导对于外科医生可能是有用的以促进肿瘤的完全切除，同时避免该过程中的其他脑结构。尤其是当此类图像已经历可变形的或仿射变换时，本文所述的技术解决了多模态图像的自动配准问题。与可能无法递送适用于神经外科手术程序中的准确实时可变形配准的基于图像强度和/或界标的可变形配准模型不同，所公开的技术提供了结构(例如，脑结构)引导的快速配准模型。以这种方式将术前MR图像与术中超声配准允许连续引导、软组织和肿瘤的更好地可视化，并且减少外科手术时间以及术中MRI所涉及的复杂且昂贵的后勤。

转到图4，提供了根据一个具体实施采用的步骤的处理流程。在该示例中，同时(或几乎同时，诸如以时间连续的扫描)执行术前图像采集(用于MR图像的步骤160和用于超声图像的步骤162)以采集术前MR图像164和超声图像166。在一个示例中，使用兼容MR的3D超声探头132以允许在采集MR图像数据164的同时采集术前超声图像数据166。此类同时采集多模态图像改善了术前MRI和术前超声配准准确性。这继而使得能够更好地初始化术前MRI与术中超声之间的可变形配准，从而实现更快且更精确的具体实施。如本文所述，与术前超声图像166配准(步骤170)的MR图像164在本文中可称为iMRI 172，以促进解释配准过程。

取决于采集情境和其他具体实施所特有的因素，术前MR图像164与术前超声图像166的配准可通过不同方式执行。例如，在单独采集术前MR图像164和术前超声图像166的情境中，可基于或使用电磁追踪器来配准图像。然而，在诸如使用如图3所示的多模态系统和MR兼容的探头132的同时采集情境中，可使用在同时采集的术前MR图像164和术前超声图像166两者中可见的光学追踪器或基准来配准术前图像。此外，在其中确定初始配准低于阈值质量的一些情境中，可在步骤170处将术前MR图像164与术前超声图像166重新配准，或者可使用如本文所讨论的结构引导的配准技术来更新配准。

在所描绘的示例中，随后执行外科手术。在该示例中，描绘了脑外科手术情境中的肿瘤切除，其中首先打开硬脑膜(步骤180)并且执行肿瘤的切除(步骤182)。在术前超声图像166(即，在硬脑膜打开之前)与术中超声图像190(在硬脑膜打开之后在步骤192处采集的)之间应用基于脑结构(或其他合适的解剖结构)的可变形配准模型应用(步骤200)，以说明由于与在步骤180处的硬脑膜打开相关联的脑组织移位而引起的脑组织的非线性变形。此类非线性空间变换(Tr1)202提供iMRI 172的可变形配准(步骤230)以生成变换的iMRI232，这可能适用于神经外科手术程序。

在脑外科手术的示例性情境中，在患病组织(例如，肿瘤)切除(步骤182)之后，在术中超声图像190(即，在切除之前)与术后超声图像220(在步骤222处在切除之后采集的)之间应用(步骤210)基于脑结构(或其他合适的解剖结构)的配准模型，以说明由于切除引起的脑组织的非线性变形。这导致第二非线性变换(Tr2)212，该第二非线性变换可被应用(步骤230)于iMRI 172以生成或更新变换的iMRI 232，说明由于切除引起的脑组织的非线性变形，这可用于评估外科手术结果，诸如确定外科手术是否已经完成或者是否需要附加的切除。

在一个实施方案中，将第一变换(Tr1)202应用于iMRI 172将硬脑膜打开的效果应用于iMRI 172，使得变换的iMRI 232对应于硬脑膜打开之后的脑结构的MRI。将第一非线性变换和第二非线性变换(即，TR1*Tr2)两者应用于iMRI 172将硬脑膜打开和切除程序两者的效果应用于iMRI172，使得变换的iMRI 232对应于硬脑膜打开和组织切除之后的脑结构的MRI，这可用于评估外科手术是否完成。在该实施方案中，与术前超声图像166刚性地配准的MRI 164可被给定与术前超声166可被给定以使MRI164进入术中空间的非线性空间变换相同的非线性空间变换。使用此类方法的在前面讨论中描述的多模态成像系统130可将MRI164与实时术中超声图像190对准以用于外科手术引导，因此为外科医生提供关于要切除多少患病组织以为患者提供最佳结果的更大置信度。

以举例的方式，基于变换的iMRI 232，可在手术期间或之后诸如通过如本文所述的图像采集和/或分析系统向外科医生提供引导以促进手术和/或评估手术是否已成功完成。例如，此类引导可包括基于变换的iMRI 232显示图像或图像序列，外科医生可参考该图像或图像序列来执行外科手术或评估外科手术。在其他情境中，引导可为由系统和/或由虚拟或增强现实技术可听地提供的基于语音的指令，该指令可例如在为外科医生显示的超声图像上显示肿瘤网格。

考虑到前述内容，图5A、图5B、图5C和图5D示出了MRI(图5A)和超声图像(图5B至图5D)，这表明结构引导的可变形配准在脑肿瘤切除外科手术中的效果。在这些示例中，图5A示出了适用于与同时或基本上同时采集的超声图像166配准的术前采集的MRI 164。如本文所指出的，术前超声和MRI可被刚性地配准以生成如本文所述的iMRI。如本文所讨论的，被构建用于同时进行MR和超声图像采集的MR兼容的3D超声探头的使用改善了术前MRI和超声配准准确性。

图5B至图5D示出了在程序内的不同阶段处采集的超声图像。在一个实施方案中，使用与术前程序中相同的MR兼容的探头来采集超声图像中的每个超声图像。例如，图5B描绘了在脑外科手术程序中在硬脑膜打开之前采集的超声。图5C描绘了在硬脑膜打开之后的同一解剖区域。图5D描绘了同一解剖区域术后(即，切除后)。

考虑到前述内容，图6A、图6B、图6C和图6D示出了示出如本文所述的术前超声与术中超声配准的过程的一组图像。在本示例中，诸如使用无监督或监督的机器学习或深度学习方法(例如，高斯混合模型、神经网络，该神经网络被训练成对解剖图像内的不同结构进行分段和/或标记)、之后是基于术前超声图像和术中超声图像中的分段结构的变形，在每个图像内对脑结构自动分段。考虑到此，图6A描绘了术前超声图像，并且图6B描绘了术中超声图像。将这两个图像输入到被训练成对解剖结构分段的无监督或监督的机器学习或深度学习例程，使得解剖结构被分段并在这两个图像中进行标记。转到图6C，图6A和图6B的分段的术前脑结构与术中脑结构之间的对应关系被识别并且用于在基于分段结构的可变形配准(B样条、薄板样条、demons或光流)中以生成配准图像。可变形配准参数可在机器学习或深度学习框架中进行先验学习。在该示例中，图6C示出了使用分段的脑结构的配准超声图像。然后，如图6D所示，可采用用于实现这种配准的变换来生成与实时情境相对应的变换图像，该变换图像可用于为外科医生在实时执行外科手术时提供更好的引导。说明由于脑移位和肿瘤切除引起的结构变形的此类结构引导的配准对图像强度变化和通常在这些图像中观察到的超声成像伪影是稳健的。

使用具有术前超声、术中超声和术前MRI的公用数据集验证本文所述的技术。将前述示例中所例示的配准图像用于定性验证。此外，图7中呈现的目标配准误差(TRE)可用于定量验证。在该特定示例中，实现了1.4mm的均值目标配准误差(+/-标准偏差)。在临床实践中，认为小于2mm的均值误差是有效的。

所公开的实施方案的技术效果包括提供与自动多模态图像配准相关的系统和方法，该自动多模态图像配准利用基于解剖结构的分段，这可使用机器学习或基于深度学习的分段技术来实现，以促进实时追踪移动(即，动态)解剖对象中的准确引导。具体地，在一个实施方案中，使用来自术前和术中超声图像的自动分段的解剖结构(例如，脑结构)来驱动结构引导的可变形配准以将术前MRI与术中超声域配准。此类结构引导的配准对于在常规医疗程序中经常遇到的强度变化和超声成像伪影而言更快、更准确并且稳健。此外，在一个实施方案中，MR兼容的超声探头用于在术前阶段中同时采集MRI和超声。此类采集改善了配准准确性，并且允许后续可变形配准的更好初始化。当使用用于引导的实时超声充分变形时，术前MRI图像可导致外科手术切除程序的进展的高组织对比度可视化。

本公开中的技术可适用于与自动结构引导的刚性、仿射或可变形配准相关的其他问题。待配准结构可使用机器学习或深度学习方法、之后使用可变形配准模型来自动分段。使用所公开的技术的一些可能的附加具体实施可包括增材制造中所需的3D打印和工业应用中作为归一化步骤的对零件的缺陷检测。

该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元件，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元件，则此类其它示例旨在落入权利要求书的范围内。