掌桥专利:专业的专利平台
掌桥专利
首页

用于从校准图像生成诊断扫描参数的系统和方法

文献发布时间:2023-06-19 11:22:42


用于从校准图像生成诊断扫描参数的系统和方法

技术领域

本文所公开的主题的实施方案涉及磁共振成像(MRI),并且更具体地涉及使用深度神经网络从磁共振(MR)校准图像生成诊断扫描参数的系统和方法。

背景技术

医疗成像系统通常用于获得受检者(例如患者)的内部生理信息。例如,医疗成像系统可用于获得患者的骨骼结构、脑部、心脏、肺部和各种其它特征的图像。医疗成像系统可以包括磁共振成像(MRI)系统、计算机断层摄影(CT)系统、x射线系统、超声系统和各种其他成像模态。

在MRI中,在执行患者的诊断扫描之前,可获取校准图像以便校准MRI系统的硬件设置。校准图像是低分辨率、大视野(FOV)MR图像,其可以通过相对短的扫描(5-10秒)来获取。由于射频线圈相关的阴影,校准图像可能在整个FOV上具有大的强度变化,从而导致图像缺乏详细的解剖信息。常规地,校准图像用于调整MRI系统的硬件设置,并且用于图像强度归一化。校准图像可能缺乏MRI系统的操作者定位感兴趣的解剖结构所需的分辨率,该解剖结构将通过高分辨率诊断扫描来成像。在常规MRI协议中,使用定位器图像来实现待通过诊断扫描成像的感兴趣的解剖区域的位置的确定,该定位器图像可具有比校准图像更高的分辨率。

定位器图像包括患者的中速(约30秒)、解剖位置不明、厚切片扫描或低剂量扫描。医疗成像系统和/或医疗成像系统的操作者可根据定位器图像来规划受检者的诊断扫描,以确保受检者的诊断扫描使感兴趣的解剖区域正确地成像。如果定位器图像未充分示出感兴趣的解剖区域或显示成像伪影,则可在MRI系统的孔内调整患者或定位器扫描参数,并且可重复定位器扫描,直到感兴趣的解剖区域在定位器图像内足够清晰以供MRI系统操作者规划诊断扫描。该过程可延长MRI的总持续时间。因此,通常期望探索用于更快速且一致地定位待使用MRI进行诊断成像的感兴趣的解剖区域的新方法。

发明内容

本文的发明人已识别出可以使得能够使用校准图像来确定诊断扫描参数而无需获取定位器图像的系统和方法。在一个实施方案中,用于磁共振成像(MRI)系统的方法包括:获取成像受检者的磁共振(MR)校准图像;使用受过训练的深度神经网络将MR校准图像映射到界标标测图;基于界标标测图确定一个或多个诊断扫描参数;根据诊断扫描参数获取MR诊断图像;以及经由显示设备显示MR诊断图像。以这种方式,MRI系统可以通过使用深度神经网络利用MR校准图像来确定诊断扫描参数,这可通过绕过定位器图像的获取来减少MRI诊断扫描的总持续时间。此外,在界标标测图中包括的界标数据可以使得能够对所获取的MR图像进行自动内联重新格式化,以在一个或多个预先确定的取向上示出一个或多个感兴趣的解剖区域。

在单独或与附图联系时,本说明书的以上优势以及其他优势和特征将从以下具体实施方式中显而易见。应当理解,提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征,该主题的范围由具体实施方式后的权利要求书唯一地限定。此外,所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。

附图说明

通过阅读以下具体实施方式并且参考附图,可以更好地理解本公开的各个方面,其中:

图1示出了MRI系统的示例性实施方案的框图;

图2是根据示例性实施方案的示出用于从MR校准图像确定诊断扫描参数的系统的示意图;

图3是根据示例性实施方案的可在图2的系统中使用的示例性深度神经网络的架构图;

图4是根据示例性实施方案的示出用于基于MR校准图像确定诊断扫描参数的方法的流程图;

图5是根据示例性实施方案的示出用于使用受过训练的深度神经网络将MR校准图像映射到界标标测图并从界标标测图确定诊断扫描参数的方法的流程图;

图6是根据示例性实施方案的示出用于训练深度神经网络以从MR校准图像预测界标标测图的方法的流程图;

图7是根据示例性实施方案的示出用于为图3的深度神经网络生成训练数据的方法的流程图;

图8示出了根据示例性实施方案的具有界标标签和对应校准图像的示例性高分辨率MR图像,其中来自高分辨率MR图像的界标标签被投影到校准图像上;

图9示出了根据示例性实施方案的可显示给用户的诊断扫描区域预览的示例;

图10示出了MR校准图像、对应界标标测图、基于界标标测图定位在MR校准图像内的扫描框以及使用基于扫描框确定的诊断扫描参数获取的MR诊断图像的示例。

附图示出了用于使用深度神经网络从MR校准图像确定诊断扫描参数的所述系统和方法的具体方面。连同以下描述,附图示出并且解释了本文描述的结构、方法和原理。在附图中,为了清楚起见,部件的大小可以被放大或以其他方式修改。没有示出或详细描述众所周知的结构、材料或操作以避免模糊所描述的部件、系统和方法的各方面。

具体实施方式

以下描述涉及用于将MR校准图像映射到界标标测图,并且使用用界标标测图确定的诊断扫描参数获取一个或多个诊断图像的系统和方法。MR校准图像在患者解剖区域的诊断成像之前被常规地获取,并且用于选择表面线圈元件、测量表面线圈灵敏度以校正信号阴影和/或加速数据获取。本公开通过以下方式使得能够对校准图像进行附加使用:使用受过训练的深度神经网络自动标记校准图像内的一个或多个感兴趣的界标/区域,并且基于所标记的感兴趣的界标/区域来确定一个或多个诊断扫描参数(例如,诊断扫描平面位置/取向/厚度、覆盖率等)。以这种方式确定的诊断扫描参数可用于获取一个或多个诊断图像,而无需获取定位器图像。由于定位器图像获取和规划可能花费最多5分钟,因此绕过定位器图像获取可以显著减少总MR扫描时间,并且减少患者不适。

本公开教导了使用受过训练的深度神经网络将MR校准图像映射到界标标测图,其中界标标测图可指示在MR校准图像中包括的一个或多个界标的位置、中心点、取向、大小/范围、形状和解剖分类/标识中的一者或多者,并且可以基于该信息来确定一个或多个诊断扫描平面/体积。在一个实施方案中,界标标测图可用于选择诊断扫描平面/体积的覆盖率、位置、取向和其他参数,使得扫描平面/体积捕获与在界标标测图中包括的一个或多个界标在空间上相关的感兴趣的解剖区域。在一个实施方案中,界标标测图用于确定扫描框的位置,其中扫描框指示待诊断扫描的区域,并且包括关于平面/切片的数量的信息,包括切片位置取向、厚度、间距等。

本公开进一步提供了使用在界标标测图中包括的界标信息对所获取的高分辨率各向同性三维(3D)MR图像进行自动内联重新格式化。在一个实施方案中,可以基于在界标标测图中包括的一个或多个标记的界标来规划高分辨率3D各向同性MR图像的位置和覆盖率,并且在获取3D各向同性MR图像之后,可以基于在界标标测图中包括的界标信息从3D各向同性MR图像产生一个或多个二维(2D)图像切片。

在一个实施方案中,本公开可以使用MR校准图像实现MRI图形处方(AutoGRx)的自动化,而不使用在临床实践中常规使用的定位器图像。本公开利用具有大FOV的MR校准图像来生成诊断扫描参数,该诊断扫描参数可在获取给定界标集的高分辨率图像时使用。本公开使得能够将图形处方移动到预扫描阶段,从而减少规划和启动患者的诊断扫描所需的MRI系统操作者输入的数量。在没有定位器图像的情况下确定诊断扫描参数的能力在柔性解剖区域的诊断扫描中可能特别有用,诸如在肌肉骨骼检查期间,其中由于解剖覆盖率不佳(最多50%的时间),因此定位器经常被重复,从而导致扫描时间浪费和患者不适。本文所公开的方法和系统可以减少扫描时间,同时增加诊断图像一致性,因为该方法可以确定诊断扫描参数以使用MR校准图像来捕获感兴趣的解剖区域。

此外,本公开提供了在执行诊断扫描之前向MRI系统操作者显示诊断扫描区域预览,示出患者解剖结构的待成像的区域,从而在确定是否继续获取诊断图像时,给予MRI系统操作者最终决定权。

在一个实施方案中,由MRI系统(诸如图1的MRI系统)获取的MR校准图像可由图像处理系统(诸如图2所示的图像处理系统31)处理。图像处理系统31可包括存储在非暂态存储器中的深度神经网络,诸如图3中示意性示出的深度神经网络,其可被部署以确定MR校准图像的界标标测图。图像处理系统和MRI系统可执行诊断扫描方法,诸如图4所示的方法400,其中MR校准图像由MRI系统获取,使用受过训练的深度神经网络基本上实时地映射到界标标测图,并且根据使用界标标测图确定的诊断扫描参数来获取诊断图像。在一些实施方案中,作为方法400的一部分,诊断扫描区域预览,诸如图9所示的第一扫描区域预览902和/或第二扫描区域预览904,可以在诊断扫描之前向MRI系统操作者显示,如方法400的操作408处所指示的。

图5所示的方法500示出了用于使用MR校准图像确定诊断扫描参数的方法的更详细的流程图。方法500可作为方法400的一部分来执行,如操作406处所指示的。方法500包括基于当前成像协议选择受过训练的深度神经网络,使用受过训练的深度神经网络将MR校准图像映射到对应界标标测图,基于界标标测图在MR校准图像内定位扫描框/设定扫描框的大小,以及基于扫描框相对于MR校准图像的位置/大小来确定一个或多个诊断扫描参数。

可使用图6的方法来训练用于将MR校准图像映射到图4和图5中的界标标测图的受过训练的深度神经网络,其中包括MR校准图像和对应基准界标标测图的训练数据对用于根据反向传播算法来调整深度神经网络的参数。训练数据对可以通过以下方式来生成:将界标标签放置在高分辨率MR图像中,并且将界标标签投影到对应(低分辨率)MR校准图像,如下文参考图7所讨论的。图8示出了通过使用图7的投影方法产生的基准界标标测图的示例。

图10示出了MR校准图像、MR校准图像的界标标测图、基于界标标测图放置的扫描框以及根据基于扫描框确定的诊断扫描参数获取的诊断图像的一个示例。

应当理解,本文所用的术语界标标测图(landmark map)、界标标测图(landmarkmaps)和其他类似术语可与术语界标平面和界标平面掩码互换使用,其中界标标测图和界标平面均是指MR校准图像中的识别区域,其中在一些实施方案中,该区域可包括点云和/或数学上描述识别区域的解析式(例如,平面方程)。

现在参考图1,示出了MRI系统10。MRI系统10包括静磁场磁体单元12、梯度线圈单元13、RF线圈单元14、RF体或体积线圈单元15、传输/接收(T/R)开关20、RF驱动器单元22、梯度线圈驱动器单元23、数据获取单元24、控制器单元25、患者检查台或床26、图像处理系统31、用户输入设备32和显示设备33。在一些实施方案中,该RF线圈单元14是表面线圈,其是通常被放置在受检者16的感兴趣的解剖结构附近的局部线圈。此处,RF体线圈单元15是传输RF信号的传输线圈,并且局部表面RF线圈单元14接收MR信号。因此,传输体线圈(例如,RF体线圈单元15)和表面接收线圈(例如,RF线圈单元14)是独立但电磁耦接的部件。MRI系统10将电磁脉冲信号传输到放置在成像空间18中的受检者16,其中形成静态磁场以执行扫描来从受检者16获得磁共振信号。可基于由此通过扫描获得的磁共振信号来重建受检者16的一个或多个MR图像。

静磁场磁体单元12包括例如安装在环形真空容器内的环形超导磁体。磁体限定了围绕受检者16的圆柱形空间,并且生成恒定的主静磁场B

MRI系统10还包括梯度线圈单元13,该梯度线圈单元在成像空间18中形成梯度磁场,以便为由RF线圈阵列接收的磁共振信号提供三维位置信息。梯度线圈单元13包括三个梯度线圈系统,每个梯度线圈系统生成沿彼此垂直的三个空间轴线中的一者的梯度磁场,并且根据成像条件在频率编码方向、相位编码方向和切片选择方向中的每一方向上生成梯度场。更具体地,梯度线圈单元13在受检者16的切片选择方向(或扫描方向)上施加梯度场,以选择切片;并且RF体线圈单元15或局部RF线圈阵列可以将RF脉冲传输到受检者16的所选择的切片。梯度线圈单元13还在受检者16的相位编码方向上施加梯度场,以对来自由RF脉冲激发的切片的磁共振信号进行相位编码。然后梯度线圈单元13在受检者16的频率编码方向上施加梯度场,以对来自由RF脉冲激发的切片的磁共振信号进行频率编码。

RF线圈单元14被设置为例如包围受检者16的待成像的区域。在一些示例中,RF线圈单元14可被称为表面线圈或接收线圈。在其中由静磁场磁体单元12形成静磁场B

RF体线圈单元15被设置为例如包围成像空间18,并且在成像空间18内产生与由静磁场磁体单元12产生的主磁场B

当以接收模式操作时,T/R开关20可以选择性地将RF体线圈单元15电连接到数据获取单元24,并且当以传输模式操作时,T/R开关20可以选择性地将RF体线圈单元15电连接到RF驱动器单元22。类似地,当RF线圈单元14以接收模式操作时,T/R开关20可以选择性地将RF线圈单元14电连接到数据获取单元24,并且当以传输模式操作时,T/R开关20可以选择性地将RF线圈单元14电连接到RF驱动器单元22。当RF线圈单元14和RF体线圈单元15都用于单次扫描时,例如,如果RF线圈单元14被配置为接收MR信号并且RF体线圈单元15被配置为传输RF信号,则T/R开关20可以将来自RF驱动器单元22的控制信号引导到RF体线圈单元15,同时将接收的MR信号从RF线圈单元14引导到数据获取单元24。RF体线圈单元15的线圈可以被配置为以仅传输模式或传输-接收模式操作。局部RF线圈单元14的线圈可以被配置为以传输-接收模式或仅接收模式操作。

RF驱动器单元22包括栅极调制器(未示出)、RF功率放大器(未示出)和RF振荡器(未示出),它们用于驱动RF线圈(例如,RF线圈单元15)并在成像空间18中形成高频磁场。RF驱动器单元22基于来自控制器单元25的控制信号并且使用栅极调制器,将从RF振荡器接收的RF信号调制成具有预定包络的预定定时的信号。由栅极调制器调制的RF信号由RF功率放大器放大,然后输出到RF线圈单元15。

梯度线圈驱动器单元23基于来自控制器单元25的控制信号驱动梯度线圈单元13,从而在成像空间18中生成梯度磁场。梯度线圈驱动器单元23包括与梯度线圈单元13中包括的三个梯度线圈系统对应的三个驱动器电路系统(未示出)。

数据获取单元24包括前置放大器(未示出)、相位检测器(未示出)和用于获取由RF线圈单元14接收的磁共振信号的模拟/数字转换器(未示出)。在数据获取单元24中,相位检测器相位将来自RF驱动器单元22的RF振荡器的输出用作参考信号来检测从RF线圈单元14接收并由前置放大器放大的磁共振信号,并将相位检测的模拟磁共振信号输出到模拟/数字转换器,以转换成数字信号。由此获得的数字信号被输出到图像处理系统31。

MRI系统10包括用于在其上放置受检者16的检查床26。通过基于来自控制器单元25的控制信号移动检查床26,可以使受检者16在成像空间18的内部和外部移动。

控制器单元25包括计算机和其上记录有要由计算机执行的程序的记录介质。程序当由计算机执行时使系统的各个部分执行与预定扫描对应的操作。记录介质可以包括例如ROM、软盘、硬盘、光盘、磁光盘、CD-ROM或非暂态存储器卡。控制器单元25连接到用户输入设备32并且处理输入到用户输入设备32的操作信号,并且还通过向它们输出控制信号来控制检查床26、RF驱动器单元22、梯度线圈驱动器单元23和数据获取单元24。控制器单元25还基于从用户输入设备32处接收的操作信号来控制图像处理系统31和显示设备33以获得期望的图像。

用户输入设备32包括用户输入设备,诸如触摸屏、键盘和鼠标。MRI系统操作者使用用户输入设备32,例如,以输入此类数据作为成像协议,接受或拒绝扫描区域预览,并且在一些实施方案中设置待执行成像序列的区域。将成像协议数据、扫描区域预览接受或拒绝、以及成像序列执行区域输出至控制器单元25。

图像处理系统31包括处理器和非暂态存储器,机器可执行指令可存储在该非暂态存储器上,其中机器可执行指令可以使处理器能够执行本文所公开的方法中的一种或多种方法的步骤中的一个或多个步骤。图像处理系统31可连接到控制器单元25,并且可基于从控制器单元25或用户输入设备32处接收的控制信号来执行数据处理。图像处理系统31还连接到数据获取单元24,并且通过对从数据获取单元24输出的磁共振信号应用各种图像处理操作来生成光谱数据。

图像处理系统31可以基于待成像的界标(在本文中也称为感兴趣的解剖区域)的位置(例如,相对于MR成像系统的孔的等距中心的位置)来确定诊断扫描参数(例如,诊断扫描视野),该界标可以基于由MRI系统10获取的MR校准图像在由深度神经网络生成的界标标测图中自动检测/标记。MRI系统10可根据诊断扫描参数来获取诊断图像,并且/或者成像处理系统31可以使用感兴趣的界标/解剖区域的位置来通知MR系统的操作者手动调整一个或多个诊断扫描参数,诸如RF线圈位置。在一个示例中,图像处理系统31和MRI系统10可执行这样的方法,这将在下面参考图4和图5详细讨论。因此,图像处理系统31可使用快速获取的MR校准图像来确定诊断扫描参数。图像处理系统31可进一步被配置为经由显示设备33显示校准图像,其中一个或多个扫描框覆盖在该校准图像上,以在基于一个或多个扫描框的位置、大小和取向获取一个或多个诊断图像之前,向MRI系统操作者提供诊断扫描区域预览。

显示设备33基于从控制器单元25处接收的控制信号在显示设备的显示屏幕上显示图像。显示设备33显示例如由图像处理系统31产生的诊断扫描区域预览和/或后续的诊断MR图像。显示设备33可以包括图形用户界面,其中用户可以经由用户输入设备32与一个或多个数据字段进行交互/输入/改变该一个或多个数据字段。显示单元33可显示由数据处理单元31生成的受检者16的二维(2D)切片图像或三维(3D)图像。

在扫描期间,RF线圈阵列交接电缆(图1中未示出)可以用于在RF线圈(例如,RF线圈单元14和RF体线圈单元15)和处理系统的其他方面(例如,数据获取单元24、控制器单元25等)之间传输信号,例如以控制RF线圈和/或从RF线圈接收信息。如前所述,RF体线圈单元15是传输RF信号的传输线圈,并且局部表面RF线圈单元14接收MR信号。更一般地,RF线圈用于传输RF激励信号(“传输线圈”),并接收由成像受检者发射的MR信号(“接收线圈”)。在一些实施方案中,传输线圈和接收线圈是单个机械和电气结构或结构阵列,传输/接收模式可由辅助电路切换。在其他示例中,传输体线圈(例如,RF体线圈单元15)和表面接收线圈(例如,RF线圈单元14)可以包括单独部件。

参考图2,其示出了根据示例性实施方案的MR图像处理系统200。在一些实施方案中,将MR图像处理系统200结合到MRI系统中。在一些实施方案中,MR图像处理系统200的至少一部分设置在经由有线连接和/或无线连接通信地耦接到MRI系统的设备(例如,边缘设备、服务器等)处。在一些实施方案中,MR图像处理系统200的至少一部分设置在单独设备(例如,工作站)处,该单独设备可从MRI系统或者从存储由MRI系统生成的图像的存储设备接收图像。MR图像处理系统200可以包括图像处理系统31、用户输入设备32和显示设备33。

图像处理系统31包括处理器204,该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的,并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中,处理器204可以可选地包括分布在两个或更多个设备中的单独组件,其可以被远程定位和/或配置用于协调处理。在一些实施方案中,处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的可远程访问的联网计算设备执行。

非暂态存储器206可存储深度神经网络模块208、训练模块212和MR图像数据214。深度神经网络模块208可包括一个或多个受过训练和/或未受训练的深度神经网络,该深度神经网络包括多个权重和偏差、激活函数、损失函数以及用于实现一个或多个深度神经网络以接收MR校准图像并将输入MR校准图像映射到对应界标标测图的指令,其中界标标测图可用于确定诊断扫描参数,以便获取一个或多个感兴趣的解剖区域的高分辨率MR图像。在一些实施方案中,界标标测图可包括分段/标记的感兴趣的解剖区域和/或分段/标记的界标,其中界标与MR校准图像中的感兴趣的解剖区域在空间上相关。例如,深度神经网络模块208可存储用于实现神经网络(诸如图3所示的卷积神经网络(CNN)300)的指令。然而,也可使用其他架构,诸如完全连接网络和CNN或生成对抗网络及其变型的组合。深度神经网络模块208可包括与经训练和/或未经训练的网络有关的各种深度神经网络元数据。在一些实施方案中,深度神经网络元数据可包括用于训练深度神经网络的训练数据的指示、用以训练深度神经网络的训练方法、深度神经网络的准确性/验证得分、以及可应用深度神经网络的解剖结构/成像协议的类型。

非暂态存储器206还可包括训练模块212,该训练模块包括用于训练存储在深度神经网络模块208中的深度神经网络中的一个或多个深度神经网络的指令。在一个实施方案中,训练模块212可包括梯度下降算法、损失函数和用于生成和/或过滤/选择训练数据以用于训练特定深度神经网络的规则。训练模块212可包括指令,该指令在由处理器204执行时使MR图像处理系统200进行在下面详细讨论的方法600的步骤中的一个或多个步骤。在一些实施方案中,训练模块212包括用于从MR图像数据214接收训练数据对的指令,该MR图像数据包括MR校准图像对和对应基准界标标测图,以用于训练存储在深度神经网络模块208中的深度神经网络中的一个或多个深度神经网络。在一些实施方案中,训练模块212包括机器可执行指令,该机器可执行指令在被执行时使得处理器204执行图7所示的方法700的步骤中的一个或多个步骤,以使用诸如可存储在MR图像数据214中的MR图像数据来生成训练数据对。在一些实施方案中,训练模块212不设置在MR图像处理系统200处,而是远程设置,并且与MR图像处理系统200可通信地耦接。

非暂态存储器206可进一步存储MR图像数据214,该MR图像数据可包括由MRI系统10捕获的MR图像。在一些实施方案中,MR图像数据214可包括MR校准图像、标记的MR校准图像、诊断图像(2D和/或3D诊断图像)、界标标测图、基准界标标测图、定位器图像等。在一些实施方案中,MR校准图像和对应基准界标标测图,包括可以以有序格式存储的一个或多个标记/分段的感兴趣的界标/解剖区域,使得受检者的解剖区域的每个MR校准图像与相同受检者的相同解剖区域的基准界标标测图相关联。在一些实施方案中,基准界标标测图可以是分段标测图,其覆盖为对应MR校准图像顶部上的掩码,在界标和非界标(例如,背景、非界标解剖区域、噪声等)之间进行辨别,其中该基准掩码可以通过方法700获得,下面参考图7更详细地讨论。

在一些实施方案中,非暂态存储器206可以包括设置在两个或更多个设备上的部件,该部件可被远程定位和/或配置用于协调处理。在一些实施方案中,非暂态存储器206的一个或多个方面可以包括以云计算配置进行配置的可远程访问的联网存储设备。

MR图像处理系统200可进一步包括用户输入设备32。用户输入设备32可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统31内的数据交互并操纵该数据的其他设备中的一者或多者。在一些实施方案中,用户输入设备32使得MRI系统操作者能够输入/选择成像协议。在一些实施方案中,MRI系统操作者可以经由显示设备33查看诊断扫描区域预览,并且可以使用用户输入设备32接受或拒绝诊断扫描区域预览。

显示设备33可包括几乎利用任何类型技术的一个或多个显示设备。在一些实施方案中,显示设备33可以包括计算机监视器,并且可以显示诊断扫描区域预览、MR校准图像、诊断图像、扫描框、界标标测图等,作为本文所公开的方法中的一种或多种方法的一部分。显示设备33可以与处理器204、非暂态存储器206和/或用户输入设备32结合在同一封装件中,或者可以是外围显示设备,并且可以包括监视器、触摸屏、投影仪或本领域已知的其他显示设备,其可以使用户能够查看由MRI系统产生的MR图像,并且/或者与存储在非暂态存储器206中的各种数据交互。

应当理解,图2所示的MR图像处理系统200是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的部件。

转到图3,示出了CNN 300的架构图。CNN 300可以从MR校准图像确定界标标测图,其中界标标测图可以用于确定诊断扫描的一个或多个诊断扫描参数。在图3的描述中,从CNN 300输出的界标标测图(其在本文中也可被称为界标平面标测图)可包括分段标测图,其中分类为属于预先确定的界标或界标平面的像素/体素可被分配第一值,并且其中分配给其他界标或作为非界标分配的像素/体素可被分配与第一值不同的值。在一些实施方案中,在输入MR校准图像中包括的多个不同界标中的每个界标被映射到不同二进制分段标测图。在一些实施方案中,在输入MR校准图像中包括的多个界标中的每个界标可被映射到多标签分段标测图,其中每个不同的界标标记有不同的值/标识符。在一个实施方案中,界标标测图包括多标签分段标测图,其中对于输入MR校准图像的每个像素/体素,确定多个类别中的每个类别的类别分数,其中类别分数指示属于预先确定的类别中的每个类别的给定像素/体素的置信度。在一些实施方案中,界标标测图可以叠加在输入MR校准图像上,以在用于获得MR校准图像的成像视野(FOV)内定义其中包括的界标或界标平面的位置和/或其他属性(例如,界标的边界、界标平面的取向和界标/界标平面的中心点)。CNN 300代表U-net架构,该U-net架构可分为编码部分(下降部分,元件302b-330)和解码部分(上升部分,元件332-356a)。CNN 300被配置为接收包括多个体素的解剖区域的MR校准图像/体积,并且将输入MR校准图像映射到界标标测图/界标平面。CNN架构300包括从可由输入层接收的输入图像体积302b通过多个特征标测图最后到可由输出层356a产生的输出解剖ROI位置标测图356b的一系列映射。

图例358中标记了包括CNN架构300的各种元件。如图例358所指示,CNN架构300包括多个特征标测图(和/或复制的特征标测图),其中每个特征标测图可以从外部文件或先前的特征标测图处接收输入,并且可以将所接收的输入转换/映射成输出以产生下一个特征标测图。每个特征标测图都可包括多个神经元,其中在一些实施方案中,每个神经元都可接收来自前一层/特征标测图的神经元的子集的输入,并且可基于所接收的输入来计算单个输出,其中输出可传播到下一层/特征标测图中的神经元的子集。特征标测图可使用空间维度诸如长度、宽度、深度和超深度(其可对应于输入图像/体积的每个体素的特征)来描述,其中维度是指包括特征标测图的神经元数量(例如,沿指定特征标测图的长度的神经元数量、沿宽度的神经元数量、沿深度的神经元数量以及沿超深度的神经元数量)。

在一些实施方案中,特征标测图的神经元可通过使用学习权重集(每个学习权重集在本文中可被称为滤波器)执行所接收的输入的点积来计算输出,其中每个所接收的输入具有唯一的对应的学习权重,其中该学习权重是在CNN的训练期间学习的。

由每个特征标测图执行的变换/映射由箭头指示,其中每种类型的箭头对应于不同的变换,如图例358所指示。向右指向的实心黑色箭头指示步幅为1的3×3×3卷积,其中来自紧接着先前特征标测图的特征通道的3×3×3网格的输出被映射到当前特征标测图的单个特征通道。每个3×3×3卷积都可跟随有激活函数,其中在一个实施方案中,激活函数包括整流线性单元(ReLU)。

向下指向的中空箭头指示2×2×2最大池化,其中来自特征通道的2×2×2网格的最大值从紧接着先前特征标测图传播到当前特征标测图的单个特征通道,从而导致紧接着先前特征标测图的空间分辨率降低8倍。在一些示例中,该池化独立地针对每个特征发生。

向上指向的中空箭头指示2×2×2上卷积,其包括将来自紧接着先前特征标测图的单个特征通道的输出映射到当前特征标测图中的特征通道的2×2×2网格,从而将紧接着先前特征标测图的空间分辨率提高8倍。

向右指向的虚线箭头指示复制和裁剪特征标测图以与另一个以后出现的特征标测图级联。裁剪使复制的特征标测图的维度能够与待与复制的特征标测图级联的特征通道的维度匹配。应当理解,当正复制的第一特征标测图的大小和待与第一特征标测图级联的第二特征标测图的大小相等时,可不执行裁剪。

具有中空细长三角形头部的向右指向的箭头指示1×1×1卷积,其中紧接着先前特征标测图中的每个特征通道被映射到当前特征标测图的单个特征通道,或者换句话讲,其中在紧接着先前特征标测图与当前特征标测图之间发生了特征通道的1对1映射。

具有V形头部的向右指向的箭头指示将高斯噪声结合到所接收的输入特征标测图中。

具有弓形中空头部的向右指向的箭头指示批归一化操作,其中对输入特征标测图的激活的分布进行归一化。

具有短中空三角形头部的向右指向的箭头指示丢弃操作,其中在训练期间发生输入神经元(以及它们的输入和输出)的随机或伪随机丢弃。

除了图例358内的箭头所指示的操作之外,CNN架构300还包括对应于特征标测图的实心填充矩形,其中特征标测图包括高度(如图3所示的从上到下的长度,对应于x-y平面中的y空间维度)、宽度(图3中未示出,假设量值与高度相等,对应于x-y平面中的x空间维度)和深度(如图3所示的左右长度,对应于每个特征通道内的特征的数量)。同样,CNN架构300包括对应于复制和裁剪的特征标测图的中空(未填充)矩形,其中复制的特征标测图包括高度(如图3所示的从上到下的长度,对应于x-y平面中的y空间维度)、宽度(图3中未示出,假设量值与高度相等,对应于x-y平面中的x空间维度)和深度(如图3所示从左侧到右侧的长度,对应于每个特征通道内的特征的数量)。

从输入图像体积302b(在本文也称为输入层)处开始,可输入对应于MR校准图像的数据(诸如MR校准图像302a所示的数据),并将该数据映射到第一特征集。在一些实施方案中,在利用基于质子密度的梯度回波序列执行的校准扫描期间获取输入数据。在一些实施方案中,输入数据在由神经网络处理之前被预处理(例如,归一化)。在一些实施方案中,输入数据是量值数据。

输出层356a可包括神经元的输出层,其中每个神经元可对应于解剖ROI属性标测图的像素,并且其中每个神经元的输出可对应于在输入MR校准图像内给定位置中的预测解剖特征(或解剖特征的缺失)。例如,神经元的输出可指示解剖ROI属性标测图的对应像素是否为膝部的一部分。在另一个实施方案中,输出层356a可包括输出一个或多个分析参数值的一个或多个神经元,该分析参数值可通过平面的分析描述(例如,经由平面方程)来识别界标平面。平面方程的参数的值可以由输出层356a输出。

如图3所示,界标标测图356b可示出在输入MR校准图像302a中包括的一个或多个界标/界标平面。一个或多个界标/界标平面的范围是校准扫描体积内的3D体积。界标/界标平面可由3D边界框拟合/捕获,其示例由图9所示的第一扫描区域预览902和第二扫描区域预览904以及图10所示的扫描框示出。此外,在界标标测图356b中包括的一个或多个界标可包括中心点,该中心点可限定一个或多个界标/界标平面的中心。

以这种方式,CNN架构300可使得能够将MR校准图像映射到包括一个或多个感兴趣的界标/区域的位置和/或其他属性的预测的界标标测图/界标平面。CNN架构300示出了在输入图像图体积通过卷积神经网络的神经元层传播时发生的特征标测图转换,以产生预测的解剖ROI属性标测图。

CNN 300中的卷积层的权重(和偏差)是在训练期间学习的,如将在下面参考图6和图7详细讨论的。简而言之,损失函数被定义为反映由CNN 300输出的预测的界标标测图与对应基准界标标测图之间的差值。可通过神经网络的层将损失反向传播以更新卷积层的权重(和偏差)。包括MR校准图像和对应基准解剖ROI属性标测图的多个训练数据对可用于训练神经网络300。

应当理解,本公开包含神经网络架构,这些神经网络架构包括一个或多个正则化层,该一个或多个正则化层包括批归一化层、丢弃层、高斯噪声层和机器学习领域中已知的其他正则化层,它们可在训练期间使用以减轻过度拟合并提高训练效率,同时减少训练时间。在CNN训练期间使用正则化层,并且在CNN的训练后实施方式期间将其停用或移除。这些层可散布在图3所示的层/特征标测图之间,或者可替换所示层/特征标测图中的一者或多者。

应当理解,图3所示的CNN 300的架构和配置是用于说明而非限制。在本文中可使用任何合适的神经网络(诸如ResNet、递归神经网络、广义回归神经网络(GRNN)等)来从MR校准图像预测界标/界标平面标测图。上面描述了本公开的一个或多个具体实施方案以便提供透彻的理解。这些所描述的实施方案仅仅是用于使用深度神经网络从MR校准图像预测界标标测图的系统和方法的示例。本领域技术人员将理解,在不脱离本公开的实质的情况下,可以在实施时修改实施方案中描述的具体细节。

如MR校准图像302a所理解的那样,MR校准图像可表现出大量阴影,这可能使得难以用经典方法获得分段。然而,本文所述的深度神经网络能够处理校准图像以确定对应界标标测图。然后,所得的位置/掩码信息可用于确定一个或多个诊断扫描参数。

转到图4,示出了用于使用从MR校准图像确定的诊断扫描参数来获取诊断MR图像的示例性方法400的流程图。方法400可由上文讨论的系统中的一个或多个系统来执行。在一个实施方案中,MRI系统10可执行方法400。

方法400开始于操作402,其中MRI系统接收来自用户的成像协议选择。成像协议可指示待诊断成像的一个或多个感兴趣的解剖区域,并且还可包括与一个或多个感兴趣的解剖区域在空间上相关的一个或多个界标。在一个示例中,MRI系统操作者可经由用户输入设备选择用于对受检者的半月板平面进行诊断成像的成像协议,其中半月板平面为用于所选择的成像协议的感兴趣的解剖区域,并且其中与半月板平面在空间上相关的一个或多个界标可包括在所选择的成像协议中。此外,成像协议可指示一个或多个预定义图像取向,描述图像平面/体积相对于一个或多个界标的取向。

在操作404处,MRI系统获取患者的MR校准图像。MR校准图像获取包括在很少或没有先前患者定位的情况下进行的大FOV、低剂量扫描。MR校准图像的获取发生在MRI系统校准之前,因此MR校准图像可包括大量的阴影/噪声。在一些实施方案中,MR校准图像的获取可以在5-10秒的时间段内发生。MR校准图像包括患者的解剖区域的3D图像,并且因此MR校准图像可以被认为是体素阵列,其中每个体素可以包括一种或多种颜色的不同强度值。

在操作406处,MRI系统使用受过训练的深度神经网络从MR校准图像确定诊断扫描参数,如下面参考图500更详细地讨论的。简而言之,将3D MR校准输入到受过训练的深度神经网络中,其中基于在操作402处选择的当前成像协议来选择受过训练的神经网络。在一些实施方案中,受过训练的深度神经网络可以包括3D卷积神经网络,其中将多个3D滤波器应用于MR校准图像,以便提取MR校准图像中存在的特征。然后,受过训练的深度神经网络可将所提取的特征映射到一个或多个界标标测图/界标平面。在一个实施方案中,界标标测图包括分段标测图,其中分段标测图指示输入MR校准图像的多个体素中的一个或多个体素的分类。在另一个实施方案中,界标标测图/界标平面可由深度神经网络以描述一个或多个区域/平面的位置的解析式的一个或多个参数的形式输出(例如,平面方程)。在一个实施方案中,受过训练的深度神经网络可产生二进制分段标测图,其中由深度神经网络识别为属于一个或多个预定义界标的体素可被分配值1(或一些其他预先确定的值),并且未被深度神经网络识别为属于一个或多个预定义界标的体素可被分配值0(或一些其他预先确定的值)。在一些实施方案中,界标标测图可以包括多标签分段标测图,其中输入MR校准图像的每个体素被分配预先确定的界标/类别集中的每个界标/类别的概率分数,其中可以使用最高概率分数将每个体素唯一地分配给预先确定的界标/类别集中的一个界标/类别。

在操作408处,MRI系统可任选地向用户显示诊断扫描区域预览。图9示出了第一诊断扫描区域预览902和第二诊断扫描区域预览904,各自示出了围绕/包围待通过诊断扫描成像的感兴趣的解剖区域的扫描框。诊断扫描区域预览在视觉上为用户(MRI系统操作者)描绘了待成像的患者解剖结构的区域,从而使得用户能够评估所确定的诊断扫描参数是否适合于当前的成像协议。在一个实施方案中,诊断扫描区域预览包括图形用户界面,使得MRI系统操作者能够在MR校准图像的成像体积内手动重新定位扫描框。

在操作410处,MRI系统可以确定用户是否已经接受诊断扫描区域预览。如果在操作410处,用户已经拒绝诊断扫描区域预览,则方法400可以前进至操作412,其中提示用户重新定位患者并且重复MR校准扫描。在操作412之后,方法400可以返回操作404,其中可以获取第二MR校准图像,并且方法400可以如前所述进行。然而,如果在操作410处,MRI系统确定用户接受诊断扫描区域预览,则方法400可前进至操作414。

在操作414处,MRI系统根据在操作406处确定的诊断扫描参数来获取一个或多个诊断图像。在一个实施方案中,MRI系统使MRI系统的孔内的切片成像,该切片具有由在操作406处确定的诊断扫描参数指定的位置、取向和覆盖率。在另一个实施方案中,操作414包括获取高分辨率、3D、各向同性、MR诊断图像,其中位置(例如,中心点)、取向(例如,顶点的位置)和覆盖率(体积的大小)由在操作406处确定的诊断扫描参数指定。

在操作416处,MRI系统可任选选地基于在操作406处确定的一个或多个扫描参数,对在操作414处获取的诊断图像进行重新格式化。在一个实施方案中,在操作402处选择的成像协议指示一个或多个预先确定的取向,并且在操作416处,MRI系统可通过高分辨率、3D各向同性MR诊断图像拍摄平面区段来产生感兴趣的解剖结构的一个或多个预先确定的取向,以产生期望取向的高分辨率2D诊断图像。

在操作418处,MRI系统可以向用户显示一个或多个诊断图像。在一个实施方案中,在操作414处获取的一个或多个诊断图像可以经由显示设备显示给MRI系统操作者。在另一个实施方案中,在操作416处产生的重新格式化的诊断图像经由显示设备显示给MRI系统操作者。在操作418之后,方法400可结束。

转到图5,示出了用于从MR校准图像确定诊断扫描参数的示例性方法500的流程图。方法500可由上文讨论的系统中的一个或多个系统来执行。在一个实施方案中,MRI系统10的成像处理系统31可执行方法500,作为方法400的一部分,如操作406处所指示。

在操作502处,图像处理系统接收MR校准图像。在一个实施方案中,MR校准图像可包括患者的解剖区域的3D图像。操作504还可以包括图像处理系统接收与MR校准图像相关联的成像协议,其中成像协议可以指示要在MR校准图像内识别的界标集。

在操作504处,图像处理系统基于与在操作502处接收的MR校准图像相关联的成像协议来选择受过训练的深度神经网络。在一个实施方案中,针对不同的成像协议训练不同的深度神经网络。在一些实施方案中,可训练每个受过训练的深度神经网络以识别预先确定的界标集。

在操作506处,图像处理系统使用在操作504处选择的受过训练的深度神经网络将MR校准图像映射到界标标测图。在操作506处,将3D MR校准输入到所选择的受过训练的深度神经网络中。在一些实施方案中,受过训练的深度神经网络可以包括3D卷积神经网络,其中将多个3D滤波器应用于MR校准图像,以便提取MR校准图像中存在的特征。然后,然后,受过训练的深度神经网络可将所提取的特征映射到一个或多个界标标测图。在一个实施方案中,界标标测图包括分段标测图,其中分段标测图指示输入MR校准图像的多个体素中的一个或多个体素的分类。在一个实施方案中,受过训练的深度神经网络可产生二进制分段标测图,其中由深度神经网络识别为属于一个或多个预定义界标的体素可被分配值1(或一些其他预先确定的值),并且未被深度神经网络识别为属于一个或多个预定义界标的体素可被分配值0(或一些其他预先确定的值)。在一些实施方案中,界标标测图可以包括多标签分段标测图,其中输入MR校准图像的每个体素被分配预先确定的界标/类别集中的每个界标/类别的概率分数,其中可以使用最高概率分数将每个体素唯一地分配给预先确定的界标/类别集中的一个界标/类别。

在操作508处,图像处理系统基于在操作506处产生的界标标测图将扫描框拟合/放置在MR校准图像的3D体积内。在一个示例中,基于界标标测图放置扫描框包括以类似于使用线性回归将线拟合到数据的方式将扫描框大小、位置和取向拟合到包括在界标标测图中的界标。在一个示例中,界标标测图可包括点云(标记为界标),将ax+by+cz+d=0形式的3D平面方程拟合到该点云。基于参数a、b、c和d,可以确定扫描框的取向和中心点。在另一个实施方案中,界标标测图包括一个或多个平面/区域的解析式,并且操作508包括基于由界标标测图指示的一个或多个平面/区域的解析式来确定扫描框的位置。

在操作510处,图像处理系统使用在操作508中放置的扫描框来确定一个或多个诊断扫描参数。在一个示例中,扫描框的位置、取向和大小与MRI系统的孔内的一个或多个扫描平面的位置、取向和覆盖率相关,其中扫描平面限定待通过诊断扫描成像的区域。在另一个示例中,基于扫描框的范围、位置和取向,上面参考操作506给出的示例中确定的平面方程可以用于确定一个或多个诊断参数,包括对由平面指示的区域进行成像的切片的数量以及诊断扫描分辨率。在操作510之后,方法500可结束。

转到图6,示出了用于训练深度神经网络(诸如图3所示的CNN300)以从MR校准图像确定界标标测图的示例性方法600的流程图。方法600可由上文讨论的系统中的一个或多个系统来执行。在一些实施方案中,方法600可由图1所示的系统10或图2所示的系统200来实现。在一些实施方案中,方法600可由存储在图像处理系统31的非暂态存储器206中的训练模块212来实现。

在操作602处,将来自多个训练数据对的训练数据对馈送到深度神经网络,其中训练数据对包括MR校准图像(其可为包括颜色/强度值的3D矩阵/阵列的3D图像,也称为图像体积)和对应基准界标标测图。图像处理系统可根据与训练数据对有关的一条或多条元数据智能地选择训练数据对。在一个实施方案中,方法600可用于训练深度神经网络(例如,CNN300),以识别与预先确定的成像协议相关联的界标集,并且操作602可包括基于来自界标集的界标中的一个或多个界标的存在或不存在来选择训练数据对,如由与训练数据对相关联的元数据所指示的。

在一些实施方案中,训练数据对和多个训练数据对可存储在图像处理系统中,诸如存储在图像处理系统31的MR图像数据214中。在其他实施方案中,可经由图像处理系统和外部存储设备之间的通信耦接(诸如经由与远程服务器的互联网连接)来获取训练数据集。训练数据对的MR校准图像可以具有大FOV,包括待诊断成像的一个或多个感兴趣的界标/解剖区域。基准界标标测图可以包括MR校准图像中包括的一个或多个标记的界标。在一些实施方案中,基准界标标测图可以包括分段标测图,该分段标测图可包括值的矩阵/阵列,其中每个值指示MR校准图像的对应体素/像素或子体素/子像素是否属于一个或多个预定义类别,其中预定义类别可包括一个或多个界标、背景、噪声或非界标解剖区域。在一个实施方案中,3D MR校准图像的界标标测图可包括值的3D阵列,其中所识别的界标用1’标记,并且非界标区域用0’标记。训练数据对可根据下文参考图7更详细讨论的方法700生成。

在操作604处,将训练数据对的MR校准图像输入到深度神经网络的输入层中,并且映射到预测的界标标测图。如上文参考操作602所讨论的,界标标测图可包括一个或多个分段标测图,该分段标测图可包括值的矩阵/阵列,其中每个值指示MR校准图像的对应体素/像素或子体素/子像素是否属于一个或多个预定义类别,其中预定义类别可包括一个或多个界标、背景、噪声或非界标解剖区域。在一些实施方案中,MR校准图像的每个体素/像素强度/颜色值被输入到深度神经网络的输入层的不同节点/神经元中。输出的预测的界标标测图可具有等于或大于输入MR校准图像的分辨率的空间分辨率。

在606处,由图像处理系统来计算预测的界标标测图和基准界标标测图之间的差值度量。换句话讲,操作606包括使用基准界标标测图和损失函数来确定预测的界标标测图的误差。在一些实施方案中,差值度量可以包括DICE分数、均方误差、绝对距离误差和角度误差中的一者或多者或它们的加权组合。在一些实施方案中,操作606包括确定来自深度神经网络的每个输出神经元的每个输出(其中输出构成预测的界标标测图的值)与基准界标标测图中的对应值之间的差值。在一个实施方案中,操作606可包括根据以下方程使用基准界标标测图确定预测的界标标测图的DICE分数:

DICE=(S∩T)/(S∪T),

其中S是基准界标标测图,并且T是预测的界标标测图。在一些实施方案中,预测的界标标测图和基准界标标测图均包括3D分段标测图,其中一个或多个界标可经由为体素/像素分配对应于一个或多个界标的值来标记(例如,用第一值标记对应于界标的每个像素,并且用第二值标记不对应于界标的每个像素,其中第一值和第二值不相等)。换句话讲,对于输入MR校准图像的每个体素,深度神经网络的输出可包括该像素是否为预先确定类型的界标(例如,膝部、半月板平面等)的一部分的指示。对于MR校准图像的每个像素,基准界标标测图可同样包括该像素是否为预先确定类型的界标的一部分的指示。在一些实施方案中,可以在操作608中使用在操作606处计算的差值,而在其他实施方案中,可以在操作608处使用之前,首先将差值度量馈送到损失函数(例如,MSE函数或机器学习领域中已知的其他损失函数)。

在操作608处,基于在操作606处计算出的差值度量(或损失)来调整深度神经网络的权重和偏差。差值度量(或损失)可通过深度神经网络的层反向传播,以更新层的权重(和偏差)。在一些实施方案中,根据梯度下降算法可发生损失的反向传播,其中针对深度神经网络的每个权重和偏差确定损失函数的梯度(一阶导数或一阶导数的近似)。然后,通过根据以下等式将针对权重(或偏差)确定(或近似)的梯度乘积的负数与预定步长大小相加来更新深度神经网络的每个权重(和偏差):

其中P

在操作608之后,方法600可结束。应当注意,方法600可重复,直到深度神经网络的权重和偏差收敛,获得阈值差值度量(对于训练数据或在单独验证数据集上),或者对于方法500的每次迭代,深度神经网络的权重和/或偏差的变化率都在阈值以下。以这种方式,方法600使得深度神经网络能够被训练以识别一个或多个感兴趣的界标/区域,并且产生编码所识别的感兴趣的界标/区域的位置信息的界标标测图。

转到图7,示出了用于生成训练数据的示例性方法700的流程图,该训练数据用于训练深度神经网络以识别MR校准图像内的一个或多个感兴趣的界标/区域。方法700可由上文讨论的系统中的一个或多个系统来执行。在一个实施方案中,MRI系统10可执行方法700以生成用于上文讨论的方法600中的训练数据。

在操作702处,图像处理系统选择MR校准图像和对应MR诊断图像。MR校准图像和MR诊断图像均是同一患者的,并且由MR校准图像成像的解剖区域与由MR诊断图像成像的解剖区域至少部分地重叠,也就是说,MR校准图像和MR诊断图像均包括患者的至少一些共同解剖结构,从而实现从MR诊断图像空间到MR校准图像空间的空间映射。在一些实施方案中,MR校准图像和MR诊断图像均被限定在相同的坐标系内,从而使得能够从MR诊断图像内的位置直接映射到MR校准图像内的位置。在一些实施方案中,MR校准图像和对应MR诊断图像作为一对存储在MR图像数据214中。MR校准图像可包括大FOV、低分辨率图像,而MR诊断图像可包括较小FOV、较高分辨率图像。

在操作704处,图像处理系统将一个或多个界标标签放置在MR诊断图像中。在一些实施方案中,界标标签可对一个或多个相关联界标的位置信息进行编码。在一些实施方案中,可以通过以下方式来将界标标签自动放置在MR诊断图像内:将MR诊断图像与图集对准,并且将在图集中标记的一个或多个解剖区域的位置信息(大小、位置、取向等)投影到MR校准图像上。在一些实施方案中,专家可以在MR诊断图像内标记一个或多个界标(例如,通过使用用户输入设备32)。

在操作706处,将放置在MR诊断图像中的界标标签投影/映射到MR校准图像上。在一些实施方案中,MR诊断图像和MR校准图像均在同一坐标系中,使得放置在MR诊断图像中的界标标签能够直接映射到MR校准图像,例如,通过将MR校准图像的位置(1,2,3)处的体素设置为指示体素被分类为界标的预先确定值,可以将在MR诊断图像内被标记为界标的位置(1,2,3)处的体素投影到MR校准图像上。在其他实施方案中,通过相对于MR诊断图像定位MR校准图像以使得MR校准图像和MR诊断图像之间的DICE分数最小化,可以将MR诊断图像与MR校准图像对准,并且在对准之后,可以将MR诊断图像的界标标签投影到MR校准图像上,从而生成基准界标标测图。

在操作708处,图像处理系统可以将基准界标标测图和MR校准图像作为训练数据对存储在图像处理系统的非暂态存储器内或可通信地耦接的存储设备中。在一个实施方案中,图像处理系统可存储元数据连同训练数据对。在一些实施方案中,元数据可以包括基准界标标测图(例如,半月板平面)内的界标的指示,以及用于获取标记了基准界标标测图的MR诊断图像的一个或多个相关联的成像协议和/或成像参数。

在操作708之后,方法700可结束。方法700实现了用于生成基准界标标测图以用于训练深度神经网络中以识别MR校准图像中的一个或多个界标的高效且在一些实施方案中自动的方法。具体地讲,方法700通过以下方式实现界标标签在低分辨率MR校准图像内的有效且准确的放置:首先将界标标签放置在对应的高分辨率MR诊断图像中,然后将所述标签投影到低分辨率MR校准图像。以这种方式,可以准确且精确界标记在MR校准图像中可能模糊或嘈杂的解剖结构,从而使得由本文教导的受过训练的深度神经网络产生的界标标测图能够具有类似的准确度和精确度。

通过将界标标签放置在高分辨率MR诊断图像中,将MR诊断图像与低分辨率MR诊断图像对准并且将界标标签从MR诊断图像投影到MR校准图像来生成基准界标标测图的技术效果在于,界标标签可以以比以其他方式可获得的更高的准确度和空间精确度放置。

参见图8,示出了基准界标标测图804和对应的高分辨率MR诊断图像802的示例。在一些实施方案中,根据图7所示的方法700,可以从对应的高分辨率MR诊断图像802生成基准界标标测图804。多个高分辨率MR诊断图像802中的每个具有对应的低分辨率MR校准图像。例如,高分辨率MR诊断图像806包括界标标签808,该界标标签指示患者的膝部的半月板平面的位置、取向、大小等。界标标签808可以由放射科专家手动放置,或者通过以下方式自动放置:将高分辨率MR诊断图像806与图集对准,并且为高分辨率MR诊断图像806的与图集内的一个或多个预先确定的界标重叠的像素/体素分配对应界标标签(例如,在高分辨率MR诊断图像与图集对准之后,高分辨率MR诊断图像806的与图集的半月面平面重叠的区域可被标记为半月面平面)。以类似的方式,可以将界标标签808从高分辨率MR诊断图像806投影到低分辨率MR校准图像810,以产生基准界标标测图812。在一些实施方案中,高分辨率MR诊断图像806和低分辨率MR校准图像810两者的像素/体素在同一坐标系中,因此具有界标标签的高分辨率MR诊断图像的每个像素/体素可被直接映射到低分辨率MR校准图像的对应像素/体素。

转到图9,示出了第一诊断扫描区域预览902和第二诊断扫描区域预览904。第一诊断扫描区域预览902和第二诊断扫描区域预览904示出了用于获取诊断矢状图像的扫描平面的位置、大小和取向。在一些实施方案中,图9中包括的扫描框的位置、大小和取向可以用于确定诊断扫描参数,诸如切片的数量、切片厚度、平面内扫描分辨率、k空间的线的数量、频率编码和相位编码方向、视野、视野中心等。

诊断扫描区域预览,诸如第一诊断扫描区域预览902和第二诊断扫描区域预览904,可以通过基于由界标标测图指示的一个或多个界标的位置、定位、取向和大小拟合扫描框来生成。在图9所示的实施方案中,第一诊断扫描区域预览902和第二诊断扫描区域预览904的扫描框与股骨髁的后端(如第一诊断扫描区域预览902中的虚线所指示)和半月板平面(如第二诊断扫描区域预览904中所示)对准。扫描框的宽度(左右范围)可以基于股骨髁骨的侧向范围,如第一诊断扫描区域预览902和第二诊断扫描区域预览904两者所示。此外,扫描框指示对应诊断图像的覆盖率,其中,在图9所示的示例中,扫描框指示诊断矢状图像应当沿着上下具有足够的覆盖率,以包括下侧中高于髌骨和髌腱的区域(第一诊断扫描区域预览904中所示的上下覆盖率)。此外,第一诊断扫描区域预览902和第二诊断扫描区域预览904中的扫描框指示对应的诊断图像在前后方向上的范围,其中,在图9所示的示例中,诊断扫描应当覆盖整个膝部,包括前方向上的髌骨和下方向上的膝部肌肉(第一诊断扫描区域预览902中所示的前后覆盖率)。

在一些实施方案中,在基于从显示在诊断扫描区域预览中的扫描框确定的一个或多个扫描参数执行诊断扫描之前,扫描区域预览可被显示给MRI系统操作者以供批准。

转到图10,示出了MR校准图像1002、对应界标标测图1004、与界标标测图1004拟合的扫描框1006,以及基于扫描框1006获取的诊断图像1008。在一个实施方案中,例如,在方法400的操作404处,MR校准图像1002可以由MRI系统诸如MRI系统10获取,作为本文公开的一种或多种方法的一部分。可以看出,MR校准图像1002包括患者的膝部的大FOV、低分辨率MR图像。MR校准图像1002可被馈送到受过训练的深度神经网络,诸如CNN 300,其可以根据上文讨论的方法600的步骤中的一个或多个步骤进行训练。

受过训练的深度神经网络可以自动地将MR校准图像1002映射到界标标测图1004,其中膝部的半月板平面由覆盖在MR校准图像1004上的掩码/标测图识别。界标标测图1004可用于定位扫描框1006,以捕获一个或多个感兴趣的解剖区域。在一些实施方案中,一个或多个感兴趣的解剖区域可与界标标测图1004中识别的一个或多个界标具有固定的空间关系。在一些实施方案中,界标本身可以是待成像的感兴趣的解剖区域,而在其他实施方案中,感兴趣的解剖区域可以不包括界标(在此类情况下,界标仅用于使用界标与感兴趣的区域之间的固定空间关系来确定感兴趣的区域的位置)。在一些实施方案中,扫描框可基于界标位置(例如,如界标标测图所指示的界标的中心)以及经由用户输入设备接收的输入两者来定位,在一些示例中,该用户输入设备可指示界标的宽度、距待成像的中心点的距离等。

扫描框1006可用于设置MRI系统的一个或多个诊断扫描参数,并且可以根据诊断扫描参数进行诊断扫描以生成MR诊断图像,诸如MR诊断图像1010。可以看出,MR诊断图像1010的FOV包括由扫描框1006指示的FOV,清楚地示出了感兴趣的解剖区域(例如,膝部的半月板平面)。

当介绍本公开的各种实施方案的元件时,词语“一个”、“一种”和“该”旨在意指存在这些元件中的一个或多个元件。术语“第一”、“第二”等不表示任何顺序、量或重要性,而是用于将一个元件与另一个元件区分开。术语“包含”、“包括”和“具有”旨在是包含性的,并且意指除了列出的元件之外还可存在附加元件。如本文使用术语“连接到”、“耦接到”等,一个对象(例如,材料、元件、结构、构件等)可以连接到或耦接到另一个对象,而无论该一个对象是否直接连接或耦接到另一个对象,或者在该一个对象和另一个对象之间是否存在一个或多个介入对象。此外,应当理解,对本公开的“一个实施方案”或“实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。

除了任何先前指示的修改之外,本领域技术人员可以在不脱离本描述的实质和范围的情况下设计出许多其他变型和替换布置,并且所附权利要求书旨在覆盖此类修改和布置。因此,尽管上面已经结合当前被认为是最实际和最优选的方面对信息进行了具体和详细的描述,但对于本领域的普通技术人员将显而易见的是,在不脱离本文阐述的原理和概念的情况下,可以进行许多修改,包括但不限于形式、功能、操作方式和使用。同样,如本文所使用的,在所有方面,示例和实施方案仅意图是说明性的,并且不应以任何方式解释为限制性的。

相关技术
  • 用于从校准图像生成诊断扫描参数的系统和方法
  • 一种用于影像诊断设备的校准方法和校准系统
技术分类

06120112903067