掌桥专利:专业的专利平台
掌桥专利
首页

使用球形神经网络的扩散磁共振成像

文献发布时间:2023-06-19 11:55:48


使用球形神经网络的扩散磁共振成像

技术领域

本发明涉及磁共振成像,具体而言涉及扩散磁共振成像。

背景技术

作为用于生成来自对象体内的图像的过程的一部分,磁共振成像(MRI)扫描器使用大的静态磁场以使原子的核自旋对齐。该大的静磁场被称为B0场或主磁场。可以使用MRI在空间上测量对象的各种量或属性。通过使用脉冲序列来控制磁共振数据的采集,可以实现各种成像协议。存在扩散加权磁共振成像技术,其中例如可以测量针对不同体素的扩散张量。

Cohen等人的文章“Spherical CNNs,”arXiv:1709.04893v2公开了一种构建球形CNN的方法,其具有表达力和旋转等变性两者。在本文中,示例性地将球形CNN用于3D形状识别和雾化能量回归。

发明内容

本发明在独立权利要求中提供了一种医学成像系统、一种计算机程序产品和一种方法。在从属权利要求中给出了实施例。

对扩散加权磁共振图像的分析可能需要手动定义特征,例如来自扩散张量成像或纤维束量的分数各向异性(FA)。实施例可以提供完全自动化这样的分析的手段。这可以例如通过将来自在球上采集的梯度方向的扩散磁共振成像数据输入到球面神经网络中来实现。球面神经网络(在本文中也称为球面卷积神经网络)对于它们的输入以及最后是其某些层具有球形拓扑。传统的卷积神经网络通常具有平面输入,通常具有平面层。

使用球面神经网络的优点可能是它们更适合处理扩散磁共振成像数据,因为它们能够更有效地处理球面数据。使用平面输入的神经网络将使用球面信号的投影,这会引入在空间上变化的畸变,从而使平移权重共享无法实现。

在一个方面中,本发明提供了一种医学成像系统,其包括用于存储机器可执行指令的存储器。所述存储器还包含或存储对经训练的卷积神经网络的实现。所述经训练的卷积神经网络包括至少一个球面卷积神经网络部分。

如本文所使用的球面卷积神经网络包括具有球面输入或多个层而不是2D平面输入或多个层的神经网络。球面卷积神经网络中的模式作为三维旋转移动而不是平移。

经训练的卷积神经网络被配置为接收扩散磁共振成像数据。如本文所使用的扩散磁共振成像数据包括使用扩散加权磁共振成像协议采集的磁共振成像数据。扩散磁共振成像数据包括球面扩散部分。至少一个球面卷积神经网络被配置用于接收球面扩散部分。经训练的卷积神经网络包括输出层,所述输出层被配置为响应于将扩散磁共振成像数据输入到经训练的卷积神经网络中而生成神经网络输出。

所述医学成像系统还包括用于控制所述机器可执行指令的处理器。所述机器可执行指令的运行还使所述处理器接收扩散磁共振成像数据。在不同的示例中,这可以通过不同的方式来实现。例如,医学成像系统可以使用磁共振成像系统来采集扩散磁共振成像数据。在其他示例中,医学成像系统可以从数据源或经由网络连接来接收扩散磁共振成像数据。所述机器可执行指令的运行还使处理器通过将所述扩散磁共振成像数据输入到经训练的卷积神经网络中来生成神经网络输出。该实施例可能是有益的,因为它对于生成对扩散磁共振成像数据的分类(例如,将特定的性质或条件分配给扩散磁共振成像数据)可能是有用的。在其他情况下,对于对扩散磁共振成像数据的处理或执行信号处理也是有用的。扩散本身在扩散的值上可以是三维的。因此,将数据输入到球面卷积神经网络中可以提供更好的结果,因为球面神经网络可以没有失真地接受球形数据图像。

例如,可以通过使用标记的扩散磁共振成像数据来训练经训练的卷积神经网络。

本文中对至少一个球面卷积神经网络部分的引用可以解释为对多于一个球面卷积神经网络的引用。

在另一个实施例中,扩散磁共振成像数据包括体素。扩散磁共振成像数据包括针对每个体素的球面扩散部分。换句话说,扩散磁共振成像数据是针对二维或三维体积的。该二维或三维体积由体素形成。体素扩散磁共振图像数据具有针对每个体素具有球形部分的扩散磁共振成像数据。该实施例可能是有益的,因为来自每个体素的数据可以被个体地输入到球面卷积神经网络部分中。

在另一个实施例中,经训练的卷积神经网络包括空间卷积神经网络部分。所述空间卷积神经网络部分包括输入层。所述多于一个球面卷积神经网络部分每个包括球面神经网络部分输出。所述多于一个球面卷积神经网络部分中的每个的球面神经网络部分输出被连接到空间卷积神经网络部分的输入层。球面神经网络中的每个的输出被输入到常规的空间卷积神经网络。这可能是有益的,因为空间卷积神经网络可用于分析所述多于一个球面卷积神经网络部分的输出的模式。

在另一实施例中,所述多于一个球面卷积神经网络中的每个都是完整的球面卷积神经网络。所述多于一个球面卷积神经网络中的每个可以是球面卷积神经网络,其被单独地训练用于诸如提供体素类别预测或其他用途的目的。

在另一实施例中,所述多于一个球面卷积神经网络部分使用权重共享。例如,所述多于一个球面卷积神经网络中的每个可以是相同的。这可能是有益的,因为它可以使得体素中的每个被同时处理。

在另一个实施例中,所述医学成像系统还包括磁共振成像系统。所述存储器还包含脉冲序列命令,所述脉冲序列命令用于控制磁共振成像系统以根据扩散加权磁共振成像协议来采集磁共振成像采集数据。所述机器可执行指令的运行还使处理器利用脉冲序列命令来控制磁共振成像系统以采集磁共振采集数据。所述机器可执行指令的运行还使所述处理器根据磁共振采集数据来重建扩散磁共振成像数据。

在另一个实施例中,所述神经网络输出包括用于全局水平的扩散磁共振成像数据的全局类别预测。例如,所述全局类别预测可以指示针对在扩散磁共振成像数据中成像的状况的特定类型的解剖异常的存在。

在另一个实施例中,所述神经网络输出包括针对个体体素的扩散磁共振成像数据的体素类别预测。例如,医学成像系统可以将某些特性或分类归因于扩散磁共振成像数据内的个体体素或体素组。例如,这可以帮助医师执行对扩散磁共振成像数据的特定诊断或检查。

在另一个实施例中,所述神经网络输出包括与在空间和/或球形域中投影到扩散磁共振成像数据上的神经网络的局部化有关的热图,以可视化用于神经网络预测的重要空间和/或球形区域。

在另一个实施例中,所述神经网络输出包括投影到纤维束空间上的热图(如上所述),所述热图通过纤维束照相术算法重建。

在另一个实施例中,经训练的卷积神经网络包括空间卷积神经网络部分。如本文中所使用的空间卷积神经网络部分包括普通卷积神经网络,其被配置为接收和处理使用线性坐标系表示的二维或三维图像数据。

所述至少一个球面卷积神经网络部分每个包括球面神经网络部分输出。空间卷积神经网络部分被连接在球面神经网络部分输出与输出层之间。

在另一个实施例中,经训练的卷积神经网络包括空间卷积神经网络部分。单个球面卷积神经网络部分和空间卷积神经网络部分被组合在一起。也就是说,卷积神经网络的某些部分可能具有球面卷积层,并且其他部分可能具有空间卷积层并且它们是相互连接的。在一个实施例中,所述至少一个球面卷积神经网络部分是单个球面卷积神经网络部分。

在另一个实施例中,经训练的卷积神经网络包括空间卷积神经网络部分。所述至少一个球面卷积神经网络部分被连接到输出层。所述空间卷积神经网络部分也被连接到输出层。至少一个球面卷积神经网络部分和空间卷积神经网络部分都可以经由一个或多个中间层而都被连接到输出层。这可能是有益的,因为这可以使得不同类型的磁共振成像数据能够一起被使用。例如,可以将T1加权图像输入空间卷积神经网络。

在另一个实施例中,经训练的卷积神经网络包括空间卷积神经网络部分。所述至少一个球面卷积神经网络部分和空间卷积神经网络部分经由权重共享而被连接。所述至少一个球面卷积神经网络部分被连接到输出层。所述空间卷积神经网络部分也被连接到输出层。至少一个球面卷积神经网络部分和空间卷积神经网络部分都可以经由一个或多个中间层而都被连接到输出层。

在另一实施例中,所述至少一个球面卷积神经网络部分中的每个都被连接到输出级联。所述输出级联包括输出层或者是输出层。在该实施例中,仅存在至少一个球面卷积神经网络部分。所述一个或多个球面卷积神经网络的使用可以提供一种处理扩散加权磁共振成像数据的有效手段。

在另一实施例中,至少一个球面卷积神经网络部分包括多个球面卷积神经网络部分。卷积神经网络包括多个球面卷积神经网络部分之间的权重分配。该实施例在扩散加权磁共振成像数据中可能是有用的,因为它可以提供访问或分析同一体素的多个数据的手段。

在另一实施例中,至少一个球面卷积神经网络部分中的每个代表在不同梯度磁场值下采集的测量值。在磁共振采集数据的采集期间,使用梯度磁场。如果在不同的采集过程中使用了不同的梯度磁场,那么如果对每个磁场梯度值使用不同的球面神经网络部分,则可以将这些数据全部用于相同的分析。

在另一实施例中,球面扩散部分是用于投影到球体上的一个或多个梯度磁场值的扩散信号。

在另一个实施例中,扩散磁共振成像数据包括扩散张量成像数据。

在另一个实施例中,扩散磁共振成像数据包括高角分辨率扩散成像数据。

在另一个实施例中,扩散磁共振成像数据包括多壳高角分辨率扩散成像数据。

在另一个实施例中,扩散磁共振成像数据包括Q球成像数据。

在另一个实施例中,球面扩散部分包括根据投影到球体上的扩散信号计算出的扩散模型。

在另一个实施例中,扩散性模型是取向分布函数。

在另一个实施例中,扩散性模型是纤维取向分布函数。

在另一个实施例中,扩散性模型是限于两个或多个同心球体的整体平均传播器。

在另一方面中,本发明提供了一种包括用于由控制医学成像系统的处理器执行的机器可执行指令的计算机程序产品。所述机器可执行指令的运行使处理器接收扩散磁共振成像数据。所述机器可执行指令的运行还使处理器通过将所述扩散磁共振成像数据输入到经训练的卷积神经网络中来生成神经网络输出。所述经训练的卷积神经网络包括至少一个球面卷积神经网络部分。所述经训练的卷积神经网络被配置为接收扩散磁共振成像数据。所述扩散磁共振成像数据包括球面扩散部分。所述至少一个球面卷积神经网络被配置用于接收球面扩散部分。所述经训练的卷积神经网络包括输出层,所述输出层被配置为响应于将扩散磁共振成像数据输入到经训练的卷积神经网络中而生成神经网络输出。

在另一方面中,本发明提供了一种医学成像方法。所述方法包括接收扩散磁共振成像数据。所述方法还包括通过将扩散磁共振成像数据输入到经训练的卷积神经网络中来生成神经网络输出。所述经训练的卷积神经网络包括至少一个球面卷积神经网络部分。经训练的卷积神经网络被配置为接收扩散磁共振成像数据。所述扩散磁共振成像数据包括球面扩散部分。所述至少一个球面卷积神经网络被配置用于接收球面扩散部分。所述经训练的卷积神经网络包括输出层,所述输出层被配置为响应于将扩散磁共振成像数据输入到经训练的卷积神经网络中而生成神经网络输出。先前已经讨论了其优点。

在另一个实施例中,经训练的神经网络也被存储在计算机程序产品中。

应该理解,可发组合本发明的一个或多个前述实施例,只要组合后的实施例不相互排斥即可。

如本领域技术人员将认识到的,本发明的若干方面可以实现为装置、方法或计算机程序产品。因此,本发明的各方面可采取完全硬件实施例,完全软件实施例(包括固件,驻留软件,微代码等),或者组合了软件和硬件方面的实施例的形式,其可以在本文统称为“电路”、“模块”或“系统”。此外,本发明的各个方面可以采取实现在一个或多个计算机可读介质中的计算机程序产品的形式,所述一个或多个计算机可读介质具有实现在其上的计算机可执行代码。

可以使用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。如在本文中使用的“计算机可读存储介质”包括任何有形存储介质,其可以存储能够由计算设备的处理器执行的指令。可以将所述计算机可读存储介质称为“计算机可读非瞬态存储介质”。所述计算机可读存储介质也可以被称为有形计算机可读介质。在一些实施例中,计算机可读存储介质还可以能够存储数据,所述数据能够被所述计算设备的处理器访问。计算机可读存储介质的范例包括但不限于:软盘、磁硬盘驱动器、固态硬盘、闪存、USB拇指驱动器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、磁光盘和处理器的寄存器文件。光盘的范例包括压缩光盘(CD)和数字多用光盘(DVD),例如CD-ROM、CD-RW、CD-R、DVD-ROM、DVD-RW或DVD-R盘。术语计算机可读存储介质还指代能够由所述计算机设备经由网络或通信链路访问的各种类型的记录介质。例如,可以经由调制解调器、经由互联网或经由局域网络来取回数据。体现在计算机可读介质上的计算机可执行代码可使用任何合适的介质来传输,包括但不限于无线、有线、光缆、RF等,或上述各项的任何适当的组合。

计算机可读信号介质可以包括具有实现在其中的例如在基带内或者作为载波的一部分的计算机可执行代码的传播的数据信号。这样的传播信号可以采取多种形式中的任一种,包括但不限于,电磁的、光学的、或者它们的任意合适的组合。计算机可读信号介质可以是任何计算机可读介质,其不是计算机可读存储介质并且其能够传送、传播或传输程序用于由指令运行系统、装置或设备使用或者与其结合使用。

“计算机存储器”或“存储器”是计算机可读存储介质的范例。计算机存储器是处理器能够直接访问的任何存储器。“计算机存储设备”或“存储设备”是计算机可读存储介质的另一范例。计算机存储设备是任何非易失性计算机可读存储介质。在一些实施例中,计算机存储设备也可以是计算机存储器,或反之亦然。

用在本文中的“处理器”涵盖能够执行程序或机器可执行指令或计算机可执行代码的电子部件。对包括“处理器”的计算设备的引用应当被解读为能够包括超过一个处理器或处理内核。所述处理器例如可以是多核处理器。处理器还可以是指单个计算机系统之内的或者被分布在多个计算机系统之间的处理器的集合。术语计算设备也应被解释为可能指计算设备的集合或网络,每个计算设备均包括一处理器或多个处理器。所述计算机可执行代码可以由多个处理器运行,所述处理器可以处在相同的计算设备内或者其甚至可以跨多个计算设备分布。

计算机可执行代码可以包括令处理器执行本发明的各方面的机器可执行指令或程序。用于执行针对本发明的各方面的操作的计算机可执行代码可以以一种或多种编程语言(包括诸如Java、Smalltalk、C++等的面向对象的编程语言以及诸如"C"编程语言或类似编程语言的常规过程编程语言)的任何组合来编写并且被编译为机器可执行指令。在一些情况下,所述计算机可执行代码可以以高级语言的形式或者以预编译形式并且结合在飞行中生成机器可执行指令的解释器来使用。

所述计算机可执行代码可以作为单机软件包全部地在所述用户的计算机上、部分地在用户的计算机上、部分地在用户的计算机上并且部分地在远程计算机上、或者全部地在所述远程计算机或服务器上运行。在后者的场景中,所述远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))或者可以对外部计算机做出的连接(例如,使用因特网服务提供商通过因特网)而被连接到用户的计算机。

本发明的各方面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图得以描述。应该理解,流程图、图示和/或框图的每个框或框的一部分能够在适用时通过以计算机可执行代码的形式的计算机程序指令来实施。还应当理解的是,当不相互排斥时,在不同的流程图、图示和/或框图中块的组合可以被组合。这些计算机程序指令可以被提供到通用计算机、专用计算机的处理器或者其他可编程数据处理装置以生产机器,使得经由计算机的处理器或其他可编程数据处理装置运行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的单元。

这些计算机程序指令还可以被存储在计算机可读介质中,其能够引导计算机、其他可编程数据处理装置或其他设备以特定的方式工作,使得被存储在所述计算机可读介质中的所述指令产生包括实施在流程图和/或一个或多个框图框中所指定的功能/动作的指令的制品。

所述计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上以令一系列操作步骤在计算机、其他可编程装置或其他设备上执行以产生计算机实施的过程,使得在计算机或其他可编程装置上运行的指令提供用于实施在流程图和/或一个或多个框图框中所指定的功能/动作的过程。

如在本文中所使用的“用户接口”是允许用户或操作者与计算机或计算机系统进行交互的接口。“用户接口”还可以被称为“人机接口设备”。用户接口可以向操作者提供信息或数据和/或接收来自操作者的信息或数据。用户接口可使来自操作者的输入能够被计算机接收,并且可以将输出从计算机提供给用户。换言之,用户接口可以允许操作者控制或操纵计算机,并且该接口可以允许计算机指示操作者的控制或操纵的效果。数据或信息在显示器或图形用户接口上的显示是向操作者提供信息的范例。通过键盘、鼠标、跟踪球、触摸板、指点杆、图形输入板、操纵杆、游戏板、网络摄像头、头盔、踏板、有线手套、遥控器以及加速度计接收数据都是实现从操作者接收信息或数据的用户接口部件的范例。

如在本文中所使用的“硬件接口”涵盖使得计算机系统的处理器能够与外部计算设备和/或装置进行交互或者对其进行控制的接口。硬件接口可允许处理器将控制信号或指令发送给外部计算设备和/或装置。硬件接口也可以使处理器与外部计算设备和/或装置交换数据。硬件接口的范例包括但不限于:通用串行总线、IEEE 1394端口、并行端口、IEEE1284端口、串行端口、RS-232端口、IEEE-488端口、蓝牙连接、无线局域网连接、TCP/IP连接、以太网连接、控制电压接口、MIDI接口、模拟输入接口和数字输入接口。

本文中使用的“显示器”或“显示设备”涵盖适于显示图像或数据的输出设备或用户接口。显示器可以输出视觉、音频和触觉数据。显示器的范例包括但不限于:电脑监视器、电视屏幕、触摸屏、触觉电子显示屏、盲文屏幕、阴极射线管(CRT)、存储管、双稳态显示器、电子纸、向量显示器、平板显示器、真空荧光显示器(VF)、发光二极管(LED)显示器、电致发光显示器(ELD)、等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管显示器(OLED)、投影机和头戴式显示器。

磁共振(MR)采集数据在本文中被定义为使用在磁共振成像扫描期间通过磁共振装置的天线对由原子自旋发射的射频信号的所记录的测量结果。磁共振成像(MRI)图像或磁共振成像数据在本文中被定义为从磁共振采集数据重建的解剖学数据的二维或三维可视化。这种可视化可使用计算机来执行。

附图说明

在下文中,将仅通过举例的方式并且参考附图来描述本发明的优选实施例,在附图中:

图1图示了医学成像系统的示例;

图2是图示操作图1的医学成像系统的方法的流程图;

图3图示了医学成像系统的另一示例;

图4是图示操作图3的医学成像系统的方法的流程图;

图5图示了经训练的卷积神经网络的示例;

图6图示了经训练的卷积神经网络的另一示例;

图7图示了经训练的卷积神经网络的另一示例;

图8图示了经训练的卷积神经网络的另一示例;

图9图示了多壳球面卷积神经网络的一个示例的图;并且

图10图示了经训练的卷积神经网络的另一示例。

附图标记列表:

100 医学成像系统

102 计算机

104 处理器

106 硬件接口

108 用户接口

110 存储器

120 机器可执行指令

122 经训练的卷积神经网络

122' 经训练的卷积神经网络

122” 经训练的卷积神经网络

122”' 经训练的卷积神经网络

122”” 经训练的卷积神经网络

122””' 经训练的卷积神经网络

124 扩散磁共振成像数据

126 神经网络输出

200 接收扩散磁共振成像数据

202 通过将扩散磁共振成像数据输入到经训练的卷积神经网络中来生成神经网络输出

300 医学成像系统

302 磁共振成像系统

304 磁体

306 磁体的膛

308 成像区

309 感兴趣区域

310 磁场梯度线圈

312 磁场梯度线圈电源

314 射频线圈

316 收发器

318 对象

320 对象支撑件

321 脉冲序列命令

322 磁共振采集数据

400 利用脉冲序列命令来控制磁共振成像系统以采集所述磁共振采集数据

402 根据磁共振采集数据重建扩散磁共振成像数据

500 扩散磁共振成像数据的球面扩散部分

500’ 扩散磁共振成像数据的球面扩散部分

502 至少一个球面卷积神经网络部分

502’ 至少一个球面卷积神经网络部分

504 球面神经网络部分输出

506 空间卷积神经网络

508 输出层

600 球面和空间神经网络组合

700 扩散磁共振成像数据的空间部分

702 权重共享

900 单个球面卷积神经网络部分

902 输出级联

具体实施方式

在这些附图中,类似地编号的元件是等价元件或执行相同功能。如果功能是等价的,则将不一定在后来的附图中讨论先前已经讨论过的元件。

图1图示了医学成像系统100的示例。医学成像系统包括计算机102。所述计算机包括处理器104。所述处理器104旨在表示一个或多个处理器。如果处理器104是多个处理器,则处理器也可以分布在多个计算机系统102内。处理器被示为连接到任选的硬件接口106,以及任选的用户接口108。任选的硬件接口106使处理器104能够与其他计算机通信,并且还可能控制医学成像系统100的其他部件。用户接口108将使得处理器104能够显示或呈现可以提供给用户或操作者的图像和其他信息。在某些情况下,用户接口108还可以用于接收来自用户或操作者的控制或输入数据。

存储器110被示为包含机器可执行指令120。机器可执行指令120使处理器104能够任选地控制医学成像系统100的其他部件,并且还能够执行各种数据处理和图像处理任务。存储器110还被示为包含经训练的神经网络122。所述经训练的神经网络是卷积神经网络。所述经训练的卷积神经网络122被配置为接收扩散磁共振成像数据。所述扩散磁共振成像数据包括球面扩散部分。所述经训练的卷积神经网络包括至少一个球面卷积神经网络部分。所述至少一个球面卷积神经网络被配置用于接收扩散磁共振成像数据的球面扩散部分。所述经训练的卷积神经网络还包括输出层,所述输出层被配置为响应于将扩散磁共振成像数据输入到经训练的卷积神经网络中而生成神经网络输出。

所述存储器110还被示为包含已接收的扩散磁共振成像数据124。计算机存储器110还被示为包含神经网络输出126,所述神经网络输出126是通过将扩散磁共振成像数据124输入经训练的卷积神经网络122来生成的。

图2示出了图示操作图1的医学成像系统100的方法的流程图。首先在步骤200中接收扩散磁共振成像数据124。例如,这可以通过控制磁共振成像系统来接收。也可以通过网络连接或其他数据存储介质来接收其。接下来在步骤202中,通过将扩散磁共振成像数据124输入到经训练的卷积神经网络122中来生成神经网络输出126。球面扩散部分被卷积神经网络的至少一个球形部分接收。

图3图示了医学成像系统300的另一示例。除了计算机系统102之外,医学成像系统300还包括磁共振成像系统302。该磁共振成像系统302包括磁体304。磁体304是具有通过其的膛306的超导圆柱型磁体。使用不同类型的磁体也是可能的;例如也可以使用分裂圆柱形磁体和所谓的开放磁体。分裂圆柱磁体类似于标准的圆柱磁体,除了低温恒温器已经分裂成两部分,以允许访问所述磁体的等平面,从而使磁体可以例如与带电粒子束治疗相结合地使用。开放磁体有两个磁体部分,一个在另一个之上,中间的空间足够大以容纳对象:两个部分区的布置类似于亥姆霍兹线圈的布置。开放式磁体是流行的,因为对象较少地受限。在圆柱磁体的低温恒温器内部有超导线圈的集合。在圆柱磁体304的膛306内,存在成像区308,在成像区308中,磁场足够强和均匀以执行磁共振成像。示出了成像区308内的感兴趣区域309。所采集的磁共振数据通常针对感兴趣区域采集。对象318被示出为由对象支撑件320支撑,使得对象318的至少一部分在成像区308和感兴趣区域309内。

磁体的膛306内还有磁场梯度线圈310的集合,其用于采集初级磁共振数据,以在磁体304的成像区308内对磁自旋进行空间编码。磁场梯度线圈310连接到磁场梯度线圈电源312。磁场梯度线圈310旨在是代表性的。通常,磁场梯度线圈310包含用于在三个正交空间方向上空间地编码的三个分立的线圈的集合。磁场梯度电源将电流供应到所述磁场梯度线圈。供应给磁场梯度线圈310的电流根据时间来进行控制并且可以是斜变的或脉冲的。

与成像区308相邻的是射频线圈314,其用于操纵成像区308内的磁自旋的取向,并且用于接收来自也在成像区308内的自旋的射频发射。射频天线可包含多个线圈元件。射频天线还可以被称为通道或天线。射频线圈314连接到射频收发器316。射频线圈314和射频收发器316可以由独立的发送线圈和接收线圈以及独立的发射器和接收器替代。要理解的是,射频线圈314和射频收发器316是代表性的。射频线圈314旨在还表示专用的发射天线和专用的接收天线。类似地,收发器316也可以表示单独的发射器和接收器。射频线圈314也可以具有多个接收/发射元件,并且射频收发器316可以具有多个接收/发射通道。例如,如果执行诸如SENSE的并行成像技术,则射频线圈314可以具有多个线圈元件。

在该示例中,对象318被定位为使得对象的头部区域在感兴趣区域309内。在其他示例中,对象318身体的其他部分可以被定位于感兴趣区域309中。

收发器316和梯度控制器312被示为连接到计算机系统102的硬件接口106。计算机存储器110还被示出为包含脉冲序列命令321。脉冲序列命令321是指令或可以被转换为使得处理器104能够控制磁共振成像系统以采集磁共振采集数据322的指令的数据。存储器110还被示出为包含己经通过利用脉冲序列命令321控制磁共振成像系统302而采集的磁共振采集数据322。

图4示出了图示操作图3的医学成像系统300的方法的流程图。图4中的方法开始于步骤400。在步骤400中,利用脉冲序列命令321控制磁共振成像系统302。这导致磁共振采集数据322的采集。接下来在步骤402中,根据磁共振采集数据322来重建扩散磁共振成像数据124。在步骤402之后,所述方法前进至图2所示的方法的步骤200,然后前进至步骤202。

图5图示了经训练的卷积神经网络122’的另一示例。在图5中图示的示例中,经训练的卷积神经网络122'包括与空间卷积神经网络506串联的球面卷积神经网络部分502。在图5所示的示例中,首先将扩散磁共振成像数据500的球面扩散部分输入至少一个球面卷积神经网络部分502。至少一个球面卷积神经网络部分502的输出是球面神经网络部分输出504,其在图中被标记为球形CNN输出或权重的体积。然后将球面神经网络部分输出504输入到空间卷积神经网络506中。然后,将空间卷积神经网络506输出到输出层508,所述输出层508提供扩散磁共振成像数据的一个或多个类别预测或分类。

图6图示了经训练的卷积神经网络122”的另一示例。在该示例中,扩散磁共振成像数据124包括空间扩散部分500和球面扩散部分500。然后将其输入到组合的球形和空间神经网络600中。其包括空间卷积神经网络506和至少一个球面卷积神经网络部分502两者。具有球形和平面拓扑的神经网络的部分相互混合。然后,将组合的球形和空间神经网络600的输出输出到提供神经网络输出126的输出层508。

图7示出了经训练的卷积神经网络122”'的另一示例。在该示例中,扩散磁共振成像数据124包括球面扩散部分和空间部分700。球面扩散部分500被输入到至少一个球面卷积神经网络部分502中。空间部分700被输入到空间卷积神经网络506。空间卷积神经网络506和球面卷积神经网络502能够经由权重共享702相互通信。空间卷积神经网络506和至少一个球面卷积神经网络部分502都被连接到输出层508。然后,输出层508提供神经网络输出126。

图8图示了经训练的卷积神经网络122””的另一示例。经训练的卷积神经网络122””包括至少一个球面卷积神经网络部分502。这取扩散磁共振成像数据500的球面扩散部分作为输入。然后将至少一个球面卷积神经网络的输出连接到提供神经网络输出126的输出层508。

图9示出了至少一个球面卷积神经网络部分502'的修改。在该示例中,至少一个球面卷积神经网络部分502'可用于代替图5、6、7和8中所描绘的至少一个球面卷积神经网络部分502。在该示例中,球形融合部分被图示为500'。例如,这可以是针对投影到球体上的一个或多个梯度磁场值采集的球面扩散数据。对于球面扩散部分的个体值中的每个,将其输入到个体或单个球面卷积神经网络部分900中。个体或单个球面卷积神经网络部分900能够经由权重共享702相互通信。每个单个球面卷积神经网络部分900的输出被输出到输出级联902。然后,输出级联902可以用来替换图5、6、7或8中图示的任何球面卷积神经网络502的输出。

图10示出了经训练的卷积神经网络122”'的另一示例。在该示例中,扩散磁共振成像数据124包括球面扩散部分和空间部分700。球面扩散部分500被输入到至少一个球面卷积神经网络部分502中。空间部分700被输入到空间卷积神经网络506。空间卷积神经网络506和至少一个球面卷积神经网络部分502都被连接到输出层508。然后,输出层508提供神经网络输出126。当存在多种类型的磁共振成像数据可用时,该示例可能是有用的。例如,可以训练经训练的卷积神经网络以将T1加权图像接收到空间CNN 506中。额外的T1加权图像可以帮助提供更准确的类别预测126或其他预测。

扩散磁共振成像(dMRI)是一种先进的神经影像学模态,其已被用于研究神经系统疾病,例如阿尔茨海默氏病。为了自动分类疾病并识别神经影像中的重要生物标记物,研究人员依靠对手工制作的特征的统计分析,例如,来自扩散张量成像(DTI)的分数各向异性(FA)或纤维束数量,其针对若干临床研究产生变化且常常是不确定的结果。为了克服手工dMRI特征的局限性,示例可以使用dMRI的深度学习框架,所述框架将球形CNN的新框架应用于与空间CNN结合的扩散信号,以进行自动分类。此外,通过识别在分类期间激活的关节球形和空间人工神经元,示例还可以提供一种新颖的纤维束显著图可视化,以定位作为疾病分类的原因的纤维束的空间和方向部分。

如上所述,扩散MRI(dMRI)是一种医学成像方法,用于在体内重建和可视化大脑中神经元纤维束的解剖网络。扩散MRI通过采集一组扩散加权图像来估计大脑体积中每个体素处神经元束的取向,从而测量大脑中水扩散的方向量。这些取向估计通过球形概率分布函数建模,例如在扩散张量成像(DTI)中称为扩散张量的3D高斯分布或在高角度分辨率扩散成像中的非参数化取向分布函数(ODF)。然后通过跟踪每个体素中这些球形PDF的峰值来重建纤维束。该技术对于分析解剖学上的大脑连接,研究神经和心理疾病以及发现生物标记物以及早发现诸如阿尔茨海默氏症的疾病非常重要。

dMRI分析的黄金标准是提取从预先定义的扩散模型解析计算出的手工特征,例如从扩散张量特征值计算出的分数各向异性(FA)和平均扩散率(MD),其给出指示每个体素中纤维的扩散性或完整性的量。其他常见特征是来自纤维束描记术的手工制作的连通性度量,例如连接不同感兴趣区域的纤维的数量、长度或密度。

使用特征图(即在每个体素上由标量特征形成的图像),标准流程是对空间对齐的健康和患病对象群体进行体素统计分析,以发现大脑的特定感兴趣区域中特征值之间的统计学显著差异。然后,基于正在研究的特征,可以形成有关扩散性的物理属性的解释,这些物理特性可以指示疾病。

但是,由于FA和MD等标量特征的含糊不清,许多研究未能提供一致的生物标记,原因是:1)扩散张量无法建模更复杂的扩散率分布图,如交叉纤维,以及2)将高维扩散信号提炼成一些手工制作的特征放弃了很多信号复杂性。此外,已经表明,纤维重建遭受假阳性问题。最后,由于个体之间的纤维束摄影术的广泛差异和假阳性纤维束的问题,纤维连通性特征作为疾病生物标志物也可能不可靠。

示例可以提供应用于dMRI大脑数据的深度学习框架,以用于神经疾病的分类以及疾病特征的定位和可视化。该部件利用了对球形扩散数据起作用的CNN和在空间域中起作用的CNN。通过在球形域和空间域之间共享网络权重,引入了一种工具,用于可视化CNN的球形和空间激活,以突出显示作为疾病分类的原因的纤维束段。随着球面域深层特征和CNN的出现,示例可以克服手工特征分析(例如FA和MD)当前的局限性。

示例可能包括针对扩散MRI数据的复杂结构唯一构建的深度神经网络。在这里,我们认为扩散MRI的结构由大脑体积的每个体素处的扩散信号的场组成,每个体素都是在单位球体上采集的。因此,我们有两个信号域:空间域和球形域。本发明利用最新的计算框架来构造用于球形信号的CNN,称为球形CNN。首先,将球形CNN应用于每个体素中的ODF。结果将是针对每个球形CNN层的深度ODF特征图。然后,我们将通常的空间CNN应用于每个球形CNN层,以构建用于神经疾病分类的联合空间和球形深层网络,所述网络在联合空间-球形域中共享网络权重。

给定所提出的疾病分类,可以在第二步中进行显著性映射,以识别来自深层网络的联合空间和球形人工神经元,这些神经元被激活用于疾病分类。这将在联合空间和球形域中提供热图,从中可以定位扩散方向和空间体素。使用纤维速成像,我们会将这些热图投影到纤维束上,以可视化指示疾病分类的片段。另外,可以通过空间和球形热图峰引导(或加权)纤维束成像,以创建与疾病有关的新的纤维束可视化。

示例可以适用于扩散MRI深度学习的许多应用。通过在球面和空间域中构建CNN,可以将许多常用的深度学习技术用于神经系统疾病的束线照相术、纤维分段和生物标记物发现中的各种任务。

尽管已经在附图和前面的描述中详细图示和描述了本发明,但是这样的图示和描述应当被认为是图示性或示范性的,而非限制性的。本发明不限于公开的实施例。

本领域技术人员通过研究附图、公开内容以及权利要求书,在实践请求保护的本发明时能够理解并且实现对所公开的实施例的其他变型。在权利要求中,“包括”一词不排除其他元件或步骤,并且词语“一”或“一个”不排除多个。单个处理器或者其它单元可以实现权利要求书中记载的若干项的功能。尽管特定措施是在互不相同的从属权利要求中记载的,但是这并不指示不能有利地使用这些措施的组合。可以将计算机程序存储/分布在与其它硬件一起提供或者作为其它硬件的部分提供的诸如光存储介质或者固态介质的合适介质上,但是还可以以诸如经因特网或者其它有线或无线电信系统的其它形式分布。权利要求书中的任何附图标记不应被解释为对范围的限制。

相关技术
  • 使用球形神经网络的扩散磁共振成像
  • 使用神经网络的计算机和使用该神经网络的方法
技术分类

06120113106439