三维对象的多尺度图像重建

相关申请

本申请涉及于2018年9月14日提交的美国临时申请No.62/731,652，该申请通过引用并入本文。

技术领域

背景技术

体层摄影是通过使用任何种类的穿透波通过截面或切片进行的成像。层析重建可以是用于重建对象的图像的数学程序。例如，X射线计算机体层摄影可以根据多幅投影射线照片产生图像。层析重建是一种涉及从有限数量的投影产生特定对象的估计的挑战的多维逆问题。

发明内容

本技术的一个方面是通过投影图像的多尺度图像分解和三维对象的多尺度图像重建来提供低时延的层析重建。在一个方面中，低时延是指与将投影图像数据传输到用于层析重建的计算资源相关联的时延。本技术通过将投影图像的至少一部分分解为在大小上小于投影图像的缩减图像集来减少该时延，并且可以通过网络将缩减图像集传输到远程数据中心(例如，“云”)以用于处理。将投影图像分解为缩减图像集允许投影图像数据通过网络更快地传输。此外，被确定为更相关的投影图像数据可以首先通过通信瓶颈被传输，以允许投影图像数据被用于生成层析重建，然后，随着时间的推移，随着接收到不太相关的数据，该层析重建可以被细化。在另一方面，低时延是指与生成层析重建相关联的时延。本技术可以使用远程数据中心的计算资源来并行处理投影图像数据，这可以减少与生成层析重建相关联的时延。在又一方面，低时延是指与将层析重建显示到显示设备相关联的时延。在一种情况下，本技术使用多分辨率多尺度重建过程来减少该时延，该多分辨率多尺度重建过程首先生成要显示到显示设备的缩减图像重建，并且通过生成要显示到显示设备的附加的更高分辨率和/或深度图像重建来递增地提高图像重建的质量。

因此，本技术可以通过并行化使用一系列二维图像来创建三维图像的重建方法来提供低时延层析重建，其中，使用多个渐进输入将重建过程分成多个重建以生成层析重建，从而有益于需要快速层析重建的介入成像系统。例如，当与诸如CT(计算机体层摄影)或CBCT(锥形束计算机体层摄影)的介入系统一起使用时，本技术可以减少重建时延，从而在程序期间(例如，0.1s及以上)允许将3D(三维)成像模态用作图像引导系统，提供更快的3D成像。可以改进许多遭受时延问题的外科手术解决方案(例如，闭环系统(诸如机器人系统)、自动注射造影剂、在脊柱后凸/椎体成形术中自动注射接合剂或在挑战性环境(诸如农村地区、在太空或水下环境中成像等)中的远程外科手术及远程成像)。

作为具体示例，本技术可以用于通过减少时延和实现虚拟荧光检查(即，计算机根据层析图像生成的类荧光检查法的投影)，来改进层析系统的性能，该层析系统诸如在美国专利No.10,070,828，美国申请公开No.US-2017-0200271-A1和国际申请公开No.WO 2019/060843中描述的那些层析系统(统称为“nView系统”)，这些申请通过引用合并。为标准荧光检查提供诸如nView的实时锥形束断层融合系统的系统的挑战在于，以一定角度(即，不垂直于x射线检测器)投射x射线，这可能导致可能使用户迷失方向的图像。可以用于解决该挑战的一个选择是根据层析重建生成虚拟投影。然而，在过去，与获取投影数据、重建层析图像并随后向用户生成虚拟投影相关联的延长的时延(即，大于20-30秒，并且有时更长)使得该选择不太优选。本技术可以用于减少与获取投影数据和重建层析图像相关联的时延，以使用重建的图像来渲染虚拟投影从而显示给用户，使得层析重建对于接近实时荧光检查是更期望的选择。例如，可以增加重建分辨率、视场和/或图像深度，同时提供更快的层析重建。本技术也可以与SaaS(软件即服务)商业模型一起使用，以提供低时延层析重建和/或虚拟荧光检查(例如，基于快速层析成像的实时成像模式，其中呈现给用户的图像包括通过体积重建的计算机生成的投影)。

因此，已经相当广泛地概述了本发明的更重要的特征，以便可以更好地理解下面的详细描述，并且可以更好地认识到本发明对现有技术的贡献。本发明的其它特征将从下面结合附图和权利要求对本发明的详细描述中变得更清楚，或者可以通过本发明的实践来获知。

附图说明

图1是示出了使用多尺度分解和多尺度重建的三维对象的层析重建的示例方法的流程图。

图2是示出了使用多尺度分解的三维对象的层析重建和使用并行处理的多尺度重建的示例方法的流程图。

图3是示出了使用批量数据来执行三维对象的多尺度分解和多尺度重建的层析重建的示例方法的流程图。

图4是示出了用于在远程数据中心中使用并行计算来生成三维对象的多尺度重建以处理多尺度重建的各层的示例方法的流程图。

图5是示出了被配置为使用迭代重建技术来重建三维对象的多尺度图像的示例成像系统的框图。

图6是示出了包括与远程数据中心中的计算资源进行网络通信的成像系统的示例系统的框图。

图7是示出了使用多尺度分解和多尺度重建来重建三维对象的示例方法的流程图。

图8是示出了可以用于执行使用多尺度分解和多尺度重建对三维对象进行层析重建的方法的计算设备的示例的框图。

图9A是使用与本公开一致的示例重建方法的脊柱模型的高分辨率最终重建。

图9B是图9A中的脊柱模型的第一尺度重建。

图9C是图9A的脊柱模型的第二尺度最终重建。

提供这些附图是为了说明本发明的各个方面，而不是要限制尺寸、材料、配置、布置或比例方面的范围，除非权利要求书另有限制。

具体实施方式

尽管这些示例性实施例被足够详细地描述以使本领域技术人员能够实践本发明，但是应当理解，在不脱离本发明的精神和范围的情况下，可以实现其它实施例，并且可以对本发明进行各种改变。因此，本发明的实施例的以下更详细描述不旨在限制如所要求的本发明的范围，而是仅为了说明的目的而呈现的，并不限制描述本发明的特征和特性，阐述本发明的最佳操作模式以及足以使本领域技术人员能够实践本发明。因此，本发明的范围仅由所附权利要求限定。

定义

在描述和要求保护本发明时，将使用以下术语。

除非上下文另外明确指出，否则单数形式“一”、“一个”和“该”包括复数对象。因此，例如，对“约束”的引用包括对一个或更多个这样的值的引用，并且对“合并(binning)”的引用是指一个或更多个这样的步骤。

如本文所使用的，为了方便起见，多个项目、结构元件、组成元件和/或材料可以以共同的列表呈现。然而，这些列表应被解释为如同列表的每个成员都被单独地识别为单个且独特的成员。因此，在没有相反指示的情况下，这种列表中的单个成员不应仅基于它们在共同组中的表现而被解释为相同列表中的任何其他成员的事实上的等同物。

如本文所使用的，术语“中的至少一个”旨在与“中的一个或更多个”同义。例如，“A、B和C中的至少一个”明确地包括仅A、仅B、仅C以及它们每个的组合。

任何方法或过程权利要求中所叙述的任何步骤都可以以任何顺序执行，并且不限于权利要求中所呈现的顺序。仅在对特定权利要求限制采用所有以下条件的情况下，才采用装置加功能或步骤加功能限制：a)“用于……的装置”或“用于……的步骤”被清楚地叙述；以及b)清楚地叙述对应的功能。在本文的描述中清楚地叙述支持装置加功能的结构、材料或动作。因此，本发明的范围应当仅由所附权利要求及其合法等同物来确定，而不是由本文给出的描述和示例来确定。

本技术

描述了用于在成像系统中提供三维对象的低时延层析重建的技术。在一个示例中，可以使用成像技术来捕获投影图像，该成像技术包括但不限于：医学成像、计算机体层摄影(CT)、断层融合(包括实时锥形束断层融合)、诊断成像、介入和外科手术成像，以实现虚拟荧光检查(例如，基于快速层析成像的接近实时成像模式，其中呈现给用户的图像包括通过体积重建的计算机生成的投影)、其他基于x射线的成像、磁共振成像(MRI)、弹性成像、超声、超声传输等。无论图像数据源如何，投影图像都可以被包括在投影图像数据集中，以允许使用迭代重建技术来生成三维对象的重建图像数据。

作为减少与生成三维对象的重建图像数据相关联的时延的一部分，可以将投影图像数据集分解为缩减图像数据集和剩余图像数据集。与投影图像数据集的数据量相比，缩减图像数据集可以具有较少的数据量，并且剩余图像数据集可以指示投影图像数据集与缩减图像数据集之间的图像差。在一个示例中，可以使用数据压缩技术来生成缩减图像数据集，并且可以计算缩减图像数据集与投影图像数据集之间的差以形成剩余图像数据集。在其他方面，缩减图像数据集可以被视为初级层数据集，而剩余图像数据集可以被视为次级层数据集。如稍后更详细地描述的，可以将次级层数据集进一步分解为多个附加层。

在将投影图像数据集分解为缩减图像数据集和剩余图像数据集之后，可以将数据集(即，缩减图像数据集和剩余图像数据集)传输到被配置为使用数据集重建三维对象的图像数据的计算资源。特别地，上述投影图像数据集可以是整个图像数据集或所获取图像的一部分。因此，本文描述的过程可以应用于图像数据的子集。例如，分解的投影图像数据集可以是2D图像的整个堆叠(例如，完整的正弦图、3D数据集)、单个2D投影、有限的图像片段(即，较大图像的较小片段)等。可以识别图像数据的相关子集，并且可以将图像数据的子集包括在缩减图像数据集中，以生成第一尺度图像重建的相关部分(例如，解剖结构)，该第一尺度图像重建的相关部分是比第一尺度图像重建的其他部分更高质量的表示。类似地，缩减图像数据集可以是缩减分辨率图像数据集、缩减深度图像数据集、多分辨率图像和/或多深度图像。如本文所使用的，“分辨率”可以指图像中的多个像素或体素的数量，和/或图像的深度(即，色度或灰度)。缩减多分辨率图像数据集可以包括具有更高分辨率的图像部分，而其他部分具有缩减的分辨率。作为示例，图像的中心部分可以保持为具有完全未压缩的分辨率，而图像的外部部分是缩减的分辨率。通过允许图像数据集的部分保持全深度，而其它部分是缩减的深度(例如，8位而不是24位，或2位而不是24位等)，可以将类似的方法应用于深度(即，色度或灰度)。当例如在利用光子计数检测器或双能量曝光的多能量x射线数据获取物中获取多色或多维图像时，缩减数据集可以是(以灰度级表示的)单色图像，并且剩余数据集可以包含一个或更多个颜色通道(例如以对图像的多能量分量进行编码)。

作为一个示例，数据集可以被传输到远程数据中心(例如，“云”)，该远程数据中心托管被配置为使用数据集来重建三维对象的图像数据的计算资源。作为另一示例，包括在本地成像系统(例如，用于捕获投影图像的成像系统)中的计算资源可以用于使用数据集来重建三维对象的图像数据。通过将投影图像数据集分解为缩减图像数据集和剩余图像数据集，能够减小投影图像数据集的大小，以允许与将缩减图像数据集与剩余图像数据集传输到用于重建三维对象的图像数据的计算资源相关联的减少的时延。

可以使用迭代重建技术来生成三维对象的重建图像数据。在一个示例中，重建技术可以包括使用缩减图像数据集来生成三维对象的第一尺度图像重建(例如，表示三维对象的第一图像体积)，以及使用剩余图像数据集来生成三维对象的第二尺度图像重建(例如，表示三维对象的第二图像体积)。在一些情况下，重建技术可以是迭代重建。

在一个替代方案中，可以根据三维对象的第一尺度图像重建的较低分辨率和/或较低深度描述获得剩余图像数据集。当重建是低分辨率、低深度时，获得重建的描述，然后通过投影并与初始图像比较，可以识别剩余图像数据集。因此，第一数据集的大小并不总是缩减的。例如，具有低分辨率投影图像的第一层可以用于描述低分辨率重建，然后，拍摄全分辨率图像，并将其与较低分辨率重建的投影进行比较，以创建剩余图像，然后，将剩余图像重建成为第二尺度重建。这种替代方法的一个优点是可以使用更简单(因此在某些情况下更快)的重建方法，因为在第一尺度重建中产生的任何建模或数学误差都可以通过第二尺度重建恢复。一种这样的更简单的重建方法是滤波反投影法，该方法比其他迭代方法更快但更不精确。

当生成第一尺度图像重建和第二尺度图像重建时，可以使用第一尺度图像重建和第二尺度图像重建来生成三维对象的多尺度重建(例如，表示三维对象的第三图像体积)。在一个示例中，可以通过在已经生成第一尺度图像重建之后直接提供用于显示到显示设备的第一尺度图像重建来减少与将三维对象显示到显示设备相关联的时延。在这样做时，可以在生成三维对象的更高质量图像之前向用户提供三维对象的图像。随后，可以在生成第二尺度图像重建之后，将该第二尺度图像重建提供给显示设备进行显示，从而向用户提供比第一尺度图像重建的图像更高质量的三维对象的图像。当三维对象的多尺度重建变得可用时，可以提供多尺度重建以显示到显示设备，从而提供比第二尺度图像重建的图像更高质量的三维对象的图像。如本文所使用的，“更高质量”可以指更高的图像分辨率和/或更高的深度(色度或灰度)。时延通常可以小于约二十秒，并且根据图像分辨率、可用的计算资源和图像内容时延最经常地小于约五秒。在一些低分辨率情况下，时延可以小于一秒。无论如何，在本发明的上下文中，术语“实时”和“接近实时”是指小于5秒。这些相同的原理也可以应用于单独的投影而不是完整的三维图像。在任一情形中，重建第一缩减图像，然后可以独立于第一缩减图像重建图像剩余部分。尽管通常将重建图像显示到显示设备以供人类查看，但是重建图像也可以用作计算机视觉算法的输入。例如，如果图像由机器人系统使用，则计算机视觉算法可以处理层而无需重新组合。

为了进一步描述本技术，现在参考附图提供示例。图1是示出了用于使用多尺度分解和多尺度重建对三维对象进行层析重建的示例方法100的流程图。如在框102中，可以从被配置为检测来自一个或更多个辐射源的x射线辐射的一个或更多个成像数据检测器获取投影图像。投影图像可以是(例如，使用CT扫描仪生成的)一维图像或(例如，使用CT扫描仪或CBCT扫描仪生成的)二维图像，其中投影图像可以包括完整的可用图像集或可用图像的子集。在一些示例中，在获取投影图像以用于三维对象的层析重建之前，可以执行投影图像的预处理，诸如去噪、尺度改变等。

如在框104中，多尺度分解过程可以用于生成缩减图像(在框104中示为“I

在一个示例中，通过对具有较小深度的投影图像的每个尺度进行编码以产生与投影图像相比具有较少位的较低深度图像，可以将投影图像缩减到较小尺寸。例如，16位或浮点值的投影图像可以被缩放到8位以产生缩减分辨率图像。作为示例，将在每个图像轴上将分辨率除以2的图像合并与8位编码组合，可以将16位投影图像的大小缩减到作为投影图像的大小的八分之一的缩减分辨率图像。说明性地，当投影图像被分解为8位深度缩减分辨率图像时，GPU(图形处理单元)可以有利地使用8位定点运算，以进一步加速使用缩减分辨率图像的三维对象的重建。

作为另一示例，可以通过在图像合并之前生成投影图像的模糊版本来缩减投影图像。在另一个示例中，最高有效位技术(例如，位树)可以用于识别要包括在缩减图像中的投影图像的一部分，并且可以留出投影图像的剩余部分以供稍后使用。在一些示例中，可以使用上述技术的组合来生成缩减图像。说明性地，给定缩减图像的压缩性质(例如，由于深度，缩减图像可以是投影图像的大小的一半，并且通过将投影图像的每个轴上的分辨率减半，缩减图像可以是投影图像的大小的四分之一，结果得到投影图像的总大小的八分之一)的情况下，可以在传输投影图像所需的时间的一部分中传输缩减分辨率图像。如将理解的，本技术不限于上述数据压缩技术。本技术可以使用任何类型的数据压缩来生成缩减图像。

可以生成在框104中生成的剩余图像，以指示从一个或更多个成像数据检测器获取的投影图像与缩减图像之间的图像分辨率差。在一个示例中，可以通过确定投影图像与缩减图像之间的分辨率差来获得剩余图像。在另一个示例中，可以前向投影(FPJ)第一尺度图像重建(如下所述)以产生剩余图像。剩余图像的大小可以近似小于全分辨率图像的大小。在一个示例中，为了进一步缩减与传输及处理较大图像相关联的时延，可以通过使用有损压缩技术来压缩第一剩余图像集以生成在重建三维对象中使用的第二剩余图像集并丢弃第一剩余图像集来进一步分解剩余图像。有损压缩技术可以包括但不限于JPEG、JPEG2000、H.264等。无损压缩可以包括但不限于ZIP、GZIP、稀疏图像编码等。

如在框106中，可以使用缩减图像生成三维对象的第一尺度图像重建(在框106中示为“V

迭代前向/反向投影过程可以用于对批量图像(例如，缩减图像)进行操作(诸如有序子集)，以重建三维对象的图像，这可以减少与等待完整的图像集开始重建三维对象的图像相关联的时延。例如，如果重建过程使用一批一幅图像(或可变的批大小，但以一幅图像开始)，则与开始重建相关联的时延是将第一图像从图像捕获设备(例如，成像检测器)传送到用于重建三维对象的图像的计算资源的时间。可以在“每图像部分”基础上，向下至“每射线基础”或“每像素基础”采取类似的子集方法。在这些示例中，用于重建三维对象的数据子集可以在接收到图像的一部分而下降到单个图像像素时开始。批处理可以有利地用于匹配特定的存储器和计算能力。例如，在一个极端，每个单个射线或像素都可以被处理为实际上没有存储器并且没有计算机并行化能力，并且可以适合于非常简单和快速的处理器(例如量子计算机)。在另一极端，大批量可以更好地适合于具有大量可用存储器和并行化计算的能力的多GPU云环境。在实践中，批是可变的并且大小随时间增加的方案是有利的，因为它使由于数据可用性和初始传输引起的时延最小化，同时稍后使计算时延最小化，因为更多数据可用并且可以被并行化利用。

在一个示例中，机器学习可以用于生成或修改三维对象的第一尺度图像重建。例如，在获得更新体积ε之后，诸如神经网络(NN)的深度学习正则化矩阵可产生更新的解。深度学习正则化矩阵可以在配准框架中操作以使得NN能够添加特征并移除伪影。在一些示例中，当生成第一尺度图像重建时可以应用密度约束。密度约束可包括但不限于空的空间、已知的对象和医疗器械、解剖特征、对象边界等。在一些示例中，正则化矩阵可以用于将对象特征和密度约束引入到第一尺度图像重建中。例如，层析重建中的正则化矩阵可以是平滑约束(例如，总变分)和密度约束(例如，正性约束)。此外，模糊、去噪或总变分可被用作正则化矩阵。第二层可能需要非常不同的正则化矩阵，通常是对称的和非模糊的特性。迭代重建过程的每个步骤都可以提高第一尺度图像重建的质量，并且正则化矩阵可以用于通过合并关于三维对象的先验知识来限定解空间。例如，可以分别使用在第一尺度图像重建期间的正性约束或平滑约束来加强以下知识：被成像的三维对象的投影图像仅包含正值，或者三维对象的投影图像在均匀区上具有指定的平滑度。

在一些示例中，三维对象的第一尺度图像重建可以在三维对象的重建期间和/或在重建三维对象之后被显示到显示设备(例如，监视器、触摸屏等)。例如，可以提供第一尺度图像重建以用于显示在显示设备上，以允许用户在三维对象的多尺度重建(例如，高分辨率和/或深度重建)的重建之前查看三维对象的第一尺度图像重建。显示第一尺度图像重建缩减了与生成三维对象的更高质量的重建图像以及一旦图像可用就向显示设备显示三维对象相关联的时延。

如在框108中，可以执行更新的多尺度分解，其中可以通过将前向投影(FPJ)算子应用于第一尺度图像重建(在框108中示为“V

如在框110中，可以使用剩余图像(在框110中示为“I

在另一示例中，第二尺度图像重建可以是与第一尺度图像重建相同的分辨率和/或深度，并且第二尺度图像重建可以在位置上移位以便创建与第一尺度图像重建交错的体积。这避免了在图像的重叠节点处编码和处理零值。在一些实例中，三维对象的第二尺度图像重建可以基于网格生成，该网格被选择为不包括与第一尺度图像重建共同的任何节点，以便提高与生成第二尺度图像重建相关联的计算效率。例如，具有相同分辨率的半体素偏移的交错网格可以用于生成第二尺度图像重建。在一些示例中，在已经生成三维对象的第二尺度图像重建之后，可以直接提供第二尺度图像重建以用于在显示设备上显示，以允许用户在三维对象的多尺度重建的重建之前查看三维对象的第二尺度图像重建。

如在框112中，可以使用第一尺度图像重建(在框112中示为“V

如在框114中，三维对象的多尺度图像重建(在框114中示为“V”)可以被显示到显示设备。三维对象的可视化可以包括体积数据的切片、三维渲染、投影等。可视化还可以包括后处理。这种处理可以包括去噪、插值、重采样、非线性操作(例如举几个例子来说：伽马校正和经由颜色映射的维度扩展)。图像重建(例如，第一尺度图像重建、第二尺度图像重建或多尺度图像重建)的显示可以被提供给本地显示器，或者被提供给远程显示器，并且在远程数据中心中执行处理的情况下，图像可以在远程数据中心处被渲染并且图像的渲染可以被提供用于显示到本地显示设备。这种远程到本地的显示传输可以例如经由诸如H.264的视频压缩来实现。诸如JPEG2000的压缩技术将图像分解为层。通过缩减编码时间并因此缩减时延，将多尺度重建层与压缩技术输入相匹配可以是有利的。类似地，当图像与作为(例如用于机器人手术的)图像消费者的计算机视觉算法配对时，将多尺度重建层与计算机视觉算法输入相匹配可能是有利的(例如剩余层通常具有差分内容，该差分内容可以由算法直接利用来识别解剖结构的边缘，如图9A、9B和9C所示)。图9A是脊柱模型的高分辨率最终重建。图9B是脊柱模型的第一尺度重建。注意，与图9A相比，图9B是模糊的。图9C是第二尺度最终重建。

图2是示出了使用多尺度分解的三维对象的层析重建和使用并行处理的多尺度重建的示例方法200的流程图。如在框202中，可以获取包括多个投影图像的投影图像数据集，以允许使用迭代重建技术生成三维对象的重建图像数据。投影图像可以包括由成像检测器响应于检测来自辐射源的x射线辐射而生成的投影数据。如结合图1详细描述的，如在框204中，可以执行投影图像数据集的多尺度分解，以针对包括在投影图像数据集中的多幅投影图像中的每个生成缩减图像，并且针对缩减图像生成剩余图像，该剩余图像指示多幅投影图像和缩减图像之间的图像差。

如在框206和框208中，在将投影图像数据集的至少一部分分解成缩减图像和剩余图像数据集之后，可以执行第一尺度图像重建和第二尺度图像重建。三维对象的第一尺度图像重建和第二尺度图像重建可以并行执行。在一个示例中，可以使用包括用于并行生成第一尺度图像重建和第二尺度图像重建的计算资源的远程数据中心(“云”)。计算资源可以利用GPU集群或多GPU环境，GPU集群或多GPU环境可以用于生成第一尺度图像重建和第二尺度图像重建。说明性地，本地计算资源可以用于将投影图像数据集分解为缩减图像和剩余图像，此后，缩减图像和剩余图像可以被传输到远程数据中心以用于第一尺度图像和第二尺度图像的并行重建。在一个示例中，本地计算机可以重建第一层，而第二层可以在云中被处理。在又一示例中，计算资源可以用于并行地生成第一尺度图像重建和第二尺度图像重建。与并行生成第一尺度图像重建和第二尺度图像重建相关联的一个缺点是：由于不执行更新的多尺度分解(如图1的框108所述)，可能不能解决第一尺度图像重建的重建不完整性，其中当生成第二尺度图像重建时不完整性可以被解决(如图1的框110所示)。为了补偿这个缺点，可以在多尺度图像重建之后执行附加的重建迭代，以解决可能发生的最终差异。相反，这种方法的一个优点是：在不同计算单元之间同步数据的要求有限，从而使计算更有效。例如，如果相同的尺度重建被分割到不同的计算单元中，则迭代地改变的重建解必须被分布在不同的计算单元上，并且例如经由求平均而与其他计算单元的解合并。

如在框210中，如前所述，可以使用第一尺度图像重建和第二尺度图像重建来生成三维对象的多尺度图像重建。在远程数据中心生成第一尺度图像重建和第二尺度图像重建的示例中，第一尺度图像重建和第二尺度图像重建可以被传输回用于生成三维对象的多尺度图像重建的本地计算资源，并且可以提供多尺度图像重建以用于在显示设备上显示，如在框212中。或者，可以在远程数据中心处生成三维对象的多尺度图像重建，并且可以将多尺度图像重建传输到本地计算资源以用于显示到显示设备(如在框212中)，或者可以在远程数据中心处渲染多尺度图像重建并且可以提供三维对象的渲染以用于显示到本地显示设备。

图3是示出了使用批量数据来执行三维对象的多尺度分解和多尺度重建的层析重建的示例方法300的流程图。方法300可以包括成批地获取三维对象的投影图像，以允许在第一投影图像可用于处理时开始处理，并且允许对投影图像进行并行处理，从而缩减由于采集系统在提供投影图像方面较慢而导致的时延。

如在框302a中，可以获取第一投影图像，于是在获取第一投影图像之后，如在框304a中，可以使用多尺度分解过程来根据投影图像生成缩减图像和剩余图像。如在框306a中，可以使用缩减图像来开始三维对象的第一尺度重建。

当正执行框306a中所示的第一尺度重建时，附加投影图像变得可用，如框302b中那样，可以获取附加投影图像。如在框304b中，可以对附加投影图像执行多尺度分解处理，并且如在框306b中，可以使用根据附加投影图像生成的缩减图像继续三维对象的第一尺度重建。如在框302n中，可以获取最近投影图像，并且如在框304n中，可以对最近投影图像执行多尺度分解过程。此后，如在框306n中，可以使用根据最近投影图像生成的缩减图像来完成三维对象的第一尺度重建。可以用于三维对象的第一尺度重建的重建方法的示例包括但不限于有序子集重建方法、随机梯度下降方法、Nesterov方法或其他基于动量的方法，以及可以在每个优化步骤使用图像数据的子集来利用成批的图像数据的其他方法。

如框302b所示，第二输入(示为“I

在生成了三维对象的第一尺度图像重建之后，如在框308中，可以执行更新的多尺度分解，其中，如在框304a-n中，可以通过将前向投影(FPJ)算子应用于第一尺度图像重建并确定结果与投影图像之间的分辨率/深度差来更新根据投影图像生成的剩余图像。此后，如在框310中，可以使用更新的剩余图像来生成第二尺度图像重建，并且如在框312中，可以使用第一尺度重建和第二尺度重建来生成三维对象的多尺度图像重建。最后，如在框314中，可以将三维对象的多尺度图像重建显示到显示设备。

图4是示出了用于在远程数据中心中使用并行计算来处理三维对象的多尺度重建的层的多尺度重建的示例方法400的流程图。如图所示，可以成批地获取三维对象的投影图像。在接收到投影图像之后，可以在本地执行先前描述的多尺度分解过程，以减少将所得到的缩减图像和剩余图像传送到位于远程数据中心的计算资源所需的时间。计算资源可以被配置为使用缩减图像和剩余图像来开始三维对象的第一尺度重建和第二尺度重建。

当获取到附加投影图像时，可以根据投影图像生成缩减图像和剩余图像，并且可以将缩减图像和剩余图像传输到远程数据中心，以允许使用缩减图像和剩余图像来生成三维对象的第一尺度重建和第二尺度重建。

如图4所示，缩减图像可被存储到数据存储器402，而剩余图像可被存储到数据存储器404。作为生成三维对象的第一尺度图像重建的一部分，可以从数据存储器402中选择可用的缩减图像的子集，并且可以使用缩减图像的子集来生成第一尺度重建。可以从数据存储器404中选择可用的剩余图像的子集，并且剩余图像的子集可以用于生成三维对象的第二尺度重建。关于图1描述的迭代重建技术可以用于生成第一尺度图像重建和第二尺度图像重建，并且退出标准(例如，缩减图像/剩余图像的数学范数或从缩减图像/剩余图像导出的度量)可以用于确定何时退出迭代重建过程。然后，所得到的第一尺度重建和第二尺度重建可以用于生成多尺度图像重组，如前所述，可以将该多尺度图像重组显示到显示设备。

图5是示出了被配置为使用迭代重建技术来重建三维对象的多尺度图像的示例成像系统502的框图。如图所示，成像系统502可以包括成像模态510、计算设备512以及显示设备514，成像模态510被配置为生成三维对象的投影图像数据集，计算设备512用于托管与生成和显示三维对象的图像重建相关联的各种模块，显示设备514用于显示三维对象的图像重建。

成像系统502的组件可以包括在工作站中，或者成像系统502的组件可以单独地定位并且可以被配置为通过网络(例如，局域网(LAN)、广域网(WLAN)、短程网络协议或诸如4G或5G的蜂窝网络等)彼此通信。说明性地，成像系统502可以是CT扫描仪或CBCT成像系统。成像模态510可以是结合例如计算机体层摄影、射线照相术、荧光检查和x射线断层融合的成像技术的任何成像设备，尽管也可以使用其它技术，诸如弹性成像、触觉成像、热成像和/或医学摄影和核医学功能成像技术(如正电子发射断层成像(PET)和单光子发射计算机断层成像(SPECT))。在一个示例中，成像模态510可以是计算机体层摄影(CT)扫描仪或断层融合系统。如将理解的，本文没有具体描述的成像模态也在本公开的范围内。例如，诸如在美国专利No.10,070,828和美国申请公开No.2017-0200271-A1以及PCT申请公开No.WO 2019/060843(所有这些申请都通过引用并入本文)中描述的那些成像系统是用于图像重建的特别有效的系统。

计算设备512可以包括基于处理器的系统，并且可以包括能够从成像模态510接收投影图像数据并将重建的投影图像数据输出到图像显示模块508以及托管图像分解模块和迭代重建模块506的任何这样的设备。当在计算设备512上执行时，图像分解模块504将投影图像数据集分解为与投影图像数据集相比具有较少数据量的图像数据集的集合。特别地，图像分解模块504生成缩减图像数据集和图像剩余数据集。图像分解模块504可以被配置为将有损数据压缩技术应用于投影图像数据集以生成缩减图像数据集，与投影图像数据集的分辨率相比，该缩减图像数据集具有较少的数据量。此外，图像分解模块504可以被配置为通过计算投影图像数据集和缩减图像数据集之间的图像分辨率差来生成图像剩余数据集。可以将由图像分解模块504生成的缩减图像数据集和图像剩余数据集提供给迭代重建模块506。

当迭代重建模块506在计算设备512上执行时，迭代重建模块506使用应用于从图像分解模块504接收的缩减图像数据集和图像剩余数据集的迭代重建技术来重建三维对象的图像。迭代重建模块506使用缩减图像数据集生成三维对象的第一尺度图像重建，并且使用图像剩余数据集生成三维对象的第二尺度图像重建。当生成第一尺度图像重建和第二尺度图像重建时，迭代重建模块506使用第一尺度图像重建和第二尺度图像重建生成三维对象的多尺度图像重建。

如上所述，迭代重建模块506使用迭代重建技术生成图像重建(即，第一尺度图像重建、第二尺度图像重建和多尺度图像重建)。在一个示例中，迭代重建技术包括以下步骤：(i)前向投影地面实况图像体积以产生二维投影图像集，(ii)确定投影图像数据集和二维投影图像集之间的差，(iii)通过将差反向投影到三维空间中来生成更新体积，以及(iv)将更新体积并入到三维对象的图像的重建中。在一个示例中，正则化矩阵可以用于将对象特征和约束(例如，密度、边界、曲线等)引入到正被重建的三维对象的图像中。在至少一个示例中，机器学习模型可以被用作正则化矩阵。例如，在重建过程的一个或更多个迭代之后，机器学习模型的输出可以被提供作为重建过程的下一次迭代的输入。在一些示例中，多个机器学习模型可以在迭代重建技术的不同阶段被用作正则化矩阵。

可以将由迭代重建模块506生成的图像重建(即，第一尺度图像重建、第二尺度图像重建和多尺度图像重建)提供给图像显示模块508，图像显示模块508被配置为将图像重建输出到显示设备514，显示设备514包括用于将重建的图像呈现给用户(例如医疗专业人员)的监视器、移动设备或其它类型的显示器。在一个示例中，可以将图像重建在被生成之后直接提供给图像显示模块508，以缩减与生成更高质量的图像重建相关联的时延。作为示例，迭代重建模块506可以在第一尺度图像重建准备好时向图像显示模块508提供第一尺度图像重建以用于在显示设备514上显示。随后，迭代重建模块506可以向图像显示模块508提供第二尺度图像重建，并且此后提供多尺度图像重建，以用于在显示设备514上显示，以便增加三维对象的图像重建的分辨率、视场和/或图像深度。由图像显示模块508提供的三维对象的可视化可以包括三维渲染、投影、对体积数据的切片等。

图6是示出了包括如关于图5描述的成像系统604的示例系统600的框图，该示例系统600与远程数据中心602(例如，“云”计算环境)中的计算资源进行网络通信。在该示例中，成像系统604可以包括成像模态608、计算设备616以及显示设备614，成像模态608被配置为生成三维对象的投影图像数据集，计算设备616用于托管与生成和显示三维对象的图像重建相关联的各种模块，显示设备614用于显示三维对象的图像重建。

计算设备616可以托管图像分解模块610、多尺度重建模块620和图像显示模块612。当图像分解模块610在计算设备616上执行时，图像分解模块610将从成像模态608接收的投影图像数据集分解为缩减图像数据集和图像剩余数据集，并将数据集发送到远程数据中心602，以使用迭代重建模块606的实体进行并行处理，从而生成如前所述的第一尺度图像重建和第二尺度图像重建。

多尺度重建模块620接收从远程数据中心602发送的第一尺度图像重建和第二尺度图像重建，并将第一尺度图像重建和第二尺度图像重建提供给多尺度重建模块620。此后，当多尺度重建模块620在计算设备616上执行时，多尺度重建模块620使用上面关于图5描述的第一尺度图像重建和第二尺度图像重建以及迭代重建技术来生成三维对象的多尺度图像重建，并且将三维对象的多尺度图像重建提供给图像显示模块612以用于显示到显示设备614。

远程数据中心可以包括用于托管迭代重建模块606的实体的计算资源。计算资源可以包括服务器和/或在服务器上执行的虚拟机。用于重建三维对象的图像数据可以通过网络618在远程数据中心602和成像系统604之间发送。网络618可以包括任何有用的计算网络，该计算网络包括内联网、因特网、局域网、广域网、无线数据网络或任何其它这样的网络或它们的组合。用于这种网络618的组件可以至少部分地取决于所选择的网络和/或环境的类型。网络上的通信可以通过有线连接或无线连接及它们的组合来实现。

在远程数据中心602上托管的重建模块606在被执行时，重建模块606可以使用应用于从图像分解模块610接收的缩减图像数据集和图像剩余数据集的重建技术来重建三维对象的图像。重建模块606使用缩减图像数据集生成三维对象的第一尺度图像重建，并且使用图像剩余数据集生成三维对象的第二尺度图像重建。重建图像的生成可以使用重建模块606的多个实体并行执行。在生成重建图像(例如，第一尺度图像重建或第二尺度图像重建)之后，迭代重建模块606将第一尺度图像重建和第二尺度图像重建发送到位于成像系统604中的多尺度重建模块620，以允许多尺度重建模块620生成三维对象的多尺度图像重建，以用于在显示设备614上显示。

图7是示出了使用多尺度分解和多尺度重建来重建三维对象的示例方法700的流程图。如在框710中，可以接收投影图像数据集，其中，可以由至少一个成像检测器响应于检测来自至少一个辐射源的x射线辐射而生成投影图像数据集，以允许使用迭代重建技术来生成三维对象的重建图像数据。

在一个示例中，使用有损数据压缩技术来生成缩减图像数据集。在一些示例中，投影图像数据集可以包括投影图像数据的有序子集，以允许在接收完整的投影图像集之前开始三维对象的重建。

如在框720中，可以根据投影图像数据集来生成缩减图像数据集，其中，与从至少一个成像数据检测器接收的投影图像数据集的数据量相比，缩减图像数据集具有较少的数据量。如在框730中，可以生成图像剩余数据集以指示投影图像数据集和缩减图像数据集之间的图像分辨率差。

如在框740中，可以执行重建技术以生成三维对象的重建图像数据，包括至少生成：(i)使用缩减图像数据集生成的显示到显示设备的三维对象的第一尺度图像重建，(ii)使用图像剩余数据集生成的显示到显示设备的三维对象的第二尺度图像重建，以及(iii)使用第一尺度图像重建和第二尺度图像重建生成的显示到显示设备的三维对象的多尺度图像重建。

在一个示例中，迭代重建技术包括：前向投影地面实况图像体积以产生二维投影图像集，(ii)确定投影图像数据集和二维投影图像集之间的差，(iii)通过将该差反向投影到三维空间中来生成更新体积，以及(iv)将更新体积并入到三维对象的图像的重建中。

在一个示例中，可以在生成三维对象的第一尺度图像重建之后直接向显示设备显示该第一尺度图像重建，并且可以在生成三维对象的第二尺度图像重建之后直接向显示设备显示该第二尺度图像重建。

在一个示例中，可以并行地生成第一尺度图像重建和第二尺度图像重建。在一些示例中，生成三维对象的第一尺度图像重建和第二尺度图像重建包括将约束(例如，边界、曲线、空白空间、已知对象和医疗器械、解剖特征等)应用于重建。

在一个示例中，生成第二尺度图像重建包括增加三维对象的第二尺度图像重建内的感兴趣区的分辨率。在一些示例中，与第一尺度图像重建的分辨率相比，三维对象的第二尺度图像重建可以具有更高的分辨率。在其它示例中，三维对象的第二尺度图像重建可以是与第一尺度图像重建相同的分辨率，并且第二尺度图像重建可以在位置上移位以创建与第一尺度图像重建交错的体积。

图8示出了本技术的服务模块可在其上执行的计算设备810。示出了计算设备810，在计算设备810上可以执行该技术的高级示例。计算设备810可以包括与存储器设备820通信的一个或更多个处理器812。计算设备810可以包括用于计算设备中的组件的本地通信接口818。例如，本地通信接口818可以是本地数据总线和/或可能期望的任何相关的地址或控制总线。

存储器设备820可以包含模块824以及用于模块824以提供各种服务的数据，模块824可由(一个或更多个)处理器812执行。在一个方面中，存储器设备820可以包括图像分解模块、重建模块、多尺度重建模块、图像显示模块和其它模块。数据存储器822也可位于存储器设备820中，用于存储与模块824和其它应用以及可由(一个或更多个)处理器812执行的操作系统有关的数据。

其它应用程序也可存储在存储器设备820中且可由(一个或更多个)处理器812执行。在本说明书中讨论的组件或模块可以使用高级编程语言以软件的形式实现，高级编程语言使用方法的混合来编译、解释或执行。

计算设备还可以访问可由计算设备使用的I/O(输入/输出)设备814。I/O设备的示例是可用于显示来自计算设备810的输出的显示屏830。联网设备816和类似的通信设备可以被包括在计算设备中。联网设备816可以是连接到因特网、LAN、WAN或其他计算网络的有线或无线联网设备。

被示为存储在存储器设备820中的组件或模块可由(一个或更多个)处理器812执行。术语“可执行”可以表示可以由处理器812执行的形式的程序文件。例如，可以以能够被加载到存储器设备820的随机存取部分中并由处理器812执行的格式将高级语言的程序编译成机器代码，或者源代码可以被另一可执行程序加载并被解释以在存储器的随机存取部分中生成将由处理器执行的指令。可以将可执行程序存储在存储器设备820的任何部分或组件中。例如，存储器设备820可以是随机存取存储器(RAM)、只读存储器(ROM)、闪存、固态驱动器、存储卡、硬盘驱动器、光盘、软盘、磁带或任何其它存储器组件。

处理器812可表示多个处理器，包含但不限于中央处理单元(CPU)、图形处理单元(GPU)、FPGA、量子计算机或以上的集群，且存储器设备820可表示与处理电路并行操作的多个存储器单元。这可以为系统中的处理和数据提供并行处理通道。本地通信接口818可以用作网络以便于多个处理器中的任何一个与多个存储器之间的通信。本地通信接口818可以使用被设计用于协调通信的附加系统，诸如负载平衡、批量数据传送和类似系统。

虽然针对该技术呈现的流程图可以暗示特定的执行顺序，但是执行顺序可以与图示的不同。例如，两个或更多个框的顺序可以相对于所示的顺序重新排列。此外，连续示出的两个或更多个框可以并行地或部分并行地执行。在一些配置中，可以省略或跳过流程图中所示的一个或更多个框。为了增强实用性、计数、性能、测量、故障检修或出于类似原因，可以将任意数量的计数器、状态变量、警告信号或消息添加到逻辑流中。

本说明书中描述的一些功能单元已经被标记为模块，以便更具体地强调它们的实现独立性。例如，模块可以被实现为硬件电路，该硬件电路包括定制VLSI电路或门阵列、成品半导体(诸如逻辑芯片、晶体管或其他分立组件)。模块还可以在可编程硬件设备(例如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等)中实现。

模块还可以以软件实现，以便由各种类型的处理器(例如CPU或GPU、混合环境和集群)执行。可执行代码的识别模块例如可以包括一个或更多个计算机指令块，一个或更多个计算机指令块可以被组织为对象、程序或函数。然而，识别模块的可执行文件不需要物理地位于一起，而是可以包括存储在不同位置中的不同指令，这些指令包括该模块并且当逻辑地结合在一起时实现该模块的规定目的。

实际上，可执行代码的模块可以是单个指令，或者许多指令，并且甚至可以分布在若干不同的代码段上、在不同的程序之间以及跨越若干存储器设备。类似地，本文中可以在模块内识别和示出操作数据，并且可以以任何合适的形式体现以及组织在任何合适类型的数据结构内。操作数据可以被收集为单个数据集，或者可以分布在不同位置上，包括分布在不同存储设备上。模块可以是被动的或主动的，包括可操作以执行期望功能的主体。

本文描述的技术也可以存储在计算机可读存储介质上，该计算机可读存储介质包括利用用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何技术实现的易失性和非易失性、可移动和不可移动介质。计算机可读存储介质包括但不限于非暂时性机器可读存储介质(诸如RAM、ROM、EEPROM、闪存或其他存储器技术)、CD-ROM、数字多功能盘(DVD)或其他光学存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储设备、或可用于存储期望的信息和所描述的技术的任何其他计算机存储介质。

本文描述的设备还可以包含允许设备与其他设备通信的通信连接或联网装置及联网连接。通信连接是通信介质的一个示例。通信介质通常体现为计算机可读指令、数据结构、程序模块和已调制数据信号中的其它数据(诸如载波或其它传输机制)，并包括任何信息传递介质。“调制数据信号”是指以在信号中的编码信息的方式设置或改变其一个或更多个特征的信号。作为示例而非限制，通信介质包括有线介质(诸如有线网络或直接线连接)以及无线介质(诸如声音、射频、红外和其它无线介质)。本文使用的术语计算机可读介质包括通信介质。

参考附图中示出的示例，并且在本文使用特定语言来描述这些示例。然而，应理解，并不因此而旨在限制本技术的范围。本文所示出的特征的改变和进一步修改以及本文所示出的示例的附加应用将被认为是在本说明书的范围内。

此外，所描述的特征、结构或特性可以以任何合适的方式组合在一个或更多个示例中。在先前的描述中，提供了许多具体细节(诸如各种配置的示例)，以提供对所描述的技术的示例的透彻理解。然而，将认识到，可以在没有一个或更多个特定细节的情况下，或者利用其他方法、组件、设备等来实践本技术。在其他实例中，没有详细示出或描述公知的结构或操作，以避免使本技术的各方面模糊。

尽管已经以特定于结构特征和/或操作的语言描述了主题，但是应当理解，所附权利要求中定义的主题不必限于上述特定特征和操作。相反，上述特定特征和动作是作为实现权利要求的示例形式来公开的。在不脱离所述技术的精神和范围的情况下，可以设计出许多修改和替代布置。