运动补偿的小波血管造影

技术领域

本领域总体上涉及血管造影，并且更具体地，涉及用于重建移动血管脉搏波的时空图像的方法和系统，该移动血管脉搏波应用于以比心脏频率更快的速率获取的一序列血管造影图像，其中血管、组织和/或器官以心脏频率进行大规模运动。

背景技术

心脏将血液作为一序列的动脉搏出量(stroke volume)发送到身体。当行进的动脉搏出量到达器官的脉管系统时，动脉搏出量引起血管的协调运动以及血管直径的扩张，以适应经过的动脉冲程体积。由于心脏的心室以心脏频率收缩，因此动脉血管的这些协调运动和扩张在全身以心脏频率发生。

在血管造影中，将一定剂量的化学造影剂注射到血管系统中。造影剂允许身体中的血管可视化。现有技术不适合对经历大规模运动的血管对象(诸如由于心脏跳动而经历大规模运动的血管)中的移动血管脉搏波进行时空重建。血管对象的大规模运动阻碍了对对象内血液动力学脉搏波行进的测量。这样的大规模运动在血管造影中太大而无法忽略。

发明内容

本发明的实施例涉及用于重建血管造影数据中的心脏频率现象的方法、系统和计算机可读介质，其中血管对象(例如，组织、器官、血管等)经历大规模运动。这些技术跟随和补偿无约束的血管对象中的运动，并且改进经历小规模运动的血管结构中的现有的小波血管造影技术。

无约束的血管对象中的运动在本文中被称为大规模或宽幅度或无约束的心脏频率运动。本文描述的实施例可以用于例如使用经调整的移动路径作为路径积分来跟踪血管对象的无约束的心脏频率运动。确定移动路径的实施例可以与小波或其他时间索引保存血管造影技术相结合，以允许在任何生理器官、组织或脉管系统上执行时空重建。例如，这可以实现对经历大规模运动的血管中的给定点处的脉搏波进行时空重建。

在一种形式中，提供了一种用于从血管造影研究中提取无约束的血管对象的心脏频率血管造影现象的方法。方法包括：在计算机处获得以比心脏频率更快的速率获得的一系列血管造影图像帧，其中每个图像帧包括多个像素，并且其中每个像素具有对应的强度；在计算机处，将光流技术应用于血管造影图像帧，以生成与相应的像素从图像帧到图像帧的位移相对应的多个路径；在计算机处，基于多个路径和与路径的相应的像素相关联的对应的强度来生成心脏频率血管造影现象的时空重建；以及输出以用于在一个或多个图像中显示心脏频率血管造影现象的时空重建。该方法可以通过补偿血管结构中的运动来改善血管造影成像。

在一个示例中，方法还包括：对于每个图像帧，在前向时间方向和反向时间方向上递归地积分给定像素的位移，以生成给定像素的光流轨迹。递归积分可以使得能够跟踪血管结构中的对象运动。

在一个示例中，方法还包括：选择感兴趣的图像帧；以及基于在感兴趣的图像帧的多个图像帧内的图像帧来确定感兴趣的图像帧的给定像素的位移。确定多个图像帧内的位移可以使得能够保持与母小波函数的频率分辨率的一致性。在一个示例中，图像帧的数量可以是五个。在心脏以每分钟六十次的速率跳动并且以五赫兹获取血管造影图像的情况下，可以选择数字五。在该示例中，确定五个帧内的位移可以等同于确定感兴趣帧之前的一个心跳和之后的一个心跳的位移。例如，可以基于感兴趣帧之前和之后的对应心跳次数(例如，之前和之后的两次心跳、之前和之后的半次心跳等)来选择任何合适数量的图像帧。

在一个示例中，应用光流技术包括：应用密集光流技术，密集光流技术测量多个像素从图像帧到图像帧的光流。密集光流技术可以使得能够计算每个像素的位移。

在一个示例中，应用光流技术包括：应用稀疏光流技术，包括：跟踪从图像帧到图像帧的有限数量的对象位置；以及插值中间对象位置的移动。稀疏光流技术可以使得能够仅计算关键像素的运动。

在一个示例中，应用光流技术包括：基于局部坐标系确定每个路径。局部坐标系可以通过简化小波计算来降低计算要求。局部坐标系可以例如由血管中的特定位置来定义。如果血管正在经历大规模运动，则定义坐标系的特定位置的周围的附近区域可以保持由该坐标系很好地描述。

在一个示例中，方法还包括：提供一个或多个图像作为电影视频序列。电影视频序列可以提供运动补偿的、小波变换结果。

在另一种形式中，提供了一种系统。系统包括：通信接口，通信接口被配置成用于获得以比心脏频率更快的速率获得的一系列血管造影图像帧，其中每个图像帧包括多个像素，并且其中每个像素具有对应的强度；以及一个或多个处理器，一个或多个处理器耦合到通信接口，其中一个或多个处理器被配置成用于：将光流技术应用于血管造影图像帧，以生成与相应的像素从图像帧到图像帧的位移相对应的多个路径；基于多个路径和与路径的相应的像素相关联的对应的强度来生成心脏频率血管造影现象的时空重建；以及输出以用于在一个或多个图像中显示心脏频率血管造影现象的时空重建。该系统可以通过补偿血管结构中的运动来改善血管造影成像。

在另一种形式中，提供了一种或多种非瞬态计算机可读存储介质。一种或多种非瞬态计算机可读存储介质编码有指令，指令在由处理器执行时，使得处理器用于：获得以比心脏频率更快的速率获得的一系列血管造影图像帧，其中每个图像帧包括多个像素，并且其中每个像素具有对应的强度；将光流技术应用于血管造影图像帧，以生成与相应的像素从图像帧到图像帧的位移相对应的多个路径；基于多个路径和与路径的相应的像素相关联的对应的强度来生成心脏频率血管造影现象的时空重建；以及输出以用于在一个或多个图像中显示心脏频率血管造影现象的时空重建。一种或多种非瞬态计算机可读存储介质可以通过补偿血管结构中的运动来改善血管造影成像。

这些技术的其它目的和优点将从说明书和附图中显而易见。

附图说明

图1A和图1B分别是示出了可以与本公开的实施例一起用于获取血管造影数据的旋转x射线系统的示例的侧视图和部分示意图。

图2是可以与本公开的实施例一起使用的计算机系统或信息处理设备的示意图。

图3是示出根据本公开的实施例的用于在无约束的心脏运动的情况下进行时空重建的示例数据流路径的流程图。

图4A至图4C是示出猪冠状动脉中的无约束的血管运动(例如，血管运动)的示例的血管造影图像帧。图4A和图4B是顺序的血管造影图像帧，其中使用本文提供的技术从帧到帧地跟踪像素的位置。图4C是图4A与图4B的叠加，以示出由于无约束的血管运动(例如，心脏的收缩性)而导致的像素的位移。

图5示出了根据本公开的实施例的与给定冠状动脉的示例血管造影图像帧相关的光流路径的示例。

图6A和图6B是根据本公开的实施例的示例血管造影图像帧，该示例血管造影图像帧示出了在考虑无约束的血管运动(诸如冠状动脉运动)之后的小波血管造影表示。图6A示出了在时空重建之前的图像，并且图6B示出了在时空重建之后的图像。

图7是示出根据本公开的示例实施例的用于重建无约束的血管对象的血管造影数据中的心脏频率现象的技术的流程图。

具体实施方式

本技术可以提供对用于对具有无约束运动的血管、组织和/器官进行血管造影成像的现有技术的改进。

例如，现有的血管造影技术不太适合于对通过具有无约束的血管运动的对象的移动血管脉搏波进行时空重建。例如，心脏是肌肉器官，心脏的左右两侧是肺部，肺部是无法限制心脏运动的软器官。因此，心脏、相关联的血管和组织是经历宽幅度心脏运动的对象的示例。虽然现有的血管造影技术可以应用于具有宽幅度心脏运动的血管、组织和/或器官，但是当试图测量对象内的血液动力学脉搏波的行进时，此类对象的大规模运动带来了挑战。

本公开的实施例可以利用针对以心脏频率经历运动的无约束的血管对象的运动跟踪。通过跟踪一序列的二维图像中对象的运动，并且使用跟踪的运动来定向地引导小波变换(或其他时间索引保存的数学变换)所涵盖的(图像的)空间范围，可以将时空重建应用于无约束的心脏运动对象。

血管造影图像序列包括作为时间的函数以比心脏频率更快的速率获取的二维图像帧集合。因此，该三维数据集合包括两个空间维度和一个时间维度。如果血管造影图像帧中存在血管和/或感兴趣的其他结构的运动，则给定结构的给定位置将不一定占据两个相邻或附近的时间图像帧中的相同像素坐标。

根据本发明的实施例，像素可以被视为时间通道，其中像素位置可以在一序列血管造影图像中从帧到帧地变化。

对图像像素执行运动跟踪，以允许在移动的心脏血管、组织或器官中的血管脉搏的心脏频率下进行测量。可以基于全局坐标系来处理图像。全局坐标系可以通过三维网格在血管造影图像中表示。二维可以由图像中的像素的水平和垂直行/列来定义，并且第三维可以由图像帧编号(例如，血管造影图像序列中给定图像帧的序号)来定义。

可以相对于局部坐标系进一步跟踪运动，例如，相对于局部坐标系跟踪移动的血管、器官或组织。例如，可以基于局部坐标系来确定对象的每个路径。可以为血管造影序列的每个图像帧中的每个对象或每个关键像素定义局部坐标系。假设血管造影片在帧t

可以通过基于对象的运动和位移修改全局坐标系来确定局部坐标系。例如，如果测量到血管上的特定弯折(turn)在一个图像帧和下一个图像帧之间向右移动五个像素，则该像素内流动的血液可以被视为在相同方向上移动了相同的五个像素。从这个意义上说，血管定向了局部坐标系。具体而言，局部坐标系可以相对于全局坐标系向右平移五个像素。因此，全局坐标系可以用作一个或多个局部坐标系的参考坐标系。

因此，图像的像素被变换到局部坐标系，并且为变换后的像素确定跟踪或路径，以随时间跟踪像素的位置。该跟踪或路径被馈送到小波变换或保留时间索引的其他变换中。为了执行小波变换的目的，血管造影图像序列可以被视为长度为t个帧的x乘y个像素的阵列(例如，长度为t的时间信号的x乘y阵列)。小波变换可以对数字的一维序列进行操作，因此，如果对象运动(例如，给定像素内的运动)相对于所选择的母小波的时间/频率分辨率较大(例如，如果运动太大而不能令人满意)，则本文描述的技术可以使得能够跟踪血管对象的运动。具体而言，可以估计每个帧中的每个像素的运动，并且可以反转(例如，补偿)运动。小波变换可以对经运动反转的数据进行操作。可以通过查找运动并应用它们来在经小波变换的数据中恢复运动。因此，在小波计算完成后，局部坐标系可以被恢复到原始坐标系。

参考图1A至图3，示出了可以用于执行本发明的实施例的示例性系统或设备。应当理解，这样的系统和设备仅仅是代表性系统和设备的示例，并且其他硬件和软件配置也适合于与本发明的实施例一起使用。因此，实施例不旨在限于本文所示的特定系统和设备，并且应当认识到，在不脱离本文提供的主题的精神和范围的情况下，也可以采用其他合适的系统和设备。

首先参考图1A和图1B，示出了旋转x射线系统28，该旋转x射线系统28可以被用于(诸如经由荧光血管造影)以比心率更快的速率来获得血管造影片。在获取血管造影片时，可以将化学造影剂注射到位于x射线源和检测器之间的患者体内，并且x射线投影由x射线检测器捕获为二维图像(即，血管造影图像帧)。这样的图像帧的序列包括血管造影研究，并且根据本发明的实施例，可以以比心脏频率更快的速率获取血管造影图像帧，以允许运动跟踪和将心脏频率现象时空重建到心脏空间血管造影片中。

如图1A所示，以旋转x射线系统28的形式示出了血管造影成像系统的示例，旋转x射线系统28包括具有C形臂30的机架(gantry)，该C形臂30在其端部中的一端承载x射线源组件32，并且在其端部中的另一端承载x射线检测器阵列组件34。机架使得x射线源组件32和x射线检测器阵列组件34能够围绕放置在台36上的患者以不同的位置和角度定向，同时为医生提供接近患者的通道。机架包括基座38，该基座38具有在台36下方延伸的水平腿40以及在水平腿40的与台36间隔开的端部处朝上延伸的垂直腿42。支撑臂44可旋转地固定到垂直腿42的上端部以用于围绕水平枢轴46旋转。

水平枢轴46与台36的中心线对准，并且支撑臂44从水平枢轴46径向朝外延伸以在其外端部上支撑C形臂驱动组件47。C形臂30可滑动地固定到C形臂驱动组件47，并且耦合到驱动电机(未示出)，该驱动电机使C形臂30滑动以围绕C轴48旋转，如箭头50所指示的。水平枢轴46和C轴48在位于台36上方的系统等中心56处彼此相交，并且彼此垂直。

x射线源组件32安装到C形臂30的一端，并且x射线检测器阵列组件34安装到其另一端。x射线源组件32发射x射线，该x射线被引导到x射线检测器阵列组件34的。组件32和34均径向地朝内延伸到水平枢轴46，使得该波束的中心射线穿过系统等中心56。因此，在从放置在台36上的受试者获取x射线衰减数据期间，可以围绕水平枢轴46或C轴48或两者围绕系统等中心旋转波束的中心射线。

x射线源组件32包含x射线源，该x射线源在通电时发射x射线波束。中心射线穿过系统等中心56，并撞击容纳在x射线检测器阵列组件34中的二维平板数字检测器58。二维平板数字检测器58可以是例如，检测器元件的2048×2048元件二维阵列。每个元件产生表示撞击x射线的强度的电信号，从而表示x射线通过患者时的衰减。在扫描期间，x射线源组件32和x射线检测器阵列组件34围绕系统等中心56旋转，以从不同角度获取x射线衰减投影数据。在一些方面中，检测器阵列能够每秒获取五十个投影或图像帧，这是确定在规定的扫描路径和速度下可以获取多少图像帧的限制因素。

参考图1B，组件32和34的旋转以及x射线源的操作由x射线系统的控制机构60管理。控制机构60包括向x射线源组件32提供功率和定时信号的x射线控制器62。控制机构60中的数据获取系统(DAS)64从检测器元件采样数据，并将数据传递给图像重建器65。图像重建器65从DAS 64接收数字化x射线数据，并根据本公开的方法执行高速图像重建。重建的图像被用作计算机66的输入，该计算机66将图像存储在大容量存储设备69中或进一步处理图像。图像重建器65可以是独立的计算机或者可以与计算机66集成。

控制机构60还包括机架电机控制器67和C轴电机控制器68。响应于来自计算机66的运动命令，电机控制器67和68向x射线系统中的电机提供功率，电机分别产生围绕水平枢轴46和C轴48的旋转。计算机66还经由具有键盘和其他可手动操作控制装置的控制台70从操作员接收命令和扫描参数。相关联的显示器72允许操作员观察来自计算机66的重建的图像帧和其他数据。操作员提供的命令由计算机66在存储程序的指导下使用，以向DAS 64、x射线控制器62以及电机控制器67和68提供控制信号和信息。此外，计算机66操作台电机控制器74，该台电机控制器74控制电动台36以相对于系统等中心56来定位患者。

现在参考图2，示出了计算机系统或信息处理设备80(例如，图1B中的图像重建器65和/或计算机66)的框图，该计算机系统或信息处理设备80可以并入血管造影成像系统(诸如图1A和图1B的旋转x射线系统28)，以根据本发明的实施例提供增强的功能或用作用于运动跟踪和从血管造影数据中提取心脏频率现象的独立设备。信息处理设备80可以位于旋转x射线系统28本地或远离旋转x射线系统28。在一个示例中，由信息处理设备80执行的功能可以作为软件即服务(SaaS)选项来提供。SaaS是指存储在一个或多个远程服务器中(例如，在云中)并且向远程用户提供一个或多个服务(例如，血管造影图像处理)的软件应用。在一个实施例中，计算机系统80包括监视器或显示器82、计算机系统84(其包括(多个)处理器86、总线子系统88、存储器子系统90和盘(disk)子系统92)、用户输出设备94、用户输入设备96和通信接口98。监视器82可以包括被配置为生成信息的可视表示或显示的硬件和/或软件元件。监视器82的一些示例可以包括熟悉的显示设备，诸如电视监视器、阴极射线管(CRT)、液晶显示器(LCD)等。在一些实施例中，监视器82可以提供输入接口，诸如结合触摸屏技术。

计算机系统84可以包括熟悉的计算机部件，诸如一个或多个中央处理单元(CPU)、存储器或存储设备、图形处理单元(GPU)、通信系统、接口卡等。如图2所示，计算机系统84可以包括一个或多个处理器86，该一个或多个处理器86经由总线子系统88与多个外围设备通信。(多个)处理器86可以包括市售的中央处理单元等。总线子系统88可以包括用于使计算机系统84的各种部件和子系统彼此按照预期通信的机构。尽管总线子系统88示意性地示出为单个总线，但总线子系统的替代实施例可以利用多个总线子系统。与(多个)处理器86通信的外围设备可以包括存储器子系统90、盘子系统92、用户输出设备94、用户输入设备96、通信接口98等。

(多个)处理器86可以使用一个或多个模拟和/或数字电气或电子部件来实现，并且可以包括微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑和/或被配置成用于执行本文所描述的各种功能的其他模拟和/或数字电路元件，诸如通过执行存储在存储器子系统90和/或盘子系统92或另一计算机程序产品中的指令。

存储器子系统90和盘子系统92是被配置为存储数据的物理存储介质的示例。存储器子系统90可以包括多个存储器，该多个存储器包括用于在程序执行期间对程序代码、指令和数据进行易失性存储的随机存取存储器(RAM)，以及存储固定程序代码、指令和数据的只读存储器(ROM)。盘子系统92可以包括为程序和数据提供永久(非易失性)存储的多个文件存储系统。其它类型的物理存储介质包括软盘、移动硬盘、光学存储介质(诸如光盘只读存储器(CD-ROM)、数字视频光盘(DVD)和条形码)、半导体存储器，诸如闪存、只读存储器(ROMS)、电池支持的易失性存储器、网络存储设备等。存储器子系统90和盘子系统92可以被配置成用于存储提供本文所讨论的技术(例如，运动跟踪系统120和时空重建系统130(参见图3))的功能或特征的编程和数据构造。当由(多个)处理器86执行时实现或以其它方式提供功能的软件代码模块和/或处理器指令可以存储在存储器子系统90和盘子系统92中。存储器子系统90可以是非瞬态计算机可读存储介质。

用户输入设备96可以包括被配置为接收来自用户的输入以供计算机系统80的部件进行处理的硬件和/或软件元件。用户输入设备可以包括用于向计算机系统84输入信息的所有可能类型的设备和机构。这些可以包括键盘、小键盘、触摸屏、并入显示器的触摸界面、音频输入设备(诸如麦克风和语音识别系统)和/或其它类型的输入设备。在各种实施例中，用户输入设备96可以包括计算机鼠标、轨迹球、跟踪板、操纵杆、无线遥控器、绘图板、语音命令系统、眼睛跟踪系统等。在一些实施例中，用户输入设备96被配置为允许用户经由命令、运动或手势(诸如点击按钮等)选择监视器82上可能出现的对象、图标、文本等或以其它方式与监视器82上可能出现的对象、图标、文本等交互。

用户输出设备94可以包括被配置为从计算机系统80的部件向用户输出信息的硬件和/或软件元件。用户输出设备可以包括用于从计算机系统84输出信息的所有可能类型的设备和机构。这些可以包括显示器(例如，监视器82)、打印机、触摸或力反馈设备、音频输出设备等。

通信接口98可以包括被配置为提供与其它设备的单向或双向通信的硬件和/或软件元件。例如，通信接口98可以(诸如经由互联网连接)提供计算机系统84与其它通信网络和设备之间的接口。

图3示出了数据流图，其中以比心率更快的速率从旋转x射线系统28获得血管造影数据110。血管造影数据被提供给运动跟踪系统120，运动跟踪系统120处理血管造影数据，以生成提供给时空重建系统130的光流路径。一旦时空重建系统130接收到光流路径，就对无约束的血管对象执行时空重建。这些实施例在整个本申请中被进一步详细描述。

根据本发明的示例实施例，可以获得血管造影数据(包括血管造影图像帧)。除了获取血管造影图像帧之外，还可以同时获取附加心脏信号/数据以用作互相关目标，以基于本文所提供的技术执行血管脉搏波的时空重建。例如，附加心脏信号/数据可以用作血管造影投影中的相位索引像素的参考心脏信号。用于以脉搏血氧测定系统和/或超声心动图/心电图(EKG)系统或设备的形式使用此类设备/系统获取/提供参考心脏信号的示例性设备。在示例实施例中，来自这样的设备(例如，EKG设备)的输出可以经由通信接口传送到计算机系统84。

运动跟踪

根据本实施例，结合小波和其他时间索引保存(time-indexing-conserving)变换血管造影技术来利用光流技术，以考虑无约束的心脏频率运动并且改善受约束的血管和组织(例如，脑等)的性能。

光流技术处理对象从图像帧到下一个图像帧的运动。对象(像素的集合)从一帧移动到下一帧，并且例如通过测量增量x(相对于x轴的变化)和增量y(相对于y轴的变化)来确定对象的位移。基于增量x和增量y值，局部坐标系可以相对于全局坐标系被扭曲(warp)。局部坐标系可以用于反映像素沿着路径的运动，并且可以获得沿着路径的像素的强度并且将其提供给小波变换或其他变换。本发明的示例实施例可以利用光流技术来变换由简单线(其可以是插值的)表示的路径，该路径被提供给变换以变换成包括血管和其他结构的位置的从血管造影图像帧到图像帧的可变路径。也就是说，光流技术可以用于跟踪从一帧到下一帧的对象运动。

为了表示光流技术，引入了以下符号。两个空间维度表示为x和y，并且时间维度表示为t。血管造影图像在位置x,y,t处的强度表示为A(x,y,t)。血管造影图像帧是在离散时间位置t

A(x,y,t

在连续帧t

A(x+Δ

t

光流计算将每个下一帧报告为位置的变化。在k帧距离处的净位置是从t

考虑一个示例，其中在帧t

因此，对于每个图像帧，可以在前向时间方向和反向时间方向上递归地积分给定像素的位移，以生成该给定像素的光流轨迹。使用路径积分(诸如小波路径积分)可以实现对无约束的血管对象中的运动的补偿。例如，本文描述的技术可以补偿由于心脏的扩张和收缩而导致的运动混叠(motion alias)，使得跳动的心脏在经处理的血管造影图像中看起来静止/不动。

随着图像帧离感兴趣中心更远，可能存在运动跟踪漂移的趋势并且变得不那么准确。这是因为运动轨迹基于帧到帧位移的积分。真正的随机误差可以跨大量帧上的运动跟踪进行补偿，但是跟踪中的(多个)微小偏差可能会通过将估计的逐帧位移集成到路径轨迹中而被放大。因此，当在正方向或负方向上执行运动跟踪时，可以相对于包括指定对象或中心对象的指定帧来考虑帧的子集。指定对象或中心对象可以是像素。例如，对于指定帧，可以参考指定像素在正方向和负方向上处理3-5帧(例如，当考虑远处的帧时，计算可能变得更加不准确)。在一个示例中，可以选择感兴趣的图像帧，并且可以基于在感兴趣的图像帧的多个(例如，五个)图像帧内的图像帧来确定感兴趣的图像帧的给定像素的位移。一旦确定了指定帧的运动，就可以选择下一个帧作为指定帧，并且重复该过程。以此方式，运动确定可以沿着血管造影片的时间序列例如以“窗口化”方法发生。

任何合适的(多种)光流技术都可以用于测量对象从一个图像帧到下一个图像帧的运动。各种技术可能具有相对的优点和缺点。针对给定场景的适当技术可以有助于利用对象的运动来通过小波血管造影标识心脏频率活动。

稀疏光流技术可以用于测量对象的运动。稀疏光流技术可以使得能够仅计算关键像素的运动。这些关键像素之间的像素的运动是根据附近关键像素的运动进行插值的。可以根据标准来选择关键像素，使得对应的关键像素表示相邻图像帧上的相同对象的相同部分。针对关键像素的标准的示例可能是边缘、以及边缘的交点。稀疏光流技术可以包括但不一定限于Lucas和Kanade在1981年4月的Preceedings DARPA Image UnderstandingWorkshop(DARPA图像理解研讨会论文集)的第121-130页的“An Iterative ImageRegistration Techniques with an Application to Stereo Vision(应用于立体视觉的迭代图像配准技术)”中描述的方法，，，该文章通过引用并入本文；如Harris和Stephens在1988年的Alvey Vision Conference(阿尔维视觉会议)的“ACombined Corner and EdgeDetector(组合的角和边缘检测器)”中描述的Harris角适配，其通过引用并入本文；和/或这些方法的衍生物。

对于稀疏光流技术，从图像帧到图像帧跟踪有限数量的对象位置，并且插值中间对象位置的移动。这可能涉及两个图像之间的仿射或分数线性变换的假设。这些技术包括通过使用图像中的每个图像上的公共对象位置来将几何变换应用于顺序图像。

稀疏光流技术的一个示例取决于两个图像帧中一致特征的标识，并且涉及计算允许将一个图像帧中的特征映射到下一个图像帧上的扭曲，例如，由Shi和Tomasi在1994年6月的IEEE Conference on Computer Vision and Pattern Recognition(IEEE计算机视觉和图案识别会议)的“Good Features to Track(用于跟踪的良好特征)”中描述的，其通过引用并入本文。一致特征的示例是角和边缘，角和边缘可以通过任何合适的数学技术来标识。可以通过诸如线性或三次样条插值之类的插值方法来执行扭曲。

其他方面可以使用测量从图像帧到图像帧的所有像素的光流的密集光流技术。示例包括但不一定限于如Horn和Schunck使用拉格朗日方程导出的变分方法，如在“Determining Optical Flow(确定光流)”(Artificial Intelligence(人工智能)17,1981,185-203)中所描述的，该文档通过引用并入本文。Horn和Schunck描述了一种方法，该方法假设从一个图像帧到下一个图像帧的像素亮度保持恒定，并且确定一个图像帧和下一个图像帧之间像素的空间分布。像素的空间分布的变化可以被解释为表示对象的运动。其他方法包括

还有其他方法可以包括涉及可变形配准的技术，诸如使用卷积网络和其他深度学习/机器学习/人工智能方法，这些方法可以用于估计光流，特别是计算对象从一个图像帧到下一个图像帧的运动。数学可变形配准的合适示例可以包括微分同胚(diffeomorphism)，微分同胚是从拓扑领域导出的。用于微分同胚的合适的开源软件包的示例可以是Python DiPy库。该信息与对象亮度一起可以被组合，以估计对象从一个帧到下一个帧的运动。存在微分同胚的实现，该实现假设被跟踪的对象已经在感兴趣的图像帧中的每个图像帧中被分割。然后可以在一个图像帧到下一个图像帧中的分割选项之间计算该微分同胚。可能适合用于分割血管结构和血管造影图像的一种示例数学方法是Frangi滤波器，该Frangi滤波器由Frangi等人在“Multiscale vessel enhancement filtering(多尺度血管增强滤波)”(Medical Image Computing and Computer-Assisted Intervention(医学图像计算和计算机辅助干预),1998)中描述，该文档通过引用并入本文。

深度学习框架的一个合适示例可以是VoxelMorph开源软件包，如由Balakrishnan等人在“VoxelMorph:A Learning Framework for Deformable Medical ImageRegistration(VoxelMorph：针对可变形医学图像配准的学习框架)”(arXiv:1809.05231[cs.CV],2019年9月1日)中所描述，该文档通过引用并入本文。VoxelMorph采用深度学习神经网络来计算相应图像帧中的对象之间的微分同胚。在深度学习框架的另一个合适的示例中，可以采用神经网络来从以较低速率捕获的心脏血管造影片中插值较高视频帧率的心脏血管造影片。诸如深度感知视频帧插值(DAIN)网络模型之类的软件包可以将卷积神经网络的变体用于视频帧插值，该DAIN网络模型由Bao等人在“Depth-Aware Video FrameInterpolation(深度感知视频帧插值)”(IEEE Conference on Computer Vision andPattern Recognition(IEEE计算机视觉和图案识别会议)，2019年)中描述，该文档通过引用并入本文。

在其他实施例中，可以采用可转向滤波器来检测图像中的局部取向。该方法可以用于估计运动轨迹。可转向滤波器可以包括卷积核，并且可以用于图像增强和特征提取。例如，如果不同的对象在不同的方向上移动，则给定的图像帧可以具有与图像中的不同对象相对应的一组可转向滤波器。每个运动方向可以由针对特定运动方向进行编码和滤波的可转向滤波器来表示。在又其他示例中，可以使用任何合适的有监督或无监督机器学习模型(例如，数学/统计模型、分类器、前馈、递归或其他神经网络等)。

上述列表包括可以适用于运动补偿小波或时间索引保存血管造影的目的的光流技术的示例。本实施例不一定限于上面引用的光流技术，并且可以包括任何合适的光流技术。例如，

此外，可以跟踪多个对象，每个对象具有相应的局部坐标系。对于小波计算，可以反转所有对象的运动(在簿记意义上)。在一个示例中，可以估计所有像素的运动。在稀疏光流技术中，可以测量可以在计算上有效地跟踪的关键像素的运动，并且可以对关键像素之间的像素的运动进行插值。在密集光流技术中，可以测量所有像素的运动。基于AI对象识别的深度学习系统可以使用类似于稀疏光流技术的方法。一些深度学习方法可以基于针对对象识别和/或逐像素运动的训练。这可以类似于密集光流技术。

小波血管造影/时空重建

小波血管造影采用复值小波变换来生成以比心脏频率更快的速率获得的血管造影片中的心脏频率现象的时空重建。小波变换是建立在线积分上的。

对于信号f(t)和母小波ψ，f(t)的复连续小波变换由等式给出：

其中s是小波尺度，如上所述，u是小波平移参数，并且上标*表示复共轭。在小波血管造影中，可以选择Gabor小波用作特定小波ψ。ψs的Gabor(可变地称为Morlet)族提供了频率和时间分辨率的显式平衡。该族基于等式：

如上所述，开发血管造影片中的心脏频率的信号以提高血管造影成像对动脉解剖结构和静脉解剖结构的灵敏度，从而允许以较低的x射线剂量和/或较低的血管内造影剂剂量标识循环的改变模式和病理模式，诸如血管栓塞和其他血流状态。附加地，它可以允许动脉解剖结构和静脉解剖结构分离，而无需导航导管并将导管注入到远端动脉树中。循环子系统之间的心脏频率的相干性可以被开发以允许以较低x射线剂量和较低血管内造影剂剂量对动脉解剖结构和静脉解剖结构进行解剖标识。

在执行本文所描述的方法时，可以使用数字检测器设备(诸如作为可从飞利浦和西门子等制造商处购得的扫描设备的一部分的那些可商购设备)记录血管造影数据。然后将数字数据导入计算机存储器中。在将血管造影导入计算机存储器后(在没有运动混叠的情况下)，可以获得心脏频率血管造影现象的时空重建。在一个示例中，时空重建可以根据以下专利或专利申请中描述的技术来执行：2018年11月13日公告的美国专利第10,123,761号；2020年2月6日提交的美国专利申请第16/784,125号；2020年2月6日提交的美国专利申请第16/784,073号；2020年3月9日提交的美国专利申请第16/813,513号；2020年3月27日提交的美国专利申请第16/832,695号；和/或2020年4月6日提交的美国专利申请第16/841,247号；这些专利中的每一个通过引用并入本文。

血管造影数据可以被导入计算机存储器中，并用存储器中的处理器重新格式化以给出时间信号阵列。由处理器将复值小波变换应用于每个逐像素时间信号，从而给出小波变换阵列。由处理器针对心脏频率对逐像素小波变换进行滤波。这是通过将所有不对应于心脏小波尺度(在小波领域中，该术语对应于心脏频率的概念)的小波系数设置为零来完成的。逐像素小波变换数据由处理器逆小波变换到时域中，并且在计算机存储中重新格式化为像素。该三维网格中的每个数据元素(体素)是复值的数。

可以由处理器将每个帧渲染为具有亮度-色调颜色模型的图像，以表示每个像素中的复数数据。心脏频率幅度被表示为亮度，并且相位被表示为色调。q个图像可以由处理器渲染为运动电影，或者它们可以由处理器存储为视频文件格式。例如，可以提供一个或多个图像作为电影视频序列。在一个示例中，可以将对象运动反向应用于每个图像中的所有像素，以创建其中所有对象看起来都是静止的新视频序列。可以利用小波计算来处理该视频，以标识心脏频率现象。然后可以在前向意义上应用对象运动，以将对象运动恢复为小波变换的结果。

如果小波变换具有例如十个图像帧的频率分辨率，则可能只需要针对十个图像帧的相邻区域来计算运动。这可以对每个图像帧重复。如果在运动的估计中存在误差漂移，则来自漂移的误差可以限于可能发生在这十个帧中的漂移，而不是来自血管造影序列中的数百个帧的聚合漂移。

可以在复数上操作的在变换到频域中后保留时间索引并且能够提取心脏频率血管造影现象的时空重建的任何合适的变换被构想为与本技术一起使用。

图4A和图4B示出了两个连续的血管造影图像帧400A和400B(相隔一帧)，其中血管造影图像帧400A和血管造影图像帧400B选自以30Hz(30Hz比心脏频率更快)获得的猪冠状动脉血管造影。分别在血管造影图像帧400A和400B上指示标记为冠状动脉位置2和冠状动脉位置4的相同冠状动脉(称为左前降动脉)上的同一位置。血管造影图像帧400A和400B之间的相同冠状动脉位置的空间位移示出了运动的幅度。图4C示出了血管造影图像帧400A和400B的叠加400C。叠加400C中的像素6是偏移的，指示从血管造影图像帧400A到血管造影图像帧400B已经发生的运动。

图5示出了与光学血管造影片的特定图像帧500相关的所选像素9的示例光流路径。在示例中，图像帧500具有血管内的特定感兴趣像素，该感兴趣像素被称为光流像素9。示出了从光流像素9在两个时间方向上延伸的光流轨迹8。光流轨迹8表示心脏跳动时相同像素9的路径。轨迹表示小波变换(例如，Gabor小波变换)的积分路径。这显示了造影剂团注射并随后消散时跨整个血管造影序列的运动跟踪。光流像素9以心脏频率移动，然而，该像素从一次心跳到下一次心跳并不遵循完全相同的轨迹，因为可能存在心肌收缩的变化以及来自运动跟踪的误差。光流路径是沿着其执行小波变换和逆变换以生成时空重建的路径。

针对每个血管造影图像帧重复该过程，例如，以产生一序列运动调整的Gabor小波变换。Gabor小波变换可以以心脏频率进行滤波，并且进行逆变换。对于小波逆变换，仅保留与心脏频率相对应的小波尺度。

每个像素网格位置x,y,t被返回为复值数据，该复值数据可以使用任何合适的方案来渲染为图像，例如，亮度-色调模型(例如，其中复值幅度被渲染为亮度并且心脏频率相位被渲染为色调)等。在一个示例中，在美国专利第10,123,761号中描述的一种或多种技术可以用于渲染图像。

血管造影图像是根据水平x和垂直y方向上的像素数量的离散网格上的图像强度数。然而，光流轨迹可以将对象位置变化作为分数像素值返回。因此，在实施例中，离散血管造影图像网格可以被转换为允许通过插值访问分数像素值的样条插值数据量。

在图6A至图6B中示出了示例运动补偿的小波血管造影变换的结果。在左侧(图6A)示出了原始血管造影图像帧600A，并且在右侧小波血管造影图像帧600B(图6B)上示出了运动处理和时空重建之后的结果。匹配像素12表示如所标记的相同血管上的相同位置。

图7是根据本文描述的技术的实施例的用于获得和处理具有大规模心脏运动的数据的操作的流程图。在操作710处，以比心脏频率更快的速率从血管造影研究获得一系列血管造影图像帧。例如，血管造影数据图像帧可以使用如图1A和图1B中所示的旋转x射线血管造影系统来获得，并且可以由血管造影系统中的计算机或由独立计算机获取或接收。血管造影图像帧可以包括时间系列的血管造影图像帧。每个图像帧可以与特定时间t相关联，并且可以包括多个像素。每个像素可以位于图像帧中的x-y位置并且具有相对应的亮度或强度。

在操作720处，将光流技术应用于血管造影图像帧，以生成与相应的像素从图像帧到图像帧的位移相对应的多个路径。例如，可以由计算机对图像像素执行运动跟踪，以允许在移动的心脏血管、组织或器官中的血管脉搏的心脏频率下进行测量。图像可以表示全局坐标系，并且可以相对于局部坐标系来跟踪运动。例如，可以相对于局部坐标系来跟踪移动的血管、器官或组织。因此，可以将图像的像素变换到局部坐标系，并且可以为变换后的像素确定跟踪或路径，以随时间跟踪像素的位置。

在操作730处，由计算机基于多个路径和与路径的相应的像素相关联的对应强度来生成心脏频率血管造影现象的时空重建。例如，由计算机在操作720中生成的多个跟踪或路径可以被馈送到小波变换或保留时间索引的其他变换中。然后可以由计算机针对心脏频率对逐像素变换进行滤波。这可以通过将不对应于心脏小波尺度(在小波领域中，该术语对应于心脏频率的概念)的所有变换系数设置为零来完成。逐像素变换数据然后可以由计算机逆变换到时域中，并且在计算机存储中重新格式化为像素。该三维网格中的每个数据元素(体素)可以是复值的数。

在操作740处，输出心脏频率血管造影现象的时空重建，以在一个或多个图像中显示。例如，可以由计算机将每个帧渲染为具有亮度色调颜色模型的图像，以表示每个像素中的复数数据。心脏频率幅度可以表示为亮度，并且相位可以表示为色调。图像可以显示在屏幕上、存储为图像文件、和/或打印。q个图像可以由计算机渲染为运动电影，或者它们可以由处理器存储为视频文件格式。

本文描述的技术不一定限于心脏应用。其他应用可以包括光学血管造影。例如，清醒患者体内视网膜的光学血管造影可以捕获眼睛的扫视移动。本文描述的技术可以用于补偿这种类型的运动。可以通过该技术补偿的其他运动源包括但不一定限于呼吸运动以及自发的有意识或无意识的运动。这些技术可以应用于经历大规模或无约束运动的任何合适的目标/身体部分(例如，血管、器官等)。

本文描述的技术可以结合有效量的造影剂(contrast)的施用来实现以使对象可视化。当经由光流路径的运动确定在前向和反向上移动时，这些技术可能适用于测量中间图像帧(例如，由图像序列中的其他图像帧包围的图像帧)中的对象的运动。然而，应当理解，本文描述的技术也可以适用于测量图像序列的开始和结束处的对象运动，并且可以在有或没有造影剂的情况下使用。

本发明可以包括任何可能的集成的技术细节级别的方法、系统、设备和/或计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质(或多个介质)。

本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括导电传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口可以从网络接收计算机可读程序指令，并且转发计算机可读程序指令存储在相应的计算/存储设备内的计算机可读存储介质中。

本文参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。将会理解，可以由计算机可读程序指令来实现流程图图示和/或框图的每一个框以及流程图图示和/或框图中的框的组合。

这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或一个或多个框图框中指定的功能/动作的装置。这些计算机可读程序指令也可以被存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置、和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或一个或多个框图框中指定的功能/动作的各方面的指令。

计算机可读程序指令也可以被加载到计算机、其他可编程数据处理装置、或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，从而产生计算机实现的过程，使得在计算机、其他可编程装置、或其他设备上执行的指令实现流程图和/一个或多个框图框中指定的功能/动作。

附图中的流程图和框图图示出根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。就此而言，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现(一个或多个)指定的逻辑功能的一个或多个可执行指令。在一些替代的实现方式中，框中标注的功能可以不按照附图中标注的顺序发生。例如，取决于所涉及的功能，相继示出的两个框实际上可以基本上同时执行，或者这些框有时可以按相反的次序来执行。还将注意，可以由执行指定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现框图和/或流程图图示中的每一个框和框图和/或流程图图示中的多个框的组合。

以上描述是为了教导本领域的普通技术人员如何实践本申请的主题，并不旨在详细描述本申请的所有那些本领域技术人员在阅读完本说明书后将变得显而易见的明显的修改和变化。然而，所有这些明显的修改和变化都旨在包括在由所附权利要求限定的本发明的范围内。权利要求旨在覆盖有效满足其预期目标的任何顺序的部件和步骤，除非上下文具体地指示为相反的情况。