多模态多维医学影像序列通用运动追踪方法及装置

技术领域

本发明涉及医学影像运动追踪技术领域，特别涉及一种基于隐式表示的多模态多维医学影像序列通用运动追踪方法及装置。

背景技术

在医学影像学的深层次研究中，运动追踪技术在分析多种器官和组织的动态行为方面发挥着关键作用。这一领域的应用广泛，例如心肌活动的实时追踪、在手术中监控软组织和病变部位的微妙移动等。特别是考虑到心血管疾病是全球范围内主要的致死因素之一，心脏活动的精确分析变得至关重要，这进一步凸显了目标追踪技术的重要性。心血管疾病包括诸如冠状动脉粥样硬化、瓣膜功能不全和心肌炎等多种病理状况，尽管它们的临床表现各不相同，但通常都会对心脏的正常运动和泵血能力造成影响。因此，为了优化心血管疾病的诊断和治疗过程，精确追踪心肌的动态运动是至关重要的。然而，现有的心脏运动追踪方法面临着诸多挑战：它们往往局限于分析两个连续图像帧之间的运动，难以在一个完整的心动周期内提供心脏运动的全面、准确估计；此外，这些方法在没有进行复杂插值的情况下，无法追踪三维心脏中的任意位置；再者，现行技术依赖于大量需要专家手动标注的配对训练数据，这在实际操作中既不经济也不高效。

隐式神经表示通过使用神经网络模型学习从空间坐标到具体信号值的连续映射关系，已经在多个研究领域展现出其强大的潜力。这些领域包括但不限于图像渲染、多视角图像合成、高分辨率显微成像、医学图像的三维重建、先进材料的设计以及复杂的偏微分方程求解。尽管隐式神经表示的应用范围不断扩大，但在医学影像的运动追踪领域，尚未有基于这种技术的方法。将隐式神经表示技术引入到这一领域，特别是用于心脏运动追踪的研究，具有重要的创新价值和广阔的应用前景。

发明内容

本发明针对现有技术中的不足，提出了一种创新方法，旨在精确捕获多模态、多维度医学影像序列中任意位置的动态轨迹。

为实现这一目的，本发明提出了以下技术方案：

多模态多维医学影像序列通用运动追踪方法，包括以下步骤：

S1，使用医学影像设备对目标组织进行二维或三维的图像序列采集；

S2，对所采集的图像序列进行隐式神经表示，将目标组织的运动参数转化为一个多变量的神经网络，该网络以一组时空坐标作为输入，并输出对应坐标下目标组织的任意空间位置点的运动位移。

本发明还提供一种多模态多维医学影像序列通用运动追踪装置，该装置包括图像采集模块和运动追踪模块，所述图像采集模块用于获取目标组织的动态图像；所述运动追踪模块包括隐式神经表示网络，用于提取目标组织的运动信息。

本发明通过整合隐式神经表示，解决了医学图像运动追踪的挑战，无需依赖庞大的标注数据集，即可灵活处理各种模态和维度的影像序列，实现对任意位置动态轨迹的精确捕捉。此技术的实施将极大地辅助医生进行更精确的临床诊断。其具体的创新点以及优点在于：

(1)多模态与多维度的适应性：本发明能够广泛适用于不同模态和多种维度的医学影像序列，提供了一个通用而有效的解决方案，适应各类医学影像的运动追踪需求。

(2)精确的轨迹捕捉：通过本发明，医疗专业人员能够准确地捕捉医学影像序列中任意点的动态轨迹，获得关于患者具体情况的详细动态信息，从而能够做出更为精确的临床诊断和治疗方案。

(3)减少数据偏差的风险：与传统方法相比，本发明无需依赖大规模的标注数据进行学习和训练，显著降低了数据准备的工作量和成本，同时规避了由数据偏差引发的潜在问题，提高了运动追踪的准确性和可靠性。

附图说明

图1为本发明装置的结构框图；

图2为本发明实施例中运动追踪模块的实现流程图；

图3是本发明实施例中两个物理启发的损失函数的示意图；

图4为本发明实施例中关键点运动追踪结果与其他方法的结果对比图；

图5为本发明实施例中变形图像左心室心肌分割结果与其他方法的结果对比图。

具体实施方式

下面参照附图详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明实施例以心脏超声图像为例。参照图1所示，本发明的图像采集模块首先用各种模态的医学成像设备来捕获目标组织的二维或三维图像序列。这一过程不限于特定类型的成像技术，允许广泛的灵活性和应用范围，能够兼容各种医学影像模态的运动估计，涵盖超声、计算断层扫描、核磁共振成像、正电子发射断层扫描，以及X射线成像等。在图像采集模块获取图像序列后，运动追踪模块利用本发明描述的运动追踪方法来处理这些序列。该方法的核心是能够精确地确定图像中任意空间位置点的位移情况。本发明所述的通用是指无需依赖特定的、成对的训练数据集，能够直接分析来自不同影像模态的数据，并能从这些数据中准确提取目标组织的运动位移信息。

参照图2所示，运动追踪模块用于从图像序列中准确地输出任意空间位置点的位移，具体的实现方法如下：

本发明提出了一个隐式神经表示F

为了监督隐式神经表示网络的训练，本发明的总体损失函数如下，后文将对每一项作出解释：

L＝L

参照图3所示，本发明提出了两个物理启发的损失函数，具体如下：

第一个是心脏运动一致性损失，源自心脏超声成像中的物理先验：即心脏组织以及充满血液的区域在心脏的运动过程中像素值保持一致，数学表达式为：

其中，T表示心脏周期，i∈{±1},t+i表示t时刻的下一时刻或上一时刻，α

第二个是心脏周期一致性损失，该损失源于心脏运动的基本周期性行为，即心肌在完成一个心动周期会回到其初始的形状，数学表达式为：

其中，α

其次，本发明对于隐式神经表示网络还采用了一种基于物理成像模型的自监督优化策略，因此消除了当前基于深度学习方法中对大量训练数据的依赖性。该基于物理成像模型的损失函数为：

其中，I

由于成像的物理过程S可以根据输入的模态进行调整，二维或三维图像可以通过上述基于物理成像模型的损失函数进行调整，因此本发明是首个能够处理处理各种模态和维度的医学影像序列。

本发明实施例以心脏超声图像为例，对心肌的运动进行追踪，具体实施步骤包括：

步骤一：使用二维或三维超声探头，对心脏进行连续的二维或三维图像序列采集。

步骤二：将采集到的图像序列导入上述隐式神经表示网络中进行训练，通过训练过程得到一个训练好的模型。

步骤三：在图像序列的首帧中标记出需要追踪的目标区域，并得到该区域内每个点的坐标位置。

步骤四：将目标区域内点的坐标输入到已训练好的网络模型中，随后输入不同的时间点，网络将输出追踪区域内每个点从初始时刻到当前时间点的运动轨迹和位移，即可得到目标区域内点的追踪结果。

参照图4所示，本发明关键点运动追踪结果与其他方法的对比图；在舒张末期需要跟踪的关键点展示在第一列中，后三列直观地展示了这些点在整个心动周期中不同时刻的位置。图中展示了本发明关键点运动追踪的结果，并与其他现有技术VoxelMoeph(Balakrishnan,G.,Zhao,A.,Sabuncu,M.R.,Guttag,J.,&Dalca,A.V.(2019).VoxelMorph:a learning framework for deformable medical image registration.IEEEtransactions on medical imaging,38(8),1788-1800.)以及Co-AttentionSTN(Ahn,S.S.,Ta,K.,Thorn,S.L.,Onofrey,J.A.,Melvinsdottir,I.H.,Lee,S.,...&Duncan,J.S.(2023).Co-attention spatial transformer network for unsupervised motiontracking and cardiac strain analysis in 3Dechocardiography.Medical ImageAnalysis,84,102711.)进行了对比。在图中，本发明在心脏舒张末期随机选择待追踪的关键点，这些点在第一列中明确标出。随后的三列直观地展示了这些关键点在心动周期中不同时间的位置变化，从而验证了发明方法的准确性和可靠性。与现有技术VoxelMorph和Co-AttentionSTN不同，本发明具有以下几个显著优势：(1)现有技术每次仅能捕捉两张图像之间的运动，并不能一次性获得心脏完整周期的运动；本发明却可以一次性得到心脏整个周期的完整运动。(2)现有技术仅适用于单一模态或维度的处理，而本发明则是一种通用方法，能够适配各种医学影像模态并处理不同维度的医学图像数据，包括二维平面图像和三维体积数据。(3)现有技术所获得的运动在空间上不完整，本发明则能够捕获组织内任意一点的运动轨迹。

参照图5所示，展示了本发明在变形图像结果方面与其他基于深度学习方法的对比。本发明将舒张末期的三维图像作为参考图像，并利用估计的位移信息对其进行了变形处理，以模拟出收缩末期的心脏形态。本发明选用了心尖四腔切面作为评估点，对比了原始图像与变形后图像中左心室心肌区域的重合度，通过计算DICE系数来精确评估变形的准确性。DICE系数在此起着至关重要的作用，其较高数值标志着在心肌运动追踪方面的精确度高。从结果可以明显看出，本发明方法的精度远超先前的方法。

本发明通过将隐式神经表示技术融入到医学影像序列的运动追踪中，克服了传统方法运动追踪不完整和不精确的局限，为这一领域带来了革新。更重要的是，与依赖大规模数据集进行训练的传统数据驱动的深度学习方法不同，本发明的方法具有更广泛的适用性和灵活性，它能够处理各种模态和维度的医学影像序列。这种独特的特性使得系统能够在没有大量可用数据的情况下，也能进行有效的运动追踪分析。此外，本发明还有效地规避了传统人工智能算法中一个常见的问题：数据偏差。由于不依赖于大型特定数据集，本方法减少了由数据集选择和偏差带来的误差，从而确保了分析结果的客观性和准确性。这一进步不仅提高了医学影像分析的可靠性，还为未来可能的临床应用和深入研究奠定了坚实的基础。

总而言之，通过结合隐式神经表示和创新的运动追踪技术，本发明在提高医学影像运动追踪的精确度、减少数据偏差风险，以及拓宽应用范围方面取得了重大突破。这标志着在医学诊断、疾病监控和治疗规划等关键领域，本发明离实现更高级别的个性化医疗又迈进了一步。