多模态融合成像方法、装置及存储介质

技术领域

本发明涉及超声融合成像技术领域，尤其涉及一种多模态融合成像方法、装置及存储介质。

背景技术

当前，各种模态的医学成像设备在临床诊断和医学研究中得到了广泛使用，这些多种模态的医学成像设备所涉及的影像技术主要包括正电子发射型断层成像(PositronEmission Computed Tomography，PET)、计算机断层扫描(Computed Tomography，CT)、磁共振成像(Magnetic Resonance，MR)、超声成像(Ultrasonography，US)等。

与超声图像不同，核磁共振(MR)或计算机断层扫描(CT)图像使手术者能够清晰地识别器官和疾病。然而，由于MR或CT图像不能在外科手术或穿刺期间被实时获取，因此MR或CT图像不能反映患者在外科手术或穿刺期间的目标器官的实施状态。在疾病诊断过程中需要充分发挥CT或MR高分辨率的优势和超声实时的特点。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种能够提高辅助诊断图像分辨率和实时性的多模态融合成像方法、装置及存储介质。

作为本发明的第一个方面，提供了一种多模态融合成像方法，包括：

获取检查对象待扫查目标器官的第一模态图像；

通过超声探头获取所述目标器官的超声图像；

在所述第一模态图像中确定至少两个配准标点并根据所述配准标点在所述超声图像中确定与所述配准标点对应的初始标点；

在同一坐标系下获取所述配准标点与所述初始标点的位置信息和角度信息；

根据所述配准标点与初始标点的位置信息和角度信息引导超声探头移动，以使所述超声探头获取的超声图像与所述第一模态图像匹配融合。

进一步地，所述在所述超声图像中确定与所述配准标点对应的初始标点，包括：

将所述第一模态图像和所述超声图像输入训练好的识别神经网络模型处理，得到所述配准标点在所述超声图像中对应的初始标点。

进一步地，所述将所述第一模态图像和所述超声图像输入训练好的识别神经网络模型处理，包括：

将第一模态图像输入所述识别神经网络模型的第一卷积神经网络处理，确定所述第一模态图像中所述配准标点的位置信息和角度信息；

将所述超声图像输入所述识别神经网络模型的第二卷积神经网络处理，得到与所述配准标点在所述超声图像中对应的初始标点的位置信息和角度信息。

进一步地，所述根据所述配准标点与初始标点的位置信息和角度信息引导超声探头移动，以使所述超声探头获取的超声图像与所述第一模态图像匹配融合，包括：

根据所述配准标点与所述初始标点的位置信息和角度信息，确定配准变换矩阵；

根据所述配准变换矩阵规划引导路径；

根据所述引导路径引导超声探头运动，以使超声图像中的初始标点与所述配准标点重合；

将所述超声图像与第一模态图像进行叠加融合。

进一步地，还包括：

获取所述超声探头的实时位置；

根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径。

进一步地，所述根据所述引导路径引导超声探头运动过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。

进一步地，所述第一模态图像包括：CT图像、MR图像、PET图像或或三维超声图像。

进一步地，所述配准标点为在组织器管轮廓、血管交叉点或病灶中心点。

作为本发明的第二个方面，本发明还提供了一种多模态融合成像装置，包括：

第一获取单元，获取检查对象待扫查目标器官的第一模态图像；

第二获取单元，通过超声探头获取所述目标器官的超声图像；

确定单元，在所述第一模态图像中确定至少两个配准标点并根据所述配准标点在所述超声图像中确定与所述配准标点对应的初始标点；

第三获取单元，在同一坐标系下获取所述配准标点与所述初始标点的位置信息和角度信息；

配准融合单元，根据所述配准标点与初始标点的位置信息和角度信息引导超声探头移动，以使所述超声探头获取的超声图像与所述第一模态图像匹配融合。

作为本发明的第三个方面，一种计算机存储介质，

所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的多模态融合成像方法的步骤。

本发明的多模态融合成像方法能够将在所述第一模态图像中确定至少两个配准标点并根据所述配准标点在所述超声图像中确定与所述配准标点对应的初始标点；并根据所述配准标点与初始标点的位置信息和角度信息引导超声探头移动，以使所述超声探头获取的超声图像与所述第一模态图像匹配融合，提高了辅助诊断图像分辨率和实时性，提高了临床医生诊断的准确性。

进一步地，本发明的配准标点合对应的初始标点无需医师手动进行选取，

通过训练好的神经网络模型自动识别确定，速度快。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明的多模态融合成像方法的工作流程图。

图2为本发明的引导超声探头移动的工作流程图。

图3为本发明一实施例的第一卷积神经网络的结构示意图。

图4为本发明一实施例的第二卷积神经网络的结构示意图。

图5为本发明的多模态融合成像装置的结构示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

核磁共振(MR)或计算机断层扫描(CT)图像等辅助图像能够使手术者能够清晰地识别器官和疾病。然而，由于MR或CT图像因为其辐射对扫查对象身体有伤害，不能在外科手术或穿刺期间被实时获取，因此MR或CT图像不能反映患者在外科手术或穿刺期间的目标器官的实施状态。虽然超声设备采集的超声图像实时性强且没有辐射，但是，超声图像的分辨率低，对临床医生的专业和临床经验要求比较高。

针对辅助图像高分辨率与实时性不能同时具备的临床痛点，作为本发明的第一个方面，如图1所示，提供了一种多模态融合成像方法，包括：

步骤S100，获取检查对象待扫查目标器官的第一模态图像；

在检查对象需要进行手术穿刺之前，获取待扫查目标器官的第一模态图像，第一模态图像为非实时性图像。可以通过计算机断层扫描(CT)成像装置、磁共振(MR)成像装置、X射线成像装置、单光子发射计算机断层扫描(SPECT)成像装置和正电子发射断层扫描(PET)成像装置中的任意一个。在以下描述中，为了便于描述，第一模态图像是所述第一模态图像包括：CT图像、MR图像、PET图像或三维超声图像，或其它三维人体检查装置获取的模态图像，示例性实施例不限于此。需要理解的是，术语“第一，”是纯粹用作标记，并且不试图对它们的修饰物对数值要求。

步骤S200，通过超声探头获取所述目标器官的超声图像；

临床医生操作超声探头或者通过机械臂操作超声探头获取区别于第一模态图像的超声图像。超声探头用于发射和接收超声波，超声探头受发射脉冲的激励，向目标组织(例如，人体或者动物体内的器官、组织、血管等等)发射超声波，经一定延时后接收从目标区域反射回来的带有目标组织的信息的超声回波，并将此超声回波重新转换为电信号，以获得超声图像。但是超声探头获取的超声图像中可能包含噪声，因此可能难以识别器官的轮廓、内部结构或疾病。

具体地，融合成像之前输入需要获取检测对象待扫查的目标器官信息，目标器官信息可以是输入的目标器官名称或者超声设备上目标器官的指示图标。可以通过超声设备上的输入单元输入目标器官信息，使得超声设备能够获取检测对象的待扫查的目标器官进而调节超声探头的发送频率、增益等成像参数；输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，也可以通过机器视觉或者训练好的识别网络模型识别超声探头准备扫查的目标器官。超声设备可以根据目标器官信息加载对应器官的识别神经网络模型。

步骤S300，在所述第一模态图像中确定至少两个配准标点并根据所述配准标点在所述超声图像中确定与所述配准标点对应的初始标点；

需要理解的是，将超声图像与第一模态图像进行融合成像之前需要对超声图像与第一模态图像进行配准。常规的配准方式为：

通过超声探头获取一帧超声图像，再选取与该帧超声图像相似度高的第一模态图像，再在所述第一模态图像和超声图像上分别手动选取解剖标志点，并基于选取的解剖标志点集对第一模态图像和超声图像进行初始刚性配准，获得超声图像坐标系到第一模态图像坐标系的变换矩阵；进而进行叠加融合。

区别于现有配对方式，本发明将所述第一模态图像和所述超声图像输入训练好的识别神经网络模型处理，得到配准标点的位置信息和角度信息和初始标点的位置信息和角度信息。区别于现有手动选取配准标点的方式，本发明通过训练好的识别神经网络模型对超声图像和第一模态图像进行处理，自动提取用于配准的配准标点的位置信息和角度信息与初始标点的位置信息和角度信息。本发明的识别神经网络模型包括第一卷积神经网络和第二卷积神经网络，其中第一卷积神经网络为三维卷积神经网络，第二卷积神经网络为二维卷积神经网络。具体地，如图3所示，

将第一模态图像输入所述识别神经网络模型的第一卷积神经网络处理，确定所述第一模态图像中所述配准标点的位置信息和角度信息；

在一实施例中，第一卷积神经网络是由三维全卷积神经网络实现，主要包含若干三维卷积、激活函数、池化、全连接，每次池化后加入三层卷积，第一层卷积用于预测当前特征图上每点像素的类别，第二层卷积用于预测当前特征图上每点像素的矩阵坐标，第三层卷积用于预测当前特征图上每点像素的关键点坐标，注意这边的坐标是相对当前特征图的大小，训练计算损失函数和实际推理时，需要将其映射回原图的坐标即乘上对应的池化倍数，类别的损失函数采用交叉熵，矩阵坐标和关键点的损失函数采用平滑L1损失，总损失为他们的加权求和。第一卷积神经网络的输入为第一模态图像，输出的是第一模态图像的位置（矩形坐标），该位置为目标器官的概率（类别），该位置上的目标器官配准标点坐标，其中，配准标点坐标为包括配准标点的位置信息和角度信息。输出采用每次池化后的卷积结果，再经过非极大值抑制，去除重叠大的矩形框，由此得到最终的矩形坐标及类别、配准标点的位置信息和角度信息。训练数据：若干包含目标器官的第一模态图像，并由专业医生对目标器官配准标点进行了标记。

将所述超声图像输入所述识别神经网络模型的第二卷积神经网络处理，得到与所述配准标点在所述超声图像中对应的初始标点的位置信息和角度信息

如图4所示，本发明的第二卷积神经网络是由二维全卷积神经网络实现，主要包含若干卷积、激活函数、池化、全连接，每次池化后加入三层卷积，第一二层卷积用于预测当前特征图上每点像素的类别，第二层卷积用于预测当前特征图上每点像素的矩阵坐标，第三层卷积用于预测当前特征图上每点像素的关键点坐标，注意这边的坐标是相对当前特征图的大小，训练计算损失函数和实际推理时，需要将其映射回原图的坐标即乘上对应的池化倍数，类别的损失函数采用交叉熵，矩阵坐标和关键点的损失函数采用平滑L1损失，总损失为他们的加权求和。第二卷积神经网络的输入为超声图像。输出得到超声图像中对应的初始标点的初始标点坐标，其中，初始标点坐标包括位置信息和角度信息。

本发明在标注训练集时，配准标点设置为在组织器管轮廓、血管交叉点或病灶中心点。需要理解的是，配准标点识别的位置在于训练时配准标点标记的位置对应的特征。

本发明的配准标点的选取方式通过训练好的识别神经网络模型自动获取，准确度高，能够有效地防止临床医生手动标注出现错误，进而影响第一模态图像与超声图像融合的效果和准确度，提高了不同模态图像之间配准的速度和准确度。

步骤S400，在同一坐标系下获取所述配准标点与所述初始标点的位置信息和角度信息；

超声图像与第一模态图像的坐标系不同，需要将配准标点位置信息和角度信息与初始标点的位置信息和角度信息映射到同一坐标系下。在获取超声图像或第一模态图像时可以通过磁发射器建立空间坐标系或者通过光学定位装置建立世界坐标系，例如摄像头。

步骤S500，根据所述配准标点与初始标点的位置信息和角度信息引导超声探头移动，以使所述超声探头获取的超声图像与所述第一模态图像匹配融合。

需要获取的超声图像与所述第一模态图像匹配融合。理解的是，获取的第一模态图像是需要超声探头运动到目标器官对应切面处获取超声图像。而超声探头获取的当前切面的超声图像不是第一模态图像对应的目标切面，需要控制超声探头运动的目标切面位置处通过配准标点与初始标点的位置信息和角度信息调整超声探头的姿态以以使所述超声探头。配准标点与初始标点的位置信息和角度信息为配准标点位置信息和角度信息与初始标点的位置信息和角度信息。如图2所示，具体地，包括：

步骤S510，根据所述配准标点与所述初始标点的位置信息和角度信息，确定配准变换矩阵；

位置信息和角度信息为六自由度坐标（x, y, z, ax, ay, az），ax、ay、az为在xyz方向的角度信息。

步骤S520，根据所述配准变换矩阵规划引导路径；

步骤S530，根据所述引导路径引导超声探头运动，以使超声图像中的初始标点与所述配准标点重合；

包括获取所述超声探头的实时位置；根据所述超声探头的实时位置判断所述超声探头是否偏离所述引导路径，若是，根据所述实时位置更新所述引导路径。

在一实施例中，所述超声探头的实时位置包括获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，具体包括：获取超声探头的模型图像；将所述模型图像以及所述环境影像输入共用全卷积神经网络，所述共用全卷积神经网络输出所述模型图像对应的第一特征，所述环境影像对应的第二特征；所述第一特征为卷积核与所述第二特征进行卷积，得到空间响应图；将所述空间响应图输出至线性插值层，以获取所述超声探头在所述环境影像中的实时位置；将超声探头的实时位置（位置信息和角度信息）映射到与配准标点和初始标点相同的坐标系下。

需要理解的是，超声探头的模型图像预先设置在超声设备中，可以通过输入单元调用，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合，输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，目标器官信息可以是目标器官的名称或者通过输入单元选择显示器上显示的目标器官图标。空间响应图包括所述第一特征在所述第二特征上的响应强度，响应强度值为0-1，所述模型图像与所述环境影像中各个位置的相识度值。

据所述引导路径引导超声探头运动过程中，提供操作提示信息，所述操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。视觉操作提示，可以在显示器上提示探头移动的方向角度，或者在检测对象对应体表处生成移动止损图标。触觉操作提示为在超声探头偏离引导路径时，超声探头振动。

步骤S540，将所述超声图像与第一模态图像进行叠加融合。

叠加融合的方式可以根据预设的透明度进行叠加融合超声图像与第一模态图像。超声图像和第一模态图像可以采用不同颜色、亮度、或灰度进行区别显示。

作为本发明的第二个方面，本发明还提供了一种多模态融合成像装置，如图5所示，包括：

第一获取单元，获取检查对象待扫查目标器官的第一模态图像；

第二获取单元，通过超声探头获取所述目标器官的超声图像；

确定单元，在所述第一模态图像中确定至少两个配准标点并根据所述配准标点在所述超声图像中确定与所述配准标点对应的初始标点；

第三获取单元，在同一坐标系下获取所述配准标点与所述初始标点的位置信息和角度信息；

配准融合单元，根据所述配准标点与初始标点的位置信息和角度信息引导超声探头移动，以使所述超声探头获取的超声图像与所述第一模态图像匹配融合。

单元可以有利地被配置为驻留在可寻址存储介质中并且配置为在一个或多个处理器上执行。因此，作为示例，单元可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在组件和单元中提供的功能性可以被组合成更少的组件和单元或者进一步分成附加的组件和单元。

作为本发明的第三个方面，一种计算机存储介质，

所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现上述任一项所述的多模态融合成像方法的步骤。其中，所述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-StateDrive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

作为本发明的第四个方面，本发明还提供了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项的多模态融合成像方法的步骤。

其中，存储器可以包括易失性存储器（英文：volatile memory），例如随机存取存储器（英文：random-access memory，缩写：RAM）；存储器也可以包括非易失性存储器（英文：non-volatile memory），例如快闪存储器（英文：flash memory），硬盘（英文：hard diskdrive，缩写：HDD）或固态硬盘（英文：solid-state drive，缩写：SSD）；存储器还可以包括上述种类的存储器的组合。

其中，处理器可以是中央处理器（英文：central processing unit，缩写：CPU），网络处理器（英文：network processor，缩写：NP）或者CPU和NP的组合。其中，处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路（英文：application-specificintegrated circuit，缩写：ASIC），可编程逻辑器件（英文：programmable logic device，缩写：PLD）或其组合。上述PLD可以是复杂可编程逻辑器件（英文：complex programmablelogic device，缩写：CPLD），现场可编程逻辑门阵列（英文：field-programmable gatearray，缩写：FPGA），通用阵列逻辑（英文：generic array logic, 缩写：GAL）或其任意组合。

本发明的多模态融合成像方法能够将在所述第一模态图像中确定至少两个配准标点并根据所述配准标点在所述超声图像中确定与所述配准标点对应的初始标点；并根据所述配准标点与初始标点的位置信息和角度信息引导超声探头移动，以使所述超声探头获取的超声图像与所述第一模态图像匹配融合，提高了辅助诊断图像分辨率和实时性，提高了临床医生诊断的准确性。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。