图像匹配方法、装置和位姿获取模型训练方法、装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像匹配方法、装置和位姿获取模型训练方法、装置。

背景技术

在临床诊断中，通常需要将多幅图像中的信息进行整合，以便医生了解病变组织或器官的综合情况，做出更加准确的诊断或制定出更加合适的治疗方案。多幅图像信息整合首要解决的就是图像的严格对齐，即图像配准问题。图像配准的效果直接影响图像融合的质量，因此只有准确的配准才能为医生提供准确的诊断依据。

目前的3D特征图像和2D特征图像，主要通过3D与2D数据的相对运动关系，直接拟合3D重投影的2D图像与实际2D图像之间的相对运动关系，并且迭代上述拟合的步骤，得到位姿变换，以进行图像匹配。然而，目前的3D特征图像和2D特征图像的匹配方法，利用3D数据以及2D数据进行图像匹配，或者根据3D数据直接获取绝对位姿，上述两者匹配方法由于利用不同模态的数据进行匹配或者直接获取绝对位姿，存在精度低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高图像匹配精度的图像匹配方法、装置和位姿获取模型训练方法、装置。

第一方面，本申请提供了一种图像匹配方法，该方法包括：

获取待匹配的原始二维特征图像以及投影二维特征图像；投影二维特征图像根据待匹配的原始三维特征图像进行降维处理得到；

根据投影二维特征图像，确定第一全局位姿，并根据原始二维特征图像以及投影二维特征图像，确定第二全局位姿；

基于第一全局位姿以及第二全局位姿，确定针对原始三维特征图像以及原始二维特征图像的目标全局位姿；目标全局位姿用于对原始三维特征图像与原始二维特征图像进行匹配。

在其中一个实施例中，根据原始二维特征图像以及投影二维特征图像，确定第二全局位姿，包括：

根据原始二维特征图像以及投影二维特征图像，得到增量位姿；

获取针对原始三维特征图像的初始位姿，并根据初始位姿和增量位姿，得到第二全局位姿。

在其中一个实施例中，根据投影二维特征图像，确定第一全局位姿，包括：

将投影二维特征图像输入到预先训练的目标位姿获取模型，以使目标位姿获取模型对投影二维特征图像进行第一位姿获取处理，得到第一全局位姿；

根据原始二维特征图像以及投影二维特征图像，得到增量位姿，包括：

将原始二维特征图像输入目标位姿获取模型，以使目标位姿获取模型对原始二维特征图像以及投影二维特征图像进行第二位姿获取处理，得到增量位姿。

第二方面，本申请提供了一种位姿获取模型训练方法，该方法包括：

获取样本原始二维特征图像以及样本投影二维特征图像；样本投影二维特征图像根据样本三维特征图像进行降维处理得到；

将样本原始二维特征图像以及样本投影二维特征图像输入到待训练的位姿获取模型，以使待训练的位姿获取模型对样本投影二维特征图像进行第一位姿获取处理，得到预测第一全局位姿；以及对原始二维特征图像以及投影二维特征图像进行第二位姿获取处理，得到预测第二全局位姿；

根据预测第一全局位姿和预测第二全局位姿，确定针对待训练的位姿获取模型的损失值；

基于针对待训练的位姿获取模型的损失值，对待训练的位姿获取模型进行训练，得到目标位姿获取模型。

在其中一个实施例中，根据预测第一全局位姿和预测第二全局位姿，确定针对待训练的位姿获取模型的损失值，包括：

获取针对样本三维特征图像的样本第一全局位姿，并根据预测第一全局位姿和样本第一全局位姿，确定第一损失值；

获取针对样本三维特征图像和样本原始二维特征图像的样本第二全局位姿，并根据预测第二全局位姿和样本第二全局位姿，确定第二损失值；

根据第一损失值和第二损失值，确定针对待训练的位姿获取模型的损失值。

在其中一个实施例中，根据预测第一全局位姿和预测第二全局位姿，确定针对待训练的位姿获取模型的损失值，包括：

基于预测第一全局位姿和预测第二全局位姿，得到预测目标全局位姿；

基于样本第一全局位姿和样本第二全局位姿，得到样本目标全局位姿；

根据预测目标全局位姿和样本目标全局位姿，确定针对待训练的位姿获取模型的损失值。

在其中一个实施例中，对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，得到预测第二全局位姿，包括：

对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，得到预测增量位姿；

获取针对样本原始三维特征图像的初始位姿，并根据初始位姿和预测增量位姿，得到预测第二全局位姿。

第三方面，本申请还提供了一种图像匹配装置。该装置包括：

特征图像获取模块，用于获取待匹配的原始二维特征图像以及投影二维特征图像；投影二维特征图像根据待匹配的原始三维特征图像进行降维处理得到；

位姿获取模块，用于根据投影二维特征图像，确定第一全局位姿，并根据原始二维特征图像以及投影二维特征图像，确定第二全局位姿；

目标位姿获取模块，用于基于第一全局位姿以及第二全局位姿，确定针对原始三维特征图像以及原始二维特征图像的目标全局位姿；目标全局位姿用于对原始三维特征图像与原始二维特征图像进行匹配。

第四方面，本申请还提供了一种位姿获取模型训练装置，该装置包括：

样本图像获取模块，用于获取样本原始二维特征图像以及样本投影二维特征图像；样本投影二维特征图像根据样本三维特征图像进行降维处理得到；

预测位姿获取模块，用于将样本原始二维特征图像以及样本投影二维特征图像输入到待训练的位姿获取模型，以使待训练的位姿获取模型对样本投影二维特征图像进行第一位姿获取处理，得到预测第一全局位姿；以及对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，得到预测第二全局位姿；

损失值确定模块，用于根据预测第一全局位姿和预测第二全局位姿，确定针对待训练的位姿获取模型的损失值；

模型训练模块，用于基于针对待训练的位姿获取模型的损失值，对待训练的位姿获取模型进行训练，得到目标位姿获取模型。

第五方面，本申请还提供了一种计算机设备。该计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的方法的步骤。

上述图像匹配方法、装置和位姿获取模型训练方法、装置，获取设备获取待匹配的原始二维特征图像以及投影二维特征图像；投影二维特征图像根据待匹配的原始三维特征图像进行降维处理得到；根据投影二维特征图像，确定第一全局位姿，并根据原始二维特征图像以及投影二维特征图像，确定第二全局位姿；基于第一全局位姿以及第二全局位姿，确定针对原始三维特征图像以及原始二维特征图像的目标全局位姿；目标全局位姿用于对原始三维特征图像与原始二维特征图像进行匹配。本申请通过将原始三维特征图像投影得到投影二维特征图像，并通过投影二维特征图像得到第一全局位姿，通过原始二维特征图像以及投影二维特征图像得到第二全局位姿，可以通过第一全局位姿和第二全局位姿，得到目标全局位姿。如此，通过多任务的方法分别获取第一全局位姿和第二全局位姿，能够提高获取全局位姿的准确性，从而能够提高图像匹配精度。

附图说明

图1为一个实施例中图像匹配方法的应用环境图；

图2为一个实施例中图像匹配方法的流程示意图；

图3为一个实施例中位姿获取模型训练方法的流程示意图；

图4为一个实施例中确定针对待训练的位姿获取模型的损失值步骤的流程示意图；

图5为另一个实施例中位姿获取模型训练方法的流程示意图；

图6为具体的一个实施例中三维医学图像和二维医学图像的匹配方法的结构图；

图7为一个实施例中图像匹配装置的结构框图；

图8为一个实施例中位姿获取模型训练装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的图像匹配方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。数据存储系统可以存储原始三维特征图像以及原始二维特征图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种图像匹配方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202，获取待匹配的原始二维特征图像以及投影二维特征图像；投影二维特征图像根据待匹配的原始三维特征图像进行降维处理得到。

其中，原始三维特征图像可以是具有线型拓扑结构的三维图像；原始二维特征图像可以是具有线型拓扑结构的二维图像。具有线型拓扑结构的三维图像指的是该三维图像所显现的是具有线型拓扑结构关系的图像，可以理解，三维特征图像为显影出来是线型拓扑结构关系的三维图像，例如人体的血管图像，人体的组织图像。同理，原始二维特征图像为与原始三维特征图像具有相同特征结构的图像，两者区别在于维度不相同。例如三维特征图像可以是术前的医学图像，二维特征图像可以是术中的医学图像，图像匹配的目的可以是使得术前三维医学图像和术中二维医学图像进行配准，以使术前数据在术中应用具有对应关系，方便进行手术。或者在临床诊断中，通常需要将多幅不同维度的医学图像中的信息进行整合，以便医生了解病变组织或器官的综合情况，此时医学图像信息整合需要进行不同维度的医学图像的配准。

其中，投影二维特征图像特征指的是对原始三维特征图像进行降维处理后得到的二维特征图像。降维处理可以是刚体变换处理，刚体变换可以是空间体变换，可以利用预设的位姿参数进行刚体变换，得到与原始三维特征图像对应的投影二维特征图像。

示例性地，可以利用至少一个图像获取设备，获取需要匹配的原始三维特征图像以及需要与原始三维特征图像进行匹配的原始二维特征图像。图像获取设备可以是任意一种可以获取得到三维特征图像和二维特征图像的设备。例如，可以是通过医学图像设备，获取术前的三维医学图像和术中的二维医学图像。示例性地，可以通过三维医学图像设备获取三维医学图像，通过二维医学图像设备获取二维医学图像，通过对三维医学图像和二维医学图像进行匹配处理，可以将三维医学图像设备的坐标系和二维医学图像设备的坐标系进行匹配，进一步可以对三维医学图像设备中的所有三维图像和二维医学图像设备中的所有二维图像进行匹配。

示例性地，对原始三维特征图像进行降维处理，得到与原始三维特征图像对应的投影二维特征图像特征。通过对原始三维特征图像进行刚体变换，可以得到与原始三维特征图像对应的投影二维特征图像，进一步可以利用投影二维特征图像和原始二维特征图像获取用于匹配的相对位姿参数。如此，可以避免直接利用不同模态的三维数据以及二维数据进行匹配，而造成匹配精度不高的问题，本申请通过获取与原始三维特征图像对应的投影二维特征图像，进一步可以提高原始三维特征图像与原始二维特征图像的匹配准确度。

S204，根据投影二维特征图像，确定第一全局位姿，并根据原始二维特征图像以及投影二维特征图像，确定第二全局位姿。

其中，第一全局位姿指的是通过投影二维特征图像直接获取的全局位姿，可以是原始三维特征图像的绝对位姿。第二全局位姿指的是根据原始二维特征图像的图像数据以及投影二维特征图像的图像数据进行数据处理后，可以得到的全局位姿。全局位姿指的是可以用于对三维特征图像与二维特征图像进行匹配的位姿参数，例如可以是利用全局位姿，将三维特征图像通过数据处理后得到二维特征图像，例如可以将三维特征图像经过预设的旋转或平移后得到二维特征图像，三维特征图像与二维特征图像是通过全局位姿进行匹配。

示例性地，利用投影二维特征图像的图像数据，直接获取针对原始三维特征图像的第一全局位姿。并且可以根据原始二维特征图像的图像数据以及投影二维特征图像的图像数据，进行图像数据处理后，可以得到第二全局位姿。如此，可以通过多任务的方法，获取第一全局位姿和第二全局位姿，进一步地，可以对上述两个全局位姿进行融合处理，从而可以提高获取全局位姿的准确性，进而能够提高原始三维特征图像与原始二维特征图像匹配的精度。

示例性地，通过投影二维特征图像，可以得到原始三维特征图像的绝对位姿，并通过原始二维特征图像以及投影二维特征图像能够得到针对原始三维特征图像和投影二维特征图像的相对位姿，从而能够解决图像匹配尺度模糊的问题，并且能够解决不同模态数据的匹配精度低的问题。

S206，基于第一全局位姿以及第二全局位姿，获取针对原始三维特征图像以及原始二维特征图像的目标全局位姿；目标全局位姿用于对原始三维特征图像与原始二维特征图像进行匹配。

其中，目标全局位姿指的是可以用于对原始三维特征图像与原始二维特征图像进行匹配的全局位姿，例如可以利用目标全局位姿，对原始三维特征图像进行旋转或平移得到原始三维特征图像。

示例性地，对第一全局位姿以及第二全局位姿进行融合处理，得到用于进行原始三维特征图像以及原始二维特征图像进行匹配的目标全局位姿。进一步地，可以利用该目标全局位姿分别对其他与原始三维特征图像关联的三维特征图像以及与原始二维特征图像关联的原始二维特征图像进行匹配。例如，可以利用目标全局位姿对术前的三维医学图像和术中的二维医学图像对应进行匹配。如此，通过多任务处理得到的目标全局位姿，应用在原始三维特征图像以及原始二维特征图像中，能够提高图像匹配的准确性。

本实施例中，获取设备获取原始三维特征图像、原始二维特征图像，以及获取原始三维特征图像对应的投影二维特征图像；投影二维特征图像根据原始三维特征图像进行降维处理得到；根据投影二维特征图像，确定第一全局位姿，并根据原始二维特征图像以及投影二维特征图像，确定第二全局位姿；基于第一全局位姿以及第二全局位姿，确定针对原始三维特征图像以及原始二维特征图像的目标全局位姿；目标全局位姿用于对原始三维特征图像与原始二维特征图像进行匹配。本申请通过将原始三维特征图像投影得到投影二维特征图像，并通过投影二维特征图像得到第一全局位姿，通过原始二维特征图像以及投影二维特征图像得到第二全局位姿，可以通过第一全局位姿和第二全局位姿，得到目标全局位姿。如此，通过多任务的方法分别获取第一全局位姿和第二全局位姿，能够提高获取全局位姿的准确性，从而能够提高图像匹配精度。同时，能够通过多任务的处理方式，提高图像匹配尺度精度，以及提高不同模态数据的匹配精度。

在一个实施例中，根据原始二维特征图像以及投影二维特征图像，确定第二全局位姿，包括：

根据原始二维特征图像以及投影二维特征图像，得到增量位姿；

获取针对原始三维特征图像的初始位姿，并根据初始位姿和增量位姿，得到第二全局位姿。

其中，增量位姿指的是原始二维特征图像以及投影二维特征图像之间的相对位姿。初始位姿可以是通过预设的图像获取设备，直接获取得到针对原始二维特征图像的位姿参数，即与原始二维特征图像对应的位姿。例如，可以通过与预设的图像获取设备获取原始二维特征图像，同时可以获取得到针对该原始三维特征图像的初始位姿。可以利用该初始位姿对原始三维特征图像进行刚体变换，得到投影二维特征图像。

示例性地，对原始二维特征图像的图像数据以及投影二维特征图像的图像数据进行处理，可以得到原始三维特征图像和原始二维特征图像之间的相对位姿。进一步可以对增量位姿和原始三维特征图像的初始位姿进行融合处理，得到第二全局位姿。

本实施例中，通过原始二维特征图像以及投影二维特征图像，处理得到原始三维特征图像和原始二维特征图像的相对位姿，并通过该相对位姿和针对原始三维特征图像的初始位姿，能够得到用于原始二维特征图像以及投影二维特征图像进行匹配的第二全局位姿。如此，利用相对位姿，提高图像匹配尺度精度。并通过相对位姿以及初始位姿来得到全局位姿，能够准确地得到用于进行匹配的全局位姿，从而提高了图像匹配的准确性。进一步可以与第一全局位姿进行融合处理，得到目标全局位姿，从而可以通过多任务处理，能够提高图像匹配尺度精度，以及提高不同模态数据的匹配精度。

在一个实施例中，根据投影二维特征图像，确定第一全局位姿，包括：

将投影二维特征图像输入到预先训练的目标位姿获取模型，以使目标位姿获取模型对投影二维特征图像进行第一位姿获取处理，得到第一全局位姿；

根据原始二维特征图像以及投影二维特征图像，得到增量位姿，包括：

将原始二维特征图像输入目标位姿获取模型，以使预先训练的位姿获取模型对原始二维特征图像以及投影二维特征图像进行第二位姿获取处理，得到增量位姿。

其中，目标位姿获取模型指的是能够进行图像数据处理，并通过处理后的图像数据能够获取位姿的数据处理模型，例如，其可以是通过图像数据处理，获取位姿的神经网络模型。第一位姿获取处理可以是针对获取第一全局位姿的一种图像数据处理方式。第二位姿获取处理可以是针对获取增量位姿的一种图像数据处理方式。

示例性地，目标位姿获取模型根据投影二维特征图像，对投影二维特征图像的图像数据进行第一位姿获取处理可以得到第一全局位姿。目标位姿获取模型对原始二维特征图像以及投影二维特征图像进行第二位姿获取处理，得到增量位姿。如此，通过位姿获取模型能够同时进行多任务处理，得到第一全局位姿和增量位姿，通过多任务的处理方式，提高图像匹配尺度精度，以及提高不同模态数据的匹配精度、以及提高了图像匹配的效率，并且在多任务处理中能够进行多任务的约束学习，提高图像匹配的准确率。

在一个实施例中，如图3所示，提供了一种位姿获取模型训练方法，该方法包括以下步骤：

S302，获取样本原始二维特征图像以及样本投影二维特征图像；样本投影二维特征图像根据样本三维特征图像进行降维处理得到。

其中，样本三维特征图像指的是与原始三维特征图像相对应的三维特征图像，样本三维特征图像可以是具有线型拓扑结构的样本三维图像。样本原始二维特征图指的是与原始二维特征图像相对应的二维特征图像，样本原始二维特征图可以是具有线型拓扑结构的样本二维图像。样本投影二维特征图像指的是对样本三维特征图像进行降维处理后得到的样本二维特征图像。样本三维特征图像、样本原始二维特征图和样本投影二维特征图像均可以是用于对位姿获取模型进行训练的样本特征图像。

示例性地，利用至少一个图像获取设备，获取对位姿获取模型进行训练的样本三维特征图像以及样本原始二维特征图像，通过对样本三维特征图像进行降维处理，可以得到与样本三维特征图像对应的样本投影二维特征图像，降维处理可以是刚体变换，进一步地，可以利用样本投影二维特征图像和样本原始二维特征图对位姿获取模型进行训练。例如，样本投影二维特征图像和样本原始二维特征图可以是已经进行匹配好的特征图像。

S304，将样本原始二维特征图像以及样本投影二维特征图像输入到待训练的位姿获取模型，以使待训练的位姿获取模型对样本投影二维特征图像进行第一位姿获取处理，得到预测第一全局位姿；以及对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，得到预测第二全局位姿。

其中，预测第一全局位姿指的是通过位姿获取模型预测得到的第一全局位姿。预测第二全局位姿指的是通过位姿获取模型预测得到的第二全局位姿。

示例性地，通过待训练的位姿获取模型，对样本投影二维特征图像进行第一位姿获取处理，以预测得到预测第一全局位姿；对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，以预测得到预测第二全局位姿。如此，通过待训练的位姿获取模型根据样本特征图像进行预测，能够根据预测结果，以及预先获取的样本结果(真实结果)进行训练。

S306，根据预测第一全局位姿和预测第二全局位姿，确定针对待训练的位姿获取模型的损失值。

S308，基于针对待训练的位姿获取模型的损失值，对待训练的位姿获取模型进行训练，得到目标位姿获取模型。

其中，损失值指的是用于针对位姿获取模型进行训练的损失值，其可以通过预测结果以及真实结果得到。例如可以通过预测第一全局位姿和预测第二全局位姿得到一个损失值，利用该损失值对位姿获取模型进行训练，得到训练完成的位姿获取模型。或者可以通过预测第一全局位姿和样本第一全局位姿确定第一损失值，通过预测第二全局位姿和样本第二全局位姿，确定第二损失值，根据第一损失值和第二损失值对位姿获取模型进行训练，得到训练完成的位姿获取模。

示例性地，根据预测第一全局位姿和预测第二全局位姿，可以确定用于对位姿获取模型进行训练的损失值，利用该损失值对位姿获取模进行训练。

本实施例中，通过预先获取的样本位姿以及待训练的位姿获取模型预测到的预测位姿，对位姿获取模型进行训练，能够得到训练完成的位姿获取模型。如此可以通过位姿获取模型获取得到第一全局位姿和预测第二全局位姿，利用位姿获取模型通过多任务的处理，提高图像匹配尺度精度，以及提高不同模态数据的匹配精度，也即能够解决匹配尺度模糊以及不同模态匹配度差的问题。

在一个实施例中，如图4所示，根据预测第一全局位姿和预测第二全局位姿，确定针对待训练的位姿获取模型的损失值，包括：

S402，获取针对样本三维特征图像的样本第一全局位姿，并根据预测第一全局位姿和样本第一全局位姿，确定第一损失值；

S404，获取针对样本三维特征图像和样本原始二维特征图像的样本第二全局位姿，并根据预测第二全局位姿和样本第二全局位姿，确定第二损失值；

S406，根据第一损失值和第二损失值，确定针对待训练的位姿获取模型的损失值。

其中，样本第一全局位姿指的是针对样本三维特征图像，能够直接获取得到样本全局位姿。样本第二全局位姿指的是样本三维特征图像和样本原始二维特征图像之间的样本全局位姿。可以理解，样本第一全局位姿和样本第二全局位姿均为模型训练中的真实位姿，即模型训练的真实结果。第一损失值可以是根据针对预测第一全局位姿和样本第一全局位姿的第一损失函数得到的损失值。第二损失值可以是根据针对预测第二全局位姿和样本第二全局位姿的第二损失函数得到的损失值。

示例性地，利用第一损失函数，对预测第一全局位姿和样本第一全局位姿进行差异化处理，得到第一损失值。根据第二损失函数，对第二全局位姿和样本第二全局位姿，进行差异化处理，得到第二损失值。进一步可以根据第一损失值和第二损失值，确定最终用于对位姿获取模型进行训练的损失值。

本实施例中，通过确定第一损失值和第二损失值，对位姿获取模型进行训练，进行多任务训练处理，通过两个损失值进行约束训练，相对于单任务仅利用一个损失值进行约束训练，本申请能够得到更好的训练效果，从而得到预测结果更准确的位姿获取模型。

在一个实施例中，根据预测第一全局位姿和预测第二全局位姿，确定针对待训练的位姿获取模型的损失值，包括：

基于预测第一全局位姿和预测第二全局位姿，得到预测目标全局位姿；

基于样本第一全局位姿和样本第二全局位姿，得到样本目标全局位姿；

根据预测目标全局位姿和样本目标全局位姿，确定针对待训练的位姿获取模型的损失值。

其中，预测第二全局位姿可以是通过位姿获取模型获取得到的预测结果。

示例性地，通过预测第一全局位姿和预测第二全局位姿，得到预测目标全局位姿融合处理，进一步可以通过预先设定的针对位姿获取模型的损失函数，对预测目标全局位姿和样本目标全局位姿进行处理，得到针对位姿获取模型的损失值。如此，通过最终预测的目标全局位姿以及真实结果的目标全局位姿，确定损失值，能够提高位姿获取模型的训练效率。

在一个实施例中，根据预测第一全局位姿、预测增量位姿、样本第一全局位姿和样本增量位姿，确定针对待训练的位姿获取模型的损失值，还包括：

获取针对样本三维特征图像的样本初始位姿；

根据样本初始位姿和预测增量位姿，得到预测第二全局位姿；

基于预测第一全局位姿和预测第二全局位姿，得到预测目标全局位姿；

根据样本增量位姿和样本初始位姿，得到样本第二全局位姿；

基于样本第一全局位姿和样本第二全局位姿，得到样本目标全局位姿；

根据预测目标全局位姿和样本目标全局位姿，确定针对待训练的位姿获取模型的损失值。

其中，样本初始位姿可以是通过预设的图像获取设备，直接获取得到针对样本三维特征图像的样本位姿参数，即与样本三维特征图像对应的样本位姿。预测第二全局位姿可以是通过位姿获取模型获取得到的预测结果。预测目标全局位姿可以是通过预测第一全局位姿和预测第二全局位姿进行融合处理得到的预测结果。样本第二全局位姿指的是根据样本增量位姿和样本初始位姿得到的样本位姿。样本目标全局位姿可以是根据样本第一全局位姿和样本第二全局位姿进行融合处理得到的样本位姿(可以作为真实结果)。

示例性地，根据样本第一全局位姿和样本第二全局位姿融合处理到样本目标全局位姿，并通过预测第一全局位姿和预测第二全局位姿，得到预测目标全局位姿融合处理，进一步可以通过预先设定的针对位姿获取模型的损失函数，对预测目标全局位姿和样本目标全局位姿进行处理，得到针对位姿获取模型的损失值。如此，通过最终预测的目标全局位姿以及真实结果的目标全局位姿，确定损失值，能够提高位姿获取模型的训练效率。

在一个实施例中，对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，得到预测第二全局位姿，包括：

对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，得到预测增量位姿；

获取针对样本原始三维特征图像的初始位姿，并根据初始位姿和预测增量位姿，得到预测第二全局位姿。

示例性地，初始位姿可以是通过预设的图像获取设备，直接获取得到针对样本三维特征图像的样本位姿参数，即与样本三维特征图像对应的样本位姿。对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，得到预测增量位姿，通过初始位姿和预测增量位姿的融合处理，可以得到预测第二全局位姿。如此，通过初始位姿和预测增量位姿，也即通过初始位姿和预测的相对位姿得到预测第二全局位姿，可以利用预测第二全局位姿对位姿获取模型进行训练，可以实现对位姿获取模型的多任务训练，从而可以提高位姿获取模型的图像处理的准确性。

在一个实施例中，如图5所示，提供了一种位姿获取模型训练方法，包括以下步骤：

S501，利用预设的图像获取设备，获取样本三维特征图像以及样本原始二维特征图像，并对样本三维特征图像进行刚体变换，得到与样本三维特征图像对应的样本投影二维特征图像。

其中，样本三维特征图像指的是与原始三维特征图像相对应的三维特征图像，样本三维特征图像为具有线型拓扑结构的样本三维图像。样本原始二维特征图指的是与原始二维特征图像相对应的二维特征图像，样本原始二维特征图为具有线型拓扑结构的样本二维图像。样本投影二维特征图像指的是对样本三维特征图像进行降维处理后得到的样本二维特征图像。样本三维特征图像、样本原始二维特征图和样本投影二维特征图像均可以是用于对位姿获取模型进行训练的样本特征图像。

示例性地，利用至少一个图像获取设备，获取对位姿获取模型进行训练的样本三维特征图像以及样本原始二维特征图像，通过对样本三维特征图像进行刚体变换，可以得到与样本三维特征图像对应的样本投影二维特征图像，进一步地，可以利用样本投影二维特征图像和样本原始二维特征图对位姿获取模型进行训练。

S502，获取针对样本三维特征图像的样本第一全局位姿、以及针对样本三维特征图像和样本原始二维特征图像的样本增量位姿。

其中，样本第一全局位姿指的是针对样本三维特征图像，能够直接获取得到样本第一全局位姿。样本增量位姿指的是样本三维特征图像和样本原始二维特征图像之间的相对样本位姿。可以理解，样本第一全局位姿和样本增量位姿均为模型训练中的真实位姿，即模型训练的真实结果。

示例性地，获取用于针对模型训练真实结果的样本第一全局位姿以及样本增量位姿，进一步能够通过样本第一全局位姿、样本增量位姿以及位姿获取模型预测得到的预测结果，对位姿获取模型进行训练，以得到训练完成的位姿获取模型，进一步能够通过训练完成的位姿获取模型获取第一全局位姿以及增量位姿，从而能够通过多任务获取目标全局位姿，提高目标全局位姿的准确性，进而能够提高图像匹配的精度。

S503，将样本原始二维特征图像以及样本投影二维特征图像输入到待训练的位姿获取模型，以使待训练的位姿获取模型根据样本投影二维特征图像，得到预测第一全局位姿，以及根据原始二维特征图像以及投影二维特征图像，得到预测增量位姿。

其中，预测第一全局位姿指的是通过位姿获取模型预测得到的第一全局位姿。预测增量位姿指的是通过位姿获取模型预测得到的增量位姿。

示例性地，通过待训练的位姿获取模型，对样本投影二维特征图像进行预测，得到预测第一全局位姿；对样本原始二维特征图像以及样本投影二维特征图像进行预测，得到预测增量位姿。如此，通过待训练的位姿获取模型根据样本特征图像进行预测，能够根据预测结果，以及预先获取的样本结果(真实结果)进行训练。

S504，根据预测第一全局位姿和样本第一全局位姿，确定第一损失值。

其中，第一损失值可以是根据针对预测第一全局位姿和样本第一全局位姿的第一损失函数得到的损失值。

示例性地，利用第一损失函数，对预测第一全局位姿和样本第一全局位姿进行差异化处理，得到第一损失值。

S505，根据预测增量位姿和样本增量位姿，确定第二损失值。

第二损失值可以是根据针对预测增量位姿和样本增量位姿的第二损失函数得到的损失值。

示例性地，根据第二损失函数，对预测增量位姿和样本增量位姿，进行差异化处理，得到第二损失值。

S506，根据第一损失值和第二损失值，确定针对待训练的位姿获取模型的损失值。

示例性地，可以根据第一损失值和第二损失值，确定最终用于对位姿获取模型进行训练的损失值。

S507，基于针对待训练的位姿获取模型的损失值，对待训练的位姿获取模型进行训练，得到目标位姿获取模型。

示例性地，根据由第一损失值和第二损失值确定的损失值，对位姿获取模型进行训练，得到训练完成的位姿获取模型。如此可以通过两个损失值进行约束训练，相对于单任务仅利用一个损失值进行约束训练，本申请能够得到更好的训练效果，从而得到预测结果更准确的目标位姿获取模型。同时，通过训练完成的目标位姿获取模型，能进一步利用该目标位姿获取模型，获取得到第一全局位姿和增量位姿，也即可以获取得到原始三维特征图像的绝对位姿，以及原始三维特征图像和原始二维特征图像的相对位姿，从而能够降低图像匹配尺度模糊以及解决不同模态的图像匹配精度低的问题。

在一个具体的实施例中，一种三维医学图像和二维医学图像的匹配方法的结构图如图6所示，包括以下数据流向：

对原始三维医学图像601进行投影处理，得到投影二维医学图像603；将投影二维医学图像603输入到绝对位姿获取模型604，得到绝对位姿605；并将原始二维医学图像602和投影二维医学图像603输入到相对位姿获取模型606，得到相对位姿607；利用相对位姿607、绝对位姿605以及可以直接获取的预设的初始位姿608进行融合处理，得到目标全局位姿609。如此，通过多任务深度神经网络模型对原始三维医学图像以及原始二维医学图像进行处理，能够得到相对位姿和绝对位姿，并且根据相对位姿和绝对位姿输出最优的全局位姿，从而能够克服利用相对位姿进行匹配的尺度模糊问题，以及能够解决绝对位姿造成的模态数据不相同准确率低的问题。同时，通过多任务的神经网络预测方法，具有多约束条件，能够提高深度神经网络模型的训练效果以及使用的准确性。

示例性地，输入数据是可以3D图像分割后的3D血管数据、2D血管数据与3D血管数据的初始位姿。输出可以是3D血管数据的最优位姿。3D血管数据在初始位姿下虚拟一个2D血管观测，然后放入绝对位姿获取模型604直接输出绝对位姿(3D全局位姿)，同时和2D血管数据输入相对位姿获取模型606得到一个与初始3D位姿对应的增量位姿。初始3D位姿和增量位姿也能拿到全局3D位姿。最终两个全局位姿融合得到最终位姿。

本实施例中，相比传统神经网络的一个损失函数，本申请提供的相对位姿获取模型可以有两个损失函数：针对绝对位姿的损失函数和针对相对位姿的损失函数。绝对位姿可以通过相机在不同角度下的DRR(digitally reconstructed radiograph)算法模拟出来。同时，相对位姿转换关系则可以根据训练数据获取。这样，在训练中可以同时训练这两个损失函数。在预测过程中，相对位姿获取模型的网络结构会同时输出绝对位姿和相对位姿。其中相对位姿获取模型的初始位姿与相对位姿(局部位姿增量)结合全局位姿可以输出另一个全局位姿，然后与绝对位姿获取模型的当前全局位姿进行融合。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像匹配方法对应的图像匹配装置、以及位姿获取模型训练方法对应的位姿获取模型训练装置，上述装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像匹配装置、位姿获取模型训练装置实施例中的具体限定可以参见上文中对于图像匹配方法的、位姿获取模型训练方法限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种图像匹配装置700，包括：特征图像获取模块710、位姿获取模块720、目标位姿获取模块730，其中：

特征图像获取模块710，用于获取待匹配的原始二维特征图像以及投影二维特征图像；投影二维特征图像根据待匹配的原始三维特征图像进行降维处理得到；

位姿获取模块720，用于根据投影二维特征图像，确定第一全局位姿，并根据原始二维特征图像以及投影二维特征图像，确定第二全局位姿；

目标位姿获取模块730，用于基于第一全局位姿以及第二全局位姿，确定针对原始三维特征图像以及原始二维特征图像的目标全局位姿；目标全局位姿用于对原始三维特征图像与原始二维特征图像进行匹配。

在一个实施例中，位姿获取模块包括增量位姿单元和初始位姿单元。

增量位姿单元用于根据原始二维特征图像以及投影二维特征图像，得到针对原始三维特征图像和原始二维特征图像的增量位姿。初始位姿单元用于获取针对原始三维特征图像的初始位姿，并根据初始位姿和增量位姿，得到第二全局位姿。

在一个实施例中，位姿获取模块用于第一全局位姿单元用于根据原始二维特征图像以及投影二维特征图像，得到增量位姿；获取针对原始三维特征图像的初始位姿，并根据初始位姿和增量位姿，得到第二全局位姿。

在一个实施例中，位姿获取模块用于将投影二维特征图像输入到预先训练的目标位姿获取模型，以使目标位姿获取模型对投影二维特征图像进行第一位姿获取处理，得到第一全局位姿；还用于将原始二维特征图像输入目标位姿获取模型，以使目标位姿获取模型对原始二维特征图像以及投影二维特征图像进行第二位姿获取处理，得到增量位姿。

在一个实施例中，如图8所示，提供了一种位姿获取模型训练装置800，包括：样本图像获取模块810、预测位姿获取模块820、损失值确定模块830、模型训练模块840。

样本图像获取模块810，用于获取样本原始二维特征图像以及样本投影二维特征图像；样本投影二维特征图像根据样本三维特征图像进行降维处理得到；

预测位姿获取模块820，用于将样本原始二维特征图像以及样本投影二维特征图像输入到待训练的位姿获取模型，以使待训练的位姿获取模型对样本投影二维特征图像进行第一位姿获取处理，得到预测第一全局位姿；以及对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，得到预测第二全局位姿；

损失值确定模块830，用于根据预测第一全局位姿和预测第二全局位姿，确定针对待训练的位姿获取模型的损失值；

模型训练模块840，用于基于针对待训练的位姿获取模型的损失值，对待训练的位姿获取模型进行训练，得到目标位姿获取模型。

在一个实施例中，损失值确定模块包括第一损失值确定单元和第二损失值确定单元和目标损失值确定单元。

第一损失值确定单元用于获取针对样本三维特征图像的样本第一全局位姿，并根据预测第一全局位姿和样本第一全局位姿，确定第一损失值。第二损失值确定单元用于获取针对样本三维特征图像和样本原始二维特征图像的样本第二全局位姿，并根据预测第二全局位姿和样本第二全局位姿，确定第二损失值。目标损失值确定单元用于根据第一损失值和第二损失值，确定针对待训练的位姿获取模型的损失值。

在一个实施例中，损失值确定模块包括预测位姿单元和样本位姿单元。

预测位姿单元用于基于预测第一全局位姿和预测第二全局位姿，得到预测目标全局位姿。样本位姿单元用于基于样本第一全局位姿和样本第二全局位姿，得到样本目标全局位姿。目标损失值确定单元用于根据预测目标全局位姿和样本目标全局位姿，确定针对待训练的位姿获取模型的损失值。

在一个实施例中，预测位姿获取模块包括增量位姿单元和第二全局位姿单元。

增量位姿单元用于对样本原始二维特征图像以及样本投影二维特征图像进行第二位姿获取处理，得到预测增量位姿；

第二全局位姿单元用于获取针对样本原始三维特征图像的初始位姿，并根据初始位姿和预测增量位姿，得到预测第二全局位姿。

上述图像匹配装置、位姿获取模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储原始三维特征图像、原始二维特征图像、样本三维特征图像和样本原始二维特征图。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像匹配方法、位姿获取模型训练方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图像，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。