图像配准方法、装置、设备及存储介质

技术领域

本申请实施例涉及人工智能领域，特别涉及一种图像配准方法、装置、设备及存储介质。

背景技术

图像配准是指将一副或多副图像通过空间变换，使其与参考图像在空间上对齐的过程。

图像配准过程是寻找最优空间变换即最优形变场的过程，对于每对待配准图像，其形变场的解空间并不唯一，因此，在基于深度学习的图像配准网络的训练阶段，为约束形变场的解空间，增加空间正则化项约束形变场。

然而，在训练图像配准网络过程中，在不同训练时间上形变场同样存在较大差异，相关技术中仅对空间上形变场进行约束，导致图像配准网络训练效果较差，进而影响基于图像配准网络进行图像配准时的准确性。

发明内容

本申请实施例提供了一种图像配准方法、装置、设备及存储介质，可以提高图像配准网络预测形变场的性能，进而提高图像配准的准确性。所述技术方案如下：

一方面，本申请实施例提供了一种图像配准方法，所述方法包括：

获取样本图像对，所述样本图像对中包含样本待配准图像和样本目标图像；

将所述样本图像对输入第一配准网络，得到所述样本待配准图像与所述样本目标图像之间的第一形变场，并通过所述第一形变场对所述样本待配准图像进行形变处理，得到第一配准图像；

将所述样本图像对输入第二配准网络，得到所述样本待配准图像与所述样本目标图像之间的第二形变场，并通过所述第二形变场对所述样本待配准图像进行形变处理，得到第二配准图像，所述第一配准网络的第一网络参数与所述第二配准网络的第二网络参数是不同训练时间下的网络参数；

基于所述第一形变场、所述第一配准图像、所述第二配准图像以及所述样本目标图像，训练所述第一配准网络。

另一方面，本申请实施例提供了一种图像配准装置，所述装置包括：

样本图像获取模块，用于获取样本图像对，所述样本图像对中包含样本待配准图像和样本目标图像；

第一配准模块，用于将所述样本图像对输入第一配准网络，得到所述样本待配准图像与所述样本目标图像之间的第一形变场，并通过所述第一形变场对所述样本待配准图像进行形变处理，得到第一配准图像；

第二配准模块，用于将所述样本图像对输入第二配准网络，得到所述样本待配准图像与所述样本目标图像之间的第二形变场，并通过所述第二形变场对所述样本待配准图像进行形变处理，得到第二配准图像，所述第一配准网络的第一网络参数与所述第二配准网络的第二网络参数是不同训练时间下的网络参数；

训练模块，用于基于所述第一形变场、所述第一配准图像、所述第二配准图像以及所述样本目标图像，训练所述第一配准网络。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的图像配准方法。

另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的图像配准方法。

另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的图像配准方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过第一配准网络与第二配准网络分别对待配准图像与目标图像进行图像配准，得到不同训练时间下网络参数对应的形变场，最终基于不同形变场对待配准图像进行形变处理后得到不同配准图像，进而可通过不同配准图像与目标图像对第一配准网络进行训练，使第一配准网络在不同训练时间下得到的网络参数趋于稳定，即使第一配准网络在不同训练时间下预测的形变场趋于一致，在训练过程中增加时间约束，有助于提高第一配准网络的训练效果，进而提高第一配准网络预测形变场的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提供的图像配准方法的原理示意图；

图2示出了本申请一个示例性实施例提供的实施环境的示意图；

图3示出了本申请一个示例性实施例提供的图像配准方法的流程图；

图4示出了本申请另一个示例性实施例提供的图像配准方法的流程图；

图5示出了本申请另一个示例性实施例提供的图像配准方法的流程图；

图6是一个示例性实施例示出的第一配准网络训练过程的实施示意图；

图7示出了本申请另一个示例性实施例提供的图像配准方法的流程图；

图8是一个示例性实施例示出的利用第一配准网络进行图像配准过程的实施示意图；

图9是本申请一个示例性实施例提供的图像配准装置的结构框图；

图10示出了本申请一个示例性实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像分割、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请实施例涉及的图像配准方法，即计算机视觉技术在图像处理领域的应用，能够在基于样本图像对训练配准网络的过程中，增加训练时间约束，提高配准网络的训练效果，进而提高配准网络的预测形变场性能。

相关技术中，在基于无监督学习的图像配准网络的训练阶段，通过如下损失函数对图像配准网络进行训练：

其中，I

可见，相关技术中仅在空间上对形变场施加约束，而在训练过程中，图像配准网络在不同训练时间上(即循环迭代过程中)所预测的形变场也同样存在较大差异，而相关技术中并未考虑时间上形变场的差异，因此，本申请实施例中引入第二配准网络，实现在时间上约束形变场的解空间，优化图像配准网络的训练效果，即提高图像配准网络的性能。

如图1所示，设置有第一配准网络102与第二配准网络103，将样本图像对101分别输入第一配准网络102与第二配准网络103中，得到第一形变场104与第二形变场105，再基于第一形变场104与第二形变场105对待配准图像106进行形变处理得到第一配准图像107与第二配准图像108。由于第一配准网络102与第二配准网络103的网络参数是不同训练时间下的网络参数，因此，基于第一配准图像107与第二配准图像108训练第一配准网络102，可实现约束时间上第一配准网络102预测形变场的解空间，进而提高第一配准网络102的性能，在利用训练后的第一配准网络102进行图像配准时，图像配准的准确性得以提升。

且本申请实施例提供的图像配准方法可用于对图像配准网络的训练过程，且训练完成后的图像配准网络可用于任一图像配准场景中。

应用于医学场景时，对于患者的同一器官，可以采用不同设备采集含有准确解剖信息的图像，如计算机断层扫描(Computed Tomography，CT)，正电子发射断层成像(Positron Emission Computed Tomography，PET)等；或采集不同时间段的医学图像，对采集得到的图像进行图像配准，融合各图像中信息，进而使医疗人员更精确地从各个角度观察病灶和器官的变化情况，有助于进行医疗诊断、制定手术计划、放射治疗计划进程。

应用于目标追踪场景时，可对不同角度、不同时间采集的同一目标的目标图像进行图像配准，进而融合各图像中信息，得到目标行动轨迹，有助于进行目标追踪。

当然，除了上述应用场景外，本申请实施例提供的图像配准方法，还可以应用于其他图像配准场景，本申请实施例并不对具体的应用场景构成限定。

图2示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境中包括计算机设备210和服务器220。其中，计算机设备210与服务器220之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。

计算机设备210是具有图像配准需求的电子设备，该电子设备可以是智能手机、平板电脑或个人计算机等等，本实施例并此不作限定。图2中，以计算机设备210为医护人员使用的计算机为例进行说明。

在一些实施例中，计算机设备210中安装有具有图像配准功能的应用程序。当需要对目标图像对(比如，不同时间扫描得到的医学图像、不同设备扫描得到的医学图像)进行配准时，用户将目标图像对输入应用程序，从而将目标图像对上传至服务器220，由服务器220进行图像配准，并反馈配准结果。

服务器220可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在一些实施例中，服务器220用于为计算机设备210中安装的应用程序提供图像配准服务。可选的，服务器220中设置有图像配准网络221。在一种可能的实施方式中，服务器220接收到计算机设备210发送的目标图像对211后，利用图像配准网络221进行图像配准得到形变场222，并利用形变场222对待配准图像进行形变处理得到配准图像223，并将配准图像223返回至计算机设备210，以便计算机设备210对图像配准结果进行显示。

当然，在其他可能的实施方式中，图像配准网络也可以部署在计算机设备210侧，由计算机设备210在本地实现图像配准，无需借助服务器220，本实施例对此不作限定。且图像配准网络可在服务器侧进行训练，也可在计算机设备侧进行训练，进行图像配准网络的部署。为了方便表述，下述各个实施例以图像配准方法由计算机设备执行为例进行说明。

请参考图3，其示出了本申请一个示例性实施例提供的图像配准方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。

步骤301，获取样本图像对，样本图像对中包含样本待配准图像和样本目标图像。

样本图像对是指对同一对象在不同条件下采集的图像对。其中，不同条件可包括不同时间、不同角度或不同采集设备中的至少一种。比如，样本图像对中包含对同一病人在呼气与吸气阶段分别对肺部采集的医学图像。

可选的，样本图像对中任一图像均可作为样本目标图像。比如，样本图像对中包含图像A与图像B，当图像A作为样本目标图像时，可将图像B进行空间变换，使其与图像A在空间上对齐；而当图像B作为样本目标图像时，可将图像A进行空间变换，使其与图像A在空间上对齐。

步骤302，将样本图像对输入第一配准网络，得到样本待配准图像与样本目标图像之间的第一形变场，并通过第一形变场对样本待配准图像进行形变处理，得到第一配准图像。

可选的，第一配准网络可采用U-Net网络，其包含一个用于提取高级语义特征的编码器以及一个用户恢复原始尺寸并生成预测结果的编码器。本实施例中，采用U-Net网络构建三维配准预测网络，对三维图像进行配准。除此之外，第一配准网络也可为其他结构网络，本实施例对此不做限定。

将样本图像对输入第一配准网络后，即可得到第一形变场，其中，基于第一形变场对样本待配准图像进行空间变换，使样本待配准图像与样本目标图像在空间上对齐，进而达到融合两种图像中信息的目的。

可选的，在对样本待配准图像进行形变处理的过程中，可利用空间变换网络(Spatial Transformer Networks，STN)对样本待配准图像进行形变。即将第一形变场与样本待配准图像输入至STN中，使STN利用第一形变场对样本待配准图像进行形变得到第一配准图像。

步骤303，将样本图像对输入第二配准网络，得到样本待配准图像与样本目标图像之间的第二形变场，并通过第二形变场对样本待配准图像进行形变处理，得到第二配准图像，第一配准网络的第一网络参数与第二配准网络的第二网络参数是不同训练时间下的网络参数。

在对第一配准网络的训练过程中，不同训练时间下预测得到的形变场存在较大差异，因此，为在时间上约束形变场的解空间，本申请实施例中，设置第二配准网络对样本图像对间形变场进行预测，即预测得到第二形变场。由于第一配准网络与第二配准网络的网络参数是不同训练时间下的网络参数，因此，可预测得到不同训练时间下的形变场。

而预测得到第二形变场后，同样可利用STN网络对样本待配准图像进行形变处理得到第二配准图像，进而可得到不同训练时间下的第一配准图像与第二配准图像，从而基于第一配准图像与第二配准图像对第一配准网络进行训练时，可在时间上约束形变场。

可选的，第一配准网络的网络结构与第二配准网络的网络结构相同，其仅是采用的网络参数存在时间上的差异。

步骤304，基于第一形变场、第一配准图像、第二配准图像以及样本目标图像，训练第一配准网络。

在得到第一形变场、第一配准图像、第二配准图像后，可分别基于各特征对第一配准网络进行训练，进而实现在训练过程中增加对不同训练时间下得到形变场的约束。

可选的，训练过程中，可基于第一形变场、第一配准图像、第二配准图像以及样本目标图像的特征确定总损失，采用梯度下降或反向传播算法对第一配准网络进行训练，即对第一配准网络的网络参数进行调整，直至满足训练条件为止。

综上所述，本申请实施例中，通过第一配准网络与第二配准网络分别对待配准图像与目标图像进行图像配准，得到不同训练时间下网络参数对应的形变场，最终基于不同形变场对待配准图像进行形变处理后得到不同配准图像，进而可通过不同配准图像与目标图像对第一配准网络进行训练，使第一配准网络在不同训练时间下得到的网络参数趋于稳定，即使第一配准网络在不同训练时间下预测的形变场趋于一致，在训练过程中增加时间约束，有助于提高第一配准网络的训练效果，进而提高第一配准网络预测形变场的准确性。

本申请实施例中，利用训练过程中的时序信息对第一配准网络进行优化，为约束不同训练时间下形变场的差异，在相似度损失以及空间正则化损失的基础上引入时间正则化损失，从而基于三者共同训练第一配准网络，使训练过程中，在空间与时间双重维度上对第一配准网络施加约束，下面将以示例性实施例对该过程进行说明。

请参考图4，其示出了本申请一个示例性实施例提供的图像配准方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。

步骤401，获取样本图像对，样本图像对中包含样本待配准图像和样本目标图像。

步骤402，将样本图像对输入第一配准网络，得到样本待配准图像与样本目标图像之间的第一形变场，并通过第一形变场对样本待配准图像进行形变处理，得到第一配准图像。

步骤403，将样本图像对输入第二配准网络，得到样本待配准图像与样本目标图像之间的第二形变场，并通过第二形变场对样本待配准图像进行形变处理，得到第二配准图像，第一配准网络的第一网络参数与第二配准网络的第二网络参数是不同训练时间下的网络参数。

步骤401至步骤403的实施方式可参考上述步骤301至步骤303，本实施例不再赘述。

步骤404，基于第一配准图像和样本目标图像确定相似度损失。

由于图像配准的是将样本待配准图像与样本目标图像进行配准，为提高第一配准网络预测形变场的准确性，可根据第一配准图像与样本目标图像在空间上的差异确定相似度损失，进而利用该相似度损失训练第一配准网络。

图像配准可分为单模态图像配准与多模态图像配准，其中，单模态图像配准是指对来自于同一成像设备的样本图像对进行配准，比如，样本图像对均来自CT，而多模态图像配准是指对来自与不同成像设备的样本图像进行配准，比如，样本图像对中一个图像来自CT，一个来自PET。在一种可能的实施方式中，为同时适用于单模态图像配准与多模态图像配准，使用模式独立邻域描述符(Modality Independent Neighbourhood Descriptor，MIND)的相异度来量化相似度损失。

其中，MIND为：

I是图像，x是体素在图像中的位置，r是距离矢量，V(I,x)是局部方差的估计，D

在对第一配准网络的训练过程中，目的是使第一配准图像的MIND特征与样本目标图像的MIND特征之间的差异最小化。因此，在一种可能的实施方式中，相似度损失的损失函数为：

其中，I

步骤405，基于第一形变场确定空间正则化损失，空间正则化损失用于为形变场施加空间约束。

在将样本待配准图像与样本目标图像进行配准的过程中，将样本待配准图像进行形变即进行空间转换时，可通过多种方式进行空间转换，如仿射变换、投影变换以及弯曲变换等，因此，样本待配准图像空间转换的形变场的解空间并不唯一，即第一配准网络对样本待配准图像与样本目标图像进行配准的过程中，预测得到的形变场在空间上存在较多差异，因此，需在空间上约束形变场。

在一种可能的实施方式中，通过设置空间正则化损失约束形变场，利用空间正则化损失训练第一配准网络，确保第一配准网络输出形变场的平滑性。可选的，空间正则化损失可根据第一形变场的梯度衡量，其损失函数如下：

其中，

步骤406，基于第一配准图像和第二配准图像确定时间正则化损失，时间正则化损失用于为形变场施加训练时间约束。

由于第一配准网络与第二配准网络的网络参数是不同训练时间下的网络参数，因此，第一配准网络与第二配准网络预测形变场存在时间上的差异，通过第一配准图像与第二配准图像在空间上的相似度可衡量第一配准网络与第二配准网络预测形变场的差异，即可通过第一配准图像与第二配准图像在空间上的相似度确定时间正则化损失，从而为第一配准网络的形变场时间训练时间约束。

在一种可能的实施方式中，时间正则化损失由于根据第一配准图像与第二配准图像空间上的相似度衡量，因此，同样可根据第一配准图像与第二配准图像的MIND特征间的差异度确定时间正则化损失，其损失函数如下：

其中，I

步骤407，基于相似度损失、空间正则化损失以及时间正则化损失训练第一配准网络。

确定相似度损失、空间正则化损失以及时间正则化损失后，即基于三者共同训练第一配准网络，通过相似度损失提高第一配准网络预测形变场的准确性，而通过空间正则化损失与时间正则化损失可分别为形变场施加空间上约束与时间上约束，优化第一配准网络训练效果。

相关技术中，为空间正则化损失设置固定权重，控制正则化强度，而训练过程中，对于每一个训练样本，即每一样本图像对，其训练难度并不相同，即预测样本图像对间的形变场时所产生的不确定性形变场的数量间存在差异，当预测的形变场的解较多时，则需减少不必要的变形复杂度，即需更强的正则化约束形变场的解空间，而当预测形变场的解较少时，则可降低正则化约束的强度。可见，若采用固定权重，即设置固定正则化强度，无法适应于各训练样本，相应的，训练得到第一配准网络的性能较差。

因此，本申请实施例中，将根据每一样本图像对预测形变场的不确定度调整空间正则化损失的损失权重以及时间正则化损失的损失权重，使其适用于不同的训练样本。在一种可能的实施方式中，通过第二配准网络确定空间正则化损失的第一损失权重，以及时间正则化损失的第二损失权重。即第二配准网络不仅可用于确定时间正则化损失，也可用于估计样本图像对预测形变场的不确定度，进而用于自适应调整损失权重。通过第二配准网络确定各损失权重可包括如下步骤：

步骤一、通过第二配准网络对样本图像对进行n次前向预测，得到样本待配准图像与样本目标图像之间的n个第三形变场，n为大于等于2的整数。

由于需确定预测形变场的不确定度，即判断预测形变场数量趋势，因此，需通过第二配准网络对样本图像进行n次前向预测，进而得到样本图像对间的n个形变场，从而可根据n个形变场的离散程度确定形变场的不确定度，最终基于形变场的不确定度确定空间正则化损失的损失权重，即空间正则化的强度。

步骤二、通过n个第三形变场对样本待配准图像进行形变处理，得到n个第三配准图像。

由于时间正则化损失根据第一配准图像与第二配准图像间的空间上的相似度确定，因此，可通过第二配准网络预测形变场对样本待配准图像进行形变处理后，得到的配准图像的不确定度确定时间正则化的强度。即通过n个第三形变场对样本待配准图像进行形变处理，得到n个第三配准图像，根据n个第三配准图像的不确定度确定时间正则化损失的损失权重。

步骤三、基于n个第三形变场确定第一损失权重。

可选的，第一损失权重即为空间正则化损失的损失权重，根据n个第三形变场确定第一损失权重的过程如下：

步骤a、确定n个第三形变场的平均形变场以及形变场标准差。

可选的，根据n个第三形变场的离散程度确定n个第三形变场的不确定度，因此，首先确定n个第三形变场的平均形变场与形变场的标准差。

其中，n个第三形变场的平均形变场为：

其中，c表示形变场的第c通道(即x，y，z方向上的位移)，i表示第i次前向预测，

n个第三形变场的形变场标准差为：

步骤b、基于形变场标准差和平均形变场，确定形变场不确定度。

在一种可能的实施方式中，根据形变场标准差与平均形变场之比的绝对值确定形变场的不确定度。方式如下所示：

步骤c、基于形变场不确定度确定第一损失权重，第一损失权重与形变场不确定度呈正相关关系。

根据形变场不确定度确定第一损失权重，当形变场不确定度

在一种可能的实施方式中，基于形变场不确定度确定第一损失权重方式如下：

其中，λ

即通过为形变场不确定度设定阈值，根据形变场不确定度大于阈值占所有体素对应形变场不确定度的比例确定第一损失权重，当所占比例越大，即不确定度越大时，对应第一损失权重越大，即空间正则化强度越强。

步骤四、基于n个第三配准图像确定第二损失权重。

可选的，第二损失权重即为时间正则化损失的损失权重，根据n个第三配准图像确定第二损失权重的步骤如下：

步骤a、确定n个第三配准图像的平均配准图像以及配准图像标准差。

可选的，与上述确定形变场不确定度的方式相同，根据n个第三配准图像的离散程度确定n个第三配准图像的不确定度，因此，首先获取n个第三配准图像的平均配准图像以及配准图像标准差。

其中，n个第三配准图像的平均配准图像为：

其中，

n个第三配准图像的配准图像标准差为：

步骤b、基于配准图像标准差和平均配准图像，确定配准图像不确定度。

可选的，同样根据配准图像标准差与平均配准图像之比的绝对值确定配准图像不确定度。方式如下所示：

步骤c、基于配准图像不确定度确定第二损失权重，第二损失权重与配准图像不确定度呈正相关关系。

根据配准图像不确定度确定第一损失权重，当配准图像不确定度

在一种可能的实施方式中，基于配准图像不确定度确定第二损失权重方式如下：

其中，λ

即通过为配准图像不确定度设定阈值，根据配准图像不确定度大于阈值占所有体素对应配准图像不确定度的比例确定第二损失权重，当所占比例越大，即不确定度越大时，对应第二损失权重越大，即时间正则化强度越强，从而约束第一配准网络训练时间上形变场的差异。

在确定第一损失权重以及第二损失权重后，基于相似度损失、空间正则化损失以及时间正则化损失训练第一配准网络包括如下步骤：

步骤一、基于相似度损失、空间正则化损失、第一损失权重、时间正则化损失以及第二损失权重，加权计算总损失。

第一损失权重为空间正则化损失的损失权重，第二损失权重为时间正则化损失的损失权重，进而根据相似度损失、空间正则化损失、时间正则化损失以及对应权重加权得到总损失，其损失函数如下：

其中，

步骤二、基于总损失训练第一配准网络。

确定总损失后，基于总损失训练第一配准网络，当损失函数达到收敛条件时，即可完成第一配准网络的训练。

本实施例中，引入时间正则化损失，最终基于相似度损失、时间正则化损失以及空间正则化损失训练第一配准网络，从而实现在时间与空间双重维度上约束形变场的解空间，优化第一配准网络的训练效果，进而提高第一配准网络预测形变场的准确性。

且本实施例中，为空间正则化损失设置第一损失权重，并为时间正则化损失设置第二损失权重，且基于第二配准网络n次前向预测结果确定形变场不确定度以及配准图像不确定度，进而根据形变场不确定度与配准图像不确定度判断训练样本的训练难度，从而调整第一损失权重与第二损失权重，使权重适应于当前训练样本，进而优化第一配准网络的训练效果，有助于提高第一配准网络预测形变场的准确性。

请参考图5，其示出了本申请另一个示例性实施例提供的图像配准方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。

步骤501，获取样本图像对，样本图像对中包含样本待配准图像和样本目标图像。

步骤502，将样本图像对输入第一配准网络，得到样本待配准图像与样本目标图像之间的第一形变场，并通过第一形变场对样本待配准图像进行形变处理，得到第一配准图像。

步骤501与步骤502的实施方式可参考上述步骤301与步骤302，本实施例不再赘述。

步骤503，向样本图像对中增加随机扰动。

第一配准网络与第二配准网络的输入是相同的训练样本，即相同的样本图像对，在训练过程中，若在不同扰动下，第一配准网络与第二配准网络预测得到形变场一致，则第一配准网络与第二配准网络预测性能较好，即网络预测准确性以及鲁棒性较强。因此，为进一步提高第一配准网络的预测性能，在向第二配准网络输入样本图像对时，在样本图像对中增加随机扰动，使第一配准网络与第二配准网络在不同扰动下预测样本图像对间的形变场。

可选的，增加的随机扰动可为随机高斯噪声，即向输入第二配准网络的样本待配准图像与样本目标图像中均增加随机高斯噪声。

步骤504，将增加随机扰动后的样本图像对输入第二配准网络，得到样本待配准图像与样本目标图像之间的第二形变场。

将增加随机高斯噪声的样本图像对输入第二配准网络后，得到第二形变场，第二形变场是在受到扰动后预测得到的形变场，而第一形变场则是未受扰动下预测得到形变场。

步骤505，通过第二形变场对未增加随机扰动的样本待配准图像进行形变处理，得到第二配准图像。

在一种可能的实施方式中，在得到第二形变场后，由于通过STN网络对样本待配准图像进行形变处理，在形变处理过程中需进行插值操作，而为避免随机扰动对该插值操作的影响，在向STN网络输入第二形变场以及样本待配准图像时，输入未增加随机扰动的样本待配准图像，即对未增加随机扰动的样本待配准图像进行形变处理，得到第二配准图像。

步骤506，基于第一形变场、第一配准图像、第二配准图像以及样本目标图像，训练第一配准网络。

基于第一形变场、第一配准图像、第二配准图像以及样本目标图像训练第一配准网络的过程，可参考上述实施例中步骤404至步骤407，本实施例不再赘述。

需要说明的是，基于第一配准图像与样本目标图像确定相似度损失时，所采用的样本目标图像是未增加随机扰动的样本目标图像。

步骤507，基于第一配准网络的第一网络参数，更新第二配准网络的第二网络参数。

在每次训练后，第一配准网络的第一网络参数将随之更新，而第二配准网络的第二网络参数与第一网络参数是不同训练时间下的网络参数，第二配准网络的第二网络参数随第一配准网络的第一网络参数更新。

可选的，基于第一网络参数，对第二配准网络当前的第二网络参数进行EMA更新，得到更新后的第二网络参数。

其中，基于第一网络参数更新第二网络参数时，采用指数移动平均(ExponentialMoving Average，EMA)更新第二网络参数，方式如下：

θ′

其中，θ′

可选的，第一网络参数与第二网络参数初始参数相同，在第一网络参数更新后，第二网络参数随之更新。

本实施例中，在向第二配准网络输入样本图像对时，增加随机扰动，从而训练第一配准网络，使第一配准网络在受到不同扰动下预测同一图像对之间的形变场时，预测结果可趋向于一致，进而提高第一配准网络预测形变场的准确性与鲁棒性。

上述实施例中，在向第二配准网络输入样本图像对时，输入随机扰动进而提高第一配准网络的鲁棒性。而第二配准网络还用于进行不确定度估计，在此过程中需进行n次前向预测，为进一步提高网络预测形变场的准确性，在n次前向预测过程中，同样向样本图像对中增加随机扰动，进而通过第二配准网络对增加随机扰动后的样本图像对进行n次前向预测，得到样本待配准图像与样本目标图像之间的n个第三形变场，而为避免噪声对差值操作的影响，在形变处理过程中，通过n个第三形变场，对未增加随机扰动的样本待配准图像进行形变处理，得到n个第三配准图像。

在一种可能的实施方式中，如图6所示，对第一配准网络训练过程如下，输入样本待配准图像I

通过第一配准网络601预测得到形变场φ

确定相似度损失

上述实施例中阐述了对第一配准网络的训练过程，在第一配准网络训练完成后，即可利用第一配准网络进行图像配准，下面将以示例性实施例进行说明。

请参考图7，其示出了本申请另一个示例性实施例提供的图像配准方法的流程图。本实施例以该方法用于计算机设备为例进行说明，该方法包括如下步骤。

步骤701，获取目标图像对，目标图像对中包含待配准图像和参考图像。

当对第一配准网络训练完成后，可利用第一配准网络进行图像配准，使待配准图像与参考图像在空间上对齐，进而融合待配准图像与参考图像中的图像信息。

可选的，在利用第一配准网络进行图像配准时，可将两幅图像进行配准，任一一副均可作为参考图像；也可对多副图像进行图像配准，即将多副图像进行空间变换与指定参考图像在空间上对齐。

示意性的，如图8所示，目标图像对包括待配准图像I

步骤702，将目标图像对输入训练完成的第一配准网络，得到待配准图像与参考图像之间的目标形变场。

利用训练完成的第一配准网络对待配准图像与参考图像进行图像配准得到目标形变场，进而基于目标形变场对待配准图像进行空间变换。

示意性的，如图8所示，利用第一配准网络801进行图像配准得到目标形变场φ

步骤703，通过目标形变场对待配准图像进行形变处理，得到目标配准图像。

可选的，在通过目标形变场对待配准图像进行形变处理时，也可采用STN网络进行空间变换，将目标形变场与待配准图像输入至STN网络得到目标配准图像，该目标配准图像与参考图像在空间上对齐。

示意性的，如图8所示，得到目标形变场φ

采用上述实施例提供的方案训练得到的第一配准网络进行图像配准时，能够提高配准结果的准确性。以配准的目标图像对为同一病人肺部在呼气与吸气阶段的胸部单峰CT图像为例，其采用相关技术中迭代优化方法SyN以及基于深度学习的基准测试方法VM进行配准的效果与本申请实施例中训练后的第一配准网络进行配准的效果的定量分析如表1所示：

表1

如表1所示，分别将SyN、VM(空间正则化损失的权重λ＝1、3、5)以及本申请方案预测得到的形变场施加到初始移动的分割掩膜上，利用Dice分数以及平均表面距离(AverageSurface Distance，ASD)量化配准的准确性，Dice分数与配准准确性呈正相关关系，ASD与配准准确性呈负相关关系。

且还通过折叠体素的百分比量化配准效果，折叠体素的百分比指基于预测形变场对图像进行形变处理时丢失的体素占图像所有体素的比例，比例越高，丢失的图像信息越多，即配准效果较差。

由此可见，本申请方案相较于相关技术方案，可明显提高图像配准的准确性。

图9是本申请一个示例性实施例提供的图像配准装置的结构框图，如图9所示，该装置包括：

样本图像获取模块901，用于获取样本图像对，所述样本图像对中包含样本待配准图像和样本目标图像；

第一配准模块902，用于将所述样本图像对输入第一配准网络，得到所述样本待配准图像与所述样本目标图像之间的第一形变场，并通过所述第一形变场对所述样本待配准图像进行形变处理，得到第一配准图像；

第二配准模块903，用于将所述样本图像对输入第二配准网络，得到所述样本待配准图像与所述样本目标图像之间的第二形变场，并通过所述第二形变场对所述样本待配准图像进行形变处理，得到第二配准图像，所述第一配准网络的第一网络参数与所述第二配准网络的第二网络参数是不同训练时间下的网络参数；

训练模块904，用于基于所述第一形变场、所述第一配准图像、所述第二配准图像以及所述样本目标图像，训练所述第一配准网络。

可选的，所述训练模块904，包括：

第一损失确定单元，用于基于所述第一配准图像和所述样本目标图像确定相似度损失；

第二损失确定单元，用于基于所述第一形变场确定空间正则化损失，所述空间正则化损失用于为形变场施加空间约束；

第三损失确定单元，用于基于所述第一配准图像和所述第二配准图像确定时间正则化损失，所述时间正则化损失用于为形变场施加训练时间约束；

训练单元，用于基于所述相似度损失、所述空间正则化损失以及所述时间正则化损失训练所述第一配准网络。

可选的，所述装置还包括：

权重确定模块，用于通过所述第二配准网络确定所述空间正则化损失的第一损失权重，以及所述时间正则化损失的第二损失权重。

可选的，所述训练单元，还用于：

基于所述相似度损失、所述空间正则化损失、所述第一损失权重、所述时间正则化损失以及所述第二损失权重，加权计算总损失；

基于所述总损失训练所述第一配准网络。

可选的，所述权重确定模块，包括：

预测单元，用于通过所述第二配准网络对所述样本图像对进行n次前向预测，得到所述样本待配准图像与所述样本目标图像之间的n个第三形变场，n为大于等于2的整数；

第一处理单元，用于通过所述n个第三形变场对所述样本待配准图像进行形变处理，得到n个第三配准图像；

第一权重确定单元，用于基于所述n个第三形变场确定所述第一损失权重；

第二权重确定单元，用于基于所述n个第三配准图像确定所述第二损失权重。

可选的，所述第一权重确定单元，还用于：

确定所述n个第三形变场的平均形变场以及形变场标准差；

基于所述形变场标准差和所述平均形变场，确定形变场不确定度；

基于所述形变场不确定度确定所述第一损失权重，所述第一损失权重与所述形变场不确定度呈正相关关系。

可选的，所述第二权重确定单元，还用于：

确定所述n个第三配准图像的平均配准图像以及配准图像标准差；

基于所述配准图像标准差和所述平均配准图像，确定配准图像不确定度；

基于所述配准图像不确定度确定所述第二损失权重，所述第二损失权重与所述配准图像不确定度呈正相关关系。

可选的，所述预测单元，还用于：

向所述样本图像对中增加随机扰动；

通过所述第二配准网络对增加随机扰动后的所述样本图像对进行n次前向预测，得到所述样本待配准图像与所述样本目标图像之间的n个第三形变场；

所述第一处理单元，还用于：

通过所述n个第三形变场，对未增加随机扰动的所述样本待配准图像进行形变处理，得到所述n个第三配准图像。

可选的，所述第二配准模块902，包括：

扰动增加单元，用于向所述样本图像对中增加随机扰动；

配准单元，用于将增加随机扰动后的所述样本图像对输入第二配准网络，得到所述样本待配准图像与所述样本目标图像之间的所述第二形变场；

第二处理单元，用于通过所述第二形变场对未增加随机扰动的所述样本待配准图像进行形变处理，得到所述第二配准图像。

可选的，所述装置还包括：

参数更新模块，用于基于所述第一配准网络的所述第一网络参数，更新所述第二配准网络的所述第二网络参数。

可选的，所述参数更新模块，还用于：

基于所述第一网络参数，对所述第二配准网络当前的所述第二网络参数进行EMA更新，得到更新后的所述第二网络参数。

可选的，所述装置还包括：

目标图像获取模块，用于获取目标图像对，所述目标图像对中包含待配准图像和参考图像；

第三配准模块，用于将所述目标图像对输入训练完成的所述第一配准网络，得到所述待配准图像与所述参考图像之间的目标形变场；

形变处理模块，用于通过所述目标形变场对所述待配准图像进行形变处理，得到目标配准图像。

综上所述，本申请实施例中，通过第一配准网络与第二配准网络分别对待配准图像与目标图像进行图像配准，得到不同训练时间下网络参数对应的形变场，最终基于不同形变场对待配准图像进行形变处理后得到不同配准图像，进而可通过不同配准图像与目标图像对第一配准网络进行训练，使第一配准网络在不同训练时间下得到的网络参数趋于稳定，即使第一配准网络在不同训练时间下预测的形变场趋于一致，在训练过程中增加时间约束，有助于提高第一配准网络的训练效果，进而提高第一配准网络预测形变场的准确性。

需要说明的是：上述实施例提供的装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其实现过程详见方法实施例，这里不再赘述。

请参考图10，其示出了本申请一个示例性实施例提供的计算机设备的结构示意图。具体来讲：所述计算机设备1000包括中央处理单元(Central Processing Unit，CPU)1001、包括随机存取存储器1002和只读存储器1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述计算机设备1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。

所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机可读介质为计算机设备1000提供非易失性存储。也就是说，所述大容量存储设备1007可以包括诸如硬盘或者驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体(RAM，Random Access Memory)、只读存储器(ROM，Read Only Memory)、闪存或其他固态存储其技术，只读光盘(Compact Disc Read-Only Memory，CD-ROM)、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。

存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1001执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1001执行该一个或多个程序实现上述各个方法实施例提供的方法。

根据本申请的各种实施例，所述计算机设备1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备1000可以通过连接在所述系统总线1005上的网络接口单元1011接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由计算机设备所执行的步骤。

本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述任一实施例所述的图像配准方法。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面提供的图像配准方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一方法实施例所述的图像配准方法。

可选地，该计算机可读存储介质可以包括：ROM、RAM、固态硬盘(SSD，Solid StateDrives)或光盘等。其中，RAM可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。