基于椎体中心点的端到端椎体关键点定位测量方法及装置

技术领域

本发明涉及图像处理领域，特别涉及一种基于椎体中心点的端到端椎体关键点定位测量方法及装置。

背景技术

目前我国有大量居民受到腰椎相关疾病的困扰，随着医学影像技术的不断发展，人们可以借用MRI、CT、DR、超声等技术查看腰椎的情况。

在传统的医学诊断领域，医务人员翻看医学影像图片并对腰椎病变情况作出人为主观判断，这种方式耗时耗力且判断精准度完全依靠于医务人员的技术水平。人工智能的发展为椎体关键点的自动定位测量带来了可能性，现有技术的椎体关键点定位测量模型可在充分训练后自动定位测量医学影像中的椎体关键点，然而相对于其他定位测量任务，腰椎的定位测量涉及腰椎点关键点数量众多，且部分关键点分布较为密集，对应的，存在训练数据的标注耗时较多、需要更加精细的标注才可以获取准确的标注信息等问题，这两大训练数据的特点就极大程度地提高了椎体关键点定位测量模型的标注成本。

不仅如此，目前常规的椎体关键点定位模型在训练和测量时均需要先定位椎体位置，对椎体位置进行裁剪后再进行关键点的定位。也就是说，常规的椎体关键点定位模型完成椎体关键点定位测量需要两个分步的任务，对应的，其训练和预测的时间就相较较长、且模型参数难以调节。

发明内容

本发明的目的在于提供一种基于椎体中心点的端到端椎体关键点定位测量方法及装置，该方法革新传统的两步式测量方法，实现端到端的椎体关键点的定位测量，具有训练和预测过程高效、模型参数易调节、便于挖掘任务之间的相互关联性，减少预测时间的优点。

为实现以上目的，本技术方案提供一种基于椎体中心点的端到端椎体关键点定位测量方法，包括以下步骤:利用端到端定位模型端到端获取腰椎影像中的椎体中心点以及椎体关键点相对椎体中心点的相对位置信息，基于相对位置信息确定椎体关键点。

在一些实施例中，端到端获取椎体中心点的椎体中心点坐标以及椎体关键点相对椎体中心点的相对偏移向量，其中相对偏移向量显示相对椎体中心点坐标的偏移向量。

在一些实施例中，椎体上缘右侧点和下缘左侧点的连线，与椎体上缘左侧点和下缘右侧点的连线的交点为椎体中心点。

在一些实施例中，端到端定位模型采用多感受野模型结构，多感受野模型结构的特征解码部分包括针对椎体中心点定位的分支一，以及针对椎体关键点相对椎体中心点的相对位置信息获取的分支二，其中分支一和分支二内设有下采样模块以及卷积模块，分支二的下采样模块以及卷积模块的数量多于分支一的下采样模块以及卷积模块的数量。

在一些实施例中，端到端定位模型的训练方式：

设计端到端定位模型：设计由多个卷积层堆叠而成的特征提取部分以及设有感受不同野的特征解码部分，其中特征解码部分包括不同数量下采样模块和卷积模块的分支一和分支二；

训练数据获取：标记医学腰椎影像的腰椎的椎体中心点以及椎体关键点，其中椎体关键点的标记信息为：椎体中心点坐标+相对偏移向量，椎体中心点的标记信息为：椎体中心点坐标；

训练端到端定位模型：利用训练数据训练迭代端到端定位框架，得到端到端定位模型。

在一些实施例中，训练端到端定位模型时，对训练数据随机加入训练数据的镜像翻转操作。

在一些实施例中，分别执行随机镜像翻转操作分别进行预测，将预测的结果进行融合，对预测得到的高斯热图求平均，然后再解码成坐标点。

一种基于椎体中心点的端到端椎体关键点定位测量装置，采用基于椎体中心点的端到端椎体关键点定位测量方法。

相较现有技术，本技术方案具有以下特点和有益效果：

1.革新传统的椎体关键点定位的多阶段任务，将其转换为椎体中心点定位+

各个椎体关键点相对于该椎体中心点的相对位置定位的单阶段任务，利用自设计的多感受野模型结构，该多感受野模型结构采用的多分支提供不同感受野，分别对不同的目标进行预测，基于每个椎体的中心点和椎体关键点的相对位置，同时定位椎体中心点以及椎体关键点，得到每个椎体关键点的位置信息和所属椎体类别，实现了针对腰椎上多个椎体进行端到端的定位任务的效果。

2.通过在训练阶段，不对关键点的类别信息进行监督的训练优化方式，可以避免测试增强技术对图像的语义信息造成干扰。同时在训练阶段可以在不破坏数据语义信息的前提下使用翻转等数据增强策略，从多种视角对数据进行预测定位，可以极大程度提升本方法的鲁棒性。

附图说明

图1是根据本发明的一实施例的基于椎体中心点的端到端椎体关键点定位测量方法的椎体中心点的示意图。

图2是根据本发明的一实施例的基于椎体中心点的端到端椎体关键点定位测量方法的椎体中心点和椎体关键点之间的关系图。

图3是根据本发明的一实施例的基于椎体中心点的端到端椎体关键点定位测量模型的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本方案提供一种基于椎体中心点的端到端椎体关键点定位测量方法及装置，其中基于椎体中心点的端到端椎体关键点定位测量装置指的是可运行该基于椎体中心点的端到端椎体关键点定位测量方法的任意电子设备，可以是计算机终端。该基于椎体中心点的端到端椎体关键点定位测量方法可被应用于医学腰椎影像的诊断分析，通过该方法可以高效地获取椎体关键点的信息，进而协助医生做进一步地诊断分析。

该基于椎体中心点的端到端椎体关键点定位测量方法特别针对DR/CR影像进行处理，借助椎体关键点和椎体中心点的相对位置关系，同时定位椎体中心点以及椎体关键点，实现医学腰椎影像的端到端椎体关键点的定位测量。本方案特别适用于DR/CR医学影像处理，且本方案的端到端单任务检测区别于多阶段任务检测能带来诸多的好处：

1.训练和预测过程更加高效：传统的多阶段任务检测需要分别针对每阶段独立的任务制定训练和优化策略，并分别进行训练迭代；然而本方案的单阶段任务检测就只需要针对单阶段作出训练和优化策略。

2.便于模型参数调节：传统的多阶段任务检测在调节参数优化模型性能的过程中，需要考虑多个阶段的多个参数方案组合后的性能表现，需要对多种组合进行实验调整，增加了参数调节的难度；然而本方案的单阶段任务只需要考虑单独任务的参数方案。

3.挖掘任务之间的相互关联性：本方案可避免将任务进行分离，充分利用多种监督信息之间的相互关联性，在训练的同时进行优化迭代，避免由于将任务拆分而带来的监督信息不完整的问题。

4.本方案在预测使用时不需要保存和读取多阶段任务的中间结果，在执行效率上具有明显的优势。

具体的，基于椎体中心点的端到端椎体关键点定位测量方法包括以下步骤：

利用端到端定位模型端到端获取腰椎影像中的椎体中心点以及椎体关键点相对椎体中心点的相对位置信息，基于相对位置信息确定椎体关键点。

在本方案的实施例中，端到端获取椎体中心点的椎体中心点坐标以及椎体关键点相对椎体中心点的相对偏移向量，其中相对偏移向量显示相对椎体中心点坐标的偏移向量。

示例性的，椎体中心点为A(a,b),某椎体关键点的相对偏移向量为：A(a,b),Z＝c+di，则表示椎体关键点相对椎体中心点向右侧偏移c个单位并向上偏移d个单位。

且椎体中心点以及椎体关键点的相对位置信息以高斯热图的形式展示。

在本方案中，首先需要患者的腰椎影像，在本方案中腰椎影像选择为DR/CR影像。本方案需要对多个指标进行定位测量操作，这些指标的测量需要在平片(DR/CR影像)上进行，需要一定的前处理操作，包括将原始的dcm数据进行读取，获取其中的图像像素信息。然后将像素数值归一化至0-1范围，作为模型的输入。腰椎影像中至少包括腰椎的一个椎体。

如图1所示，腰椎影像的椎体中心点被展示。每个腰椎包括多个椎体，针对每个椎体，本方案中选择椎体上缘右侧点和下缘左侧点的连线，与椎体上缘左侧点和下缘右侧点的连线的交点作为椎体的椎体中心点。选择该点作为椎体中心点的原因在于：该点相对于椎体关键点而言处于相对中间的位置，因此在计算椎体关键点相对于椎体中心点的相对偏移向量时，可以让椎体关键点的偏移量大小相对均衡，这样可使得在训练过程中，端到端定位模型中每个椎体关键点的偏移量的尺度相对一致，计算得到的损失也相对接近，避免某些椎体关键点提供的损失过大，导致模型优化过程中优先优化某些椎体关键点的偏移量的情况出现。

如图1和图2所示，椎体中心点和椎体关键点用高斯热图显示，获取椎体关键点相对于椎体中心点的偏移向量，进而获取每个椎体关键点的相对位置信息。

脊椎共包括T12、L1、L2、L3、L4、L5六个椎体，对应每个椎体上包含椎体上缘右缘点、椎体上缘左缘点、椎体下缘右缘点、椎体下缘左缘点、椎体右侧椎弓根内侧缘、椎体左侧椎弓根内侧缘的六个关键点，各个关键点分别分布于椎体的四个顶点以及上缘和下缘中点位置。

值得一提的是，本方案不通过标识椎体关键点的类别信息来识别椎体关键点，而是直接根据椎体关键点相对椎体中心点的相对偏移向量确定椎体关键点的类别。

为实现端到端检测的效果，本方案的端到端定位模型采用多感受野模型结构，该多感受野模型结构采用的多分支提供不同感受野，分别对不同的目标进行预测。具体的，该多感受野模型结构包括特征提取部分和特征解码部分，其中特征提取部分通过多个卷积层堆叠来提取医学腰椎影像中的医学影像特征，特征解码部分对医学影像特征进行解码转换，得到包含腰椎关键点相对位置信息的高斯热图，该高斯热图被用作训练阶段的预测以及预测阶段的解码输出。

特征解码部分设计针对椎体中心点定位的分支一，以及针对椎体关键点相对椎体中心点的相对位置信息获取的分支二，其中分支一和分支二内设有下采样模块以及卷积模块，分支二的下采样模块以及卷积模块的数量多于分支一的下采样模块以及卷积模块的数量，以此方式使得分支二可提供较大的感受野，用来对全局信息进行拟合；分支一可保留较多的图像局部信息，适用于细粒度特征的辨别。

由于椎体标注点较多且分布较密集，椎体标注点之间容易造成混淆，为了更好地获取椎体中心点，需要端到端定位模型对局部细节特征进行处理，因此支路一相对削减了下采样模块的个数，保留较多的图像局部信息。然而椎体关键点相对椎体中心点的相对位置信息需要对全局信息进行把控，对多个椎体的椎体中心点进行区分，分支二相对保留更多的下采样模块和卷积模块，提供较大的感受野。

本方案设计的端到端检测模型可以兼顾两种不同的特征和感受野需求，同时针对分支一和分支二进行处理。满足了椎体中心点定位任务和椎体关键点定位任务在感受野以及特征细节需求上的差异。在端到端的模型中对两种任务进行拟合，使得模型的训练过程更加的简洁，同时便于进行优化。在预测阶段，由于采用了端到端的结构，可以提升对硬件的利用效率，减少耗时。

该端到端定位模型的训练方式：

设计端到端定位模型：设计由多个卷积层堆叠而成的特征提取部分以及设有感受不同野的特征解码部分，其中特征解码部分包括不同数量下采样模块和卷积模块的分支一和分支二；

训练数据获取：标记医学腰椎影像的腰椎的椎体中心点以及椎体关键点，其中椎体关键点的标记信息为：椎体中心点坐标+相对偏移向量，椎体中心点的标记信息为：椎体中心点坐标。

训练端到端定位模型：利用训练数据训练迭代端到端定位框架，得到端到端定位模型。

该端到端定位模型的预测：将医学腰椎影像输入端到端定位模型中得到椎体中心点坐标以及椎体关键点的相对位置信息，其中相对位置信息为相对椎体中心点的相对偏移向量。

另外，在训练端到端定位模型时，不标记椎体关键点的类别关系，仅标注椎体关键点的相对位置信息，故可在训练端到端定位模型时，随机加入水平/垂直翻转操作，人为弱化椎体关键点之间的类间差异。传统若采用标注锥体关键点类别信息的情况，图像翻转操作会破坏图像原始的语义信息，针对翻转后的图像进行预测，会对不同椎体关键点的类别信息造成影响。

具体的，在本方案中，设置一个随机的概率，在训练过程中按照概率进行输入的训练数据的镜像翻转操作。总共有四种状态：不进行翻转、水平翻转、垂直翻转、水平+垂直翻转，概率均为1、4。同时对分支一和分支二进行镜像翻转操作，由于分支一和分支二共用相同的输入层，所以对输入数据采取的操作均同时作用于分支一和分支二。

在预测阶段，分别执行以上四种操作分别进行预测。然后将预测的结果进行融合，直接针对四次预测得到的高斯热图求平均，然后再解码成坐标点，这个操作仅仅用来针对每个椎体关键点的定位任务进行的。

第二方面，本方案提供一种运行上述基于椎体中心点的端到端椎体关键点定位测量方法的装置。

用于实现本方案实施例基于椎体中心点的端到端椎体关键点定位测量方法的服务器的计算机系统包括中央处理单元CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

特别地，根据本发明公开的实施例，上文参考流程图描述的基于椎体中心点的端到端椎体关键点定位测量方法的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本发明的系统中限定的上述基于椎体中心点的端到端椎体关键点定位测量方法对应的功能。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以上基于椎体中心点的端到端椎体关键点定位测量方法方法所对应过的流程步骤。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。