一种脊柱X光图像cobb角测量方法

技术领域

本发明属于脊柱畸形测量技术领域，具体涉及一种脊柱X光图像cobb角测量方法。

背景技术

脊柱畸形是常见的脊柱疾患，其中以脊柱侧凸最为常见。根据病因的不同又可分为：特发性脊柱侧凸，先天性脊柱侧凸，神经肌肉性脊柱侧凸，退变性脊柱侧凸等，其中特发性脊柱侧凸占80％左右。特发性脊柱侧凸(Idiopathic scoliosis IS)病因不明，国际脊柱侧凸协会(Scoliosis Research Society)规定：脊柱冠状面侧方弯曲，按Cobb角测量超过1O度，即称为脊柱侧凸。它常合并脊柱矢状面的异常及椎体轴面的旋转畸形。根据发病年龄不同分为婴儿型、儿童型和青少年型(Adolescent Idiopathic Scoliosis AIS)三类，其中以青少年型最为常见，占发病总数的85％以上。此病危害极大，如不及时发现并加以治疗，大部分将发展加重，轻者引起躯体畸形，重者不仅导致严重的躯体畸形，还会对心肺功能和神经系统产生影响，甚至导致残废和截瘫，给家庭和社会带来沉重的负担。较严重的患者往往需要手术治疗，脊柱侧凸矫形手术是脊柱外科手术中最为复杂、风险最高且并发症多的手术之一，手术成功与否与基础理论、矫形策略密切相关，同时选择正确的内固定器械、决定恰当的手术方式及入路。

脊柱侧凸的严重程度大多数通过脊柱侧弯曲角度来判断，临床上常采用是Cobb角测量法，目前，影像学医师测量Cobb角时大多通过手动选择脊柱中向脊柱侧弯凹侧倾斜最严重的脊椎骨作为上下端椎，后使用量角器测量脊柱上下端椎之间的夹角。因此，目前，影像学医师测量Cobb角时大多通过手动选择脊柱中向脊柱侧弯凹侧倾斜最严重的脊椎骨作为上下端椎,后使用量角器测量脊柱上下端椎之间的夹角。因此，Cobb角测量的准确性较大程度取决于影像科医师的主观经验。研究表明，若脊柱侧凸影像Cobb角在25度至45度之间或更高，建议手术治疗，低于25度建议保守治疗，故较大误差易影响医师的诊断；此外，影像科医师在手动选择脊柱侧弯上下端椎进行脊柱侧凸Cobb角测量时可能会造成高达11.8度的误差，大大影响了对脊柱侧弯患者的诊断以及治疗；脊柱侧凸Cobb角测量时繁琐以及耗时的操作增大了测量误差的可能性。

发明内容

本发明目的在于提供一种脊柱X光图像cobb角测量方法，用于解决上述现有技术中存在的技术问题之一，如：研究表明，若脊柱侧凸影像Cobb角在25度至45度之间或更高，建议手术治疗，低于25度建议保守治疗，故较大误差易影响医师的诊断；此外，影像科医师在手动选择脊柱侧弯上下端椎进行脊柱侧凸Cobb角测量时可能会造成高达11.8度的误差，大大影响了对脊柱侧弯患者的诊断以及治疗；脊柱侧凸Cobb角测量时繁琐以及耗时的操作增大了测量误差的可能性。

为实现上述目的，本发明的技术方案是：

一种脊柱X光图像cobb角测量方法，包括以下步骤：

S1：椎体关键点检测；

输入医学Dicom图像或者通用图像，进行预处理后得到椎体区域图像，将椎体区域影像输入到椎体关键点检测模型识别椎体关键点；

S2：计算生成椎体夹角波形图；

根据步骤S1检测到的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，即可得多个角度，然后按照一定的顺序绘制椎体夹角波形图；

S3：求解cobb角；

通过步骤S2中得到的椎体夹角波形图，分析计算得到目标cobb角。

进一步的，步骤S1包括以下子步骤：

S11：输入医学Dicom图像或者通用图像，进行预处理，去除跟人体无关的区域，同时减少后续算法处理图形的范围，首先将图像转换到灰度空间，对图像做二值化处理，像素大于0置位1，其余置位0；然后对二值图像做形态学开操作，寻找最大的连通区域，利用cv2.findContours寻找所有的轮廓，轮廓集合中存在所有轮廓计算面积，找到面积最大的轮廓，然后利用cv2.convexHull计算面积最大轮廓的凸包，得到轮廓的左上角和右下角坐标，即得到人体前景区域坐标；其中，cv2.findContours为OpenCV寻找图像中物体轮廓的函数；cv2.convexHull为OpenCV寻找图像中凸包的函数；

S12：利用步骤S11，生成只有人体区域的人体前景图像，然后对椎体T1-T12和L1-L5的椎体的四个顶点进行标注；

S13：cobb测量是针对椎体区域，对人体前景图像中的椎体进行分割，然后得到椎体区域图像；

S14：将椎体区域图像输入到椎体关键点检测模型识别椎体关键点，借鉴U-net思想构建Encoder-Decoder的框架，backbone选取Resnet101；提出基于椎体的关键点检测方法，学习椎体关键点，即椎体的四个顶点以及椎体的中心。其中，U-net是基于全卷积网络下一个语义分割应用于生物医学的深度学习网络；backbone为主干网络，用来做特征提取的网络，用于提取图片信息，生成特征图feature map；Resnet101为101层的深度残差网络。

进一步的，步骤S13包括以下子步骤：

S131：生成椎体分割数据集，将标注的数据集进行处理生成椎体区域的掩码图像；

S132：训练阶段，模型采用HRNet作为分割模型，HRNet通过连接并行的不同分辨率表示和重复进行多尺度融合来维持高分辨率表示，网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，网络即可学习到椎体前景和背景，优化器采用SGD，学习率lr=0.0001，梯度优化时的动量momentum=0.9，权值衰减weight_decay=0.0001，损失函数采用二分类的交叉熵损失函数nn.BCEWithLogitLoss；其中，HRNet即High-Resoultion Net，是将不同分辨率的feature map进行并联，在并联的基础上,添加不同分辨率feature map之间交互；

S133：推理阶段，图像送入椎体分割模型，分割椎体区域，产生椎体Mask，计算Mask的最大外接矩形，然后得到椎体区域图像。

进一步的，步骤S14包括以下子步骤：

S141：生成椎体关键点数据集，将标注的数据集，经过步骤S13，得到椎体区域图像，重新计算生成关键点的坐标；

S142：训练阶段，模型Encoder-Decoder架构，采用Resnet101作为基础模型，后续并联Heatmap、center offset和corner offset分别学习关键点的热力图、椎体中心点同椎体顶点的距离和椎体顶点的偏移值；网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，优化器采用Adam，学习率lr=0.0003，权值衰减weight_decay=0.00001，损失函数采用关键点回归的L1损失函数；其中，Heatmap关键点的热力图、center offset椎体中心点同椎体顶点的距离量和corner offset椎体顶点的偏移值；

S143：推理阶段，送入椎体关键点检测模型，检测T1-T12和L1-L5的椎体的四个顶点以及椎体的中心。

进一步的，步骤S2具体如下：

根据检测到T1-T12，L1-L5共17块椎体的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，这样就能计算得到34个角度，然后按照T1-T12，L1-L5的顺序，绘制椎体夹角波形图。

进一步的，步骤S3包括以下子步骤：

S31：搜索椎体夹角波形图上所有的波峰和波谷；

S32：找到相邻最大的波峰和波谷，即构成主弯区域，波峰的角度减去波谷的角度，取绝对值构成主弯的cobb角，同时记录对应的端椎索引；

S33：从最大的波峰波谷区域，向两侧寻找相邻的最多两个波谷或者波峰，这样就构成了除主弯区域外，四个波峰波谷对，按照上面的方法计算出四个cobb角，然后过滤波峰波谷间距最小的波峰波谷对，取cobb角度前两大对应的波峰波谷对，这样就计算了两个代偿弯的cobb角，已经对应的端椎索引；

S34：PT端椎的索引范围（T1-T5），MT端椎的索引范围（T6-T12），TL/L端椎的索引范围（L1-L5），将步骤S33中主弯和两个代偿弯的端椎索引，分别映射到PT、MT、TL/L的端椎范围，这样能够匹配出PT、MT、TL/L三者的Cobb角大小。

与现有技术相比，本发明所具有的有益效果为：

本方案的一个创新点在于，开发了一种针对X光脊柱全长正位片，构建了图像深度学习识别算法结合人工的Cobb角的智能测量算法，智能测量上胸弯（Proximal thoracic，PT）、胸弯（Main thoracic，MT)、胸腰/腰弯（Thoracolumbar Lumbar，TL/L)的Cobb角，符合临床Cobb角测试要求。

附图说明

图1是本发明具体实施方式的Cobb角测量示意图。

图2是本发明具体实施方式的步骤流程示意图。

图3是本发明具体实施方式的椎体关键点检测流程图。

图4是本发明具体实施方式的椎体T1-T12和L1-L5的椎体的四个顶点进行标注示意图。

具体实施方式

下面结合本发明的附图1-4，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

研究表明，若脊柱侧凸影像Cobb角在25度至45度之间或更高，建议手术治疗，低于25度建议保守治疗，故较大误差易影响医师的诊断。此外，影像科医师在手动选择脊柱侧弯上下端椎进行脊柱侧凸Cobb角测量时可能会造成高达11.8度的误差，大大影响了对脊柱侧弯患者的诊断以及治疗。脊柱侧凸Cobb角测量时繁琐以及耗时的操作增大了测量误差的可能性。

因此，设计出计算机辅助测量Cobb角，利用其较少依赖先验知识和个人操作并能得到较稳定的测量结果是现阶段亟待研究的。

随着人工智能技术的逐渐成熟，利用AI辅助测量技术，进行X光脊柱全长正位片Cobb角的智能测量，智能测量上胸弯（Proximal thoracic, PT）、胸弯（Main thoracic,MT)、胸腰/腰弯（Thoracolumbar Lumbar，TL/L)的Cobb角。Cobb角测量如图1所示。

如图2所示，现提出一种脊柱X光图像cobb角测量方法；流程分为三部分，一）椎体关键点检测模型；二）计算生成椎体夹角波形图；三）求解Cobb角度。即，正位片Cobb检测流程，输入原始图像，经过椎体检测模块，得到椎体的关键点，计算椎体与水平线的夹角，生成波形图像，采用波峰波谷的思想，计算出主弯以及两个代偿弯，然后映射到PT、MT和TL/L的Cobb角。具体如下：

第一步：椎体关键点检测模型；

如图3所示；输入医学Dicom图像或者通用图像，进行预处理，去除跟人体无关的区域，同时减少后续算法处理图形的范围，首先将图像转换到灰度空间，对图像做二值化处理，像素大于0置位1，其余置位0；然后对二值图像做形态学开操作，然后寻找最大的连通区域，利用cv2.findContours寻找所有的轮廓，轮廓集合中所有轮廓计算面积，找到面积最大的轮廓，然后利用cv2.convexHull计算面积最大轮廓的凸包，得到轮廓的左上角和右下角坐标，即得到人体前景区域坐标。其中，cv2.findContours为OpenCV寻找图像中物体轮廓的函数；cv2.convexHull为OpenCV寻找图像中凸包的函数。

首先利用前面第一步的预处理算法，将收集的数据进行预处理，生成只有人体区域的数据集，对椎体T1-T12和L1-L5的椎体的四个顶点进行标注，如下图4所示。

Cobb测量是针对椎体区域，为了减少人体其他区域的干扰，同时为了减轻系统输入数据的复杂度，首先设计了一个椎体分割网络，对椎体进行分割。

3.1）生成椎体分割数据集，将标注的数据集，进行处理生成椎体区域的掩码图像。

3.2）训练阶段，模型采用HRNet作为分割模型，HrNet通过连接并行的不同分辨率表示和重复进行多尺度融合来维持高分辨率表示，由此产生的高分辨率表示不仅信息丰富而且空间精确，网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，网络即可学习到椎体前景和背景，优化器采用SGD，学习率lr=0.0001，梯度优化时的动量momentum=0.9，权值衰减weight_decay=0.0001, 损失函数采用二分类的交叉熵损失函数nn.BCEWithLogitLoss。其中，HRNet即High-Resoultion Net，是将不同分辨率的feature map进行并联，在并联的基础上,添加不同分辨率feature map之间交互。

3.3）推理阶段，图像送入椎体分割模型，分割椎体区域，产生椎体Mask，计算Mask的最大外接矩形，然后得到椎体区域图像。

4）将椎体区域影像输入到椎体关键点检测模型识别椎体关键点，借鉴U-net思想构建Encoder-Decoder的框架，backbone选取Resnet101；提出基于椎体的关键点检测方法，学习椎体的四个顶点以及椎体的中心。其中，U-net是基于全卷积网络下一个语义分割应用于生物医学的深度学习网络；backbone为主干网络，用来做特征提取的网络，用于提取图片信息，生成特征图feature map；Resnet101为101层的深度残差网络。

4.1）生成椎体关键点数据集，将标注的数据集，经过第三步，得到椎体区域图像，重新计算生成关键点的坐标。

4.2）训练阶段，模型Encoder-Decoder架构，采用Resnet101作为基础模型，后续并联Heatmap、center offset和corner offset分别学习关键点的热力图、椎体中心点同椎体顶点的距离和椎体顶点的偏移值。网络输入图像尺寸为3*1012*512，经过图像归一化处理，HRNet网络最后输出通道为2*1024*512，优化器采用Adam，学习率lr=0.0003，权值衰减weight_decay=0.00001, 损失函数采用关键点回归的L1损失函数。其中，Heatmap关键点的热力图、center offset椎体中心点同椎体顶点的距离量和corner offset椎体顶点的偏移值。

4.3）推理阶段，送入关键点检测模型，检测T1-T12和L1-L5的椎体的四个顶点。

第二步：计算生成椎体夹角波形图；

根据前面步骤检测到T1-T12,L1-L5共17块椎体的关键点，计算每一块椎体上端线段和下端线段与水平线的夹角，这样就能计算得到34个角度，然后按照T1-T12,L1-L5的顺序，绘制波形图。

第三步：求解Cobb角度。

搜索波形图上所有的波峰和波谷。

找到相邻最大的波峰和波谷，即构成主弯区域，波峰的角度减去波谷的角度，取绝对值构成主弯的cobb角，同时记录对应的端椎索引。

从最大的波峰波谷区域，向两侧寻找相邻的最多两个波谷或者波峰，这样就构成了除主弯区域外，四个波峰波谷对，按照上面的方法计算出四个cobb角，然后过滤波峰波谷间距最小的波峰波谷对，取cobb角度前两大对应的波峰波谷对，这样就计算了两个代偿弯的cobb角，已经对应的端椎索引。

PT端椎的索引范围（T1-T5）,MT端椎的索引范围（T6-T12）,TL/L端椎的索引范围（L1-L5）,将第三步主弯和两个代偿的端椎索引，分别映射到PT、MT、TL/L的端椎范围，这样能够匹配出PT、MT、TL/L三者的Cobb角大小。

其中，在输入医学Dicom图像或者通用图像时，先对输入的图像进行识别并提取图像的实时格式信息，将实时格式信息与预设的与医学Dicom图像或者通用图像对应的标准格式信息进行第一次格式匹配判断，若第一次格式匹配判断结果为二者匹配，则对输入的图像进行预处理；若第一次格式匹配判断结果为二者不匹配，则先暂存输入的图像，并更换识别方式，对暂存的输入图像按照新的识别方式进行第二次识别并提取其新的实时格式信息，将新的实时格式信息与标准格式信息进行第二次格式匹配判断，若第二次格式匹配判断结果为二者匹配，则对输入的图像进行预处理，否则直接舍弃先前暂存的输入图像。采用这种方式，可以快速有效的筛选出本方案所需的医学Dicom图像或者通用图像，避免其他干扰图像对本方案的影响，如果起始步骤就是对错误数据的处理，那么动作均为无用功；同时，当首次判断出现不匹配情况时，暂存图像并进行第二次判断，根据第二次判断的结果选择或者舍弃输入的图像，避免了偶然误差将有效图像忽视。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。