异位骨化CT图像分割方法、三维重建方法、装置

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种异位骨化CT图像分割方法、三维重建方法、装置。

背景技术

为了检查患者是否存在异位骨化，一般是通过CT扫描。如图1(a)所示为异位骨化的CT扫描横断面，其中框出部分为异位骨化的位置，图1(b)为异位骨化的CT扫描矢状位，其中框出部分为异位骨化的位置，图1(c)为将异位骨化的CT扫描图三维重建后所得到的立体视图，其中深颜色部分是三维重建后的异位骨化部位。但是由于异位骨化的图像与正常骨头图像相似，因此从CT扫描图像中辨识出其中异位骨化的部位需要丰富的临床影像学经验，低年资医生或者经验不足者难以准确发现，这极大的限制了医生看片的效率和预估异位骨化患者的病情进展情况。

发明内容

本发明提供了一种异位骨化CT图像分割方法、三维重建方法、装置，目的在于辅助识别出CT扫描图像中异位骨化的部位，以提高医生看片的效率。

第一方面，提供了一种异位骨化CT图像分割方法，包括：

获取患者的异位骨化CT图像；

将异位骨化CT图像输入预先训练好的CT图像自编码器中，输出重构CT图像；其中，CT图像自编码器通过多张正常人CT图像对自编码器进行训练得到；

将原始异位骨化CT图像逐像素减去重构CT图像，获得残差CT图像；

对残差CT图像进行降噪处理，获得图像掩模；

将图像掩模与原始异位骨化CT图像逐像素相乘，获得分割出来的异常图像。

异常样本相对于正常样本要少很多，难以获得；其次，异常样本中的异常区域难以发现，需要经验丰富的医生才能进行标注，因此标注工作耗时耗力，难以获得准确的标注信息；本方案采用了自编码器，其为一种无监督的图像分割方法，训练时无需异常样本，并不需要样本标注，大大降低了数据的获取难度。本方案能够从CT图像中自动分割出异位骨化部分，可便于三维重建异位骨化的立体视图，可大大提高医生看片的速度，也可帮助低年资医生或者经验不足者准确发现异位骨化部分。

进一步地，所述对残差CT图像进行降噪处理，获得图像掩模，具体包括：

对残差CT图像进行二值化处理；将灰度值小于预设阈值p的像素灰度值设置为0，将灰度值大于预设阈值p的像素灰度值设置为1；

通过腐蚀操作过滤掉残差CT图像中的噪声点；

将残差CT图像中灰度值为1的像素连续数量大于预设第一阈值的区域分割出来，获得图像掩模。

进一步地，将异位骨化CT图像输入预先训练好的自编码器中之前，还包括：

将异位骨化CT图像进行预处理，增强图像的细节和对比度。通过预处理以增强图像的细节和对比度，有利于提高后期的分割效果。

进一步地，所述预先训练好的CT图像自编码器通过如下方法得到：

获取多张正常人的CT图像构建训练数据集；

将正常人的CT图像X作为一批数据输入自编码器，获得重构图像X’；

用损失函数计算重构图像X’与输入的正常人的CT图像X之间的重构误差L；

将重构误差L进行反向传播，修改自编码器中神经网络的参数；

基于训练数据集重复上述训练过程，直到自编码器中神经网络收敛，得到CT图像自编码器。

进一步地，所述获取多张正常人的CT图像构建训练数据集包括：

获取多张正常人的CT图像作为样本；

对多张正常人的CT图像进行图像增强处理，得到扩充图像样本；其中，图像增强处理包括加入噪声因子、旋转、上下翻转、剪切、灰度图中的一种或多种；

将原始多张正常人的CT图像和扩充图像样本组合得到训练数据集。

在样本有限的情况下扩大训练样本的数量，从而以提高CT图像自编码器的精度。

进一步地，所述损失函数为SSIM损失函数，其表达式如下：

其中，u

采用了一种基于结构相似性的感知损失函数，它检查局部图像区域之间的相互依赖关系，同时考虑亮度、对比度和结构信息，而不是简单地比较单个像素值。能更好地发现异常区域，并使分割出的区域与人眼感官一致。

进一步地，所述自编码器为卷积编码器。卷积自编码器利用卷积网络可提升对图像特征抽取和表示的性能。

第二方面，提供了一种异位骨化CT图像分割三维重建方法，包括：

获取一组患者的异位骨化CT图像；

采用如上所述的异位骨化CT图像分割方法对所述一组患者的异位骨化CT图像进行分割，得到分割出来的一组异常图像；

基于所述一组异常图像生成三维重建图像。

通过将分割出来的一组异常图像三维重建成立体视图，便于提高看片效率。

第三方面，提供了一种异位骨化CT图像分割装置，包括：

图像获取模块，用于获取患者的异位骨化CT图像；

重构图像获取模块，用于将异位骨化CT图像输入预先训练好的CT图像自编码器中，输出重构CT图像；其中，CT图像自编码器通过多张正常人CT图像对自编码器进行训练得到；

残差图像获取模块，用于将原始异位骨化CT图像逐像素减去重构CT图像，获得残差CT图像；

图像掩模获取模块，用于对残差CT图像进行降噪处理，获得图像掩模；

分割模块，用于将图像掩模与原始异位骨化CT图像逐像素相乘，获得分割出来的异常图像。

第四方面，提供了一种计算机存储介质，其存储有计算机程序，该计算机程序适于被处理器加载并执行如上所述的异位骨化CT图像分割方法或异位骨化CT图像分割三维重建方法。

有益效果

本发明提出了一种异位骨化CT图像分割方法、三维重建方法、装置，其能够从CT图像中自动分割出异位骨化部分，可便于三维重建异位骨化的立体视图，可大大提高医生看片的速度，也可帮助低年资医生或者经验不足者准确发现异位骨化部分。异常样本相对于正常样本要少很多，难以获得；其次，异常样本中的异常区域难以发现，需要经验丰富的医生才能进行标注，因此标注工作耗时耗力，难以获得准确的标注信息；本方案采用了一种无监督的图像分割方法，无需异常样本，并不需要样本标注，大大降低了数据的获取难度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是异位骨化CT图像的示例图；

图2是本发明实施例提供的一种异位骨化CT图像分割方法流程图；

图3是本发明实施例提供的CT图像自编码器训练流程图；

图4是本发明实施例提供的一种卷积自编码器的网络结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

如图2和图3所示，本发明的实施例提供了一种异位骨化CT图像分割方法，在进行分割处理之前，需先训练好一个CT图像自编码器，该CT图像自编码器的输入为CT图像，输出为重构图像。具体的，该CT图像自编码器通过如下方法训练得到：

A1：获取多张正常人的CT图像构建训练数据集。具体包括：

获取多张正常人的CT图像作为样本；

对多张正常人的CT图像进行图像增强处理，得到扩充图像样本；其中，图像增强处理包括加入噪声因子、旋转、上下翻转、剪切、灰度图中的一种或多种；

将原始多张正常人的CT图像和扩充图像样本组合得到训练数据集。

A2：将正常人的CT图像X作为一批数据输入自编码器，本实施例中优选卷积自编码器，其编码器对图像X进行编码获得隐变量Z，解码器将Z解码，获得重构图像X’；

A3：用损失函数计算重构图像X’与输入的正常人的CT图像X之间的重构误差L；

A4：将重构误差L进行反向传播，修改自编码器中神经网络的参数；

A5：基于训练数据集重复步骤A2至A4，直到自编码器中神经网络收敛，得到CT图像自编码器。

可选地，在得到训练数据集之后，进行训练之前，还包括步骤：对训练数据集中图像进行预处理，增强图像的细节和对比度。

在进行图像增强处理中，以加入噪声因子为例进行说明。获取一张CT图像，在它的基础上加入噪声因子乘以随机数的结果，就会改变CT图像上的像素，得到一个图像样本。

本实施例中，优选地，所述损失函数为SSIM损失函数，其表达式如下：

其中，u

采用了一种基于结构相似性的感知损失函数，它检查局部图像区域之间的相互依赖关系，同时考虑亮度、对比度和结构信息，而不是简单地比较单个像素值。能更好地发现异常区域，并事分割出的区域与人眼感官一致。

为了更进一步理解本，以一实例进行说明。如图4所示，卷积自编码器采用如下网络结构：

第一部分：Encoder(编码器)卷积层

在预处理阶段，原始CT图像被统一缩放到224x224x1的尺寸，其中第一个元素224表示图像的高，第二个元素224表示图像的宽，第三个元素1表示图像的通道数，灰度图像只有1个通道。

Encoder卷积层设置了三层卷积加池化层，对图像进行处理。

第一层卷积中，使用了64个大小为3x3的滤波器(filter)，strides(滑动步进)默认为1，padding(填充方式)设置为‘same’后图像的高和宽不会被改变。经过第一层卷积以后，得到的数据从最初的224x224x1变为224x224x64。

紧接着对卷积结果进行最大池化操作(max pooling)，将池化操作的大小(size)和步进(stride)都设置为2，池化操作不改变卷积结果的深度，因此池化以后的大小为112x112x64。

对于其他卷积层不再赘述。所有卷积层的激活函数都是用了ReLU函数。

经过三层的卷积和池化操作以后，得到的就是隐层表征，这一层的数据已经被压缩为28x28x256的大小。

第二部分：Decoder(解码器)卷积层

在Decoder端，并不是单纯进行卷积操作，而是使用了Upsample(上采样)+卷积的组合。

卷积操作是通过一个滤波器对图像中的每个patch进行扫描，进而对patch中的像素块加权求和后再进行非线性处理。举个例子，原图中我们的patch的大小假如是3x3(说的通俗点就是一张图像中取其中一个3x3大小的像素块出来)，接着使用3x3的滤波器对这个patch进行处理，那么这个patch经过卷积以后就变成了1个像素块。在Deconvolution(反卷积)中这一过程是反过来的，1个像素块会被扩展成3x3的像素块。

但是Deconvolution有一些弊端，它会导致图像中出现checkerboard patterns(棋盘模式，即某些部位的颜色比其它部分要深)，这是因为在Deconvolution的过程中，滤波器中会出现很多重叠。该问题可通过使用使用Upsample加卷积层来进行解决。

通过三次Upsample和卷积层的操作，得到了224x224x64的数据大小。最后，将这个结果再进行一次卷积，处理成原始图像的大小。

基于已经训练好的CT图像自编码器，异位骨化CT图像分割方法包括：

S1：获取患者的异位骨化CT图像；

S2：将异位骨化CT图像进行预处理，增强图像的细节和对比度；

S3：将异位骨化CT图像输入预先训练好的CT图像自编码器中，输出重构CT图像；

S4：将原始异位骨化CT图像逐像素减去重构CT图像，获得残差CT图像；

S5：对残差CT图像进行降噪处理，获得图像掩模；异常区域的掩膜值(灰度值)＝1，正常区域的掩膜值(灰度值)＝0；

S6：将图像掩模与原始异位骨化CT图像逐像素相乘，获得分割出来的异常图像。

异常样本相对于正常样本要少很多，难以获得；其次，异常样本中的异常区域难以发现，需要经验丰富的医生才能进行标注，因此标注工作耗时耗力，难以获得准确的标注信息；本方案采用了自编码器，其为一种无监督的图像分割方法，训练时无需异常样本，并不需要样本标注，大大降低了数据的获取难度。本方案能够从CT图像中自动分割出异位骨化部分，可便于三维重建异位骨化的立体视图，可大大提高医生看片的速度，也可帮助低年资医生或者经验不足者准确发现异位骨化部分。

本实施例中，所述对残差CT图像进行降噪处理，获得图像掩模，具体包括：

对残差CT图像进行二值化处理；将灰度值小于预设阈值p的像素灰度值设置为0，将灰度值大于预设阈值p的像素灰度值设置为1；

通过腐蚀操作过滤掉残差CT图像中的噪声点；

将残差CT图像中灰度值为1的像素连续数量大于预设第一阈值的区域分割出来，获得图像掩模。

本发明的另一实施例提供了一种异位骨化CT图像分割三维重建方法，包括：

获取一组患者的异位骨化CT图像；

采用如前述实施例所述的异位骨化CT图像分割方法对所述一组患者的异位骨化CT图像进行分割，得到分割出来的一组异常图像；

基于所述一组异常图像生成三维重建图像。具体可通过现有的三维重建软件实现，如SDE。

通过将分割出来的一组异常图像三维重建成立体视图，便于提高看片效率。

本发明的另一实施例提供了一种异位骨化CT图像分割装置，包括：

图像获取模块，用于获取患者的异位骨化CT图像；

重构图像获取模块，用于将异位骨化CT图像输入预先训练好的CT图像自编码器中，输出重构CT图像；其中，CT图像自编码器通过多张正常人CT图像对自编码器进行训练得到；

残差图像获取模块，用于将原始异位骨化CT图像逐像素减去重构CT图像，获得残差CT图像；

图像掩模获取模块，用于对残差CT图像进行降噪处理，获得图像掩模；具体包括：

对残差CT图像进行二值化处理；将灰度值小于预设阈值p的像素灰度值设置为0，将灰度值大于预设阈值p的像素灰度值设置为1；

通过腐蚀操作过滤掉残差CT图像中的噪声点；

将残差CT图像中灰度值为1的像素连续数量大于预设第一阈值的区域分割出来，获得图像掩模；

分割模块，用于将图像掩模与原始异位骨化CT图像逐像素相乘，获得分割出来的异常图像。

本发明的另一实施例提供了一种计算机存储介质，其存储有计算机程序，该计算机程序适于被处理器加载并执行如上所述的异位骨化CT图像分割方法或异位骨化CT图像分割三维重建方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。