基于神经网络的PET-CT图像的肿瘤预测方法及计算机可读存储介质

技术领域

本发明涉及PET-CT设备技术领域，尤其涉及基于神经网络的PET-CT图像的肿瘤预测方法及计算机可读存储介质。

背景技术

PET-CT扫描仪是一种结合了PET和CT的高端核医学影像设备。CT主要是利用人体内各个不同的组织对X射线不同吸收强度来进行成像的；而PET主要是发射正电子放射性核素，可以追踪体内异常的葡萄糖代谢过程。与单独使用CT相比，PET-CT能够更好的展示出肿瘤的位置和大小信息。

由于我国各个医院缺乏大量的放射科医生，一位放射科医生每天需要查看上百张放射胸片，给放射科医生带来了巨大的工作负担，满负荷的工作强度还可能会增加医生对肿瘤的误诊率。并且不同工作经验的放射科医生对同一胸片的诊断可能有着截然不同的结果。通过计算机辅助分割肿瘤能够明显提升诊断速度以及减小医生的工作压力，甚至还可以提升诊断结果的准确性。肿瘤分割指的是通过对相关器官PET-CT图像的预处理，背景分割等步骤实现对病灶部分的分割。目前常用的方法是利用深度学习网络辅助临床医生发现疑似病灶，并将疑似的病变组织从正常的解剖背景中分离出来。通过这种方式可以减少医生的主观判断性，提升医生的工作效率，医生也可以根据计算机的分割结果提高诊断的准确率。

当前对肿瘤的分割任务主要是基于Unet网络进行分割，输入的数据基本是将PET和CT拼接成双通道图片数据进行训练，然而这种网络并不能够很好的利用PET和CT的信息。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种可以大大减小放射科医生的工作效率，并提升对肿瘤的识别准确性的基于神经网络的PET-CT图像的肿瘤预测方法及计算机可读存储介质。

本发明公开了一种基于神经网络的PET-CT图像的肿瘤预测方法，包括如下步骤：获取带肿瘤的PET图像和CT图像，对所述PET图像和所述CT图像进行插值化处理，使所述PET图像与所述CT图像的长、宽、厚一致；通过分割网络对所述PET图像和所述CT图像进行编码过程，获取PET特征图像和CT特征图像；将所述PET特征图像和所述CT特征图像通过级联合并获取终样特征图；对所述终样特征图的PET特征部分和CT特征部分进行加权，获取分割模型，通过所述分割模型获取肿瘤预测图像；通过3D连通域对所述肿瘤预测图像进行去假阳性过程，获取肿瘤预测结果。

优选地，所述对所述PET图像和所述CT图像进行空间三个维度的插值化处理，使所述PET图像与所述CT图像的长、宽、厚一致这一步骤前，还包括：对在所述PET图像和所述CT图像上都无法明示大小和形状的肿瘤数据进行剔除。

优选地，所述对所述PET图像和所述CT图像进行空间三个维度的插值化处理，使所述PET图像与所述CT图像的长、宽、厚一致这一步骤后，还包括：对在所述PET图像上无法明示大小和形状而在所述CT图像上可以明示大小和形状的肿瘤数据、及在所述CT图像上无法明示大小和形状而在所述PET图像上可以明示大小和形状的肿瘤数据进行数据扩充，使在所述PET图像上无法明示大小和形状而在所述CT图像上可以明示大小和形状、在所述CT图像上无法明示大小和形状而在所述PET图像上可以明示大小和形状、在所述PET图像上和所述CT图像上都可以明示大小和形状三个样本的肿瘤数据样本量相对平衡。

优选地，所述插值化处理包括通过三线性插值算法，从空间三个维度对所述PET图像和所述CT图像进行处理。

优选地，所述通过分割网络对所述PET图像和所述CT图像进行编码过程，获取PET特征图像和CT特征图像包括：对所述PET图像和所述CT图像分别进行四次卷积、池化、非线性单元变换，获取的所述PET特征图像和所述CT特征图像的大小为原始图像的1/16。

优选地，所述对所述终样特征图的PET特征部分和CT特征部分进行加权，获取分割模型包括：向所述分割网络引入基于通道的注意力机制，通过所述基于通道的注意力机制对PET特征部分或CT特征部分在各个所述终样特征图中的权重进行调整，包括加强所述PET特征部分的权重同时降低所述CT特征部分的权重、加强所述CT特征部分的权重同时降低所述PET特征部分的权重。

优选地，所述对所述终样特征图的PET特征部分和CT特征部分进行加权，获取分割模型，通过所述分割模型获取肿瘤预测图像还包括：通过所述分割网络对所述分割模型中的所述终样特征图进行解码过程，所述解码过程包括反卷积处理、上采样处理和非线性单元处理；将经所述编码过程获取的所述PET特征图像和所述CT特征图像分别与所述解码过程相对应的所述终样特征图进行级联合并，获取单通道的肿瘤预测图像；设定肿瘤预测的像素阈值、面积阈值，当所述肿瘤预测图像的像素值、面积都分别大于所述像素阈值和所述面积阈值时，则判断所述肿瘤预测图像中的部位为非肿瘤组织；反之则判断所述肿瘤预测图像中的部位为肿瘤组织。

优选地，所述通过3D连通域对所述肿瘤预测图像进行去假阳性过程，获取肿瘤预测结果包括：获取所述肿瘤预测图像的3D连通域，当某一部分的连通域体积小于设定阈值时，在所述肿瘤预测图像中剔除该部分。

优选地，所述通过3D连通域对所述肿瘤预测图像进行去假阳性过程，获取肿瘤预测结果还包括：对所述肿瘤预测图像进行若干次形态学操作，所述形态学操作包括先进行膨胀再进行腐蚀的闭操作。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的肿瘤预测方法的步骤。

采用了上述技术方案后，与现有技术相比，具有以下有益效果：

1.利用人工智能技术的神经网络的深度学习技术对肿瘤进行自动进行分割识别，能够快速识别出疑似肿瘤组织，再由医生直接对该部位进行分析，最终由医生来确定诊断结果，可以大大减小放射科医生的工作效率，并提升对肿瘤的识别准确性；

2.通过分别对所述终样特征图的PET特征部分和CT特征部分进行加权，自动学习出不同的PET、CT样本在所述分割模型中所占有的最优的比重，由此得到的深层特征更能代表真实肿瘤在图像中的表现，使得所述分割模能够对各种不同的数据都能有较精准的预测结果；

3.对数据显示不明显的所述PET图像和所述所述CT图像进行数据增强，以保证使在所述PET图像上无法明示大小和形状而在所述CT图像上可以明示大小和形状、在所述CT图像上无法明示大小和形状而在所述PET图像上可以明示大小和形状、在所述PET图像上和所述CT图像上都可以明示大小和形状三个样本的肿瘤数据样本量达到平衡，并且通过三线性插值算法，将所述PET图像H和所述CT图像重采样为一样的大小和层厚，为后续更好地识别各类数据的肿瘤打下基础。

4.且通过3D连通域对所述肿瘤预测图像进行去假阳性过程，大大增加了预测的准确性；

附图说明

图1为本发明提供的基于神经网络的PET-CT图像的肿瘤预测方法的流程图；

图2为本发明提供的基于神经网络的PET-CT图像的肿瘤预测方法的所述肿瘤预测图像的判断流程图；

图3为本发明提供的基于神经网络的PET-CT图像的肿瘤预测方法的控制模块结构图；

图4为本发明提供的基于神经网络的PET-CT图像的肿瘤预测方法的基于通道的注意力机制模块的网络结构图；

图5为本发明提供的基于神经网络的PET-CT图像的肿瘤预测方法的所述分割模型示意图。

附图标记：1-数据预处理模块，2-肿瘤分割模块，3-预测后处理模块，4-池化，5-卷积，6-合并级联，7-CAM模块，8-上采样处理。

具体实施方式

以下结合附图与具体实施例进一步阐述本发明的优点。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

参见附图1-5，本发明公开了一种基于神经网络的PET-CT图像的肿瘤预测方法，包括如下步骤：

S1、获取带肿瘤的PET图像和CT图像，对PET图像和CT图像进行插值化处理，使PET图像与CT图像的长、宽、厚一致；

S2、通过分割网络对PET图像和CT图像进行编码过程，获取PET特征图像和CT特征图像；将PET特征图像和CT特征图像通过级联合并6获取终样特征图；对终样特征图的PET特征部分和CT特征部分进行加权，获取分割模型，通过分割模型获取肿瘤预测图像；

S3、通过3D连通域对肿瘤预测图像进行去假阳性过程，获取肿瘤预测结果。

本方法基于肿瘤预测系统，该系统包括数据预处理模块1、肿瘤分割模块2和预测后处理模块3，通过数据预处理模块1进行S1步骤，通过肿瘤分割模块2进行S2步骤，通过预测后处理模块3进行S3步骤。

具体的，由于PET图像和CT图像的长宽和厚度都不一致，不利于后续图像结合处理，故需要通过插值化处理从空间三个维度对PET图像和CT图像进行处理。具体的，在实际的数据采集过程中，CT图像的大小为512×512，然而PET图像的大小一般为168×168；并且CT图像的层厚要比PET图像要薄的多，因此需要对PET图像进行三个维度的插值处理，使得PET和CT数据能够配准对其并在神经网络中使用，所采用的插值算法为三线性插值算法，分别从x,y,z三个维度改变PET图像的形状大小。

较佳的，在步骤S1中，由于实际的数据样本中，部分肿瘤数据在PET图像和CT图像上都不能很好的显示出来，这类数据为无法正常凸显肿瘤信息的数据，因此需要对这类数据进行剔除，防止此类数据导致模型收敛性不佳而使得预测的肿瘤信息不够准确，故在通过数据预处理模块对PET图像和CT图像进行空间三个维度的插值化处理使PET图像与CT图像的长、宽、厚一致这一步骤前，还需要对在PET图像和CT图像上都无法明示大小和形状的肿瘤数据进行剔除。

较佳地，在实际的PET图像和CT图像样本分布中，存在四种数据，分别为：CT明显、PET不明显；PET明显、CT不明显；PET明显、CT明显；PET不明显、CT不明显。需要说明的是，上述的“明显”指的是能够明显看出影像图像中肿瘤的大小以及形状。通过上述的数据剔除去除掉PET不明显且CT不明显这类无用的数据之后，由于CT明显、PET不明显和PET明显、CT不明显这两类数据、数据所占的比重较低，因此需要对这两种数据进行数据增强。故对PET图像和CT图像进行空间三个维度的插值化处理，使PET图像与CT图像的长、宽、厚一致这一步骤后还需要：对在PET图像上无法明示大小和形状而在CT图像上可以明示大小和形状的肿瘤数据、及在CT图像上无法明示大小和形状而在PET图像上可以明示大小和形状的肿瘤数据进行数据扩充，使在PET图像上无法明示大小和形状而在CT图像上可以明示大小和形状、在CT图像上无法明示大小和形状而在PET图像上可以明示大小和形状、在PET图像上和CT图像上都可以明示大小和形状三个样本的肿瘤数据样本量相对平衡，为后续更好地识别各类数据的肿瘤打下基础。

本实施例公开所采用的数据增强方法为旋转，翻转和gamma变换，周期其他实施例中，亦可采用其他数据增强方法开扩充样本数据，此处不做限制。

较佳地，在步骤S2中，参见附图5，通过对分割网络Unet的encoder部分进行改进，并通过改进后的分割网络Unet对PET图像和CT图像进行编码过程，获取PET特征图像和CT特征图像，具体的编码过程包括：对PET图像和CT图像分别进行四次卷积5、池化4、非线性单元变换，获取的PET特征图像和CT特征图像的大小为原始图像的1/16。该特征图能够代表了PET图像和CT图像最主要的信息，由于模型获得的深度特征图的质量对训练结果有着非常大的影响，故通过获得代表了PET图像和CT图像最主要的信息PET特征图像和CT特征图像大大加大了预测的准确性。

在实际的应用过程中，针对不同成对的PET图像和CT图像应该分别给它们添加不同的权重，例如有些肿瘤在PET上显示的很清楚，然而在CT上反而看不清，因此我们此时加大PET在数据对中的权重，降低CT在数据对中的权重，以此够提升模型的识别准确性。Attention机制近年来在图像和自然语言处理等领域都取得了重要的突破，被证明能够明显提升模型性能。所谓的Attention机制就是重点关注局部信息的机制，找到数据中最有用的特征信息。在图像中，Attention机制较常用的有基于通道的注意力机制(CAM模块7)，他能够通过建模各个通道的重要程度，然后针对不同的任务增强或抑制不同的通道，给重要的特征通道赋予更大的权重，这样有益于模型性能的提高。CAM模块7可以引导计算资源偏向输入信号中信息量最大的部分，在很多任务中对性能有极大提升。

较佳地，将PET特征图像和CT特征图像通过级联合并6获取终样特征图后，终样特征图的一半的特征属于PET图像，另一半特征属于CT图像。本发明通过CAM模块7对终样特征图的PET特征部分和CT特征部分分别进行加权，以获取分割模型，即CAM模块7通过网络参数的学习，对PET特征部分或CT特征部分在各个终样特征图中的权重进行调整，包括加强PET特征部分的权重同时降低CT特征部分的权重、加强CT特征部分的权重同时降低PET特征部分的权重，通过CAM模块7的权重调增，使得该分割网络应对不同类型的数据，都能够较好地学习其深层特征，很大程度上能提升分割模型的准确性。

较佳地，在步骤S2中，通过CAM模块7对终样特征图的PET特征部分和CT特征部分分别进行加权后，还需要通过分割网络Unet的decoder网络对分割模型中的终样特征图进行解码过程，解码过程包括反卷积5处理、上采样处理8和非线性单元处理。将经编码过程获取的PET特征图像和CT特征图像分别与解码过程相对应的终样特征图进行级联合并6，以获取单通道的肿瘤预测图像，通过该肿瘤预测图像即可进行判断获取肿瘤或正常组织的预测结果。

具体的，参见附图2，设定肿瘤预测的像素阈值、面积阈值后，首先检测肿瘤预测图像的像素值是否大于设定肿瘤预测的像素阈值，若检测结果为“否”，则判断肿瘤预测图像中的部位为正常组织，若检测结果为“是”，则继续检测肿瘤预测图像的面积是否大于设定肿瘤预测的面积阈值，若检测结果为“否”，则判断肿瘤预测图像中的部位为正常组织，若检测结果为“是”，则继续检测肿瘤预测图像中是否拥有三维肿瘤信息，若检测结果为“否”，则输出最终的判断结果“肿瘤预测图像中的部位为正常组织”，若检测结果为“是”，则输出最终的判断结果“肿瘤预测图像中的部位为肿瘤组织”。

较佳地，在步骤S3中，通过这种方式能够大大降低模型的预测假阳率。通过3D连通域对肿瘤预测图像进行去假阳性过程去除掉一些在空间中存在的不合理预测结果，比如预测的肿瘤太小等。具体包括：获取肿瘤预测图像的3D连通域，当某一部分的连通域体积小于设定阈值时，在肿瘤预测图像中剔除该部分，可大大降低预测模型的假阳率，提升预测模型的评价正确率。

优选地，通过3D连通域对肿瘤预测图像进行去假阳性获取到最终的肿瘤预测结果后还需要，进行形态学操作以得到最准确的肿瘤位置和大小信息。具体包括：对肿瘤预测图像进行若干次形态学操作以获得较好的符合真实的肿瘤形状的信息，形态学操作采用的形态学操作位闭操作，即先进行膨胀，然后再腐蚀。形态学操作位闭操作可以使轮廓线更光滑，通常可以消弭狭窄的间断的和长细的鸿沟，消除小的空洞，并填补廓线中的断裂，使最终获得的肿瘤形状更真实。

本发明公开的基于神经网络的PET-CT图像的肿瘤预测方法，首先通过对数据的分析筛查，剔除部分无效的数据，并对数据样本量较少的数据样本进行扩充，使各类数据达到平衡，再通过CAM模块7对PET图像和CT图像的进行权重调整，再基于Unet改进的网络初步预测出肿瘤，然后通过后处理去除假性肿瘤并修正肿瘤形状，医生获取预测信息后，再进行专业人工判断，以得到最终的医学诊断结果，大大减小放射科医生的工作效率，且提升对肿瘤的识别准确性。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的肿瘤预测方法的步骤。

应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。