一种基于SPECT影像的甲状腺结节性质分类方法

技术领域

本发明涉及图像处理领域，特别是涉及一种基于SPECT影像的甲状腺结节性质分类方法。

背景技术

单光子发射计算机断层成像术(Single-Photon Emission ComputedTomography,SPECT)是一种重要的核医学成像技术。

SPECT影像可以根据结节摄取核素能力的不同，把结节分为冷、凉、温、热四种结节，辅助临床判断甲状腺结节的性质。热结节表示显影剂在甲状腺结节内的显影浓度高于周围正常组织；温结节表示显影剂在甲状腺结节内的显影浓度与周围正常甲状腺组织一样；冷结节表示显影剂在甲状腺结节内的显影浓度低于周围正常本底组织；凉结节表示显影剂在甲状腺结节内的显影浓度低于正常甲状腺组织，但高于正常本底组织。其中热结节绝大部分是自主功能性腺瘤，基本可以排除恶性；温结节多为功能正常的单纯腺瘤；凉结节和冷结节则有癌的可能，一般约10％为恶性，其中单个冷结节为恶性的可能性更大，而多发冷结节则多为结节性肿、炎性结节、结节内出血或囊性结节。由此可见，SPECT影像提供的热、温、冷、凉四种结节性质的分类，具有重要的临床诊断价值。

近年来以深度学习为代表的机器学习技术，在辅助医生提高诊断准确性、降低工作强度、提高工作效率方面开始显示出其优势。深度学习在医学影像处理中取得了很多成功的应用。但是深度学习方法要求的数据量大，要求各类的数据量均衡。SEPCT影像进行甲状腺结节的性质分类判断，存在下列问题：第一，获取成本高，无法获取大量样本；第二，不同性质的甲状腺结节的发病率不同，因此无法做到甲状腺结节的不同性质的影像数量均衡。因此，已有的深度学习方法难以达到好的效果。故亟需一种足已解决现有技术中存在的问题的方法。

发明内容

本发明的目的是提供一种基于SPECT影像的甲状腺结节性质分类方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了如下方案：

本发明提供一种基于SPECT影像的甲状腺结节性质分类方法，包括以下步骤：

获取甲状腺的SPECT影像数据集，并将所述甲状腺的SPECT影像数据集输入分类模型进行训练，获得完成训练的分类模型，其中所述分类模型的网络结构包括分类卷积神经网络和孪生神经网络；

基于所述完成训练的分类模型，输入待测SPECT影像，获得分类结果。

可选的，获取所述甲状腺的SPECT影像数据集之前，所述方法还包括：利用单光子发射计算机对甲状腺进行断层扫描，获得所述甲状腺的SPECT影像数据集。

可选的，将所述甲状腺的SPECT影像数据集输入分类模型进行训练的过程中包括：

将甲状腺SPECT影像输入所述分类卷积神经网络进行训练，训练完成后获得分类特征图，将所述分类特征图输入所述孪生神经网络；

所述孪生神经网络基于所述分类特征图进行训练，训练完成后输出分类结果。

可选的，将甲状腺SPECT影像输入所述分类卷积神经网络进行训练，获得分类特征图的过程中包括：

设置分类卷积神经网络训练循环总次数，采用N折交叉法对分类卷积神经网络进行训练；

N折中的每一折对所有训练数据的训练次数达到所述分类卷积神经网络训练循环总次数时，完成训练，获得完成训练的分类卷积神经网络；

基于所述完成训练的分类卷积神经网络，获得所述分类特征图并输入所述孪生神经网络。

可选的，设置卷积神经网络训练循环总次数，采用N折交叉方法对分类卷积神经网络进行训练之前，还包括：

通过ImageNet网络对所述分类卷积神经网络的权重进行预训练，将预训练完成的获得的结果作为所述分类卷积神经网络的初始神经网络权重。

可选的，所述孪生神经网络基于输入的所述分类特征图，输出分类结果的过程中包括：

基于获取的所述分类特征图和N折交叉法，对所述孪生神经网络进行训练；

设置困难样本挖掘训练总循环数，采用困难样本挖掘法继续训练孪生神经网络，达到所述困难样本挖掘训练总循环数后，训练完成，得到完成训练的分类模型；

基于所述完成训练的分类模型，获得所述分类结果。

可选的，基于获取的所述分类特征图和N折交叉法，对所述孪生神经网络进行训练之前，还包括：

构造由正样本、锚和负样本组成的三元组，将所述三元组输入所述孪生神经网络进行训练；

其中所述正样本是和所述锚的类别相同的SPECT影像的分类特征图，所述负样本是和所述锚的类别不同的SPECT影像的分类特征图；

所述锚来自于困难样本，所述困难样本是指当前正在训练的分类模型无法正确分类的SPECT影像的分类特征图。

可选的，设置困难样本挖掘训练总循环数，采用困难样本挖掘法继续训练孪生神经网络的过程中还包括：

采用三元损失函数对模型进行优化；

设所述的三元组为{x

L＝max{0，d

其中，max表示取最大值，L为损失函数，f

所述三元损失函数对输入的所述三元组进行处理，通过增加锚到负样本的距离和减少锚到正样本的距离，将类内距离最小化和类间距离最大化。

可选的，构造由正样本、锚和负样本组成的三元组的过程中包括：

所述锚从困难样本中随机选择确定；

从确定的所述锚的所有正样本中，选择到确定的所述锚的距离最大的样本作为所述锚的正样本；

从确定的所述锚的所有负样本中，选择到确定的所述锚的距离最小的样本作为所述锚的负样本。

本发明公开了以下技术效果：

本发明采用了由分类卷积神经网络和孪生神经网络构成的网络结构，通过分类卷积神经网络对甲状腺SPECT影像进行分类，将生成的数据输入到孪生神经网络中，通过对困难样本挖掘后经过孪生网络进行度量学习，从而实现高准确率的自动分类，以极少的训练样本训练出了合格的分类模型，节省了成本、提高了效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中的基于SPECT影像的甲状腺结节性质分类的网络结构示意图；

图2为本发明实施例中的通过三元损失函数训练将类内距离最小化和类间距离最大化示意图；

图3为本发明实施例中的困难样本挖掘结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

为了解决现有技术存在的问题，本发明提供一种基于SPECT影像的甲状腺结节性质分类方法，通过对困难样本挖掘后经过孪生网络进行度量学习，从而实现高准确率的自动分类。

上述孪生网络实际上是由两个相同的网络构成的双网络，两个网络通过共享和更新相同的权重进行度量学习，从更少的样本中学习，将不同数据之间的距离映射到一个度量空间。度量学习方法旨在通过为标记数据自动构建度量来学习特定任务的距离或相似性函数。与传统的监督学习相比，更好的泛化能力使其更适合小数据问题。另外，度量学习关注的是每个数据之间的关系而不是每个类别之间的关系，这种类的独立性提高了它在不平衡任务中的性能。

一种基于SPECT影像的甲状腺结节性质分类方法，包括：

S1.利用单光子发射计算机断层扫描成像获得甲状腺的SPECT影像数据集；

把甲状腺的SPECT影像数据集分为训练集和测试集。

S2.利用前述甲状腺SPECT影像训练集，采用N折交叉方法进行甲状腺结节性质分类模型的训练；

基于SPECT影像的甲状腺结节性质分类方法N折交叉方法，是指把训练集分成N份，每次用其中的1份做为验证集，其它N-1份做为训练数据，重复N 次完成所有数据的训练；

基于SPECT影像的甲状腺结节性质分类方法甲状腺结节性质分类模型的网络结构由分类卷积神经网络和孪生神经网络构成，如图1所示；基于SPECT影像的甲状腺结节性质分类方法分类卷积神经网络输入甲状腺SPECT影像，输出甲状腺结节性质分类；从基于SPECT影像的甲状腺结节性质分类方法分类卷积神经网络获得分类特征图，构造由正样本、锚和负样本组成的三元组，把分类特征图和三元组输入基于SPECT影像的甲状腺结节性质分类方法孪生神经网络；基于SPECT影像的甲状腺结节性质分类方法孪生神经网络输入前述分类特征图和前述三元组，输出甲状腺结节性质分类和特征的相似性度量；

其中基于SPECT影像的甲状腺结节性质分类方法甲状腺结节性质分类模型的训练分为两步：

第一步，基于SPECT影像的甲状腺结节性质分类方法分类卷积神经网络的初始神经网络权重设置为通过ImageNet网络预训练得到的神经网络权重，采用 N折交叉方法仅对分类卷积神经网络进行训练，设置卷积神经网络训练循环总次数，每一折对所有训练数据的训练达到卷积神经网络训练循环总次数时，该折训练完成；完成全部N折训练后得到完成训练的分类卷积神经网络；

第二步，先采用N折交叉方法，保持完成训练的分类卷积神经网络的权重不变，训练孪生神经网络；然后设置孪生神经网络训练循环总次数，使用困难样本挖掘法，继续训练孪生神经网络；达到设置的孪生神经网络训练循环总次数后，训练完成，得到完成训练的甲状腺结节性质分类模型；

基于SPECT影像的甲状腺结节性质分类方法困难样本挖掘法，是指对于使用基于SPECT影像的甲状腺结节性质分类方法分类卷积神经网络和孪生神经网络无法正确分类的样本，重新输入网络对孪生神经网络进行训练；

基于SPECT影像的甲状腺结节性质分类方法孪生神经网络，采用三元损失函数对模型进行优化；基于SPECT影像的甲状腺结节性质分类方法三元损失函数，输入是一个三元组{x

其中正样本是和锚的甲状腺结节性质类别相同的SPECT影像的分类特征图，负样本是和锚的甲状腺结节性质类别不同的SPECT影像的分类特征图；

锚来自于困难样本，困难样本是指当前正在训练的甲状腺结节性质分类模型无法正确分类的SPECT影像的分类特征图。

设置困难样本挖掘训练总循环数，采用困难样本挖掘法继续训练孪生神经网络的过程中还包括：

采用三元损失函数对模型进行优化；

设的三元组为{x

L＝max{0，d

其中，max表示取最大值，L为损失函数，f

三元损失函数对输入的三元组进行处理，通过增加锚到负样本的距离和减少锚到正样本的距离，将类内距离最小化和类间距离最大化。

构造由正样本、锚和负样本组成的三元组的过程中包括：

锚从困难样本中随机选择确定；

从确定的锚的所有正样本中，选择到确定的锚的距离最大的样本作为锚的正样本；

从确定的锚的所有负样本中，选择到确定的锚的距离最小的样本作为锚的负样本。

三元组确定方法解决了当甲状腺结节不同性质类别的数据分布不均衡时，随机选择正样本和负样本方法导致的模型训练效率低的问题。

S3.利用S2中的完成训练的甲状腺结节性质分类模型，输入SPECT影像，获得甲状腺结节性质。

甲状腺结节包括：冷结节、凉结节、温结节、热结节。

甲状腺结节预测结果包括：高风险结节、低风险结节；

其中高风险结节包括冷结节和凉结节；

低风险结节包括温结节和热结节。

实施例2

获取SPECT影像数据集，该数据集由总共四类甲状腺结节的273张SPECT 图像组成。其中冷结节30张、凉结节199张、温结节10张、热结节34张。样本中甲状腺结节类别来自于临床诊断的结论。

使用该数据集训练模型时，按照8:2划分随机训练集和测试集，使用训练集按照5折交叉的方法进行训练，使用测试集计算本发明分类方法的性能指标，评估分类方法的性能。重复上述过程5次。根据分类的结果，对照真实结果统计性能指标。

把甲状腺SPECT图像调整为224×224大小的甲状腺SPECT图像。分类卷积神经网络采用ResNet50网络，从ResNet50网络的倒数第二层提取出特征图。网络训练中使用ADAM优化器，分类交叉熵损失函数，批处理大小设置为32，初始学习率设为0.0001。设置分类卷积神经网络训练循环总次数为1000，困难样本挖掘训练总循环数为1000。

特征图和三元组输入到孪生网络中，根据欧式距离计算度量相似性，这些相似性值存储在一个表中，该表在孪生网络的每次迭代后动态更新。孪生网络由相同权重和结构的两个分支网络组成，本实例采用FaceNet网络的NN2结构 (Florian Schroff,DmitryKalenichenko,James Philbin,FaceNet:A unified embedding for face recognitionand clustering,2015IEEE Conference on Computer Vision and Pattern Recognition(CVPR),https://doi.org/10.1109/CVPR.2015.7298682)。

下面说明本发明实例的效果。

图3给出了每个数据之间的相似性，说明本发明采用的困难样本挖掘方法的效果。第一行是训练集中的数据：第一列是原始数据分布，可以看出在模型训练之前，两个数据之间的相似性是随机的；第二列是随机选择样本的结果，从左下到右上对角线上的三个深色方块代表类的集群，左上角和右下角的方块意味着模型无法很好完成第一类、第三类和第四类数据的分类，尤其是第三类数据；第三列是本发明采用困难样本挖掘方法的结果，显示了四个沿着对角线的清晰深色方块，每个方块的大小对应于相关类的数据量，即训练好的模型可以将同一类中的数据进行聚类。第二行是测试集中的数据：可以看出，第二行中的图也显示了与第一行相似的聚类模式。以上数据说明，困难样本挖掘提高了模型识别数据的性能，尤其是在分离第三和第四类数据时。

该模型训练完成后就可以用于甲状腺结节性质诊断，输入甲状腺SPECT影像，按照输出就可以得到该患者的甲状腺结节性质是冷结节、凉结节、温结节还是热结节。另外，从实用的角度，还进行了二分类诊断，即输出是高风险结节(冷结节、凉结节)和低风险结节(温结节、热结节)。

为了比较本实现例的诊断性能，使用测试集对分类结果采用准确率、精确度、特异度、灵敏度、召回率、F1分数指标进行评价。

本实现例对甲状腺结节的冷、凉、温、热性质的诊断结果，与三层卷积神经网络(CNN)、LeNet-5、预训练的ResNet-50分类性能对比，如表1、表2、表 3和表4所示。其中三层CNN由三个卷积层、一个展平层和一个将所有特征转换为四类的密集层组成，卷积层之间的激活函数是ReLU，其中表1为冷结节分类指标性能、表2为凉结节分类指标性能、表3为温结节分类指标性能、表4为热结节分类指标性能。

LeNet-5采用了原始LeNet5的基本结构，但将内核大小从1减小到0。 ResNet-50采用ImageNet数据集进行预训练。在相同的数据集上应用这三种方法建立模型，并进行比较。可以看出，本发明在温结节和热结节分类中都表现出了可靠性和有效性，并且在其他两个类别中的性能也优于三个经典的CNN模型。

表1

表2

表3

表4

本实现例对于高风险结节(冷结节和凉结节)和低风险结节(温结节和热结节)的诊断结果如表5、表6所示，可以看出，本发明的各项指标都显著高于其他三种网络模型，表5为高风险结节分类指标性能，表6为低风险结节分类指标性能。

表5

表6

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。