一种基于目标检测的甲状腺结节侵袭性预测方法

技术领域

本发明属于图像处理技术领域，具体为一种基于目标检测的甲状腺结节侵袭性预测方法。

背景技术

甲状腺是人体最大的内分泌腺，超声检查能对其大小，体积与血流做出定性和定量的估测，对肿瘤的良恶性可进行定性或半定性的诊断，因此超声检测方法也成为影像检查甲状腺疾病的首选方法。过去的甲状腺超声检测结果主要由医生根据经验进行判断，并作出结论预测。图像识别技术引入之后，各种基于分类的检测系统可以代替人工对超声影像数据进行处理和预测，从而大大提高图像的检测效率；同时将图像识别处理技术和人工经验进行结合，先由计算机给出初步预测结论，再由医生进行结论复核，这有助于降低医生的误判率和工作负担。

但是，现有的各种基于分类的检测系统在甲状腺超声影响的识别处理上仍然存在一些弊端。例如，现有的甲状腺结节的性质分类检测方法中并未兼顾结节本身的特征信息以及与腺体组织的上下文信息；这会对最终的预测结论的可靠性产生不可忽视的影响：Liu等在发表在《医学图像分析(Medical Image Analysis)》的文章《基于临床知识指导的卷积神经网络在超声图像甲状腺结节自动检测与分类中的应用(Automated detection andclassification of thyroid nodules in ultrasound images using clinical-knowledge-guided convolutional neural networks)》提出一种利用基于ResNet-50的多尺度金字塔定位网络来对结节定位并生成三种不同的结节图像并分类的方法，但网络没有更多地引入医学临床经验。迟剑宁、于晓升、张艺菲发表在《中国图象图形学报》上的文章《融合深度网络和浅层纹理特征的甲状腺结节癌变超声图像诊断》提出一种基于深层语义特征和浅层纹理特征融合的甲状腺结节良恶性分类算法，但该模型的不足为超声图像中的病灶区域的生成需要医师手工标注，即该模型实用性较低，无法高效实现辅助诊断。此外，超声图像主要为灰度图像，包含甲状腺结节的位置信息和形状信息。临床获得的超声甲状腺图像质量较差，主要表现为散斑噪声严重，结节边缘模糊，边界不连续，对比度低。边缘信息主要集中在图像的高频域中，而高频域中同样会存在大量噪声，其中斑点噪声为影响超声图像质量的主要干扰噪声。这些给甲状腺结节的语义检测带来难度，并最终影响预测结论的准确性。

其次，超声影像识别和检测技术中对数据的处理和运算的要求较高，而现有的检测方法在思路上并未特别针对支持并行计算架构加速进行设计，因此可能存在检测速度较慢的缺点。同时，现有的检测方法也并未对卷积通道参数和层数进行特殊设计，这也会对最终的检测速率带来影响。

发明内容

针对现有的技术方案存在的问题，本发明的目的在于提供一种基于目标检测的甲状腺结节侵袭性预测方法，该方法可以克服传统检测方法难以兼顾结节本身和腺体组织上下文信息从而导致准确率不足的弊端，以及克服传统算法无法实现端到端全自动系统的缺陷。

为实现上述目的，本发明提供以下技术方案：

一种基于目标检测的甲状腺结节侵袭性预测方法，该方法包括如下步骤：

S1：采用自适应小波算法对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，得到原始数据集；

S2：构建基于传统Faster RCNN的网络结构的定位网络模型；在定位网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；并对定位网络模型进行预训练；定位网络模型的构建和训练过程包括如下步骤：

S21：采用Faster RCNN作为定位网络，采用ImageNet迁移学习来对网络进行预训练，本地训练的数据采用包含结节的超声图像；

S22：将模型整体调整为边界回归的单一任务网络，本地训练时，增加定位损失的权重；

S23：在定位网络模型中，采用构造多尺度金字塔的方案，同时利用底低层特征和高层特征分别在不同层同时预测甲状腺结节目标的位置；

S24：在定位网络模型中，采用ResNet50+FPN的三层融合特征来生成区域建议，同时在定位网络中的特征提取模块中采用通道注意力机制保障网络定位效果；

S25：在定位网络模型中，采用特征金字塔进行锚点选择，同时舍弃ResNet50第三残差块的输出特征；

S26：在ImageNet预训练权重基础下，利用自制数据集训练定位网络，训练所用数据为true mask对应最小水平外接矩形的角点坐标，定位网络模型的评价标准采用真实矩形框与预测矩形框的dice系数；

S3：对网络模型进行调整，从而利用定位网络对超声图像中的结节形态信息进行提取；利用定位网络输出的矩形坐标点来得到结节的纵横比信息；

S4：构建分类网络模型，所述分类网络模型采用ResNet网络来作为基线网络，分类网络模型中包括并行的特征提取网络Net1和Net2；同时在分类网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；

S5：建立多模型融合的甲状腺结节侵袭性预测网络，所述融合的网络模型对超声图像中甲状腺结节侵袭性的预测处理过程如下：

S51：通过定位网络模型对超声图像中的结节的高精度定位，获取两种不同区域的含结节图像，分别为：(1)只包含结节的图像；(2)除结节外还包含大量周围组织信息图像；

S52：将只包含结节的图像和除结节外还包含大量组织信息图像分别输入到并行的特征提取网络Net1和Net2中；

S53：利用定位网络模型中的预测矩形框输出定位的结节的纵横比信息；

S54：将特征提取网络Net1和Net2提取结节特征与上下文特征通过全局平均池化的方式进行特征拼接，再与定位网络模型所提取到的纵横比信息拼接；

S55：将上步骤拼接的完整信息输入到分类网络模型中的全连接层中进行分类，得出恶性有侵袭、恶性无侵袭或良性结节的预测结论；

S6：对融合的网络模型中的分类网络模型进行训练更新，保存验证集中准确率最高的模型。

进一步地，步骤S1中超声甲状腺图像的预处理方法中自适应小波算法的设计过程如下：

S11：设置小波阈值函数的传统表达式为：

上式中，D为阈值，M为对应层小波域内小波系数总个数，σ为小波域噪声的标准差；

S12：设计小波系数的变换函数

上式中，D为阈值，w为小波系数；

S13：在各分解层中引入对应的影响因子，从而将小波阈值函数改进为自适应阈值函数，满足动态滤波的需求；其中，改进后的小波阈值函数的表达式为：

上式中，D为阈值，e

进一步地，步骤S13中，将小波分解层c的数量设置为3层，即c∈[1,2,3]。

进一步地，步骤S21中，本地训练的数据生成方法为：在生成本地训练所需的xml文件时，只添加结节水平外接矩的一组对角坐标，而并不添加类别信息。

进一步地，步骤S22中，网络损失函数中定位损失权重为1，即只保留定位损失函数。

进一步地，步骤S2和步骤S4中的通道注意力机制通过在block中采用残差注意力模块的方式实现，所述残差注意力模块的处理方法包括如下过程：

特征图在经3×3卷积块处理之后将进入两个支路，在实行通道注意力机制时，特征图首先进行全局平均池化，所有特征图池化后尺寸均为1×1，进而经过三组全连接层FC1、FC2和FC3，三组全连接层中对应的激活函数分别：ReLU、SELU、SELU，在FC1中将输出中的通道数下调为原1/8，最后进入第四组全连接层FC4，FC4输出时则会扩增为原通道数，FC4中通过Sigmoid函数将各通道对应的1×1特征图映射为(0,1)之间的权重标量，各标量与原特征图相乘即实现了通道注意力机制。

进一步地，步骤S3中，定位网络中获取的关于腺体组织的上下文信息包括结节与周边组织区域的上下文信息，所述分类网络中，采用并行双路网络以输入包含不同程度周边组织信息的图像，针对结节自身以及结节周边组织加强特征信息提取；定位网络中获取的关于腺体组织的上下文信息包括三种层次，分别为目标内部的上下文关系、目标与目标之间上下文关系，以及目标与场景之间的关系；三者在图像中的具体体现为：甲状腺结节形态大小不对称、甲状腺左叶和右叶常成对出现，以及甲状腺结节形态大小与峡部位置较为固定。

进一步地，步骤S6中，分类网络模型的训练过程利用pytorch框架完成，采用ImageNet预训练权重对分类网络模型进行训练，训练阶段采用动态学习率和早停法完成；

训练分类网络模型时，根据原始数据集和定位网络模型生成的裁剪数据集，首先利用ImageNet预训练权重分别对Net1与Net2进行独立的分类训练，此过程不添加纵横比信息；然后再将Net1、Net2、纵横比信息添加至分类网络模型中，进行联合训练。

本发明还提供一种基于目标检测的甲状腺结节侵袭性预测系统，该系统采用前述的基于目标检测的甲状腺结节侵袭性预测方法，实现甲状腺超声图像中的结节侵袭性结论的预测，所述系统包括：

预处理模块，其用于对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，获取原始数据集；

定位网络模块，其用于对原始数据集的图像中的甲状腺结节进行准确定位，进而得到只包含结节的新图像数据集以及包含结节和周围组织信息的新图像数据集；同时计算提取结节纵横比信息；

分类网络模块，其用于基于原始图像数据集，定位网络模块生成的裁剪后的新的数据集，以及定位网络模块输出的纵横比信息；兼顾不同视角下的结节区域以及背景组织区域，通过FPN将不同视角下的特征融合复用，同时利用结节定位得到纵横比及上下文信息；对甲状腺超声图像中结节的侵袭性预测结果进行分类，得出结节侵袭性的预测结论。

本发明还提供一种基于目标检测的甲状腺结节侵袭性预测终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行如前述的基于目标检测的甲状腺结节侵袭性预测方法。

本发明提供的一种基于目标检测的甲状腺结节侵袭性预测方法，具有如下有益效果：

本发明中提供的预测方法采用“定位+分类”的two-stage诊断策略，除了改进现行网络架构，还高效利用定位网络来提取额外的高相关性医学判据，兼顾结节本身的特征信息以及与腺体组织的上下文信息，实现了高精度结节诊断预测，提高预测结论的可靠性。

本发明提供的方法可以对甲状腺结节进行准确定位，进而得到只包含结节的新数据并计算提取结节纵横比信息。网络模型能够兼顾不同视角下的结节区域以及背景组织区域，通过FPN将不同视角下的特征融合复用，同时利用结节定位得到纵横比及上下文信息进行精确分类；因此具有更高的预测准确度和灵敏度。

本发明中提供的图像预处理方法可以利用小波变换滤波去噪，对超声图像中高频域内的边缘信息进行保留，并有效剔除噪声。克服超声甲状腺图像质量较差，散斑噪声严重，结节边缘模糊，边界不连续，对比度低的缺陷；从而为提升预测结果的准确度奠定数据基础。

本发明中的方法在测试过程中，以整张图像作为输入，预测是由图像中的全局上下文信息进行引导，支持通用并行计算架构加速，提高了检测速度。同时，在网络设计中，网络中所有卷积核尺度参数均为3×3和1×1，并采用较少卷积核通道参数和较深层数的设计思路，有效提了高检测速率。以上偏向解决处理速度的设计为该预测方法在实际运用过程中的实时性提供了有效保障。

附图说明

下面结合附图对本发明进一步说明。

图1为实施例1中基于目标检测的甲状腺结节侵袭性预测方法的流程图；

图2为实施例1中Faster RCNN网络的结构图；

图3为实施例1中FPN网络的结构图；

图4为实施例1中定位网络模型的示意图；

图5为实施例1中定位网络模型预训练过程中甲状腺结节图像定位测试的定位展示图；

图6为实施例1中定位网络模型预训练过程中甲状腺结节图像定位测试的定位效果对比图；

图7为实施例1中分类网络模型的示意图；

图8为实施例1中分类网络模型预训练过程中的训练曲线图；

图9为实施例1中分类网络模型预训练过程中的分类测试结果统计表；

图10为实施例1中残差注意力模块的示意图；

图11为实施例2中基于目标检测的甲状腺结节侵袭性预测系统的模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本实施例提供一种基于目标检测的甲状腺结节侵袭性预测方法，该方法包括如下S1-S6步骤：

S1：采用自适应小波算法对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，得到原始数据集。

针对甲状腺超声检测图像质量较差，散斑噪声严重，结节边缘模糊，边界不连续，对比度低，以及高频域中边缘信息集中且噪声严重的问题。本实施例中采用自适应小波算法对图像进行预处理。小波滤波是基于小波变化后，将空间域的信号转换到带有时频特性的小波域，然后使用通过阈值来消减噪声映射出的小波系数，进而反变换得到去噪图像。其中，阈值选择是小波滤波器的关键。

小波阈值去噪的基本思想是将信号通过层数为N的小波变换分解后，信号产生的小波系数含有信号的重要信息，将信号经小波分解后小波系数较大，噪声的小波系数较小，并且噪声的小波系数要小于信号的小波系数，通过选取一个合适的阈值，大于阈值的小波系数被认为是由信号产生的，应予以保留，小于阀值的则认为是由噪声产生的，置为零从而达到去噪的目的。在本实施例中，自适应小波算法的设计思路如下：

S11：设置小波阈值函数的传统表达式为：

上式中，D为阈值，M为对应层小波域内小波系数总个数，σ为小波域噪声的标准差；

S12：设计小波系数的变换函数

上式中，D为阈值，w为小波系数；

S13：在各分解层中引入对应的影响因子，从而将小波阈值函数改进为自适应阈值函数，满足动态滤波的需求；其中，改进后的小波阈值函数的表达式为：

上式中，D为阈值，e

S14：将小波分解层的数量设置为3层，即c∈[1,2,3]。

S2：构建基于传统Faster RCNN的网络结构的定位网络模型；在定位网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；并对定位网络模型进行预训练；由于超声影像中本身会存在噪点、模糊且有效信息较少等特点，因此本发明在主体网络模型采用Faster RCNN的基础上，添加算法模型的激活函数，从而增加模型的非线性，达到在高维信息中深度挖掘超声影像中有效特征信息的目的。

其中定位网络模型的示意图如图4所示，定位网络模型的构建和训练过程包括如下步骤：

S21：在本实施例中，采用Faster RCNN作为定位网络，Faster RCNN的网络架构如图2所示，由于甲状腺结节超声数据的小样本限制，因此采用ImageNet迁移学习来对网络进行预训练，本地训练的数据采用包含结节的超声图像。具体为：在生成本地训练所需的xml文件时，只添加结节水平外接矩的一组对角坐标，而并不添加类别信息。

S22：模型中RPN网络仍为多任务网络(二分类、回归)，而原检测网络的多任务性质降低了网络定位效果，所以模型整体为边界回归的单一任务网络，因此本地训练时，增加了定位损失的权重，进而针对性地提高了Faster RCNN的定位效果。同时，网络损失函数中定位损失权重为1，即在本实施例中只保留定位损失函数。

S23：在定位网络模型中，采用构造多尺度金字塔的方案，同时利用低层特征和高层特征分别在不同层同时预测甲状腺结节目标的位置。

对于大多数深度学习网络，比如VGG、ResNet、Inception等都是利用深度网络的最后一层特征来进行分类。这种方法的优点是速度快、内存占用少，缺点是仅仅关注深层网络中最后一层的特征，却忽略了其它层的特征信息，但是这些信息却可以在一定程度上提升检测的精度。

而在本实施例中，采用的是构造多尺度金字塔方案，FPN网络的架构如图3所示。本实施例之所以同时利用低层特征和高层特征分别在不同的层同时进行预测，是因为在一幅甲状腺结节图像中可能具有多个大小不同的结节目标，区分不同的目标可能需要不同的特征，对于简单的目标仅仅需要浅层的特征就可以检测到，而对于复杂的目标需要利用复杂特征来检测。此外，高级语义特征对小目标的检测精度很低，即小目标结节检测需要注重利用低层特征，因此本实施例在定位网络中采用FPN结构。

S24：在超声图像中，浅层特征包含大量的位置信息，通过特征金字塔将深层语义特征与浅层纹理特征融合，进而可以提高定位网络的区域建议准确性。与传统FPN不同的是，为了降低特征冗余、提升计算效率、降低计算成本，本实施例在定位网络模型中，采用ResNet50+FPN的三层融合特征来生成区域建议，大大降低了定位时间和成本，同时在定位网络中的特征提取模块中采用通道注意力机制保障网络定位效果。

S25：在定位网络模型中，采用特征金字塔进行锚点选择，由于在实际应用中，超声图像尺寸较小，尺寸大都约为500*500，为降低时间成本和计算成本，本实施例中

舍弃ResNet50第三残差块的输出特征；

S26：在ImageNet预训练权重基础下，利用自制数据集作为训练集对定位网络进行训练，训练所用数据为true mask对应最小水平外接矩形的角点坐标，定位网络模型的评价标准采用真实矩形框与预测矩形框的dice系数。

在预训练过程中，通常仅需100轮即可达到很好的训练效果，在本实施例中，测试集共527张图像，有效检测出479例，无效检测48例，准确率达到91％，其中两矩形dice平均值为90.37％。其定位测试展示如图5、图6所示，其中图6为定位结果(矩形框)与true mask的叠加效果展示，从结果看，不论结节形状、大小，定位网络都具有高准确度。

S3：对网络模型进行调整，从而利用定位网络对超声图像中的结节形态信息进行提取；利用定位网络输出的矩形坐标点来得到结节的纵横比信息，并获取局部特征检测所需的关于腺体组织的上下文信息。

在视觉处理问题上通常很大程度依赖于上下文信息，上下文信息主要有两个作用，即消除不确定性、歧义性和减少处理时间。本实施例中，定位网络中获取的关于腺体组织的上下文信息主要包括结节与周边组织区域，对结节性质的诊断不能只依靠结节自身特征信息，还需关注结节与周边区域的相互作用信息。因此，在分类网络中，本实施例采用并行双路网络以输入包含不同程度周边组织信息的图像，除针对结节自身加强特征信息提取，对结节周边组织同样增强特征提取，以此通过所提取的上下文信息提高分类准确率。

本实施例利用高效的定位网络对结节形态信息进行了提取。定位网络精度较高，且定位效果很好，网络输出的坐标与最小外接水平矩形的金标准吻合度高。同时，在甲状腺结节诊断中，纵横比是医师诊断的一个重要参考信息，因此本发明利用定位网络输出的矩形坐标点来得到结节的纵横比信息，并将其应用在后一阶段的分类网络当中，该方法有效提高了网络分类准确率。

S4：构建分类网络模型，所述分类网络模型采用ResNet网络来作为基线网络，分类网络模型中包括并行的特征提取网络Net1和Net2；同时在分类网络模型中的ResNet模块内增加通道注意力机制，通过在通道维度上差异化各特征图的权重以此来增加网络在通道维度上的非线性表达能力；分类网络模型的结构如图7所示。

S5：建立多模型融合的甲状腺结节侵袭性预测网络，所述融合的网络模型对超声图像中甲状腺结节侵袭性的预测处理过程如下：

S51：通过定位网络模型对超声图像中的结节的高精度定位，获取两种不同区域的含结节图像，分别为：(1)只包含结节的图像；(2)除结节外还包含大量环境信息图像；

S52：将只包含结节的图像和除结节外还包含大量环境信息图像分别输入到并行的特征提取网络Net1和Net2中；

S53：利用定位网络模型中的预测矩形框输出定位的结节的纵横比信息；

S54：将特征提取网络Net1和Net2提取的结节特征与上下文特征通过全局平均池化的方式进行特征拼接，再与定位网络模型所提取到的纵横比信息拼接；

S55：将上步骤拼接的完整信息输入到分类网络模型中的全连接层中进行分类，得出恶性有侵袭、恶性无侵袭或良性结节的预测结论；

S6：对融合的网络模型中的分类网络模型进行训练更新，保存验证集中准确率最高的模型。

分类网络模型的训练过程利用pytorch框架完成，采用ImageNet预训练权重对分类网络模型进行训练，训练阶段采用动态学习率和早停法完成；

训练分类网络模型时，根据原始数据集和定位网络模型生成的裁剪数据集，首先利用ImageNet预训练权重分别对Net1与Net2进行独立的分类训练，此过程不添加纵横比信息；然后再将Net1、Net2、纵横比信息添加至分类网络模型中，进行联合训练。训练所用数据为某三甲医院数据集，共4021例影像，训练集、验证集、测试集比例为6:2:2，分配合理。

测试结果如图9所示，在测试实验中，分类网络准确率平均84.3％，特异性达80.85％，灵敏度达87.42％。由于微调时，每一次训练都加载前期已训练得到的最佳模型权重作为预训练权重，所以在图8的训练曲线中可以看出训练曲线的上升较快，在少量epoch下即可快速收敛。

其中，步骤S2和步骤S4中的通道注意力机制通过在block中采用残差注意力模块的方式实现，如图10所示，残差注意力模块的处理方法包括如下过程：

特征图在经3×3卷积块处理之后将进入两个支路，在实行通道注意力机制时，特征图首先进行全局平均池化，所有特征图池化后尺寸均为1×1，进而经过三组全连接层FC1、FC2和FC3，三组全连接层中对应的激活函数分别：ReLU、SELU、SELU，在FC1中将输出中的通道数下调为原1/8，最后进入第四组全连接层FC4，FC4输出时则会扩增为原通道数，FC4中通过Sigmoid函数将各通道对应的1×1特征图映射为(0,1)之间的权重标量，各标量与原特征图相乘即实现了通道注意力机制。

实施例2

如图11所示，本实施例提供一种基于目标检测的甲状腺结节侵袭性预测系统，该系统采用如实施例1的基于目标检测的甲状腺结节侵袭性预测方法，实现甲状腺超声图像中的结节侵袭性结论的预测，该系统包括：

预处理模块，其用于对临床获得的甲状腺超声图像进行预处理，剔除图像噪声并在高频域内保留图像的边缘信息，获取原始数据集；

定位网络模块，其用于对原始数据集的图像中的甲状腺结节进行准确定位，进而得到只包含结节的新图像数据集；同时计算提取结节纵横比信息和目标的上下文信息；以及

分类网络模块，其用于基于原始图像数据集，定位网络模块生成的裁剪后的新的数据集，以及定位网络模块输出的纵横比信息；兼顾不同视角下的结节区域以及背景组织区域，通过FPN将不同视角下的特征融合复用，同时利用结节定位得到纵横比及上下文信息；对甲状腺超声图像中结节的侵袭性预测结果进行分类，得出结节侵袭性的预测结论。

实施例3

本实施例提供一种基于目标检测的甲状腺结节侵袭性预测终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行如实施例1的基于目标检测的甲状腺结节侵袭性预测方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。