一种甲状腺结节Tirads分级自动识别模型构建方法及装置

技术领域

本发明属于计算机人工智能深度学习领域，涉及图像自动识别技术,尤其是涉及一种甲状腺结节Tirads分级自动识别模型构建方法及装置。

背景技术

甲状腺结节的检出率在过去二十年有显著的增加，现在有更多的结节被检出，呈现明显的上升趋势。大多数结节是良性的或表现惰性的，准确判断甲状腺结节的良恶性可以通过精细针活检分析，并通过手术降低患者的风险，减少重大的医疗保健费用。对这些偶发甲状腺结节的检查通常包括超声检查。放射科医师已经发现甲状腺结节的一些超声特征提示恶性肿瘤的特征，包括低回声、无晕、微钙化、实性、结节内血流和纵横比。基于这些特征，一个专用的甲状腺成像报告和数据系统(TI-RADS)，以分类甲状腺结节和分层其恶性风险已被开发为放射科医师使用。TI-RADS评分2,3,4a、4b、4c和5分别表示为不可疑、可能良性、一个可疑特征、两个可疑特征、三个或更多可疑特征和可能为恶性。然而，使用TI-RADS对甲状腺结节的评估是耗时的，而且往往不够稳健。由于目前鉴别恶性结节的超声标准不完善，且甲状腺结节回声形态的变化限制了放射科医师的判断能力，因此其准确性往往基于放射科医师的个人经验。TI-RADS报告方案的引入，将使临床医生能够按标准进行常规的甲状腺超声检查，并保证不太可能遗漏恶性肿瘤。它还将为临床医生提供一项推荐的随访计划，该计划具有中度风险TIRADS评分，节省了系统大量不必要的影像学检查。此外，利用TI-RADS评分允许放射病医师了解机器是如何分类图像的，因为超声图像中包含的超声特征可以数字化并可用机器学习进行自动识别。

传统机器学习方法自动识别往往分为两步走，首先使用SIFT、HOG、Haar-like、LBP等算子提取医学影像特征，然后使用支持向量机、逻辑回归、决策树、随机森林等分类器进行分类。机器学习方法提取特征的好坏决定自动识别的效果；特征提取工作需要不断调参，是一件耗时费力的事情，与技术的经验有很大相关，经验丰富的专家往往提取出的特征更为有用。随着深度学习的崛起，特征提取工作往往由能自动提取特征的神经网络所代替。

卷积神经网络(CNN)在图像识别任务占据主流地位，特别是ImageNet任务的突出效果引起世人极大关注，随后在图像识别、检测、分割等视觉任务中领域获得统治地位，渐渐的在医疗领域也不断应用，如病理识别、肝脏分割、胸腔X片自动识别、肺结节检测等等，在甲状腺的良恶性结节超声图像中也被广泛研究。

从目前的研究现状来看，关于深度学习在甲状腺超声诊断的应用往往局限于良恶性自动识别上面，关于TI-RADS分级的研究尚属空缺，这样在辅助医生诊断的时候不能给出更为详细的信息，不利于医生进行判断，因此本研究使用卷积神经网络对甲状腺TI-RADS分级进行研究。

发明内容

本发明的目的在于提出一种能够在甲状腺结节TI-RADS分级自动识别中使用最新卷积神经网络框架，以一种端对端的方式对甲状腺超声图像进行自动识别任务，完成TI-RADS分级，使得能在甲状腺癌早期阶段完成检测工作的方法，解决甲状腺TI-RADS自动分级识别问题，同时保证较高准确率。

为了达到上述目的，本发明采用了以下技术方案：

本发明提供一种甲状腺结节Tirads分级自动识别模型构建方法，包括：

S1.对甲状腺超声图像进行数据预处理；

S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；

S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。

本发明提供一种甲状腺结节Tirads分级自动识别模型构建装置，包括：

数据预处理模块：用于对甲状腺超声图像进行数据预处理；

分割模块：用于对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割mask作为训练标签；

模型搭建模块：用于基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。

本发明实施例还提供一种甲状腺结节Tirads分级自动识别模型构建装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的甲状腺结节Tirads分级自动识别模型构建方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述的甲状腺结节Tirads分级自动识别模型构建方法的步骤。

采用本发明实施例，在训练甲状腺分级分类识别模型之前对数据进行归一化能够提升模型鲁棒性，提升识别效果；对甲状腺TI-RADS形态分类部分，采用分割的方式，减轻人员标注压力，提高数据获取速度；使用多任务模型架构的方式，能够更好地利用任务间的信息，充分挖掘任务之间相关性，提升模型泛化能力；采用适用于TI-RADS分级的多任务loss，可以使模型学得更好特征，平衡各任务的权重，提升效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例甲状腺结节Tirads分级自动识别模型构建方法的流程图；

图2是本发明一个装置实施例的甲状腺结节Tirads分级自动识别模型构建装置的示意图；

图3是本发明另一个装置实施例的甲状腺结节Tirads分级自动识别模型构建装置的示意图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

方法实施例

根据本方法实施例，提供了一种甲状腺结节Tirads分级自动识别模型构建方法，图1是本发明实施例甲状腺结节Tirads分级自动识别模型构建方法的流程图，如图1所示，根据本发明实施例的甲状腺结节Tirads分级自动识别模型构建方法具体包括：

S1.对甲状腺超声图像进行数据预处理；

具体地，在原始的训练数据中，由于每张超声图像受各种因素影响，造成特征的分布范围差异很大，当测试样本和训练样本之间的差异很大时，就会导致模型效果差的问题，因此需要将各超声图像特征归一化到同一取值区间，消除不同特征之间的相关性，具体方式有零均值化、数据归一化等，本实施例采用数据归一化的方式进行超声图像的特征处理；因为本研究基于大多数超声仪器生成的图像都是灰阶的，只有少部分生成的是RGB图像，而这些图像经过灰度转换后对图像原有的纹理、分辨率、对比度等都没有影响，因此在对超声图像进行预处理时，先对超声图像进行灰度化处理，将图像转为灰度后进行归一化，降低不同样本之间的差异性。

S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；

具体的，由于甲状腺结节Tirads分级中有关于自动测量横纵比的指标，甲状腺结节大多为椭圆状，所以可以将甲状腺结节当成分割任务进行处理。预处理后的甲状腺超声图像生成训练标签分割mask的具体方式为：

首先标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，得到一个矩形，然后采用内接椭圆的拟合方式即可得到分割mask。本方法实施例标注仅标注甲状腺结节横轴纵轴的端点，不采用勾画结节轮廓的方式。

S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。

具体的，根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建，其中，所述五个分类指标具体包括：成分、回声、形态、边缘以及强回声，其中，形态为分割任务，其他四个分类指标为分类任务。

进行损失函数设定时，考虑到多任务学习是一种集成学习方法，可以对几个任务同时训练从而使多个任务的共享参数及损失函数设计上互相影响，在进行模型训练前设定损失函数时，与成分、回声、形态、以及边缘等单标签多分类任务使用经典的交叉熵损失函数、强回声属于多标签多分类任务，需要添加权重，平衡成分、回声、形态、边缘的损失函数。

在使用Unet模型进行超声甲状腺结节分割任务时，由于网络是对每个像素进行分割，可能会导致粗分割，所以需要使用条件随机场对分割图像进行优化，具体方法如下：

条件随机场通过接受原始图像和每个像素的预测概率两个输入，对使用Unet进行超声甲状腺结节分割的分割图像进行优化，其中，条件随机场使用了在任意特征空间中，两个边势由高斯核的线性组合定义的高效推理方法。

综上所述，本发明提供一种甲状腺结节Tirads分级自动识别模型构建方法，在训练甲状腺分级分类识别模型之前对数据进行归一化，提升模型鲁棒性，改善识别效果；对甲状腺TI-RADS形态分类部分，采用分割的方式，标注使用长短径标注，大幅降低人工成本，减轻人员标注压力，提高数据获取速度；使用多任务模型架构的方式，充分挖掘任务之间相关性，提升模型效果；采用适用于TI-RADS分级的多任务损失函数loss，平衡各任务的权重，使神经网络的参数在优化时提高泛化能力；使用条件随机场对分割结果进行后处理，提高分割精度，得到更好的语义分割结果，完成了对结节分割的优化。

装置实施例一

根据本发明实施例，提供了一种甲状腺结节Tirads分级自动识别模型构建装置，图2是本发明实施例的甲状腺结节Tirads分级自动识别模型构建装置的示意图，如图2所示，根据本发明实施例的甲状腺结节Tirads分级自动识别模型构建装置具体包括：

数据预处理模块20：用于对甲状腺超声图像进行数据预处理；数据预处理模块具体用于：

对甲状腺超声图像进行灰度化处理，图像转为灰度后再进行归一化处理，完成图像特征的处理；

分割模块22：用于对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割mask作为训练标签；分割模块具体用于：

标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，这样得到一个矩形，然后采用内接椭圆的拟合方式得到分割mask；

模型搭建模块24：用于基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。模型搭建模块具体用于：

基于卷积神经网络进行多任务模型搭建，具体包括：根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建；

根据本发明实施例的装置进一步包括：

模型识别模块：采用所述甲状腺结节Tirads分级自动识别模型进行甲状腺结节Tirads分级的自动识别。

本发明实施例是与上述方法实施例对应的系统实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。

装置实施例二

本发明实施例提供一种甲状腺结节Tirads分级自动识别模型构建装置，如图3所示，包括：存储器30、处理器32及存储在所述存储器30上并可在所述处理器32上运行的计算机程序，所述计算机程序被所述处理器32执行时实现如下方法步骤：

S1.对甲状腺超声图像进行数据预处理；

具体地，在原始的训练数据中，由于每张超声图像受各种因素影响，造成特征的分布范围差异很大，当测试样本和训练样本之间的差异很大时，就会导致模型效果差的问题，因此需要将各超声图像特征归一化到同一取值区间，消除不同特征之间的相关性，具体方式有零均值化、数据归一化等，本实施例采用数据归一化的方式进行超声图像的特征处理；因为本研究基于大多数超声仪器生成的图像都是灰阶的，只有少部分生成的是RGB图像，而这些图像经过灰度转换后对图像原有的纹理、分辨率、对比度等都没有影响，因此在对超声图像进行预处理时，先对超声图像进行灰度化处理，将图像转为灰度后进行归一化，降低不同样本之间的差异性。

S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；

具体的，由于甲状腺结节Tirads分级中有关于自动测量横纵比的指标，甲状腺结节大多为椭圆状，所以可以将甲状腺结节当成分割任务进行处理。预处理后的甲状腺超声图像生成训练标签分割mask的具体方式为：

首先标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，得到一个矩形，然后采用内接椭圆的拟合方式即可得到分割mask。本方法实施例标注仅标注甲状腺结节横轴纵轴的端点，不采用勾画结节轮廓的方式。

S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。

具体的，根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建，其中，所述五个分类指标具体包括：成分、回声、形态、边缘以及强回声，其中，形态为分割任务，其他四个分类指标为分类任务。

进行损失函数设定时，考虑到多任务学习是一种集成学习方法，可以对几个任务同时训练从而使多个任务的共享参数及损失函数设计上互相影响，在进行模型训练前设定损失函数时，与成分、回声、形态、以及边缘等单标签多分类任务使用经典的交叉熵损失函数、强回声属于多标签多分类任务，需要添加权重，平衡成分、回声、形态、边缘的损失函数。

在使用Unet模型进行超声甲状腺结节分割任务时，由于网络是对每个像素进行分割，可能会导致粗分割，所以需要使用条件随机场对分割图像进行优化，具体方法如下：

条件随机场通过接受原始图像和每个像素的预测概率两个输入，对使用Unet进行超声甲状腺结节分割的分割图像进行优化，其中，条件随机场使用了在任意特征空间中，两个边势由高斯核的线性组合定义的高效推理方法。

装置实施例三

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器32执行时实现如下方法步骤：

S1.对甲状腺超声图像进行数据预处理；

具体地，在原始的训练数据中，由于每张超声图像受各种因素影响，造成特征的分布范围差异很大，当测试样本和训练样本之间的差异很大时，就会导致模型效果差的问题，因此需要将各超声图像特征归一化到同一取值区间，消除不同特征之间的相关性，具体方式有零均值化、数据归一化等，本实施例采用数据归一化的方式进行超声图像的特征处理；因为本研究基于大多数超声仪器生成的图像都是灰阶的，只有少部分生成的是RGB图像，而这些图像经过灰度转换后对图像原有的纹理、分辨率、对比度等都没有影响，因此在对超声图像进行预处理时，先对超声图像进行灰度化处理，将图像转为灰度后进行归一化，降低不同样本之间的差异性。

S2.对预处理后的甲状腺超声图像采用椭圆拟合转换生成分割掩膜mask作为训练标签；

具体的，由于甲状腺结节Tirads分级中有关于自动测量横纵比的指标，甲状腺结节大多为椭圆状，所以可以将甲状腺结节当成分割任务进行处理。预处理后的甲状腺超声图像生成训练标签分割mask的具体方式为：

首先标注甲状腺结节横轴、纵轴的端点，获取横轴和纵轴的标注点后，以横轴和纵轴中的长轴为标准，将短轴沿着长轴方向进行平扫，平扫的两端为长轴两端终点，得到一个矩形，然后采用内接椭圆的拟合方式即可得到分割mask。本方法实施例标注仅标注甲状腺结节横轴纵轴的端点，不采用勾画结节轮廓的方式。

S3.基于卷积神经网络进行多任务模型搭建，将所述训练标签输入到所述多任务模型中，并采用预先设定的损失函数进行训练，得到训练好的甲状腺结节Tirads分级自动识别模型。

具体的，根据TI-RADS的分级的五个分类指标，将分类任务共用一个backbone模型，将分割任务采用Unet模型进行分割，使用ResNet进行甲状腺结节TI-RADS分级自动识别的多任务模型搭建，其中，所述五个分类指标具体包括：成分、回声、形态、边缘以及强回声，其中，形态为分割任务，其他四个分类指标为分类任务。

进行损失函数设定时，考虑到多任务学习是一种集成学习方法，可以对几个任务同时训练从而使多个任务的共享参数及损失函数设计上互相影响，在进行模型训练前设定损失函数时，与成分、回声、形态、以及边缘等单标签多分类任务使用经典的交叉熵损失函数、强回声属于多标签多分类任务，需要添加权重，平衡成分、回声、形态、边缘的损失函数。

在使用Unet模型进行超声甲状腺结节分割任务时，由于网络是对每个像素进行分割，可能会导致粗分割，所以需要使用条件随机场对分割图像进行优化，具体方法如下：

条件随机场通过接受原始图像和每个像素的预测概率两个输入，对使用Unet进行超声甲状腺结节分割的分割图像进行优化，其中，条件随机场使用了在任意特征空间中，两个边势由高斯核的线性组合定义的高效推理方法。

综上所述，本发明提供一种甲状腺结节Tirads分级自动识别模型构建方法，在训练甲状腺分级分类识别模型之前对数据进行归一化，提升模型鲁棒性，改善识别效果；对甲状腺TI-RADS形态分类部分，采用分割的方式，标注使用长短径标注，大幅降低人工成本，减轻人员标注压力，提高数据获取速度；使用多任务模型架构的方式，充分挖掘任务之间相关性，提升模型效果；采用适用于TI-RADS分级的多任务损失函数loss，平衡各任务的权重，使神经网络的参数在优化时提高泛化能力；使用条件随机场对分割结果进行后处理，提高分割精度，得到更好的语义分割结果，完成了对结节分割的优化。

本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。