肺结节检测模型的训练方法和肺结节检测方法
文献发布时间:2023-06-19 11:54:11
技术领域
本发明属于图像处理技术领域,尤其涉及一种模型训练方法和识别方法。
背景技术
肺结节是原发性肺癌的一个重要指标,因此,快速而准确的检测出胸部计算机断层摄影(Computed Tomography,CT)图像上的肺结节在早期肺癌诊断中起着至关重要的作用,肺结节的精准检测可显著提高患者的生存机率。
目前,采用计算机辅助检测系统(computer-aided detection,CAD)来辅助医生进行肺结节的检测。但是,由于肺结节的复杂性,CAD无法对肺结节进行全面的描述,导致肺结节的检测结果准确度低。
发明内容
本发明实施例提供一种模型训练方法和识别方法,能够提高肺结节检测结果的准确度。
第一方面,提供了一种肺结节检测模型的训练方法,肺结节检测模型包括生成器模型和判别器模型;
该方法包括:
获取训练样本集;训练样本集包括多个训练样本,每个训练样本包括肺部电子计算机断层扫描CT图像和CT图像中肺结节对应的肺结节标签信息;
对每个训练样本,分别执行以下步骤:
将CT图像输入至生成器模型中,得到肺结节在CT图像的预测位置信息;
根据预测位置信息,提取与预测位置信息对应的目标区域图像;
将目标区域图像和肺结节标签信息输入至判别器模型中,确定预测位置信息对应的肺结节的预测结果;
根据各个训练样本的预测结果,确定肺结节检测模型的损失函数值;
根据损失函数值,训练肺结节检测模型,得到训练后的肺结节检测模型。
在一种可能的实现方式中,根据损失函数值,训练得到肺结节检测模型,包括:
判断肺结节检测模型的损失函数值是否满足预设训练停止条件;
若不满足,调整肺结节检测模型的参数,并利用训练样本集训练调整后的肺结节检测模型,直至满足预设训练停止条件,得到训练后的肺结节检测模型。
在一种可能的实现方式中,根据各个训练样本的预测结果,确定肺结节检测模型的损失函数值,包括:
根据各个训练样本的预测结果、各个运算时间、肺结节标签信息和预测结果和肺结节标签信息中肺结节类别之间的欧几里得范数,确定肺结节检测模型的损失函数值;
运算时间为确定CT图像输入至生成器模型直到确定预测结果的运算时间。
在一种可能的实现方式中,将目标区域图像和肺结节标签信息输入至判别器模型中,确定预测位置信息对应的肺结节的预测结果,包括:
提取目标区域图像的第一特征向量和肺结节标签信息的第二特征向量;
根据第一特征向量和第二特征向量,确定预测结果。
在一种可能的实现方式中,提取目标区域图像的第一特征向量和肺结节标签信息的第二特征向量,包括:
将目标区域图像和肺结节标签信息输入至卷积神经网络CNN层,分别提取目标区域图像的第一特征向量和肺结节标签信息的第二特征向量。
在一种可能的实现方式中,根据第一特征向量和第二特征向量,确定预测结果,包括:
将第一特征向量和第二特征向量输入至长短期记忆网络层,确定目标区域图像和肺结节标签信息之间的对比特征向量;
将对比特征向量输入至全连接层,确定CT图像中预测位置信息对应的肺结节的预测结果。
在一种可能的实现方式中,在获取训练样本集之前,方法还可以包括:对训练样本集进行预处理。
在一种可能的实现方式中,对训练样本集进行预处理包括以下各项中的至少一项:
对每个训练样本进行滤波;
对训练样本进行格式转换;
对训练样本进行数据增强。
第二方面,提供了一种肺结节检测方法,该方法包括:
获取肺部计算机断层摄影CT图像;
将CT图像输入至肺结节检测模型中,确定CT图像中肺结节的检测结果;
肺结节检测模型为第一方面或第一方面任一项中训练得到的肺结节检测模型。
在一种可能的实现方式中,将CT图像输入至肺结节检测模型中,确定CT图像中肺结节的检测结果,包括:
将CT图像输入至生成器模型中,确定肺结节的位置信息;
将位置信息和CT图像输入至判别器模型中,确定CT图像中肺结节的检测结果。
在一种可能的实现方式中,在将CT图像输入至识别模型中,确定CT图像中目标对象的位置信息和预测信息之前,方法还可以包括:对CT图像进行滤波。
第三方面,提供了一种肺结节检测模型的训练装置,该装置包括:
获取模块,用于获取训练样本集;训练样本集包括多个训练样本,每个训练样本包括肺部电子计算机断层扫描CT图像和CT图像中肺结节对应的肺结节标签信息;
训练模块,用于对每个训练样本,分别执行以下步骤:
将CT图像输入至生成器模型中,得到肺结节在CT图像的预测位置信息;
根据预测位置信息,提取与预测位置信息对应的目标区域图像;
将目标区域图像和肺结节标签信息输入至判别器模型中,确定预测位置信息对应的肺结节的预测结果;
根据各个训练样本的预测结果,确定肺结节检测模型的损失函数值;
根据损失函数值,训练肺结节检测模型,得到训练后的肺结节检测模型。
第四方面,提供了一种肺结节检测装置,该装置包括:
获取模块,用于获取肺部计算机断层摄影CT图像;
确定模块,用于将CT图像输入至肺结节检测模型中,确定CT图像中肺结节的检测结果;
肺结节检测模型为第一方面或第一方面任一种可能的实现方式中训练得到的肺结节检测模型。
第五方面,提供了一种电子设备,该设备包括:处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时实现如第一方面或者第一方面的任一可能实现方式中的方法,或实现如第二方面或者第二方面的任一可能实现方式中的方法。
第六方面,提供了一种计算机存储介质,该计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面或者第一方面的任一可能实现方式中的方法,或实现如第二方面或者第二方面的任一可能实现方式中的方法。
基于提供的肺结节检测模型的训练方法,利用包括肺部电子计算机断层扫描CT图像和CT图像中肺结节对应的肺结节标签信息的训练样本,通过模型训练,得到肺结节检测模型。由于肺结节检测模型的训练样本为包括肺部电子计算机断层扫描CT图像和CT图像中肺结节对应的肺结节标签信息,因而,该肺结节检测模型能够较为全面地识别肺结节的各个特点,从而使得利用该肺结节检测模型进行肺结节检测得到的肺结节检测结果的准确度得以提高。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种肺结节检测模型的训练方法的流程示意图;
图2是本发明实施例提供的一种生成器模型的结构示意图;
图3是本发明实施例提供的一种生成器模型中Block的结构示意图;
图4是本发明实施例提供的一种判别器模型的结构示意图;
图5是本发明实施例提供的一种肺结节检测方法的流程示意图;
图6是本发明实施例提供的另一种肺结节检测方法的流程示意图;
图7是本发明实施例提供的一种肺结节检测模型的训练装置的结构示意图;
图8是本发明实施例提供的一种肺结节检测装置的结构示意图;
图9是本发明实施例提供电子设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还可以包括没有明确列出的其他要素,或者是还可以包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
随着计算机技术的发展,计算机数字图像处理在生产和生活中得到越来越多的应用。目标检测技术,是计算机视觉处理领域的重要研究内容。目前,对数字图像智能化处理的需求正不断增长,准确的从图像中提取出目标物体,是实现许多智能目标识别系统的基础。
肺结节通常被认为是原发性肺癌的一个重要指标,因此如何做到快速而准确的检测出胸部CT影像上的肺结节在早期肺癌诊断中起着至关重要的作用。在CT成像中,肺结节通常表现为小而不透明的结构,肺结节的精准检测可显著提高患者的生成机会。
目前,大多数放射科医师主要通过CT图像检查来对肺结节进行识别和诊断。在通过CT影像对患者进行肺结节检测时,需要逐一的观察数百幅甚至是上千幅CT图像。这种手动检测方式不但非常耗时,而且给放射科医师带来巨大的工作量。因为医师在阅片的过程中很容易产生疲劳从而影像工作效率,进而发生漏检和误诊现象。为提高效率并降低误诊率,提出了CAD来辅助放射科医师检测肺结节。
传统的肺结节CAD系统许多都遵循两阶段模式:候选结节检测和假阳性减少。在第一阶段,通常在整个图像上执行相对粗略的扫描以提取相当多的疑似结节区域(通常具有高灵敏度,但也具有高假阳性率),然后将这些疑似结节区域送入第二阶段更为严格的筛选过程以降低假阳性率。两个阶段合二为一达成了检测肺结节的目标。传统的候选检测使用了强度阈值,形状弯曲和数学形态学等方法。传统的假阳性减少方法包括形状、位置、强度、梯度特征、纹理特征和上下文信息的组合分析。
而传统的肺结节检测方法仍存在有两个明显的缺点,首先,传统的CAD系统基于一些简单假设,并使用一些简单的描述特征。但是肺内真实结节具有高度变化性,简单的描述特征无法代表这些真实的结节,从而导致整个检测结果的劣化。其次,传统CAD系统所使用的检测方法一般分为肺分割、提取候选结节、假阳性减少三个子步骤。整个检测过程耗时长,只适合用于小样本,无法端到端,自动化程度低。
因此,本发明实施例提供了一种肺结节检测模型的训练方法和肺结节检测方法,能够提高肺结节检测结果的准确度。
为了方便理解本发明实施例,首先对本发明实施例中肺结节检测模型的训练方法进行详细阐述。
图1是本发明实施例提供的一种肺结节检测模型的训练方法的流程示意图。
如图1所示,本发明实施例提供的一种肺结节检测模型的训练方法包括:
S101:获取训练样本集;训练样本集包括多个训练样本,每个训练样本包括肺部电子计算机断层扫描CT图像和CT图像中肺结节对应的肺结节标签信息。
对每个训练样本,分别执行以下步骤:
S102:将CT图像输入至生成器模型中,得到肺结节在CT图像的预测位置信息。
S103:根据预测位置信息,提取与预测位置信息对应的目标区域图像。
S104:将目标区域图像和肺结节标签信息输入至判别器模型中,确定预测位置信息对应的肺结节的预测结果。
S105:根据各个训练样本的预测结果,确定肺结节检测模型的损失函数值。
S106:根据损失函数值,训练肺结节检测模型,得到训练后额肺结节检测模型。
其中,肺结节检测模型包括生成器模型和判别器模型。
上述各步骤的具体实现方式将在下文中进行详细描述。
首先介绍S101,训练样本集可以是临床肺部CT扫描图像集。每一个临床CT图像为一个训练样本。每一个训练样本均包括CT图像和CT图像中肺结节对应的肺结节标签信息。其中,肺结节标签信息是指经过医生检测后对CT图像中的肺结节进行注释后的信息,注释内容可以包括肺结节的种类,如,肺结节为阳性等。注释内容还可以包括肺结节的大小等。
在一些实施例中,获取的训练样本集中的CT图像可能会存在噪声且尺寸不一致的情况。为了保证使用训练样本集训练的到肺结节检测模型的准确度,在使用训练样本集进行模型训练之前,还需要对于训练样本集进行预处理。
具体的,可以对训练样本集中的CT图像进行滤波,例如,对飞机CT图像进行均值滤波,使CT图像中的噪声平滑。还对肺部DT图像进行统一的标准化处理,使CT图像的尺寸相同,便于后续输入到模型中进行模型训练。
此外,为了避免在模型训练的过程中出现过拟合的现象,而导致训练得到的肺结节检测模型的精度低,还可以对训练样本集进行数据增强。例如,可以对CT图像进行水平或者竖直翻转的方式进行数据增强。还可以对CT图像进行仿射或者旋转变换等方式进行数据增强。
对训练样本集进行预处理完成后,基于训练样本集中的每一个训练样本,进行模型训练。
下面对基于每一个训练样本进行模型训练的过程进行详细介绍。
首先,在S102中,CT图像输入至生成器模型中,使用生成器模型确定CT图像中的肺结节的预测位置信息。
具体的,如图2所示,生成器模型是由一个卷积核大小为3*3的卷积层(Conv 3*3)和α个Block组成。其中,Block是由4层卷积层构成的。如图3所示,4层卷积层包括一个卷积核大小为1*1的卷积层(Conv 1*1)和三个卷积核为3*3的卷积层(Conv 3*3)。4层卷积层的步长可以均为1,可以使用带泄露(leaky)修正线性单元(Rectified Linear Unit,ReLU)作为生成器模型的激活函数。将训练样本输入至生成器模型中后,经过卷积核大小为3*3的卷积层变换后,可以得到一个S*S*5大小的特征向量。在生成器模型中数值S指CT图像输入卷积层后被分割为S*S个区域块;数值5指预测的肺结节位置坐标(x1,y1),(x2,y2),也即预测的位置信息。在这里肺结节位置坐标(x1,y1)表示肺结节所在区域对角线的一个坐标点,(x2,y2)表示表示肺结节所在区域对角线的另一个坐标点。
将CT图像输入至生成器模型中后,经过每一层卷积层的处理,能够得到CT图像中肺结节的预测位置信息。
在一些实施例中,CT图像中的肺结节可能存在多个。
确定CT图像中肺结节的预测位置信息后,执行S103。
在S103中,可以根据预测位置信息中肺结节的坐标,在CT图像中,对肺结节坐标对应的区域进行切割得到目标区域图像。其中,目标区域图像中的肺结节可能是阳性,也可能是阴性,还需要使用判别器模型对目标区域图像中肺结节进行判别分类。
下面对使用判别器模型对目标区域图像进行判别分类进行详细阐述。
在S104中,训练样本中包括肺结节的标签信息,基于肺结节的标签信息,对目标区域图像进行识别,能够确定目标区域图像中肺结节的类别判别器模型会基于CT图像和预测位置信息,对肺结节进行判别分类。
在一些实施例中,判别器模型基于下述步骤对肺结节进行判别分类:
提取目标区域图像的第一特征向量和肺结节标签信息的第二特征向量;
根据第一特征和第二特征,确定预测结果。
具体的,肺结节标签信息标注了肺结节所在的区域。将预测位置信息和肺结节标签信息输入至判别器模型后,基于肺结节的肺结节标签信息中描述的CT图像中肺结节的特征,与目标区域图像进行分析,确定目标区域图像的预测结果。
在介绍预测结果的具体确定过程之前,首先介绍一下判别器模型的结构。
如图4所示,判别器模型由卷积神经网络(Convolutional Neural Networks,CNN)层、长短期记忆网络(Long Short-Term Memory,LSTM)层以及全连接层组成。其中,CNN层包括卷积层和池化层。CNN层中的卷积层有5层,卷积核大小分别是5*5,1*3,3*1,3*3,1*1。卷积核大小为5*5的卷积层的步长为2,剩余卷积层的步长均为1。另外,CNN层所使用的激活函数为Relu。池化层有两层,均采用最大池化(max_pooling)的方式,在CNN层中与卷积层组合使用。
LSTM层为一层,隐含层节点数量可以是128。
全连接层有两层,均可以是由池化层。第一层全连接层的节点数量可以设置为44,可以采用最大池化的方式且激活函数为Relu。第二层全连接层的节点数量可以设置为2,可以采用最大池化的方式,激活函数为归一化指数函数Softmax。
在一些实施例中,基于上述判别器的结构组成,下面对预测结果的具体确定过程进行详细描述。
具体的,提取目标区域图像的第一特征向量和肺结节标签信息的第二特征向量,可以包括下述步骤:
将目标区域图像和肺结节标签信息输入至卷积神经网络CNN层,分别提取目标区域图像的第一特征向量和肺结节标签信息的第二特征向量。
其中,第一特征向量能够表示目标区域图像的特征。第二特征向量能够表示肺结节区域的特征。
具体的,根据第一特征和第二特征,确定预测结果,可以包括下述步骤:
将第一特征向量和第二特征向量输入至长短期记忆网络层,确定目标区域图像和肺结节标签信息之间的对比特征向量;
将对比特征向量输入至全连接层,确定CT图像中预测位置信息对应的肺结节的预测结果。
其中,对比特征向量能够表示目标区域图像和肺结节标签信息之间的区别程度。根据目标区域图像和肺结节标签信息之间的区别程度,确定预设位置信息对应的肺结节的检测结果。例如,检测结果可以是肺结节“阳性”0.6,肺结节“阴性”概率为0.4等。
确定预测结果后,执行S105,下面对S105进行详细介绍。
在S105中,确定每个训练样本的预测结果后,基于预测结果能够确定肺结节检测模型的损失函数值。其中,损失函数值满足下列公式(1):
其中,x
此外,肺结节标签信息中的坐标点还需要满足下述条件:
if[(x
为了提高肺结节检测模型的精度,还可以确定CT图像输入值生成器模型中到确定预测结果的运算时间。将运算时间作为损失函数值得一部分。
具体的,确定损失函数值还可以包括下述步骤:
根据各个训练样本的预测结果、各个运算时间、肺结节标签信息和预测结果和肺结节标签信息中肺结节类别之间的欧几里得范数,确定肺结节检测模型的损失函数值。
其中,首先基于上述公式(1)计算预测结果和肺结节标签信息中肺结节类别的损失函数值Loss。在计算预测结果和肺结节标签信息中肺结节类别的欧几里得范数L2_Loss。将运算时间T、L2_Loss和损失函数值Loss设置不同的权重,形成新的损失函数值T_Loss。损失函数值T_Loss满足下述公式(2):
T_Loss=m×T+n×Loss+L2_Loss (2)
其中,T表示运算时间,Loss表示预测结果和肺结节标签信息中肺结节类别的损失函数值,L2_Loss表示预测结果和肺结节标签信息中肺结节类别的欧几里得范数。
确定损失函数之后,执行S106,下面对S106进行详细介绍。
确定损失函数值后,可以基于损失函数值对肺结节检测模型的参数进行调整。
具体的,在S106具体包括下述步骤:
S1061:判断肺结节检测模型的损失函数值是否满足预设的训练停止条件。如果否,执行S1062。
预设的训练停止条件为损失函数值的变换状态在预设范围内。
其中,预设范围可以根据实际需要具体设定,在此不做具体的设定。
S1062:调整肺结节检测模型的参数,并返回执行S102。
在一些实施例中,当损失函数值的变化状态未达到预设范围,调整肺结节检测模型的参数,继续利用训练样本集训练调整后的肺结节检测模型,直至满足预设训练停止条件,得到训练后的肺结节检测模型。
作为一个具体的实施例,在S1061中,基于S105中的损失函数值T_Loss,预设的训练停止条件可以是当T_Loss在10个期(epoch)的训练过程中下降指数γ始终小于0.001,也就是T_Loss达到了最小值时,模型训练结束。
在S1062中,当肺结节检测模型的损失函数值不满足预设的训练停止条件,调整肺结节检测模型的参数。例如,可以基于T_Loss调整生成器模型中Block的个数α,其中,α的取值范围为1到5,记录此时的T_Loss和α。还可以基于Loss调整生成器模型中Block的个数α,其中,α的取值范围为1到5,记录此时的Loss和α。然后利用训练样本集利用训练样本集训练调整后的肺结节检测模型,直至满足预设训练停止条件,得到训练后的肺结节检测模型。在这里,
本发明实施例提供的肺结节检测模型的训练方法,通过获取训练样本集;训练样本集包括多个训练样本,每个训练样本包括肺部电子计算机断层扫描CT图像和CT图像中肺结节对应的肺结节标签信息;对每个训练样本,分别执行以下步骤:将CT图像输入至生成器模型中,得到肺结节在CT图像的预测位置信息;根据预测位置信息,提取与预测位置信息对应的目标区域图像;将目标区域图像和肺结节标签信息输入至判别器模型中,确定预测位置信息对应的肺结节的预测结果;根据各个训练样本的预测结果,确定肺结节检测模型的损失函数值;根据损失函数值,训练肺结节检测模型,得到训练后的肺结节检测模型,提高了肺结节检测结果的准确度。
基于图1对应实施例中得到的肺结节检测模型,本发明实施例还提供了一种肺结节检测方法。
图5是本发明实施例提供的一种肺结节检测方法的流程示意图。
如图5所示,本发明实施例提供的肺结节检测方法包括:
S501:获取肺部计算机断层摄影CT图像。
CT图像是用户在检查过程中通过计算机断层摄影得到的肺部图像。
S502:将CT图像输入至肺结节检测模型中,确定CT图像的检测结果。
将CT图像输入至图1所对应的实施例中的肺结节检测模型中,确定CT图像的检测结果。其中,CT图像的检测结果包括肺结节的类别。当肺结节为“阳性”,检测结果还可以包括肺结节的位置信息和肺结节的大小。
在这里,肺结节检测模型包括生成器模型和判别器模型。其中,将CT图像输入肺结节检测模型中,进行肺结节检测具体包括下述步骤:
将CT图像输入至生成器模型中,确定肺结节的位置信息;
将位置信息和CT图像输入至判别器模型中,确定CT图像中肺结节的检测结果。
其中,肺结节的位置信息是指CT图像中可能是肺结节的位置的信息。基于该位置信息,判别器模型能够进一步检测该位置信息对应CT图像中的区域肺结节的类别,也就是检测结果。
在一些实施例中,将CT图像输入至肺结节检测模型中之前,还可以对CT图像进行滤波,去除CT图像中的噪声。
本发明实施例提供的肺结节检测方法通过获取肺部计算机断层摄影CT图像;将CT图像输入至肺结节检测模型中,确定CT图像中肺结节的检测结果,提高了肺结节检测结果的准确度。
作为一个示例实施例,如图6所示,
S601:获取训练样本集。
训练样本集包括多个训练样本,每个训练样本包括肺部电子计算机断层扫描CT图像和CT图像中肺结节对应的肺结节标签信息。
S602:对训练样本集进行数据降噪。
由于获取到的训练样本集中的CT图像存在噪声、大小不一等情况,会影响到最终的识别结果,因此需要进行数据降噪工作。例如,对于常见的数据噪声的情况采用均值滤波的方式进行处理,使得噪声尽量的平滑。除此之外,还需要对训练样本中的CT图像进行标准化处理,使CT图像变为相同的大小。
S603:对训练样本集进行数据增强。
S604:将训练样本输入至生成器模型中。
S605:生成器模型生成预测位置。
预测位置为训练样本中肺结节可能的位置。
S606:对比预测位置和肺结节的位置。
S607:基于预测位置确定目标区域图像。
基于预测位置,对应CT图像,将该预测位置对应的CT图像切割出来,得到目标区域图像。
S608:判别器模型进行肺结节分类。
将目标区域图像输入至判别器模型中,对目标区域图像中的肺结节进行分类。
S609:确定运算时间。
运算时间是指确定CT图像输入至生成器模型直到确定预测结果的运算时间。
S610:计算损失函数值,其中可以通过中心损失函数(Focal loss)确定。
S611:Adam优化。
将用户行为数据分成训练集,训练集标签,测试集,测试集标签。采用反向传播算法和优化算法。根据前向传播损失函数值的大小,来进行迭代更新每一层的权重。
S612:用户CT图像采集。
S613:对用户CT图像进行数据降噪。
S614:将CT图像输入至生成器模型中。
S615:生成器模型确定CT图像中肺结节的位置信息。
S616:将肺结节位置信息和CT图像输入至判别器模型中。
S617:判别器模型确定肺结节位置信息对应的CT图像是否是肺结节。
基于图1对应的实施例,本发明实施例还提供了一种肺结节检测模型的训练装置。
图7是本发明实施例提供的一种肺结节检测模型的训练装置的结构示意图。
如图7所示,本发明实施例提供的一种肺结节检测模型训练装置,可以包括:获取模块701,训练模块702。
获取模块701,用于获取训练样本集;训练样本集包括多个训练样本,每个训练样本包括肺部电子计算机断层扫描CT图像和CT图像中肺结节对应的肺结节标签信息;
训练模块702,用于对每个训练样本,分别执行以下步骤:
将CT图像输入至生成器模型中,得到肺结节在CT图像的预测位置信息;
根据预测位置信息,提取与预测位置信息对应的目标区域图像;
将目标区域图像和肺结节标签信息输入至判别器模型中,确定预测位置信息对应的肺结节的预测结果;
根据各个训练样本的预测结果,确定肺结节检测模型的损失函数值;
根据损失函数值,训练肺结节检测模型,得到训练后的肺结节检测模型。
可选的,在本发明实施例中,训练模块702,具体用于:
判断肺结节检测模型的损失函数值是否满足预设训练停止条件;
若不满足,调整肺结节检测模型的参数,并利用训练样本集训练调整后的肺结节检测模型,直至满足预设训练停止条件,得到训练后的肺结节检测模型。
可选的,在本发明实施例中,训练模块702,具体可以用于:
根据各个训练样本的预测结果、各个运算时间、肺结节标签信息和预测结果和肺结节标签信息中肺结节类别之间的欧几里得范数,确定肺结节检测模型的损失函数值;
运算时间为确定CT图像输入至生成器模型直到确定预测结果的运算时间。
可选的,在本发明实施例中,训练模块702,具体可以用于:
提取目标区域图像的第一特征向量和肺结节标签信息的第二特征向量;
根据第一特征向量和第二特征向量,确定预测结果。
可选的,在本发明实施例中,训练模块702,具体可以用于:
将目标区域图像和肺结节标签信息输入至卷积神经网络CNN层,分别提取目标区域图像的第一特征向量和肺结节标签信息的第二特征向量。
可选的,在本发明实施例中,训练模块702,具体可以用于:
将第一特征向量和第二特征向量输入至长短期记忆网络层,确定目标区域图像和肺结节标签信息之间的对比特征向量;
将对比特征向量输入至全连接层,确定CT图像中预测位置信息对应的肺结节的预测结果。
可选的,在本发明实施例中,该装置还可以包括:
处理模块703,用于对训练样本集进行预处理。
可选的,在本发明实施例中,处理模块703,具体可以用于:
对每个训练样本进行滤波;
对训练样本进行格式转换;
对训练样本进行数据增强。
本发明实施例提供的肺结节检测模型的训练装置执行图1所示的方法中的各个步骤,并能够达到提高肺结节检测结果的准确度的技术效果,为简洁描述,再此不在详细赘述。
本发明实施例提供的一种肺结节检测模型训练装置,通过获取模块701,用于获取训练样本集;训练样本集包括多个训练样本,每个训练样本包括肺部电子计算机断层扫描CT图像和CT图像中肺结节对应的肺结节标签信息;训练模块702,用于对每个训练样本,分别执行以下步骤:将CT图像输入至生成器模型中,得到肺结节在CT图像的预测位置信息;根据预测位置信息,提取与预测位置信息对应的目标区域图像;将目标区域图像和肺结节标签信息输入至判别器模型中,确定预测位置信息对应的肺结节的预测结果;根据各个训练样本的预测结果,确定肺结节检测模型的损失函数值;根据损失函数值,训练肺结节检测模型,得到训练后的肺结节检测模型,提高了肺结节检测结果的准确度。
基于图5对应实施例中的肺结节的检测方法,本发明实施例还提供了一种肺结节检测装置。
图8是本发明实施例提供的一种肺结节检测装置的结构示意图。
如图8所示,本发明实施例提供的肺结节检测装置可以包括:获取模块801,确定模块802。
获取模块801,用于获取肺部计算机断层摄影CT图像;
确定模块802,用于将CT图像输入至肺结节检测模型中,确定CT图像中肺结节的检测结果;
肺结节检测模型为图1对应的实施例训练得到的肺结节检测模型。
可选的,在本发明实施例中,确定模块802,具体可以用于:
将CT图像输入至生成器模型中,确定肺结节的位置信息;
将位置信息和CT图像输入至判别器模型中,确定CT图像中肺结节的检测结果。
可选的,在本发明实施例中,该装置还可以包括滤波模块803;
滤波模块803,用于对CT图像进行滤波。
本发明实施例提供的肺结节检测装置执行图5所示的方法中的各个步骤,并能够达到提高肺结节检测结果的准确度的技术效果,为简洁描述,再此不在详细赘述。
本发明实施例提供的肺结节检测装置,通过获取模块801,用于获取肺部计算机断层摄影CT图像;确定模块802,用于将CT图像输入至肺结节检测模型中,确定CT图像中肺结节的检测结果,提高了肺结节检测结果的准确度。
图9示出了本发明实施例提供的一种电子设备的硬件结构示意图。
在电子设备可以包括处理器901以及存储有计算机程序指令的存储器902。
具体地,上述处理器901可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器902可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器902可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器902可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器902可在综合网关容灾设备的内部或外部。在特定实施例中,存储器902是非易失性固态存储器。在特定实施例中,存储器902包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器901通过读取并执行存储器902中存储的计算机程序指令,以实现上述实施例中的任意一种肺结节检测模型的训练方法或任意一种肺结节检测方法。
在一个示例中,电子设备还可包括通信接口903和总线910。其中,如图9所示,处理器901、存储器902、通信接口903通过总线910连接并完成相互间的通信。
通信接口903,主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线910包括硬件、软件或两者,将电子设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线910可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线,但本发明考虑任何合适的总线或互连。
该电子设备可以执行本发明实施例中的网络指标预测方法,从而实现结合图1描述的肺结节检测模型的训练方法或图5描述的肺结节检测方法。
另外,结合上述实施例中的网络指标预测方法,本发明实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种肺结节检测模型的训练方法或任意一种肺结节检测方法。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需数据的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。
- 肺结节检测模型的训练方法和肺结节检测方法
- 肺结节检测模型训练方法、检测方法及装置