掌桥专利:专业的专利平台
掌桥专利
首页

基于分布外数据的模型训练方法、装置、设备及介质

文献发布时间:2024-04-18 19:54:45


基于分布外数据的模型训练方法、装置、设备及介质

技术领域

本发明涉及数字医疗领域,特别涉及一种基于分布外数据的模型训练方法、装置、设备及介质。

背景技术

恶性肿瘤已成为威胁人类生命健康与安全的重要影响因素之一,目前有效的治疗方法主要是放疗和化疗。在进行放疗之前,医生需要对肿瘤的位置和形态进行精确的评估,以制定治疗方案,计算机辅助诊断技术可以帮助医生减轻一部分的工作负担。传统的医学图像分割技术主要依赖于边缘检测、模板匹配、活动轮廓等方法,虽然取得了一定的效果,但还没有实现大规模的应用。卷积神经网络的出现成过实现了图像的层次特征表示,为医学图像提供了良好的诊断结果。而肝脏肿瘤的医学图像十分有限,在模型的训练过程中难以达到训练模型的要求。

发明内容

本发明的主要目的为提供一种基于分布外数据的模型训练方法、装置、设备及介质,旨在解决肝脏肿瘤的医学图像十分有限,难以达到训练模型的要求的问题。

本发明提供了一种基于分布外数据的模型训练方法,包括:

获取训练数据集,其中所述训练数据集包括多张原始图像以及各张原始图像对应的识别结果;

对每张原始图像添加噪声以获取分布外数据,并将各个分布外数据对应的原识别结果进行关联,得到分布外数据集;

将所述训练数据集和所述分布外数据集进行结合,得到目标训练数据集;

基于所述目标训练数据集训练神经网络模型,训练完成后得到目标识别模型。

进一步地,所述基于所述目标训练数据集训练神经网络模型的步骤包括:

基于所述目标训练数据集对所述神经网络模型进行初步训练,得到暂时模型;

基于所述目标训练数据集对所述神经网络模型各个输出的类别进行校准;其中校准公式为

根据各个输出的类别所对应的参数集合对所述暂时模型进行训练,得到所述目标识别模型。

进一步地,所述根据各个输出的类别所对应的参数集合对所述暂时模型进行训练,得到所述目标识别模型的步骤之后,还包括:

获取所述目标训练数据集中每个训练数据的输出结果以及输出结果的概率;

根据公式

呈现所述平均置信度分数。

进一步地,所述对每张原始图像添加噪声以获取分布外数据的步骤,包括:

对每张原始图像进行添加高斯噪声,椒盐噪声、散斑噪声、位置模糊、对图像进行锐化、亮度调节、离焦模糊、玻璃模糊中的一种或者多种操作,从而得到所述分布外数据。

进一步地,所述获取训练数据集的步骤,包括:

获取多张肝脏肿瘤的CT拍摄图;

将所述CT拍摄图输入特征提取网络进行特征提取,得到特征图像,其中,所述特征图像包括多个通道;

使用公式

根据公式m

通过所述第一向量和所述第二向量分别对所述特征图像进行加权,得到第一目标特征图M1和第二目标特征图M2;

根据公式M=max(M

基于所述判别性区域特征在所述CT拍摄图中对应的位置赋予更多的权重,得到多张原始图像,并结合对应的识别结果得到所述训练数据集。

进一步地,所述基于所述目标训练数据集训练神经网络模型,训练完成后得到目标识别模型的步骤之后,还包括:

获取测试集并输入所述目标识别模型中;其中,所述测试集包括多张原始图像以及各张原始图像对应的实际识别结果;

根据损失函数公式计算所述目标识别模型的损失值;其中所述损失函数公式为:

y

判断所述损失值是否小于预设损失值;

若小于所述预设损失值,则判定所述目标识别模型可以用于执行恶性肿瘤的预测。

本发明还提供了一种基于分布外数据的模型训练装置,包括:

获取模块,用于获取训练数据集,其中所述训练数据集包括多张原始图像以及各张原始图像对应的识别结果;

添加模块,用于对每张原始图像添加噪声以获取分布外数据,并将各个分布外数据对应的原识别结果进行关联,得到分布外数据集;

结合模块,用于将所述训练数据集和所述分布外数据集进行结合,得到目标训练数据集;

训练模块,用于基于所述目标训练数据集训练神经网络模型,训练完成后得到目标识别模型。

进一步地,所述训练模块,包括:

初步训练子模块,用于基于所述目标训练数据集对所述神经网络模型进行初步训练,得到暂时模型;

校准子模块,用于基于所述目标训练数据集对所述神经网络模型各个输出的类别进行校准;其中校准公式为

训练子模块,用于根据各个输出的类别所对应的参数集合对所述暂时模型进行训练,得到所述目标识别模型。

本发明的有益效果:通过获取训练集,并在原有的图像中添加噪声以获取分布外数据,基于原有的数据和分布外数据训练神经网络模型。实现了根据少量的数据生成分布外数据,弥补了数据不足,从而可以对模型进行完整的训练,以达到训练的要求,使得到的模型对肝脏肿瘤具有更好的识别精度,提高了对疾病诊断的准确性。

附图说明

图1是本发明一实施例的一种基于分布外数据的模型训练方法的流程示意图;

图2是本发明一实施例的一种基于分布外数据的模型训练装置的结构示意框图;

图3为本申请一实施例的计算机设备的结构示意框图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后等)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变,所述的连接可以是直接连接,也可以是间接连接。

本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。

另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。

参照图1,本发明提出1.一种基于分布外数据的模型训练方法,包括:

S1:获取训练数据集,其中所述训练数据集包括多张原始图像以及各张原始图像对应的识别结果;

S2:对每张原始图像添加噪声以获取分布外数据,并将各个分布外数据对应的原识别结果进行关联,得到分布外数据集;

S3:将所述训练数据集和所述分布外数据集进行结合,得到目标训练数据集;

S4:基于所述目标训练数据集训练神经网络模型,训练完成后得到目标识别模型。

如上述步骤S1所述,获取训练数据集,其中所述训练数据集包括多张原始图像以及各张原始图像对应的识别结果。其中,训练数据集为预先存储的一些数据集,需要说明的是,该训练数据集中的数据一般是有限的,包括多张原始图像以及各张原始图像对应的识别结果,该识别结果一般是由医生人工识别的识别结果。其中原始图像可以是肝脏肿瘤病灶区CT图像,即可以从对应的CT机中获取对应的医疗影像,构建数据连接。

如上述步骤S2所述,对每张原始图像添加噪声以获取分布外数据,并将各个分布外数据对应的原识别结果进行关联,得到分布外数据集,其中添加噪声的方式可以采用添加高斯噪声,椒盐噪声、散斑噪声、位置模糊、对图像进行锐化、亮度调节、离焦模糊、玻璃模糊等方式,还可以采用多种方式进行结合,以得到尽可能多的训练数据,将各个分布外数据对应的原识别结果进行关联,得到分布外数据集,即原来的原始图像的识别结果与添加噪声后的识别结果是相同的。

如上述步骤S3所述,将所述训练数据集和所述分布外数据集进行结合,得到目标训练数据集,其中训练数据集和分布外数据集可以进行结合,结合的方式就是将两个数据集中的数据放在一个数据集中,即得到目标训练数据集。

如上述步骤S4所述,基于所述目标训练数据集训练神经网络模型,训练完成后得到目标识别模型,训练的方式采用有监督的学习方式进行训练,即将目标训练数据集中的原始图像作为模型的输入,将对应的识别结果作为输出进行训练,从而得到目标识别模型,从而实现了根据少量的数据生成分布外数据,弥补了数据不足,从而可以对模型进行完整的训练,以达到训练的要求,使得到的模型对肝脏肿瘤具有更好的识别精度,即目标识别模型可以是恶性肿瘤识别模型,提高了对疾病诊断的准确性。

在一个实施例中,所述基于所述目标训练数据集训练神经网络模型的步骤S4包括:

S401:基于所述目标训练数据集对所述神经网络模型进行初步训练,得到暂时模型;

S402:基于所述目标训练数据集对所述神经网络模型各个输出的类别进行校准;其中校准公式为

S403:根据各个输出的类别所对应的参数集合对所述暂时模型进行训练,得到所述目标识别模型。

如上述步骤S4041所述,基于所述目标训练数据集对所述神经网络模型进行初步训练,得到暂时模型,训练的方式采用有监督的学习方式进行训练,即将目标训练数据集中的原始图像作为模型的输入,将对应的识别结果作为输出进行训练,从而得到暂时模型。

如上述步骤S402所述,基于所述目标训练数据集对所述神经网络模型各个输出的类别进行校准,从而可以提高模型的精度,需要说明的是校准是对每个类别中的参数一一进行校准,即校准公式是针对第1个预设的类别,该类别为模型输出的类别,其数量在模型训练时就已确定,例如类别为肿瘤重症患者,轻度患者,和没有肿瘤等三种类别,即模型的输出层具有相关的三个输出通道,本申请是对这三个输出通道进行一一校准,当然在实际的过程中输出通道可以更多也可以更少,本申请对此不作限定。

如上述步骤S403所述,根据各个输出的类别所对应的参数集合对所述暂时模型进行训练,得到所述目标识别模型,训练的方式即将参数集合中的参数更新至各个通道中,即完成二次训练。

在一个实施例中,所述根据各个输出的类别所对应的参数集合对所述暂时模型进行训练,得到所述目标识别模型的步骤S403之后,还包括:

S4041:获取所述目标训练数据集中每个训练数据的输出结果以及输出结果的概率;

S4042:根据公式

S4043:呈现所述平均置信度分数。

如上述步骤S4041-S4043所述,实现了医生可以根据结果的置信度进行二次识别,从而提高了识别的效率,一般而言,模型的识别结果与医生的识别结果会有一些误差,对于一些置信度高的数据,可以不用进行二次识别,只有一些置信度低的识别结果,可以让医生来进行二次识别,根据公式

在一个实施例中,所述对每张原始图像添加噪声以获取分布外数据的步骤S2,包括:

S201:对每张原始图像进行添加高斯噪声,椒盐噪声、散斑噪声、位置模糊、对图像进行锐化、亮度调节、离焦模糊、玻璃模糊中的一种或者多种操作,从而得到所述分布外数据。

在一个实施例中,所述获取训练数据集的步骤S1,包括:

S101:获取多张肝脏肿瘤的CT拍摄图;

S102:将所述CT拍摄图输入特征提取网络进行特征提取,得到特征图像,其中,所述特征图像包括多个通道;

S103:使用公式

S104:根据公式m

S105:通过所述第一向量和所述第二向量分别对所述特征图像进行加权,得到第一目标特征图M1和第二目标特征图M2;

S106:根据公式M=max(M

S107:基于所述判别性区域特征在所述CT拍摄图中对应的位置赋予更多的权重,得到多张原始图像,并结合对应的识别结果得到所述训练数据集。

如上述步骤所述,需要说明的是,根据公式m

表示Sigmoid激活函数,通过第二注意力向量述第一注意力向量分别对所述特征向量进行加权,得到第二目标特征图和第一目标特征图。此外,参数W

在一个实施例中,所述基于所述目标训练数据集训练神经网络模型,训练完成后得到目标识别模型的步骤S4之后,还包括:

S501:获取测试集并输入所述目标识别模型中;其中,所述测试集包括多张原始图像以及各张原始图像对应的实际识别结果;

S502:根据损失函数公式计算所述目标识别模型的损失值;其中所述损失函数公式为:

y

S503:判断所述损失值是否小于预设损失值;

S504:若小于所述预设损失值,则判定所述目标识别模型可以用于执行恶性肿瘤的预测。

如上述步骤S501-S504所述,实现了对目标识别模型的参数检测。计算的损失函数为

需要注意的是w

参照图2,本发明还提供了一种基于分布外数据的模型训练装置,包括:

获取模块10,用于获取训练数据集,其中所述训练数据集包括多张原始图像以及各张原始图像对应的识别结果;

添加模块20,用于对每张原始图像添加噪声以获取分布外数据,并将各个分布外数据对应的原识别结果进行关联,得到分布外数据集;

结合模块30,用于将所述训练数据集和所述分布外数据集进行结合,得到目标训练数据集;

训练模块40,用于基于所述目标训练数据集训练神经网络模型,训练完成后得到目标识别模型。

在一个实施例中,所述训练模块40,包括:

初步训练子模块,用于基于所述目标训练数据集对所述神经网络模型进行初步训练,得到暂时模型;

校准子模块,用于基于所述目标训练数据集对所述神经网络模型各个输出的类别进行校准;其中校准公式为

训练子模块,用于根据各个输出的类别所对应的参数集合对所述暂时模型进行训练,得到所述目标识别模型。

本发明的有益效果:通过获取训练集,并在原有的图像中添加噪声以获取分布外数据,基于原有的数据和分布外数据训练神经网络模型。实现了根据少量的数据生成分布外数据,弥补了数据不足,从而可以对模型进行完整的训练,以达到训练的要求,使得到的模型对肝脏肿瘤具有更好的识别精度,提高了对疾病诊断的准确性。

参照图3,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各种原始图像等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现上述任一实施例所述的基于分布外数据的模型训练方法。

本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。

本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时可以实现上述任一实施例所述的基于分布外数据的模型训练方法。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储与一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM一多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

相关技术
  • 基于数据处理的模型训练方法、装置、终端及存储介质
  • 数据训练方法、装置、设备及存储介质
  • 模型训练方法、装置、设备以及介质
  • 模型训练方法、广告推荐方法、相关装置、设备及介质
  • 机器学习模型训练方法、装置、存储介质和计算机设备
  • 基于离群值采样的分布外数据检测模型训练方法及装置
  • 一种基于联合学习的能源数据模型训练方法、装置、终端设备及存储介质
技术分类

06120116380443