掌桥专利:专业的专利平台
掌桥专利
首页

一种医疗图像分割模型的训练方法、分割方法及相关产品

文献发布时间:2024-04-18 19:58:21


一种医疗图像分割模型的训练方法、分割方法及相关产品

技术领域

本申请涉及医疗图像处理技术领域,特别是涉及一种医疗图像分割模型的训练方法、分割方法及相关产品。

背景技术

目前在医疗图像处理技术领域中,一般由医疗工作人员人工对医疗图像进行识别和分割,以标注医疗图像中的异常区域。但是由于医疗图像中阴影、噪声或邻近器官的虚假纹理的存在,会使医疗工作人员耗费较大的精力对医疗图像进行识别,图像分割效率较低,识别成本较高。此外,医疗工作人员对图像中异常区域的识别具有一定的主观性,在一定程度上也影响了图像分割的准确性。提高医疗图像的分割效率和图像分割的准确性是本领域技术人员关注的重点问题。

发明内容

基于上述问题,本申请提供了一种医疗图像分割模型的训练方法、分割方法及相关产品,以提高识别医疗图像的效率和准确性。

本申请实施例公开了如下技术方案:

本申请第一方面提供了一种医疗图像分割模型的训练方法。该训练方法包括:

获取样本医疗图像和所述样本医疗图像对应的病灶标注数据;

对所述样本医疗图像进行模糊处理,得到所述样本医疗图像对应的多个模糊处理图像;所述多个模糊处理图像的模糊程度不同;

将所述多个模糊处理图像按照模糊程度划分到多个训练阶段中,其中,模糊程度相对较高的模糊处理图像被划分到所述多个训练阶段中靠前的训练阶段,模糊程度相对较低的模糊处理图像被划分到所述多个训练阶段中靠后的训练阶段;

在对目标模型进行分阶段的训练时,在每个训练阶段基于所述病灶标注数据和训练阶段对应的模糊处理图像调整所述目标模型的参数,直至所述多个训练阶段中最后一个训练阶段结束,得到医疗图像分割模型。

可选的,所述在每个训练阶段基于所述病灶标注数据和训练阶段对应的模糊处理图像调整所述目标模型的参数,包括:

在每个训练阶段将对应的模糊处理图像作为所述目标模型的输入,通过所述目标模型基于所输入的模糊处理图像进行图像分割,预测所输入的模糊处理图像中的病灶区域,得到病灶区域预测数据;

基于所述病灶区域预测数据和所述病灶标注数据的差距,调整所述目标模型的参数。

可选的,所述目标模型具有UNet网络的编码器-解码器结构;所述编码器-解码器结构中设置有多尺度融合模块,所述多尺度融合模块用于将所述编码器-解码器结构中卷积层输出的特征图分割后进行多尺度融合以形成新的特征图。

可选的,所述编码器-解码器结构包括作为编码器的特征提取结构和作为解码器的上采样结构;

所述特征提取结构包括5个特征提取模块,具体为依次连接的第一特征提取模块,第二特征提取模块,第三特征提取模块,第四特征提取模块和第五特征提取模块;

所述上采样结构包括4个上采样模块,具体为依次连接的第一上采样模块,第二上采样模块,第三上采样模块和第四上采样模块;

所述第一特征提取模块、所述第二特征提取模块、所述第三特征提取模块和所述第四特征提取模块均包括依次连接的第一卷积层、第一多尺度融合模块、第二卷积层、第二多尺度融合模块和最大池化层;所述第五特征提取模块包括一个卷积层和一个多尺度融合模块;所述5个特征提取模块中,前一个特征提取模块的最大池化层连接其后一个特征提取模块的第一卷积层;

所述第一上采样模块、所述第二上采样模块和所述第三上采样模块均包括一个去卷积层、一个特征拼接层、第三卷积层、第三多尺度融合模块、第四卷积层和第四多尺度融合模块;所述第四上采样模块包括一个去卷积层、一个特征拼接层、第三卷积层、第三多尺度融合模块、第四卷积层和第四多尺度融合模块和第五卷积层;所述4个上采样模块中,前一个上采样模块的第四多尺度融合模块连接其后一个上采样模块的去卷积层;

所述第一上采样模块的特征拼接层还与所述第四特征提取模块的第二多尺度融合模块连接,所述第二上采样模块的特征拼接层与所述第三特征提取模块的第二多尺度融合模块连接,所述第三上采样模块的特征拼接层与所述第二特征提取模块的第二多尺度融合模块连接,所述第四上采样模块的特征拼接层与所述第一特征提取模块的第二多尺度融合模块连接。

可选的,所述多尺度融合模块的工作方式为:

将所述多尺度融合模块接收到的特征图划分为N个子集;

将所述N个子集中的一个或多个子集直接生成对应的待拼接子集;

将所述N个子集中的一个或多个子集直接进行卷积操作,得到的卷积结果直接作为对应的待拼接子集;

将所述N个子集中的一个或多个子集与其他子集的卷积结果进行拼接后,进一步执行卷积操作,再将得到的进一步的卷积结果作为对应的待拼接子集;

将所述N个子集各自对应的待拼接子集进行拼接,得到新的特征图;所述N个子集中各子集与对应的待拼接子集具有相同的空间大小;所述多尺度融合模块采用针对于不同子集进行的卷积操作采用不同尺寸的卷积核。

可选的,所述获取样本医疗图像和所述样本医疗图像对应的病灶标注数据,包括:

从医疗系统获取原始超声图像;

采用图像增强技术对所述原始超声图像进行处理,得到所述原始超声图像的增强图像;

获取所述原始超声图像的病灶标注数据,并将所述原始超声图像的病灶标注数据作为所述增强图像的病灶标注数据;

将所述原始超声图像和所述增强图像构建模型训练样本数据集,所述模型样本数据集中包括多个样本医疗图像。

可选的,所述将所述原始超声图像和所述增强图像构建模型训练样本数据集,包括:

对所述原始超声图像和所述增强图像中不符合目标尺寸的图像,采用裁剪和/或缩放的方式进行图像尺寸调整,以使调整后的图像尺寸符合所述目标尺寸;所述目标尺寸为所述目标模型的图像输入尺寸。

可选的,所述对所述样本医疗图像进行模糊处理,得到所述样本医疗图像对应的多个模糊处理图像,包括:

设置多种尺寸的高斯核,所述高斯核的横向尺寸对应于横向扫描的像素数量,所述高斯核的纵向尺寸对应于纵向扫描的像素数量;

采用所设置的高斯核分别扫描所述样本医疗图像,以对所述样本医疗图像进行不同程度的高斯模糊处理,得到所述样本医疗图像对应的多个模糊处理图像;其中,高斯核尺寸越大,对应于高斯模糊处理得到的模糊处理图像的模糊程度越高;高斯核尺寸越小,对应于高斯模糊处理得到的模糊处理图像的模糊程度越低。

本申请第二方面提供了一种医疗图像分割方法。医疗图像分割方法包括:

获取待分割的医疗图像;

将所述待分割的医疗图像作为医疗图像分割模型的输入,通过所述医疗图像分割模型对所述待分割的医疗图像进行处理,得到所述医疗图像分割模型输出的图像分割结果;所述图像分割结果包括所述医疗图像分割模型预测的病灶区域;所述医疗图像分割模型为根据第一方面所述的医疗图像分割模型的训练方法训练得到的模型。本申请第三方面提供了一种医疗图像分割模型的训练装置。该训练装置包括:

样本数据获取单元,用于获取样本医疗图像和所述样本医疗图像对应的病灶标注数据;

图像模糊处理单元,用于对所述样本医疗图像进行模糊处理,得到所述样本医疗图像对应的多个模糊处理图像;所述多个模糊处理图像的模糊程度不同;

训练阶段划分单元,用于将所述多个模糊处理图像按照模糊程度划分到多个训练阶段中,其中,模糊程度相对较高的模糊处理图像被划分到所述多个训练阶段中靠前的训练阶段,模糊程度相对较低的模糊处理图像被划分到所述多个训练阶段中靠后的训练阶段;

模型参数调整单元,用于在对目标模型进行分阶段的训练时,在每个训练阶段基于所述病灶标注数据和训练阶段对应的模糊处理图像调整所述目标模型的参数,直至所述多个训练阶段中最后一个训练阶段结束,得到医疗图像分割模型。

本申请第四方面提供了一种医疗图像分割装置。医疗图像分割装置包括:

待分割图像获取单元,用于获取待分割的医疗图像;

分割结果获得单元,用于将所述待分割的医疗图像作为医疗图像分割模型的输入,通过所述医疗图像分割模型对所述待分割的医疗图像进行处理,得到所述医疗图像分割模型输出的图像分割结果;所述图像分割结果包括所述医疗图像分割模型预测的病灶区域;所述医疗图像分割模型为根据第一方面所述的医疗图像分割模型的训练方法训练得到的模型。

本申请第五方面提供了一种计算机设备。该识别设备包括:

存储器,其上存储有计算机程序;

处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面提供的医疗图像分割模型的训练方法的步骤,或者现第二方面提供的医疗图像分割方法的步骤。

本申请第六方面提供了一种计算机可读存储介质,其上存储有计算机程序。该程序被处理器执行时实现第一方面提供的医疗图像分割模型的训练方法的步骤,或者实现第二方面提供的医疗图像分割方法的步骤。

相较于现有技术,本申请具有以下有益效果:

在本申请中,首先获取样本医疗图像和样本医疗图像对应的病灶标注数据;在此阶段可以对样本医疗图像进行模糊处理,得到样本医疗图像对应的多个模糊处理图像;然后将多个模糊处理图像按照模糊程度划分到多个训练阶段中,具体的,将模糊程度相对较高的模糊处理图像被划分到多个训练阶段中靠前的训练阶段,将模糊程度相对较低的模糊处理图像被划分到多个训练阶段中靠后的训练阶段;最后在对目标模型进行分阶段的训练时,在每个训练阶段基于病灶标注数据和训练阶段对应的模糊处理图像调整目标模型的参数,直至多个训练阶段中最后一个训练阶段结束,得到医疗图像分割模型。在本申请中先通过模糊程度较高的图像训练模型学习全局特征,再通过模糊程度较低的图像训练模型学习更为细致的局部特征,由简入繁循序渐进地进行模型训练,从而更好地识别出图像中的阴影、噪声、虚假纹理等,避免以上细节对图像分割准确性的干扰。相比于医疗工作人员人工执行图像分割标注异常区域,本方案中利用所训练的医疗图像分割模型进行图像分割能够提升医疗图像分割效率,提升准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种医疗图像分割模型的训练方法的流程图;

图2为本申请实施例提供的一种医疗图像分割模型的训练方法的图像模糊处理示意图;

图3为本申请实施例提供的一种医疗图像分割模型的训练方法的多尺度融合模块的工作流程图;

图4为本申请实施例提供的一种医疗图像分割模型的训练方法的多尺度融合模块的工作流程示意图;

图5为本申请实施例提供的一种医疗图像分割模型的训练方法中编码器的结构示意图;

图6为本申请实施例提供的一种医疗图像分割模型的训练方法中解码器的结构示意图;

图7为本申请实施例提供的一种医疗图像分割模型的训练方法中编码器-解码器的结构示意图;

图8为本申请实施例提供的一种医疗图像分割方法的流程图;

图9为本申请实施例提供的一种医疗图像分割模型的训练装置的结构示意图;

图10为本申请实施例提供的一种医疗图像分割装置的结构示意图。

具体实施方式

正如前文描述,目前在医疗图像处理技术领域中,一般由医疗工作人员人工对医疗图像进行识别和分割,以标注医疗图像中的异常区域。但是由于医疗图像中阴影、噪声或邻近器官的虚假纹理的存在,会使医疗工作人员耗费较大的精力对医疗图像进行识别,图像分割效率较低,识别成本较高。此外,医疗工作人员对图像中异常区域的识别具有一定的主观性,在一定程度上也影响了图像分割的准确性。提高医疗图像的分割效率和图像分割的准确性是本领域技术人员关注的重点问题。

结合以上问题,在本申请实施例中提供了解决方案,提出一种医疗图像分割模型的训练方法、分割方法及相关产品,旨在提高识别医疗图像的效率和准确性。在本申请技术方案中,首先获取样本医疗图像和样本医疗图像对应的病灶标注数据;在此阶段可以对样本医疗图像进行模糊处理,得到样本医疗图像对应的多个模糊处理图像;然后将多个模糊处理图像按照模糊程度划分到多个训练阶段中,具体的,将模糊程度相对较高的模糊处理图像被划分到多个训练阶段中靠前的训练阶段,将模糊程度相对较低的模糊处理图像被划分到多个训练阶段中靠后的训练阶段;最后在对目标模型进行分阶段的训练时,在每个训练阶段基于病灶标注数据和训练阶段对应的模糊处理图像调整目标模型的参数,直至多个训练阶段中最后一个训练阶段结束,得到医疗图像分割模型。

可见,在本申请中先通过模糊程度较高的图像训练模型学习全局特征,再通过模糊程度较低的图像训练模型学习更为细致的局部特征,由简入繁循序渐进地进行模型训练,从而更好地识别出图像中的阴影、噪声、虚假纹理等,避免以上细节对图像分割准确性的干扰。相比于医疗工作人员人工执行图像分割标注异常区域,本方案中利用所训练的医疗图像分割模型进行图像分割能够提升医疗图像分割效率,提升准确性。

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

参见图1,该图为本申请实施例提供的一种医疗图像分割模型的训练方法的流程图。如图1所示的医疗图像分割模型的训练方法包括:

S101:获取样本医疗图像和所述样本医疗图像对应的病灶标注数据。

在本步骤中,样本医疗图像用于作为目标模型的输入,样本医疗图像对应的病灶标注数据用于与目标模型训练阶段获得的训练图像对比,以进行参数的调整。具体的,在本申请中可以从医疗系统中获取原始超声图像,其中原始超声图像为患者的待识别的超声图像。在此阶段,可以采用图像增强技术对原始超声图像进行处理,得到原始超声图像的增强图像,其中图像增强技术可以包括旋转、翻转、对比度变化和添加噪声,在此不做具体限定,可以在实际应用中进行选择采用,图像增强技术还可以包括其他实现图像增强效果的技术。

然后,可以获取原始超声图像的病灶标注数据,并将原始超声图像的病灶标注数据作为增强图像的病灶标注数据,其中原始超声图像的病灶标注数据为专业医疗人员对原始超声图像进行专业病灶标注后的数据。最后可以将原始超声图像和增强图像构建模型训练样本数据集,模型样本数据集中包括多个样本医疗图像。如此,通过图像增强技术获得原始超声图像的多种增强图像,增加了样本的数量。

另外,由于不同的成像设备所产生的超声图像尺寸不同,且目标模型通常要求输入尺寸大小相同的图像。因此可以对原始超声图像和增强图像中不符合目标尺寸的图像,采用裁剪和/或缩放的方式进行图像尺寸调整,以使调整后的图像尺寸符合目标尺寸;其中目标尺寸为目标模型的图像输入尺寸。

S102:对所述样本医疗图像进行模糊处理,得到所述样本医疗图像对应的多个模糊处理图像。

在本步骤中,多个模糊处理图像的模糊程度不同,也即为了使目标模型在训练时可以由简入繁地学习图像特征,可以对样本医疗图像进行不同程度的模糊处理,使得到样本医疗图像对应的不同程度的多个模糊处理图像。

具体的,在本申请中可以设置多种尺寸的高斯核以对样本医疗图像进行高斯模糊处理,其中高斯核的横向尺寸对应于横向扫描的像素数量,高斯核的纵向尺寸对应于纵向扫描的像素数量,需要说明的是,在一般情况下使用(N×N)表示高斯核大小,横向的N值与纵向的N值相同,其中高斯核的N值可以根据高斯模糊参数σ来设置,高斯模糊参数σ与高斯核N值之间的关系具体表现为:N=2×σ+1。作为示例,高斯模糊参数σ表示高斯核标准偏差。

进一步的,本申请可以采用所设置的高斯核分别扫描样本医疗图像,以对样本医疗图像进行不同程度的高斯模糊处理,得到样本医疗图像对应的多个模糊处理图像。其中,高斯核尺寸越大,对应于高斯模糊处理得到的模糊处理图像的模糊程度越高;高斯核尺寸越小,对应于高斯模糊处理得到的模糊处理图像的模糊程度越低。如此,对样本医疗图像进行不同程度的高斯模糊处理,可以在目标模型训练时逐渐提高图像分辨率,使得目标模型由简入繁地学习图像特征,进而提高模型预测识别的效率和准确性。也即训练目标模型在图像处于较低分辨率时学习图像的全局特征,同时忽略阴影、噪声以及不相关的纹理,训练目标模型在图像处于较高分辨率时学习图像的局部特征,以对图像进行更准确的预测识别。

图2为本申请实施例提供的一种医疗图像分割模型的训练方法的图像模糊处理示意图,如图2所示,图2示出了对样本医疗图像进行高斯模糊处理后获得的样本医疗图像对应的不同模糊程度的多个模糊处理图像。对样本医疗图像进行不同程度的高斯模糊处理,获得高斯核大小为3×3的模糊处理图像、获得高斯核大小为5×5的模糊处理图像、获得高斯核大小为7×7的模糊处理图像、获得高斯核大小为9×9的模糊处理图像、获得高斯核大小为11×11的模糊处理图像、获得高斯核大小为13×13的模糊处理图像、获得高斯核大小为15×15的模糊处理图像、获得高斯核大小为17×17的模糊处理图像以及获得高斯核大小为19×19的模糊处理图像,其中σ表示高斯模糊参数。从图2中可以看出,高斯核大小为3×3的模糊处理图像的模糊程度较低,若高斯核的大小逐渐递增,模糊处理图像的模糊程度就越高,如高斯核大小为19×19的模糊处理图像的模糊程度相对于其余模糊处理图像来说模糊程度较高。并且本申请中的高斯模糊用一个高斯核扫描图像中的每一个像素,用卷积操作确定邻域内像素的加权平均灰度值,并替代模板中心像素点的值。

S103:将所述多个模糊处理图像按照模糊程度划分到多个训练阶段中。

本步骤中,为了使目标模型可以更好地由简入繁地学习图像特征,可以将模糊程度相对较高的模糊处理图像划分到多个训练阶段中靠前的训练阶段,模糊程度相对较低的模糊处理图像划分到多个训练阶段中靠后的训练阶段。可见,在模型训练初始阶段,使用模糊程度相对较高的模糊处理图像进行模型训练,在模型训练相对成熟阶段,使用模糊程度相对较低的模糊处理图像进行模型训练,如此可以进一步使目标模型在模型训练过程中可以更好地学习图像的全局特征和局部特征,进而提高模型预测识别的效率和准确性。

作为一种示例,拟模型训练的总轮次为t,高斯模糊参数σ的个数为γ,且由大到小依次为{σ

比如:目标模型训练的总轮次为3000,高斯模糊参数σ的个数为10,那么由大到小依次为{σ

S104:在对目标模型进行分阶段的训练时,在每个训练阶段基于所述病灶标注数据和训练阶段对应的模糊处理图像调整所述目标模型的参数,直至所述多个训练阶段中最后一个训练阶段结束,得到医疗图像分割模型。

可以理解的,在目标模型的分阶段训练过程中,每个训练阶段可以根据病灶标注数据以及在该训练阶段下训练获得的模糊处理图像调整目标模型的参数,直至最后一个训练阶段训练结束,获得医疗图像分割模型。具体的,可以在每个训练阶段输入不同模糊程度的模糊处理图像,并通过目标模型基于所输入的模糊处理图像进行图像分割,以预测所输入的模糊处理图像中的病灶区域,得到病灶区域预测数据,其中,病灶区域为预测的模糊处理图像中机体发生病变的区域。然后基于病灶区域预测数据和病灶标注数据的差距,调整目标模型的参数。

进一步需要说明的是,本申请中的目标模型具有UNet网络的编码器-解码器结构,可以理解的,编码器用于进行特征提取,解码器用于进行下采样,其中编码器-解码器结构中设置有多尺度融合模块,多尺度融合模块用于将编码器-解码器结构中卷积层输出的特征图分割后进行多尺度融合以形成新的特征图。如此,通过在目标模型中嵌入多尺度融合模块可以进一步提高目标模型学习图像局部特征的能力。接下来结合步骤S301-步骤S305来介绍多尺度融合模块的工作方式。图3为本申请实施例提供的一种医疗图像分割模型的训练方法的多尺度融合模块的工作流程图,如图3所示:

S301:将多尺度融合模块接收到的特征图划分为N个子集。

N为大于1的整数。比如N=4,在本步骤中可以将特征图划分为{x1,x2,x3,x4}共计4个子集。

S302:将N个子集中的一个或多个子集直接生成对应的待拼接子集。

S303:将N个子集中的一个或多个子集直接进行卷积操作,得到的卷积结果直接作为对应的待拼接子集。

S304:将N个子集中的一个或多个子集与其他子集的卷积结果进行拼接后,进一步执行卷积操作,再将得到的进一步的卷积结果作为对应的待拼接子集。

可以理解的,在本申请中存在三种获得待拼接子集的情况。第一种情况(对应于对步骤S302的解释):若N个子集为4个子集,则可以将4个子集中的首个子集x1直接生成其对应的待拼接子集;第二种情况(对应于对步骤S303的解释):若N个子集为4个子集,则可以将4个子集中的第二个子集x2进行卷积处理,以获得卷积结果并将该卷积结果作为第二个子集x2对应的待拼接子集;第三种情况(对应于对步骤S304的解释):若N个子集为4个子集,则可以将4个子集中的第三个子集x3与第二个子集x2的卷积结果进行拼接,并进行卷积处理,以获得第三个子集x3的卷积结果并将该卷积结果作为第三个子集x3对应的待拼接子集。需要说明的是,在本申请中N个子集为4个子集仅为示例,在此不做具体限定。

S305:将N个子集各自对应的待拼接子集进行拼接,得到新的特征图。

需要说明的是,N个子集中各子集与对应的待拼接子集具有相同的空间大小,也即具有相同的特征图大小和通道数,并且多尺度融合模块采用针对于不同子集进行的卷积操作采用不同尺寸的卷积核。

下面结合图4来具体介绍多尺度融合模块的工作流程示意图,图4为本申请实施例提供的一种医疗图像分割模型的训练方法的多尺度融合模块的工作流程示意图,如图4所示。在图4中,将多尺度融合模块接收到的特征图划分为{x1,x2,x3,x4}4个子集,其中子集xi生成对应的待拼接子集yi,其中,i表征1或2或3或4。将子集x1可以不经过任何操作直接生成待拼接子集y1;将子集x2经过3×3的卷积核进行卷积操作,生成与子集x2相同空间大小的待拼接子集y2;将子集x3与待拼接子集y2进行拼接后经过5×5的卷积核进行卷积操作,生成与子集x3相同空间大小的待拼接子集y3;将子集x4与待拼接子集y3进行拼接后经过7×7的卷积核进行卷积操作,生成与子集x4相同空间大小的待拼接子集y4。如此将得到的待拼接子集{y1,y2,y3,y4}进行拼接,得到新的特征图。

可见,在本申请中多尺度融合模块可以对特征图划分为多个子集,并将多个子集中的部分子集直接生成待拼接子集,或者将多个子集中的部分子集进行卷积后,将卷积结果作为待拼接子集,或者对多个子集中的部分子集与经过卷积后部分子集的卷积结果进行拼接后,再次进行卷积获得的卷积结果作为待拼接子集。如此,通过分割特征图并对分割特征图后的获得子集进行卷积,以实现特征的提取与融合,能够从多种不同的尺度上捕获图像中的特征,进一步提高模型学习更细致的局部特征的能力,有利于最终训练得到的医疗图像分割模型兼具对图像中粗粒度特征、细粒度特征的提取能力和区域分割能力。进一步的,编码器-解码器结构包括作为编码器的特征提取结构和作为解码器的上采样结构。接下来对作为编码器的特征提取结构和作为解码器的上采样结构依次进行展开说明。

参见图5,图5为本申请实施例提供的一种医疗图像分割模型的训练方法中编码器的结构示意图,如图5所示。在图5中示出了编码器的特征提取结构,其中编码器的特征提取结构包括五个特征提取模块,具体为依次连接的第一特征提取模块,第二特征提取模块,第三特征提取模块,第四特征提取模块和第五特征提取模块。

具体的,第一特征提取模块、第二特征提取模块、第三特征提取模块和第四特征提取模块均包括依次连接的第一卷积层、第一多尺度融合模块、第二卷积层、第二多尺度融合模块和最大池化层;第五特征提取模块包括一个卷积层和一个多尺度融合模块。其中五个特征提取模块中,前一个特征提取模块的最大池化层连接其后一个特征提取模块的第一卷积层。在图5中,利用大箭头表示卷积处理,利用大虚线箭头表示最大池化处理。

可以理解的,在第一特征提取模块中,将模糊处理图像输入至解码器中,然后在第一卷积层中可以使用64个3×3的卷积核对该模糊处理图像进行卷积处理,生成64个通道的特征图,在此阶段,使用第一多尺度融合模块对该特征图进行处理,继续生成64个通道的特征图。接下来,再第二卷积层中使用64个3×3的卷积核对该特征图进行卷积处理,继续生成64个通道的特征图,最后使用第二多尺度融合模块对该特征图进行处理,最终生成64个通道的特征图。在此阶段之后,第二提取特征模块对第一特征提取模块最终输出的特征图进行2×2的最大池化。其中,卷积层的激活函数为ReLU,步长可以为1。

需要说明的是,第二特征提取模块、第三特征提取模块和第四特征提取模块的操作均与第一特征提取模块的操作相似。其中第二特征提取模块最终生成128个通道的特征图;第三特征提取模块最终生成256个通道的特征图;第四特征提取模块最终生成512个通道的特征图。进一步还需要说明的是,虽然第五特征提取模块仅包括一个卷积层和一个多尺度融合模块,但第五特征提取模块的操作依旧与第一特征提取模块的操作相似。其中第五特征提取模块最终生成1024个通道的特征图。

参见图6,图6为本申请实施例提供的一种医疗图像分割模型的训练方法中解码器的结构示意图,如图6所示。在图6中示出了解码器的上采样结构,其中解码器的上采样结构包括四个上采样模块,具体为依次连接的第一上采样模块,第二上采样模块,第三上采样模块和第四上采样模块。

具体的,第一上采样模块、第二上采样模块和第三上采样模块均包括一个去卷积层、一个特征拼接层、第三卷积层、第三多尺度融合模块、第四卷积层和第四多尺度融合模块;第四上采样模块包括一个去卷积层、一个特征拼接层、第三卷积层、第三多尺度融合模块、第四卷积层和第四多尺度融合模块和第五卷积层。其中四个上采样模块中,前一个上采样模块的第四多尺度融合模块连接其后一个上采样模块的去卷积层。在图6中,利用小箭头表示卷积处理,利用小虚线箭头表示去卷积处理。

参见图7,图7为本申请实施例提供的一种医疗图像分割模型的训练方法中解码器的结构示意图,如图7所示。在图7中示出了编码器的特征提取结构和解码器的上采样结构。具体的,第一上采样模块的特征拼接层还与第四特征提取模块的第二多尺度融合模块连接,第二上采样模块的特征拼接层与第三特征提取模块的第二多尺度融合模块连接,第三上采样模块的特征拼接层与第二特征提取模块的第二多尺度融合模块连接,第四上采样模块的特征拼接层与第一特征提取模块的第二多尺度融合模块连接。在图7中,利用最大箭头表示拼接处理。

可以理解的,在第一上采样模块中,对第五特征提取模块最终生成1024个通道的特征图进行逆卷积处理或者插值处理,也即将1024个通道的特征图的宽和高扩大一倍,以生成512个通道的特征图。接下来,第一上采样模块的特征拼接层与第四特征提取模块的第二多尺度融合模块连接,以生成拼接特征图,然后在第三卷积层中使用512个3×3的卷积核对该拼接特征图进行卷积操作,生成512个通道的特征图,在此阶段,利用第三尺度融合模块对该特征图进行处理,同样生成512个通道的特征图。在此之后,在第四卷积层中继续使用512个3×3的卷积核对该特征图进行卷积操作,生成512个通道的特征图,并利用第四尺度融合模块对该特征图进行处理,最终生成512个通道的特征图。

需要说明的是,第二上采样模块和第三上采样模块的操作均与第一上采样模块的操作相似。其中第二上采样模块最终生成256个通道的特征图;第三上采样模块最终生成128个通道的特征图。进一步还需要说明的是,虽然第四上采样模块还包括第五卷积层,但第四上采样模块的操作依旧与第一上采样模块的操作相似。其中第四上采样模块最终生成64个通道的特征图,然后经过第五卷积层的卷积处理,最终生成1个通道的特征图,其中该1个通道的特征图即为对模糊处理图像的预测图。

在上述过程中已详细介绍了医疗图像分割模型的训练过程,接下来介绍医疗图像分割模型的应用过程。图8为本申请实施例提供的一种医疗图像分割方法的流程图,如图8所示。该医疗图像分割方法包括:

S801:获取待分割的医疗图像。

在本步骤中,可以从医疗系统中获取乳腺的原始超声图像,并对该图像进行处理获得输入至医疗图像分割模型中的待分割的医疗图像,其中处理过程与上述模型训练过程相似,在此不再赘述。

S802:将所述待分割的医疗图像作为医疗图像分割模型的输入,通过所述医疗图像分割模型对所述待分割的医疗图像进行处理,得到所述医疗图像分割模型输出的图像分割结果。

在本步骤中,由于在前述模型训练过程中,已经使得模型学习了图像的全局特征和局部特征,相应的,在该模型应用过程中,医疗图像分割模型可以实现对该待分割的医疗图像进行分割识别处理,以获得图像分割结果。进而可以根据该图像分割结果来区分乳腺超声图像中的结节是否质地较韧、表面较光滑且周围皮肤没有明显的粘连等等。如此,利用训练获得的医疗图像分割模型对待分割的医疗图像进行分割识别处理,既可以实现自动化地对医疗图像中存在的异常区域进行自动标注,进一步还能够提升医疗图像分割效率和准确性。其中图像分割结果包括医疗图像分割模型预测的病灶区域;医疗图像分割模型为上述过程中根据医疗图像分割模型的训练方法训练得到的模型。

需要说明的是,针对于对不同机体的图像分割识别处理可以分别训练不同的医疗图像分割模型。其仅需在训练模型初始阶段,输入该机体对应的超声图像,如此经过模型训练后,便能生成该机体对应的医疗图像分割模型。

基于前述实施例提供的医疗图像分割模型的训练方法,本申请还相应地提供了一种医疗图像分割模型的训练装置。图9为本申请实施例提供的一种医疗图像分割模型的训练装置的结构示意图。如图9该训练装置包括:

样本数据获取单元901,用于获取样本医疗图像和所述样本医疗图像对应的病灶标注数据;

图像模糊处理单元902,用于对所述样本医疗图像进行模糊处理,得到所述样本医疗图像对应的多个模糊处理图像;所述多个模糊处理图像的模糊程度不同;

训练阶段划分单元903,用于将所述多个模糊处理图像按照模糊程度划分到多个训练阶段中,其中,模糊程度相对较高的模糊处理图像被划分到所述多个训练阶段中靠前的训练阶段,模糊程度相对较低的模糊处理图像被划分到所述多个训练阶段中靠后的训练阶段;

模型参数调整单元904,用于在对目标模型进行分阶段的训练时,在每个训练阶段基于所述病灶标注数据和训练阶段对应的模糊处理图像调整所述目标模型的参数,直至所述多个训练阶段中最后一个训练阶段结束,得到医疗图像分割模型。

可选的,所述模型参数调整单元904,包括:

预测数据获得单元,用于在每个训练阶段将对应的模糊处理图像作为所述目标模型的输入,通过所述目标模型基于所输入的模糊处理图像进行图像分割,预测所输入的模糊处理图像中的病灶区域,得到病灶区域预测数据;

差距调整参数单元,用于基于所述病灶区域预测数据和所述病灶标注数据的差距,调整所述目标模型的参数。

可选的,所述目标模型,具体用于:

所述目标模型具有UNet网络的编码器-解码器结构;所述编码器-解码器结构中设置有多尺度融合模块,所述多尺度融合模块用于将所述编码器-解码器结构中卷积层输出的特征图分割后进行多尺度融合以形成新的特征图。

可选的,所述目标模型,具体用于:

所述编码器-解码器结构包括作为编码器的特征提取结构和作为解码器的上采样结构;

所述特征提取结构包括5个特征提取模块,具体为依次连接的第一特征提取模块,第二特征提取模块,第三特征提取模块,第四特征提取模块和第五特征提取模块;

所述上采样结构包括4个上采样模块,具体为依次连接的第一上采样模块,第二上采样模块,第三上采样模块和第四上采样模块;

所述第一特征提取模块、所述第二特征提取模块、所述第三特征提取模块和所述第四特征提取模块均包括依次连接的第一卷积层、第一多尺度融合模块、第二卷积层、第二多尺度融合模块和最大池化层;所述第五特征提取模块包括一个卷积层和一个多尺度融合模块;所述5个特征提取模块中,前一个特征提取模块的最大池化层连接其后一个特征提取模块的第一卷积层;

所述第一上采样模块、所述第二上采样模块和所述第三上采样模块均包括一个去卷积层、一个特征拼接层、第三卷积层、第三多尺度融合模块、第四卷积层和第四多尺度融合模块;所述第四上采样模块包括一个去卷积层、一个特征拼接层、第三卷积层、第三多尺度融合模块、第四卷积层和第四多尺度融合模块和第五卷积层;所述4个上采样模块中,前一个上采样模块的第四多尺度融合模块连接其后一个上采样模块的去卷积层;

所述第一上采样模块的特征拼接层还与所述第四特征提取模块的第二多尺度融合模块连接,所述第二上采样模块的特征拼接层与所述第三特征提取模块的第二多尺度融合模块连接,所述第三上采样模块的特征拼接层与所述第二特征提取模块的第二多尺度融合模块连接,所述第四上采样模块的特征拼接层与所述第一特征提取模块的第二多尺度融合模块连接。

可选的,所述多尺度融合模块,具体用于:

将所述多尺度融合模块接收到的特征图划分为N个子集;

将所述N个子集中的一个或多个子集直接生成对应的待拼接子集;

将所述N个子集中的一个或多个子集直接进行卷积操作,得到的卷积结果直接作为对应的待拼接子集;

将所述N个子集中的一个或多个子集与其他子集的卷积结果进行拼接后,进一步执行卷积操作,再将得到的进一步的卷积结果作为对应的待拼接子集;

将所述N个子集各自对应的待拼接子集进行拼接,得到新的特征图;所述N个子集中各子集与对应的待拼接子集具有相同的空间大小;所述多尺度融合模块采用针对于不同子集进行的卷积操作采用不同尺寸的卷积核。

可选的,所述样本数据获取单元901,包括:

原始图像获取单元,用于从医疗系统获取原始超声图像;

增强图像获得单元,用于采用图像增强技术对所述原始超声图像进行处理,得到所述原始超声图像的增强图像;

标注数据获取单元,用于获取所述原始超声图像的病灶标注数据,并将所述原始超声图像的病灶标注数据作为所述增强图像的病灶标注数据;

样本集构建单元,用于将所述原始超声图像和所述增强图像构建模型训练样本数据集,所述模型样本数据集中包括多个样本医疗图像。

可选的,所述样本集构建单元,具体用于:

对所述原始超声图像和所述增强图像中不符合目标尺寸的图像,采用裁剪和/或缩放的方式进行图像尺寸调整,以使调整后的图像尺寸符合所述目标尺寸;所述目标尺寸为所述目标模型的图像输入尺寸。

可选的,所述图像模糊处理单元902,具体用于:

设置多种尺寸的高斯核,所述高斯核的横向尺寸对应于横向扫描的像素数量,所述高斯核的纵向尺寸对应于纵向扫描的像素数量;

采用所设置的高斯核分别扫描所述样本医疗图像,以对所述样本医疗图像进行不同程度的高斯模糊处理,得到所述样本医疗图像对应的多个模糊处理图像;其中,高斯核尺寸越大,对应于高斯模糊处理得到的模糊处理图像的模糊程度越高;高斯核尺寸越小,对应于高斯模糊处理得到的模糊处理图像的模糊程度越低。

基于前述实施例提供的医疗图像分割方法,本申请还相应地提供了一种医疗图像分割装置。图10为一种医疗图像分割装置的结构示意图。如图10该训练装置包括:

待分割图像获取单元1001,用于获取待分割的医疗图像;

分割结果获得单元1002,用于将所述待分割的医疗图像作为医疗图像分割模型的输入,通过所述医疗图像分割模型对所述待分割的医疗图像进行处理,得到所述医疗图像分割模型输出的图像分割结果;所述图像分割结果包括所述医疗图像分割模型预测的病灶区域。

本申请还提供了一种大脑中动脉高密度征识别设备。该识别设备包括:

存储器,其上存储有计算机程序。

处理器,用于执行存储器中的计算机程序,以实现前述实施例介绍的医疗图像分割模型的训练方法中部分或者全部步骤,或者实现前述实施例介绍的医疗图像分割方法中部分或者全部步骤。

本申请还提供了一种计算机可读存储介质,其上存储有计算机程序。该程序被处理器执行时实现前述实施例介绍的医疗图像分割模型的训练方法的部分或者全部步骤,或者实现前述实施例介绍的医疗图像分割方法中部分或者全部步骤。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置和设备实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元提示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。

以上所述,仅为本申请的一种具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

相关技术
  • 一种图像分割网络生成方法及图像分割方法
  • 神经网络的训练方法、图像分割方法、装置、设备及介质
  • 一种基于图像分割和图像空间相关性的图像加密域可逆信息隐藏系统与方法
  • 模型训练方法、图像分割方法、装置及相关产品
  • 一种模型训练方法、图像分割方法及相关装置
技术分类

06120116481193