掌桥专利:专业的专利平台
掌桥专利
首页

一种图像分割方法和装置

文献发布时间:2023-06-19 12:14:58


一种图像分割方法和装置

技术领域

本发明涉及计算机技术领域,尤其涉及一种图像分割方法和装置。

背景技术

由于深度学习的不断发展以及各种经过专家标注的患者的医学影像的数据公开,使得针对医学图像分割的研究越来越多。不过实际落地可用于医学图像分析的还是很少,而且因为实际效果不理想,医生或相关医疗健康服务人员并不爱用。

发明内容

有鉴于此,本发明实施例提供一种图像分割方法和装置,能够实际落地用于医学图像分析,并且图像分割精度高,能较好地帮助相关医疗健康人员进行相关的辅助诊断。

为实现上述目的,根据本发明实施例的一个方面,提供了一种图像分割方法,包括:

获取待处理图像;

将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,所述图像分割结果用于确定所述待处理图像中的目标区域;其中,所述图像分割模型采用改进的Unet模型,所述改进的Unet模型包括多个下采样层、多个上采样层以及多个跳跃连接层,所述跳跃连接层用于将来自至少一个下采样层的底层语义特征、来自当前下采样层的对称语义特征及来自当前上采样层的输入语义特征相融合。

可选地,所述跳跃连接层具体用于:

对所述来自上层下采样层的底层语义特征进行池化处理;

利用注意力模型,将处理后的底层语义特征、所述对称语义特征及所述输入语义特征融合为单层语义特征。

可选地,所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,包括:

按照预设窗口大小及预设步长,将所述待处理图像裁剪为多个裁剪图像;

对所述多个裁剪图像进行缩放处理;

将多个缩放处理后的裁剪图像输入至所述图像分割模型中,得到所述待处理图像的图像分割结果。

可选地,所述将多个缩放处理后的裁剪图像输入至所述图像分割模型中,得到所述待处理图像的图像分割结果,包括:

对所述缩放处理后的裁剪图像进行数据扩增处理,以得到多个扩增图像,所述数据扩增处理包括以下至少之一:图像旋转处理、图像仿射变换处理、图像高斯模糊处理、图像光学畸变处理、图像网格畸变处理、改变图像饱和度值处理;

将所述多个扩增图像,输入至所述图像分割模型中,得到所述待处理图像的图像分割结果。

可选地,所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果之前,还包括:

获取多个初始学习率组合,所述初始学习率组合包括:初始学习率及学习率调整方法;

分别以所述多个初始学习率组合中的数据为训练参数,对初始图像分割模型进行训练,获取多个训练好的图像分割模型;

所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,包括:

分别将所述待处理图像输入至所述多个训练好的图像分割模型中,得到所述待处理图像的多个子分割结果;

根据所述多个子分割结果,确定所述待处理图像的图像分割结果。

可选地,所述分别以所述多个初始学习率组合中的数据为训练参数,对初始图像分割模型进行训练,获取多个训练好的图像分割模型,包括:

获取多个训练数据集,所述训练数据集包括:多个训练图像及所述训练图像对应的图像分割结果;

针对所述多个训练数据集中的每个训练数据集:以当前初始学习率组合的初始学习率及学习率调整方法为训练参数,利用当前训练数据集,采用k折交叉验证的方式,对所述初始图像分割模型进行训练,得到k个训练好的图像分割模型,k为正整数。

可选地,所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果之前,还包括:

获取训练数据集,所述训练数据集包括:多个训练图像及所述训练图像对应的图像分割结果;

对所述训练数据集中的当前训练图像进行数据增强操作,以得到所述当前训练图像对应的多个增强图像,所述数据增强操作包括以下至少之一:水平翻转操作、垂直翻转操作、对角线翻转操作、旋转角度操作;

利用所述多个增强图像,对初始图像分割模型进行训练,以获取训练好的图像分割模型;

所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,包括:

将所述待处理图像输入至所述训练好的图像分割模型中,得到所述待处理图像的图像分割结果。

可选地,所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果之后,还包括:

将所述待处理图像的图像分割结果发送至医护终端;

接收所述医护终端针对所述待处理图像的图像分割结果返回的诊断结果。

另外,本发明还提供了一种图像分割装置,包括:

图像获取模块,用于获取待处理图像;

结果确定模块,用于将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,所述图像分割结果用于确定所述待处理图像中的目标区域;其中,所述图像分割模型采用改进的Unet模型,所述改进的Unet模型包括多个下采样层、多个上采样层以及多个跳跃连接层,所述跳跃连接层用于将来自至少一个下采样层的底层语义特征、来自当前下采样层的对称语义特征及来自当前上采样层的输入语义特征相融合。

上述发明中的一个实施例具有如下优点或有益效果:利用改进的Unet模型待处理图像的图像分割结果,改进的Unet模型中重构了Unet中的跳跃连接层,跳跃连接层用于将来自下采样层的底层语义特征、对称语义特征及来自上采样层的输入语义特征相融合,使模型有效结合不同层的语义特征。本发明实施例的方法能够实际落地用于医学图像分析,并且图像分割精度高,能较好地帮助相关医疗健康人员进行相关的辅助诊断。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明,不构成对本发明的不当限定。其中:

图1是根据本发明一实施例提供的图像分割方法的主要流程的示意图;

图2是根据本发明一实施例的图像分割模型的结构示意图;

图3a是根据本发明一实施例的肾脏组织病理切片扫描图;

图3b是与图3a的扫描图对应的肾小球区域的分割示意图;

图4是根据本发明另一实施例的图像分割方法的主要流程的示意图;

图5是根据本发明又一实施例的图像分割方法的主要流程的示意图;

图6a是根据本发明一实施例的肾脏组织病理切片扫描图的裁剪图像;

图6b是与图6a的裁剪图像对应的肾小球区域的分割示意图;

图7a是根据本发明一实施例的肾脏组织病理切片扫描图的裁剪图像;

图7b是与图7a的裁剪图像对应的肾小球区域的分割示意图;

图8a是根据本发明一实施例的肾脏组织病理切片扫描图的裁剪图像;

图8b是与图8a的裁剪图像对应的肾小球区域的分割示意图;

图9是根据本发明实施例的图像分割装置的主要模块的示意图;

图10示出了可以应用本发明实施例的图像分割方法或图像分割装置的示例性装置架构;

图11是适于用来实现本发明实施例的终端设备或服务器的计算机装置的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明一实施例提供的图像分割方法的主要流程的示意图,所述图像分割方法包括:

步骤S101,获取待处理图像。

待处理图像可以为人体或动物的各种器官的图像。待处理图像可以为人体的肾脏图像、人体的肝脏图像,小老鼠的肾脏图像等。待处理图像可以为人体或动物的各部位的图像,如人的手臂、大腿、胳膊等。整体模型经过参数调整训练,可直接用于多种医疗影像的识别和分割。

步骤S102,将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,所述图像分割结果用于确定所述待处理图像中的目标区域;其中,所述图像分割模型采用改进的Unet模型。

图2是根据本发明一实施例的图像分割模型的结构示意图。如图2所示,图像分割模型采用改进的Unet模型。所述改进的Unet模型包括多个下采样层、多个上采样层以及多个跳跃连接层,所述跳跃连接层用于将来自至少一个下采样层的底层语义特征、来自当前下采样层的对称语义特征及来自当前上采样层的输入语义特征相融合。

如图2所示,跳跃连接层对应于图2中间的横向长箭头和中间的竖向箭头。跳跃连接层用于将来自上层下采样层的底层语义特征、来自当前下采样层的对称语义特征及来自上采样层的输入语义特征相融合。例如,对于第一上采样层,底层语义特征可来自于第一下采样层至第三下采样层中的至少一个下采样层,对称语义特征来自于第四下采样层。

又如,对于第二上采样层,底层语义特征可来自于第一下采样层和第二下采样层中的至少一个下采样层,对称语义特征来自于第三下采样层。跳跃连接层可使多层语义特征得到更好的融合,使最终的图像分割结果更加准确。

目标区域可根据不同器官和需求来确定。例如,针对肾脏图像,目标区域可以为肾小球所在区域。针对脑部图像,目标区域可以为脑部出血或病变区域。对于眼部图像,目标区域可以为水肿病变区域。对于手臂图像,目标区域可以为红肿区域。

图3a是根据本发明一实施例的肾脏组织病理切片扫描图。图3b是与图3a的扫描图对应的肾小球区域的分割示意图。本发明实施例的目的在于识别和精准分割出待处理图像中的目标区域,便于工作人员进行相关诊断。

在本发明实施例中,利用改进的Unet模型待处理图像的图像分割结果,改进的Unet模型中重构了Unet中的跳跃连接层,跳跃连接层用于将来自至少一个下采样层的底层语义特征、来自当前下采样层的对称语义特征及来自上采样层的输入语义特征相融合,使模型有效结合不同层的语义特征。本发明实施例的方法能够实际落地用于医学图像分析,并且图像分割精度高,能较好地帮助相关医疗健康人员进行相关的辅助诊断。

本发明实施例的方案创造性的重构了Unet中的跳跃连接结构。Unet原本的跳跃连接结构图2中横向长箭头所示(即进行图2中左边编码器和右边解码器的对称特征的叠加,图中左半部分结构为编码器,右半部分结构为解码器)。编码器可由多个下采样层组成,解码器可由多个上采样层组成。如图2所示,本发明实施例的方案在跳跃连接结构中引入多尺度的语义特征,即图2中间的几个箭头,即在每次横向长箭头对应的运算当中同时叠加经过最大池化操作后的比其低级的所有语义特征。同时,在跳跃连接结构中引入注意力模型,即图2中右侧的四个圆圈所示,对叠加后的多层特征进行注意力筛选,得到融合后的单层特征进入之后的网络结构中。

如图2所示,本发明实施例提出的改进的Unet模型整体网络框架为:

2个卷积层和1个池化层,采用64个3×3的卷积核和1个maxpooling的池化层;

2个卷积层和1个池化层,采用128个3×3的卷积核和1个maxpooling的池化层;

3)2个卷积层和1个池化层,采用2层256个3×3的卷积核和1个maxpooling的池化层;

4)2个卷积层和1个池化层,采用2层512个3×3的卷积核和1个maxpooling的池化层;

5)2个卷积层和1个反卷积层,采用2层1024个3×3的卷积核和1层1024个2×2的反卷积层,再融合分别经过池化层操作的3层的低层语义特征和对称的语义特征,再使用注意力模型融合为单层的特征;

6)2个卷积层和1个反卷积层,采用2层512个3×3的卷积核和1层512个2×2的反卷积层,再融合分别经过池化层操作的2层的低层语义特征和对称的语义特征,再使用注意力模型融合为单层的特征;

7)2个卷积层和1个反卷积层,采用2层256个3×3的卷积核和1层256个2×2的反卷积层,再融合分别经过池化层操作的1层的低层语义特征和对称的语义特征,再使用注意力模型融合为单层的特征;

8)2个卷积层和1个反卷积层,采用2层128个3×3的卷积核和1层128个2×2的反卷积层,再融合对称的语义特征,再使用注意力模型融合为单层的特征;

9)3个卷积层,先采用2层64个3×3的卷积核和1层2个1×1的卷积层,得到最终输出。

在本发明的一个实施例中,所述跳跃连接层具体用于:对所述来自至少一个上层下采样层的底层语义特征进行池化处理;利用注意力模型,将处理后的底层语义特征、所述对称语义特征及所述输入语义特征融合为单层语义特征。重构Unet中的跳跃连接结构,同时引入多尺度和注意力机制,使模型有效结合不同层的语义特征,使最终得到的图像分割结果更加准确。

在本发明的一个实施例中,所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,包括:按照预设窗口大小及预设步长,将所述待处理图像裁剪为多个裁剪图像;对所述多个裁剪图像进行缩放处理;将多个缩放处理后的裁剪图像输入至所述图像分割模型中,得到所述待处理图像的图像分割结果。将待处理图像经过裁剪和缩放处理,得到多个图片,并使该多个图片符合图像分割模型的处理图像的要求,以确保图像分割过程的顺利进行。

在本发明的一个实施例中,所述将多个缩放处理后的裁剪图像输入至所述图像分割模型中,得到所述待处理图像的图像分割结果,包括:对所述缩放处理后的裁剪图像进行数据扩增处理,以得到多个扩增图像,所述数据扩增处理包括以下至少之一:图像旋转处理、图像仿射变换处理、图像高斯模糊处理、图像光学畸变处理、图像网格畸变处理、改变图像饱和度值处理;将所述多个扩增图像,输入至所述图像分割模型中,得到所述待处理图像的图像分割结果。扩增图像体现了待处理图像的不同数据特征,利用扩增图像,得到所述待处理图像的图像分割结果,可使最终的图像分割结果更加完整准确。

在本发明的一个实施例中,所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果之前,还包括:获取多个初始学习率组合,所述初始学习率组合包括:初始学习率及学习率调整方法;分别以所述多个初始学习率组合中的数据为训练参数,对初始图像分割模型进行训练,获取多个训练好的图像分割模型;所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,包括:分别将所述待处理图像输入至所述多个训练好的图像分割模型中,得到所述待处理图像的多个子分割结果;根据所述多个子分割结果,确定所述待处理图像的图像分割结果。

初始学习率可根据具体需求进行设定,如10

根据所述多个子分割结果,确定待处理图像的图像分割结果的方式有很多种。例如,可以计算多个子分割结果中的平均值、中位数、最大值等,来确定待处理图像的图像分割结果。

在本发明的一个实施例中,可将所述待处理图像的图像分割结果发送至医护终端;接收所述医护终端针对所述待处理图像的图像分割结果返回的诊断结果。相关医护人员从医护终端获取到图像分割结果,并基于图像分割结果确定诊断结果。医护人员和患者无需面对面,也可对患者进行诊断治疗。

图4是根据本发明另一实施例的图像分割方法的主要流程的示意图。如图4所示,该方法包括:

步骤S401,获取多个初始学习率组合,所述初始学习率组合包括:初始学习率及学习率调整方法。

步骤S402,获取多个训练数据集,所述训练数据集包括:多个训练图像及所述训练图像对应的图像分割结果。

步骤S403,针对每个训练数据集:以当前初始学习率组合的初始学习率及学习率调整方法为训练参数,利用当前训练数据集,采用k折交叉验证的方式,对所述初始图像分割模型进行训练,得到k个训练好的图像分割模型,k为正整数。

如果初始学习率组合的数目为m个,则最终到的训练好的图像分割模型的数目为k*m个。

步骤S404,获取待处理图像。

步骤S405,分别将所述待处理图像输入至所述多个训练好的图像分割模型中,得到所述待处理图像的多个子分割结果。

步骤S406,根据所述多个子分割结果,确定所述待处理图像的图像分割结果。

在本发明实施例中,模型预测时集成使用不同模型参数组合,包括:初始学习率、数据集和学习率调整方式,训练出来的多个图像分割模型。利用多个图像分割模型对器官图形进行分割处理,最终得到的图像分割结果综合考虑了多个图像分割模型的分割结果,可提高整体预测的精准度。

在本发明的一个实施例中,所述将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果之前,还包括:获取训练数据集,所述训练数据集包括:多个训练图像及所述训练图像对应的图像分割结果;对所述训练数据集中的当前训练图像进行数据增强操作,以得到所述当前训练图像对应的多个增强图像,所述数据增强操作包括以下至少之一:水平翻转操作、垂直翻转操作、对角线翻转操作、旋转角度操作;利用所述多个增强图像,对初始图像分割模型进行训练,以获取训练好的图像分割模型。利用多个增强图像,对初始图像分割模型进行训练,可使训练确定的图像分割模型能更好地适应不同情形的待处理图像,从而使图像分割的效果更好。

图5是根据本发明又一实施例的图像分割方法的主要流程的示意图。如图5所示,该方法包括:输入、数据预处理、网络模型训练、预测及输出。为使本发明实施例的方案较为容易立即,以下以从肾脏组织病理切片中分割出肾小球区域为例进行讲解。分割出肾小球区域的步骤如下:

S01,输入。输入原图片为宽高20000-50000之间的肾脏组织病理切片扫描图。本发明实施例的目的即是识别和精准分割出图中的肾小球。

S02,数据预处理。因为原图宽高非常大,所以采用1024x1024的滑动窗口,步长256,对原图进行滑动裁剪,并将裁剪下的1024x1024的图片缩放2倍,到512x512作为模型网络的真正输入。

针对这些裁剪的输入图片,进行数据扩增,包括但不限于随机旋转90°、随机仿射变换、高斯模糊、光学畸变、网格畸变、随机改变饱和度值等。

数据的标注是针对肾脏图像的掩码图像,即非肾小球部位的像素点标注为0,肾小球部位的像素点标注为1。

S03,网络模型训练。本发明实施例采用如图2所示的图像分割模型进行模型训练。训练时采用3-fold交叉验证训练,以同样的训练参数条件重复训练3次,得到3个最终模型。同时,采用2种epoch(一代训练)、初始学习率、和学习率调整方法的组合分别进行训练,这样2x3,于是最终得到6个训练模型。

S04,预测及输出。采用1024x1024的滑动窗口进行切图,然后对切下来的1024x1024图像进入训练好的模型作为输入进行预测。

这里采用新的模型集成,传统的模型集成即是k-fold交叉验证训练方法,以同样的训练条件重复训练k次得到k个模型,然后用k个模型一起预测取平均值。

本发明实施例中除了采用3-fold交叉验证训练方法之外,还用了新的的模型集成,具体为:采用2种epoch和初始学习率的组合([50epoch,10

同时在预测过程中,采用了测试时增强和膨胀预测方法。

测试时增强:指的是在预测阶段,将原始图片进行水平翻转、垂直翻转、对角线翻转、旋转角度等数据增强操作,得到多张图,分别进行推理,再对多个结果进行综合分析,得到最终输出结果。

膨胀预测:由于在图像边界部分模型预测效果不好,预测结果只采用预测结果中间部分。

本发明实施例的发难方便相关医人员不再肉眼找寻所需组织图片,而是直接通过AI自动阅片,将所需组织图片自动找寻出来,以便人员进行辅助诊断。

本发明实施例的方案是针对肾脏组织的病理切片扫描图,进行肾小球组织的识别和分割,但是本质相通,未来也可以将方法扩展移植到其他器官医疗影像的识别和分割中。其中主要难点如下:

1)肾小球具有2种形态(sclerotic、non-sclerotic),其中sclerotic形态肾小球与周围组织界限不分明,肉眼难识别。

2)因为病理切片扫描图生成方式的不同,导致图像分辨率、颜色、形态发生畸变,增加识别难度。

本发明实施例的方案针对肾脏组织的病理切片扫描图,能有效识别和分割出其中的肾小球,以便医生、护士或相关健康服务人员进行肾小球病理诊断。

实际应用过程中,采用上述步骤S03的阐释中训练出来的6个模型进行预测,将原图按照1024x1024的滑动窗口进行切图,得到很多个1024x1024的裁剪图像作为输入,进入模型进行预测得到最终预测结果。图6a、图7a和图8a分别是对图3a所示的肾脏组织病理切片扫描图,进行裁剪后得到的裁剪图像。图6b,图7b和图8b分别是应用本发明实施例的方法,得到的与图6a、图7a和图8a的裁剪图像对应的肾小球区域的分割示意图。

从图6a与图6b、图7a与图7b、图8a与图8b可以看出,本发明实施例的方法针对肾脏组织病理切片扫描图,进行肾小球组织的识别和分割有非常好的速度和精度。

此外,本发明实施例的方案还具有有扩展性,整体模型和方法经过参数微调训练,可直接用在其他医疗影像的识别和分割。

本发明实施例的方案创造性的提出了改进的Unet模型,通过重构Unet中的跳跃连接结构,同时引入多尺度和注意力机制,使模型有效结合不同层的语义特征;模型预测时集成使用不同模型参数组合(初始学习率、epoch、和学习率调整方式)训练出来的模型,提高整体预测精准度。

图9是根据本发明实施例的图像分割装置的主要模块的示意图,如图9所示,所述图像分割装置900包括:

图像获取模块901,用于获取待处理图像;

结果确定模块902,用于将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,所述图像分割结果用于确定所述待处理图像中的目标区域;其中,所述图像分割模型采用改进的Unet模型,所述改进的Unet模型包括多个下采样层、多个上采样层以及多个跳跃连接层,所述跳跃连接层用于将来自至少一个下采样层的底层语义特征、来自当前下采样层的对称语义特征及来自当前上采样层的输入语义特征相融合。

可选地,所述跳跃连接层具体用于:

对所述来自上层下采样层的底层语义特征进行池化处理;

利用注意力模型,将处理后的底层语义特征、所述对称语义特征及所述输入语义特征融合为单层语义特征。

可选地,结果确定模块902具体用于:

按照预设窗口大小及预设步长,将所述待处理图像裁剪为多个裁剪图像;

对所述多个裁剪图像进行缩放处理;

将多个缩放处理后的裁剪图像输入至所述图像分割模型中,得到所述待处理图像的图像分割结果。

可选地,该装置还包括:

预处理模块903,用于对所述缩放处理后的裁剪图像进行数据扩增处理,以得到多个扩增图像,所述数据扩增处理包括以下至少之一:图像旋转处理、图像仿射变换处理、图像高斯模糊处理、图像光学畸变处理、图像网格畸变处理、改变图像饱和度值处理。

可选地,该装置还包括:

训练模块904,用于获取多个初始学习率组合,所述初始学习率组合包括:初始学习率及学习率调整方法;

分别以所述多个初始学习率组合中的数据为训练参数,对初始图像分割模型进行训练,获取多个训练好的图像分割模型;

结果确定模块902具体用于:分别将所述待处理图像输入至所述多个训练好的图像分割模型中,得到所述待处理图像的多个子分割结果;

根据所述多个子分割结果,确定所述待处理图像的图像分割结果。

可选地,训练模块904具体用于:

获取多个训练数据集,所述训练数据集包括:多个训练图像及所述训练图像对应的图像分割结果;

针对所述多个训练数据集中的每个训练数据集:以当前初始学习率组合的初始学习率及学习率调整方法为训练参数,利用当前训练数据集,采用k折交叉验证的方式,对所述初始图像分割模型进行训练,得到k个训练好的图像分割模型,k为正整数。

可选地,训练模块904还用于:

获取训练数据集,所述训练数据集包括:多个训练图像及所述训练图像对应的图像分割结果;

对所述训练数据集中的当前训练图像进行数据增强操作,以得到所述当前训练图像对应的多个增强图像,所述数据增强操作包括以下至少之一:水平翻转操作、垂直翻转操作、对角线翻转操作、旋转角度操作;

利用所述多个增强图像,对初始图像分割模型进行训练,以获取训练好的图像分割模型;

结果确定模块902具体用于:将所述待处理图像输入至所述训练好的图像分割模型中,得到所述待处理图像的图像分割结果。

可选地,该装置还包括:

结果接收模块905,用于将所述待处理图像的图像分割结果发送至医护终端;

接收所述医护终端针对所述待处理图像的图像分割结果返回的诊断结果。

图10示出了可以应用本发明实施例的图像分割方法或图像分割装置的示例性装置架构1000。

如图10所示,装置架构1000可以包括终端设备1001、1002、1003,网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互,以接收或发送消息等。

服务器1005可以是提供图像分割服务的服务器。用户可以使用终端设备1001、1002、1003向服务器1005发送待处理图像。服务器1005可以对接收到的待处理图像进行图像分割、图像分析等处理,并将处理结果反馈给终端设备。

需要说明的是,本发明实施例所提供的图像分割方法一般由服务器1005执行,相应地,计算装置一般设置于服务器1005中。

应该理解,图10中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。

下面参考图11,其示出了适于用来实现本发明实施例的终端设备的计算机装置1100的结构示意图。图11示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。

如图11所示,计算机装置1100包括中央处理单元(CPU)1101,其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM1103中,还存储有计算机装置1100操作所需的各种程序和数据。CPU1101、ROM1102以及RAM1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。

以下部件连接至I/O接口1105:包括键盘、鼠标等的输入部分1106;包括诸如阴极射线管(CRT)、液晶图像处理器(LCD)等以及扬声器等的输出部分1107;包括硬盘等的存储部分1108;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1110上,以便于从其上读出的计算机程序根据需要被安装入存储部分1108。

特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1109从网络上被下载和安装,和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时,执行本发明的装置中限定的上述功能。

需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。

附图中的流程图和框图,图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的装置来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括图像获取模块和结果确定模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定。

作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:

获取待处理图像;

将所述待处理图像输入至图像分割模型中,得到所述待处理图像的图像分割结果,所述图像分割结果用于确定所述待处理图像中的目标区域;所述图像分割模型采用改进的Unet模型,所述改进的Unet模型包括多个下采样层、多个上采样层以及多个跳跃连接层,所述跳跃连接层用于将来自至少一个下采样层的底层语义特征、来自当前下采样层的对称语义特征及来自当前上采样层的输入语义特征相融合。

根据本发明实施例的技术方案,利用改进的Unet模型待处理图像的图像分割结果,改进的Unet模型中重构了Unet中的跳跃连接层,跳跃连接层用于将来自上层下采样层的底层语义特征、来自当前下采样层的对称语义特征及来自上一上采样层的输入语义特征相融合,使模型有效结合不同层的语义特征。本发明实施例的方法能够实际落地用于医学图像分析,并且图像分割精度高,能较好地帮助相关医疗健康人员进行相关的辅助诊断。

上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

相关技术
  • 图像分割方法、图像分割系统及图像分割装置
  • 一种图像分割模型的训练方法、图像分割方法及装置
技术分类

06120113227534