图像分割方法、装置、设备、程序产品及介质

技术领域

本发明涉及机器学习技术，尤其涉及一种图像分割方法、装置、电子设备、计算机程序产品及存储介质。

背景技术

基于深度学习所进行的各种类型识别，一直以来都是各应用场景下解决大量数据分的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。

在对图像所进行的分类预测中，根据所部署的应用场景不同，例如，AI+医疗场景，具体用于实现分类预测的图像以及分类预测的实现也各不相同。以AI+医疗场景为例，不同诊疗设备所形成医疗影像的各种图像在不断产生，例如，随着病人病情的发展需要不同的时间点或者科室中不断拍摄而不断产生，进而成为大量数据，亟待需要借助于图像分割的执行实现对医疗图像的分割。

但是，相关技术中，深度卷积神经网络算法虽然广泛应用于医疗图像的分割与增强，然而，无法兼顾整体特征与局部特征，也很难兼顾网络精度和内存消耗，线性回归模型虽然能够提升处理速度，但是不能对复杂环境中的特征进行拟合，使得神经网络模型的处理效果精确度较差，同时在复杂环境中的模型迁移能力较差，影响神经网络模型的处理速度。

发明内容

有鉴于此，本发明实施例提供一种图像分割方法、装置、电子设备、计算机程序产品及存储介质，能够充分学习类别内图像特征和类别间图像特征的特点，解决类别内一致性和类别间差异性不足的问题，实现内别内特征一致性，同时通过类别间约束则加强了不同类别之间的特征区别性，使得目标对象的特征图像的分割结果更准确，分割边界更清晰，能够适应各种复杂图像背景的图像分割环境。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种图像分割方法，所述方法包括：

获取目标对象的特征图像；

提取所述特征图像对应的类别内图像特征；

根据所述类别内图像特征，通过卷积计算，得到所述特征图像的分块序列；

根据所述类别内图像特征，进行像素集合计算，得到所述特征图像的类别中心特征；

对所述分块序列和所述类别中心特征进行交互，得到增强类别中心特征；

对所述增强类别中心特征和所述类别内图像特征进行拼接，得到类别间图像特征；

通过所述类别间图像特征对所述特征图像进行分割，得到所述目标对象的特征图像的分割结果。

本发明实施例还提供了一种图像分割装置，所述装置包括：

信息传输模，用于获取目标对象的特征图像；

信息处理模块，用于提取所述特征图像对应的类别内图像特征；

所述信息处理模块，用于根据所述类别内图像特征，通过卷积计算，得到所述特征图像的分块序列；

所述信息处理模块，用于根据所述类别内图像特征，进行像素集合计算，得到所述特征图像的类别中心特征；

所述信息处理模块，用于对所述分块序列和所述类别中心特征进行交互，得到增强类别中心特征；

所述信息处理模块，用于对所述增强类别中心特征和所述类别内图像特征进行拼接，得到类别间图像特征；

所述信息处理模块，用于通过所述类别间图像特征对所述特征图像进行分割，得到所述目标对象的特征图像的分割结果。

上述方案中，所述信息处理模块，用于对所述特征图像进行迭代和解耦处理，得到解耦特征图像集合；

所述信息处理模块，用于计算所述解耦特征图像集合中的目标类别特征图像所对应的查询特征；

所述信息处理模块，用于对所述查询特征进行加权处理，得到显著性感知映射；

所述信息处理模块，用于根据所述显著性感知映射，提取所述目标类别特征图像的显著特征；

所述信息处理模块，用于根据所述目标类别特征图像的显著特征，计算所述类别内图像特征。

上述方案中，所述信息处理模块，用于获取与所述目标对象相匹配的滑动窗口；

所述信息处理模块，用于通过所述滑动窗口对所述显著性感知映射进行划分，得到至少两个不重叠的子区域；

所述信息处理模块，用于在每一个子区域中确定一个显著位置；

所述信息处理模块，用于根据所述显著位置，在所述目标类别特征图像中提取显著特征；

所述信息处理模块，用于对所述显著特征进行投影，得到键值和值项；

所述信息处理模块，用于通过多头注意机制，利用所述键值和值项，计算不同类别的增强序列的特征；

所述信息处理模块，用于根据所述不同类别的增强序列的特征，计算所述类别内图像特征。

上述方案中，所述信息处理模块，用于根据所述目标对象的图像分割需求，确定不同尺度提取的信息；

所述信息处理模块，用于根据所述不同尺度提取的信息，确定总尺度数量；

所述信息处理模块，用于根据所述总尺度数量，确定与所述目标对象相匹配的每一个滑动窗口。

上述方案中，所述信息处理模块，用于确定与所述类别内图像特征相匹配的卷积步长；

所述信息处理模块，用于根据所述卷积步长，对所述类别内图像特征进行卷积处理，得到所述特征图像的分块序列。

上述方案中，所述信息处理模块，用于根据所述类别内图像特征，计算每个类别的初始分割结果；

所述信息处理模块，用于根据所述初始分割结果，计算目标类别特征图像的像素表示集合；

所述信息处理模块，用于根据所述目标类别特征图像的像素表示集合，确定所述特征图像的类别中心特征。

上述方案中，所述信息处理模块，用于对对所述分块序列和所述类别中心特征进行拼接，得到拼接特征；

所述信息处理模块，用于通过注意力矩阵对所述拼接特征进行特征互补，得到互补拼接特征，其中，所述注意力矩阵包括4组归一化的相似矩阵；

所述信息处理模块，用于按照拼接顺序对所述互补拼接特征进行拆分，得到增强分块序列和增强类别中心特征。

上述方案中，所述信息处理模块，用于通过所述类别内动态转换器网络模型获取所述目标对象的特征图像；

所述信息处理模块，用于通过所述类别内动态转换器网络模型提取所述特征图像对应的类别内图像特征；

所述信息处理模块，用于通过所述类别间动态转换器网络模型根据所述类别内图像特征，通过卷积计算，得到所述特征图像的分块序列；

所述信息处理模块，用于通过所述类别间动态转换器网络模型根据所述类别内图像特征，进行像素集合计算，得到所述特征图像的类别中心特征；

所述信息处理模块，用于通过所述类别间动态转换器网络模型对所述分块序列和所述类别中心特征进行交互，得到增强类别中心特征；

所述信息处理模块，用于通过所述类别间动态转换器网络模型对所述增强类别中心特征和所述类别内图像特征进行拼接，得到类别间图像特征。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于运行所述存储器存储的可执行指令时，实现前序的图像分割方法。

本发明实施例还提供了一种计算机程序产品，所述计算机程序或指令被处理器执行时，实现前序的图像分割方法。

本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现前序的图像分割方法。

本发明实施例具有以下有益效果：

本发明实施例通过获取目标对象的特征图像；提取所述特征图像对应的类别内图像特征；根据所述类别内图像特征，通过卷积计算，得到所述特征图像的分块序列；根据所述类别内图像特征，进行像素集合计算，得到所述特征图像的类别中心特征；对所述分块序列和所述类别中心特征进行交互，得到增强类别中心特征；对所述增强类别中心特征和所述类别内图像特征进行拼接，得到类别间图像特征；通过所述类别间图像特征对所述特征图像进行分割，得到所述目标对象的特征图像的分割结果。由此，能够充分学习类别内图像特征和类别间图像特征的特点，解决类别内一致性和类别间差异性不足的问题，实现内别内特征一致性，同时通过类别间约束则加强了不同类别之间的特征区别性，使得目标对象的特征图像的分割结果更准确，分割边界更清晰，能够适应各种复杂图像背景的图像分割环境。

附图说明

图1是本发明实施例提供的一种图像分割方法的使用环境示意图；

图2为传统方案中利用Transformer网络进行图像分割的原理示意图；

图3为传统方案中利用Transformer网络进行图像分割的效果示意图；

图4为本申请所提供的图像分割方法一个可选的流程示意图；

图5为本发明实施例中类感知网络模型的模型结构示意图；

图6为本发明实施例中类别内动态转换器网络模型的工作过程示意图；

图7为本发明实施例中类别间动态转换器网络模型的工作过程示意图；

图8为本发明实施例中图像分割方法在Synapse数据集中与相关技术的测试比较示意图；

图9为本发明实施例中图像分割方法在ACDC数据集和MoNuSeg数据集中与相关技术的测试比较示意图；

图10为本发明实施例中图像分割方法在Synapse数据集中与相关技术的测试的分割效果比较示意图；

图11为本发明实施例中图像分割方法在ACDC数据集中与相关技术的测试的分割效果比较示意图；

图12为本发明实施例中图像分割方法在MoNuSeg数据集中与相关技术的测试的分割效果比较示意图；

图13为本发明实施例提供的图像分割方法的使用场景示意图；

图14为本发明实施例提供的图像分割方法一个可选的流程示意图；

图15为本发明实施例提供的图像处理方法一个可选的示意图。

图16为本发明实施例中通过图像分割方法对医疗图像进行分割的前端示意图；

图17为本发明实施例提供的图像分割装置的组成结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)卷积神经网络(CNN Convolutional Neural Networks)是一类包含卷积计算且具有深度结构的前馈神经网络(Feed forward Neural Networks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)。

2)模型训练，对图像数据集进行多分类学习。该模型可采用Tensor Flow、torch等深度学习框架进行构建，使用CNN等神经网络层的多层结合组成多分割网络。模型的输入为图像经过openCV等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出图像分割结果。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。

3)神经网络(Neural Network，NN)：人工神经网络(Artificial Neural Network，ANN)，简称神经网络或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。

4)计算机辅助诊断(AD Computer Aided Diagnosis)其中，AD用于通过影像学、医疗图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。

5)内窥镜视频流：用于通过图像采集设备(例如内窥镜)对机体部位(人体的不同目标器官或者体内病灶)进行图像采集所形成视频状态的病理信息。

图1为本发明实施例提供的图像分割方法的使用场景示意图，其中，可以通过本申请所提供的图像分割方法对医疗环境中的医疗图像进行处理，参见图1，终端(包括终端10-1和终端10-2)上设置有能够执行不同功能相应客户端其中，所属客户端为终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中获取不同的相应目标对象的医疗图像进行浏览，或者获取相应的医疗图像，并对医疗图像所示的目标区域(例如病灶组织的区域)进行分析，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，终端(包括终端10-1和终端10-2)通过网络300从相应的服务器200中所获取的相应目标对象的医疗图像类型既可以相同也可以不相同，例如：终端(包括终端10-1和终端10-2)既可以通过网络300从相应的服务器200中获取与目标对象相匹配的病理图像或者医疗图像集合，也可以通过网络300从相应的服务器200中获取仅与当前目标相匹配的医疗图像集合(例如CT图像)进行浏览。服务器200中可以保存有不同目标对象各自对应的相应目标对象的医疗图像，也可以保存与目标对象的相应目标对象的医疗图像相匹配的辅助分析信息。在本发明的一些实施例中，服务器200中所保存的不同类型的相应目标对象的医疗图像可以由内窥镜所采集的内窥镜图像，或者CT机器所采集的患者的CT图像。

其中，医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程，包括但不限于：CT，MRI，超声，X光，心电图，脑电图，光学摄影等等由医学仪器生成的图像，是用于辅助临床诊断的一种重要手段和参考因素，不同病征的内在异质性也在其成像表型(外观和形状)中体现。因此，通过医学影像进行病因诊断或病灶组织区域的图像分割，可以有效辅助医生进行准确地病理诊断。相关技术中，深度卷积神经网络算法已经广泛应用于图像的分割，不同诊疗设备所形成医疗影像的各种图像在不断产生，例如，随着病人病情的发展需要不同的时间点或者科室中不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。

但是，相关技术中，深度卷积神经网络算法虽然广泛应用于图像的分割，然而，经典的分割方法大多无法兼顾整体特征与局部特征，也很难兼顾网络精度和内存消耗，而医学图像却有较多细节需要网络抓取，因此需要实现通过较深的网络以及较多的局部特征抽取，获得对于大型2D诊断图像和3D诊断图像中的辅助诊断信息。

其中，常规神经网络技术对于分割往往采取一种编解码器结构(encoder-decoder技术)，即先下采样图像抽取特征，再上采样返回原图像大小，它维持了一个高分辨率图像通道以保持有效信息，但由于高分辨率运算导致图像本身占用内存较大，而多尺度会带来更多的通道数导致参数占用内存增大，因而，它可能只能构造一个浅层网络，无法应用在较大的2D图像或3D图像中进行运用。

进步一步地，还可以采用可逆残差网络RevNet技术，RevNet的优点在于它几乎可以无限串联而不增加图像计算带来的内存消耗，仅仅多了一些中间计算参数的增加，但可逆残差网络的问题在于结构过于简单，必须维持在一个分辨率尺度下进行计算，因此，有限的复杂度无法提高网络任务的精度。

其中，在医疗图像的使用环境中，以医疗图像为内窥镜图像为例，内窥镜视频流中不少于两张原始内窥镜图像，是医生在利用内窥镜过程中，通过移动摄像头、切换放大倍率等操作反复观察疑似的目标对象区域得到的多视野的病理图片的集合，融合了内窥镜下特定视野的信息。由于内窥镜视频流中记录了医生在观察患者目标对象(例如病灶组织的区域)的过程中，内窥镜视野中所有的信息，如此，将医生观察单个患者目标对象(例如病灶组织的区域)在内窥镜的视野中的信息，作为连续的视频流加以利用，避免医生在快速移动内窥镜的过程中，忽略微小的病变区域，从而提供比单帧图片更多的信息来辅助医生诊断并发现微小病变区域。这一过程中，需要清晰的内窥镜图像来对医生的诊断进行辅助，但是由于机械的内窥镜成像环境的限制或者操作人员的操作限制，所呈现的内窥镜图像往往是针对病灶的大环境的内窥镜图像，无法集中于病灶的具体位置进行成像，不利于医生通过集中于病灶处的内窥镜图像辅助进行分类，因此需要通过本申请所提供的图像分割方法，利用图像分割对内窥镜图像进行分割，形成针对病灶处的清晰的内窥镜图像，以供医生使用。

其中，本发明实施例可结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。

需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。

结合实施例图1所示，本发明实施例所提供的目标对象确定方法可以通过相应的云端设备实现，例如：终端(包括终端10-1和终端10-2)通过网络300连接位于云端的服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。值得说明的是，服务器200可为实体设备，也可为虚拟化设备。

具体来说，结合前序实施例中的图1所示，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

需要说明的是，在内窥镜(与目标对象相连接的医疗设备)下查看的患者目标对象(例如病灶组织的区域)可以包括多种不同的应用场景，如糖网病变筛查，宫颈癌早期筛查等不同视频流筛查等。基于本实施例的图像分割方法可以部署到多种应用场景，从而便于医生的远程查阅与使用。

服务器200通过网络300向终端(终端10-1和/或终端10-2)发送同一目标对象的相应目标对象的医学图像信息以实现终端(终端10-1和/或终端10-2)的用户对目标对象的相应目标对象的图像信息进行分析，因此。作为一个事例，服务器200部署相应的图像分割，其中包括本申请提供的类感知网络模型，用于输出类别间图像特征，使得图像分割可以利用类别间图像特征对特征图像进行分割，得到目标对象的特征图像的分割结果。

在介绍本发明实施例提供的图像分割方法之前，首先介绍本发明中相关技术中进行图像分割的过程，其中，图2为传统方案中利用Transformer网络进行图像分割的原理示意图，图3为传统方案中利用Transformer网络进行图像分割的效果示意图，如图2所示，Transformer网络主要包含了两个结构：多头注意力机制(MHSA)和一个位置全连接前馈网络(FFN)。首先输入一个特征图，通过三个非线性映射能分别得到：查询(Q)，键值(K)，值项(V)。首先计算Q和K转置之间的点积，然后利用Softmax操作将得到的注意力矩阵(大小为HW×HW)归一化为概率分布，再乘以矩阵V就可以得到权重求和的表示。增强后的特征进一步输入到FFN中，从而学习到更多特征之间的非线性关系。使用图2的神经网络模型对医疗图像进行分割时，如图3所示，图3(a)和(c)展示了TransUNet的分割结果，图3(b)和(d)展示了SwinUNet的分割结果，在肝脏上的像素点虽然能够远距离捕获到与胃部，左肾脏，右肾脏等器官上像素的关系。但是胃分割成脾脏的概率较高，同时分割结果的边缘模糊，因此，传统的Transformer的方法通常作用在不区分类别的特征图上，即所有的类别对象同时突出显示。将所有这些显著区域的加权集合(基于多个对象推理)会导致混淆的像素到像素关系，这可能会损害类别内一致性学习，例如图3所示的不完整胃部分割。同时，传统Transformer通常只建模像素级别的依赖，但往往忽略了语义类别之间对象到对象的相关性。这限制了在不同器官之间进行精确分割的能力，特别是对具有相似上下文信息以及位置相近的器官容易造成混淆，例如图3中胃的一部分被错误分割为脾脏。

为解决上述缺陷，参考图4，图4为本申请所提供的图像分割方法一个可选的流程示意图，可以理解地，图4所示的步骤可以由运行分割网络装置的各种电子设备执行，例如可以是如带有医疗图像处理终端、带有图像分割功能的服务器或者服务器集群，实现针对不同的使用场景中所适配的复杂图像进行准确的分割。下面针对图4示出的步骤进行说明。

步骤401：图像分割装置获取目标对象的特征图像。

在本发明的一些实施例中，本申请所提供的图像分割方法可以通过基于类感知网络模型所实现，类感知网络模型至少包括类别内动态转换器网络模型、类别间动态转换器网络模型，参考图5，图5为本发明实施例中类感知网络模型的模型结构示意图，其中，类感知网络模型(ClassFormer)的架构包括了两部分：类别内动态转换器网络模型(IDT Intra-Class Dynamic Transformer)、类别间动态转换器网络模型(IIT Inter-ClassInteractive Transformer)，从网络某一层中提取出特征图像X，作为类感知网络模型的输入；依次通过左侧展示出的IDT的处理，和右侧IIT模块的处理；最后输出了增强后的类别间图像特征X

下面以类感知网络模型执行本申请提供的图像分割方法为例，继续对步骤402-步骤406的处理过程进行说明。

步骤402：图像分割装置提取特征图像对应的类别内图像特征。

在本发明的一些实施例中，通过类别内动态转换器网络模型提取特征图像对应的类别内图像特征时，可以通过以下方式实现：

对特征图像进行迭代和解耦处理，得到解耦特征图像集合；计算解耦特征图像集合中的目标类别特征图像所对应的查询特征；对查询特征进行加权处理，得到显著性感知映射；根据显著性感知映射，提取目标类别特征图像的显著特征；根据目标类别特征图像的显著特征，计算类别内图像特征。其中，CNN网络(如ResUNet)某一层中提取出特征图像

参考图6，图6为本发明实施例中类别内动态转换器网络模型的工作过程示意图，其中，为了捕获区分类别的远程依赖关系，一个简单的方法是对每个类的特征图使用具有全局关系的Transformer。然而，在传统的Transformer中，每个查询Q都要处理大量的键值K，导致在不相关的K之间进行冗余的相关性计算。因此，通过图6所示的类别内动态转换器网络模型可以自适应地选择每个类别中显著的K，从而大量减少冗余的计算，并且更关注在显著的特征上。

根据目标类别特征图像的显著特征，计算类别内图像特征，可以通过以下方式实现：获取与目标对象相匹配的滑动窗口；通过滑动窗口对显著性感知映射进行划分，得到至少两个不重叠的子区域；在每一个子区域中确定一个显著位置；根据显著位置，在目标类别特征图像中提取显著特征；对显著特征进行投影，得到键值和值项；通过多头注意机制，利用键值和值项，计算不同类别的增强序列的特征；根据不同类别的增强序列的特征，计算类别内图像特征。如图6所示，输入解耦后的第C类特征图像X

由于沿着通道维度进行池化可以有效激活信息区域，因此可以对通道方面的最大值和平均值池化，然后将它们连接起来。然后通图6所示的过3*3卷积层对拼接的特征进行处理，得到显著性感知映射

由于本申请提供的图像分割方法需要对不同的复杂图像进行分割，因此，需要将类感知网络模型设置成即插即用的模块，并将类感知网络模型集成到ResUNet网络中，对复杂图像进行分割。不同的图像分割环境有着不同的分割需求和提取尺度，因此，为了增加本申请图像分割方法的通用性，适应不同的图像分割需求，可以根据目标对象的图像分割需求，确定不同尺度提取的信息；根据不同尺度提取的信息，确定总尺度数量；根据总尺度数量，确定与目标对象相匹配的每一个滑动窗口，参考图6，可以采用金字塔机制，从多个尺度自适应采样显著点。具体来说，对于每个尺度，使用不同的显著性感知网络θ

通过步骤401-步骤402的处理，类别内动态转换器网络模型完成了图像处理过程，向类别间动态转换器网络模型输出了类别内图像特征

步骤403：图像分割装置根据类别内图像特征，通过卷积计算，得到特征图像的分块序列。

参考图7，图7为本发明实施例中类别间动态转换器网络模型的工作过程示意图，如图7的左侧所示，首先确定与类别内图像特征相匹配的卷积步长；根据卷积步长，对类别内图像特征进行卷积处理，得到特征图像的分块序列，具体来说，输入类别内图像特征

步骤404：图像分割装置根据类别内图像特征，进行像素集合计算，得到特征图像的类别中心特征。

对于图7中所使用的特征图像的类别中心特征，在计算时，可以根据类别内图像特征，计算每个类别的初始分割结果；之后根据初始分割结果，计算目标类别特征图像的像素表示集合；最后，根据目标类别特征图像的像素表示集合，确定特征图像的类别中心特征。如图7所示，首先利用类别内图像特征X

步骤405：图像分割装置对分块序列和类别中心特征进行交互，得到增强类别中心特征。

在本发明的一些实施例中，通过对具有高级语义的分块序列和不同的类别中心特征之间进行交互，可以确定的分块序列和不同的类别中心特征之间的类别相关性，对分块序列和类别中心特征进行交互时，对对分块序列和类别中心特征进行拼接，得到拼接特征；通过注意力矩阵对拼接特征进行特征互补，得到互补拼接特征，其中，注意力矩阵包括4组归一化的相似矩阵；按照拼接顺序对互补拼接特征进行拆分，得到增强分块序列和增强类别中心特征。具体来说，参考图7，对分块序列

其中Α

步骤406：图像分割装置对增强类别中心特征和类别内图像特征进行拼接，得到类别间图像特征。

如图7所示，类别间图像特征计算时，为了保留源信息，与输入的类别内图像特征X

通过步骤403-步骤406的处理，类别间动态转换器网络模型将所输入的类别内图像特征转化为类别间图像特征，步骤406所得到的类别间图像特征由于继承了类别内的一致性，使得图像分割网络能够保持类别内一致性以及增加类别间差异性，从而提高特征的表征能力和产生高质量的分割性能。

步骤407：图像分割装置通过类别间图像特征对特征图像进行分割，得到目标对象的特征图像的分割结果。

由于本申请提供的图像分割方法需要对不同的复杂图像进行分割，因此，需要将类感知网络模型设置成即插即用的模块，并将类感知网络模型集成到ResUNet网络中，对复杂图像进行分割。因此，需要对类别内动态转换器网络模型和别间动态转换器网络模型的类感知网络模型进行训练，确定类别内动态转换器网络模型的参数和别间动态转换器网络模型的参数。分别是Synapse，ACDC和MoNuSeg数据集，他们包含了不同的类别数量以及不同设备采集的医学图像。其中：

Synapse数据集包含9个类别(8个腹部器官和1个背景类别)，共涉及30例ComputedTomography(CT)扫描病例，其中18例病例用于训练，12例病例用于测试。

ACDC数据集包含了4个类别(左心室(LV)，右心室(RV)，心肌(MYO)和1个背景类别)，共涉及了100例Magnetic Resonance Imaging(MRI)病例，其中70例用于训练，10例用于验证，20例用于测试。

MoNuSeg数据集包含了2个类别(细胞前景和背景)，共包含44张病理图片，其中30张用于训练图像，14张用于测试图像。

为了避免过拟合，采用了随机旋转和随机翻转两种数据增广方法。接下来，依次列出了三个数据集常用的batch size(bs)，学习率(lr)，最大训练epoch(ep)，求解器(opt):

Synapse:bs＝8；lr＝3e-3；ep＝600；opt＝SGD；

ACDC:bs＝8；lr＝3e-3；ep＝200；opt＝SGD；

MoNuSeg:bs＝4；lr＝1e-3；ep＝200；opt＝Adam；

所有数据集使用了momentum＝0.9以及weight decay＝0.0001。

确定类别内动态转换器网络模型的参数和别间动态转换器网络模型的参数后，经过训练的类感知网络模型可以集成到ResUNet网络中。ResUNet的编码器部分有4个由基本resnet-34块组成的卷积模块，其中通道数随着网络深度的增加而增加，而特征映射的分辨率则随之降低。给定一个输入图像I∈R^(224×224)，ResNet编码器(encoder)首先将I中的像素映射成非线性特征X∈R^(28×28×512)，并输入到类感知网络模型模块中探究类感知的依赖关系。增强后的特征被进一步发送到decoder中进行逐步上采样。最后经过一个分割层得到最终的分割结果。

在对本身请提供的图像分割方法进行测试时，参考图8和图9，图8为本发明实施例中图像分割方法在Synapse数据集中与相关技术的测试比较示意图，图9为本发明实施例中图像分割方法在ACDC数据集和MoNuSeg数据集中与相关技术的测试比较示意图，其中，图8和图9中所示的ClassFormer为本申请的图像分割方法的测试结果，在Synapse数据集上使用Dice Coefficient(DSC指标)以及Hausdorff Distance(HD指标)，并分别列举了8个腹部器官的DSC指标，在ACDC数据集上使用DSC指标，并分别列举了左心室(LV)，右心室(RV)，心肌(MYO)的DSC指标，在MoNuSeg数据集上使用DSC指标以及Intersection over Union(IoU指标)。从图8和图9中可以看出，本申请通过类感知网络模型所实现的图像分割方法始终优于所有相关技术的测试结果，并在所有数据集上都显著提高了性能。特别是在图8所示的参数量中，本申请通过类感知网络模型所实现的图像分割方法比之前最佳的方法ScaleFormer减少了76.15M的参数量，但是精度提升了DSC:+1.54以及HD:-4.59mm。

参考图10、图11和图12，图10为本发明实施例中图像分割方法在Synapse数据集中与相关技术的测试的分割效果比较示意图，图11为本发明实施例中图像分割方法在ACDC数据集中与相关技术的测试的分割效果比较示意图，图12为本发明实施例中图像分割方法在MoNuSeg数据集中与相关技术的测试的分割效果比较示意图，如图10-图12三种测试数据额分割效果所示，本申请提供的图像分割方法能够准确地分割出不同大小、形状和位置的显著器官。此外，分割结果的边界比其他结果更清晰，能够准确地分割出不同大小、形状和位置的显著器官降，低了错误分割的概率，更加便于用户对复杂医疗图像的准确分割。

为了更好地说明图像分割方法工作过程，下面以针对目标对象的脑溢血和眼底出血等机体内部出血为例，对本发明所提供的图像分割方法进行说明，

图13为本发明实施例提供的图像分割方法的使用场景示意图，参见图13，图13是本发明实施例提供的血管图像处理系统10的应用场景示意图，终端200可以位于各种具有医疗属性的机构(例如医院、医学研究院)中，可以被用来采集(例如，例如终端200的图像采集装置，或者通过其他的图像采集设备400)患者的眼底图像(即待处理血管图像)。

在一些实施例中，终端200本地执行本发明实施例提供的血管图像处理方法来完成眼底图像的血管分割和血管分类，将血管分割和血管分类的结果以图形化方式输出，从而供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究，例如可以根据眼底图像的血管分割结果和血管分类结果，确定不同类型血管在形态学上的表现，进而来辅助或者直接诊断患者是否有心脑血管疾病风险或者高血压视网膜病变。

终端200也可以通过网络300向服务器100发送眼底图像，并调用服务器100提供的远程诊断服务的功能，服务器100通过本发明实施例提供的血管图像处理方法进行血管分割和血管分类的多任务，将血管分割和血管分类的结果返回终端200，供医生、研究人员进行疾病的诊断、复诊和治疗方法的研究。

终端200可以在图形界面210中显示血管图像处理的各种中间结果和最终结果，例如眼底图像、眼底血管的分割结果和分类结果等。

继续说明本发明实施例提供的血管图像处理设备的结构，血管图像处理设备可以是各种终端，例如医疗诊断设备、电脑等，也可以是如图1示出的服务器100。

下面以确定脑出血病例的医疗信息为例对本发明所提供的图像分割方法进行说明，其中，形成医疗影像的各种图像在不断产生，例如，随着CT平扫图像，核磁共振MRI图像不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。

参考图14，图14为本发明实施例提供的图像分割方法一个可选的流程示意图，其中用户可以为医生，目标对象为患者，具体包括以下步骤：

步骤1401：获取目标对象的待分割血管特征图像。

图15为本发明实施例提供的图像处理方法一个可选的示意图，前台A(例如图10中所示的医疗终端400)接收到图像数据(例如去前序实施例中用户要处理的医学图像)，经过预处理算法，包括但不限于平移，旋转，对称等数据增广，分割等选定器官算法，然后上传给后台(例如图10中所示的服务器100)，后台使用本申请所提供的图像处理方法，通过图像分割方法对医疗图像进行分割，然后输出到前台B(例如图10中所示的终端200)，医生通过前台B的显示装置可以清楚地观察到经过分割处理的医疗图像。

步骤1402：提取血管特征图像对应的类别内图像特征。

其中，分割血管特征图像时，肿瘤微血管的形态极为多样，多条信号通路参与调控微血管的生长，目前的医学研究显示患者肿瘤组织上不同形态和密度的微血管与患者的预后和对治疗的反应性相关。因此，进行图像分割时，将微血管与成熟血管分开，将不同的微血管形态互相区分，降低类别内的差异(intra-class variations)，提高类别间差异(inter-class variations)，可以大幅提升图像分割的准确性

步骤1403：通过卷积计算，得到血管特征图像的分块序列，根据类别内图像特征，进行像素集合计算，得到血管特征图像的类别中心特征。

步骤1404：对分块序列和类别中心特征进行交互，得到增强类别中心特征，并与类别内图像特征进行拼接，得到类别间图像特征。

由于本申请提供的图像分割方法需要对不同的复杂图像进行分割，因此，需要将类感知网络模型设置成即插即用的模块，并将类感知网络模型集成到ResUNet网络中，对复杂的血管图像进行分割。不同的血管图像分割环境有着不同的分割需求和提取尺度，因此，为了增加本申请图像分割方法的通用性，适应不同的血管图像分割需求，可以根据血管图像分割需求，确定不同尺度提取的信息；根据不同尺度提取的信息，确定总尺度数量；根据总尺度数量，确定与目标对象相匹配的每一个滑动窗口，得到不同类型血管图像的准确类别间图像特征。

步骤1405：通过类别间图像特征对血管特征图像进行分割，血管特征图像的分割结果。

其中，图16为本发明实施例中通过图像分割方法对医疗图像进行分割的前端示意图；其中，显医疗信息中的医疗图像时，通过控制组件对显示用户界面中医疗图像的分割区域进行锁定；通过图像分割方法，对医疗图像进行分割，以实现对医疗图像进行分割；通过用户界面，将目标对象的脑溢血、眼底出血和肺部出血等机体内部出血所分别对应的CT图像和造影图像的分割结果呈现在显示界面中。

为了实现本申请所提供的图像分割方法，本申请还提供了相应的硬件设备，下面对本发明实施例的图像分割装置的结构做详细说明，下面对本发明实施例的图像分割装置的结构做详细说明，图像分割装置可以各种形式来实施，如带有逻辑规则网络训练处理功能的专用终端，也可以为设置有图像分割装置处理功能的服务器，例如前序图1中的服务器200。图17为本发明实施例提供的图像分割装置的组成结构示意图，可以理解，图17仅仅示出了图像分割装置的示例性结构而非全部结构，根据需要可以实施图17示出的部分结构或全部结构。

本发明实施例提供的图像分割装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。图像分割装置中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图17中将各种总线都标为总线系统205。

其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。

在一些实施例中，本发明实施例提供的图像分割装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的图像分割装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像分割方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。

作为本发明实施例提供的图像分割装置采用软硬件结合实施的示例，本发明实施例所提供的图像分割装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的图像分割方法。

作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

作为本发明实施例提供的图像分割装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件执行实现本发明实施例提供的图像分割方法。

本发明实施例中的存储器202用于存储各种类型的数据以支持图像分割装置的操作。这些数据的示例包括：用于在图像分割装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从图像分割方法的程序可以包含在可执行指令中。

在另一些实施例中，本发明实施例提供的图像分割装置可以采用软件方式实现，图17示出了存储在存储器202中的图像分割装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括图像分割装置，图像分割装置中包括以下的软件模块：

信息传输模块2081和信息处理模块2082。当图像分割装置中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的图像分割方法，其中，图像分割装置中各个软件模块的功能，包括：

信息传输模2081，用于获取目标对象的特征图像；

信息处理模块2082，用于提取特征图像对应的类别内图像特征；

信息处理模块2082，用于根据类别内图像特征，通过卷积计算，得到特征图像的分块序列；

信息处理模块2082，用于根据类别内图像特征，进行像素集合计算，得到特征图像的类别中心特征；

信息处理模块2082，用于对分块序列和类别中心特征进行交互，得到增强类别中心特征；

信息处理模块2082，用于对增强类别中心特征和类别内图像特征进行拼接，得到类别间图像特征；

信息处理模块2082，用于通过类别间图像特征对特征图像进行分割，得到目标对象的特征图像的分割结果。

根据图17所示的电子设备，在本申请的一个方面中，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述图像分割方法的各种可选实现方式中所提供的不同实施例及实施例的组合。

本发明具有以下有益技术效果：

1)本发明实施例通过获取目标对象的特征图像；提取特征图像对应的类别内图像特征；根据类别内图像特征，通过卷积计算，得到特征图像的分块序列；根据类别内图像特征，进行像素集合计算，得到特征图像的类别中心特征；对分块序列和类别中心特征进行交互，得到增强类别中心特征；对增强类别中心特征和类别内图像特征进行拼接，得到类别间图像特征；通过类别间图像特征对特征图像进行分割，得到目标对象的特征图像的分割结果。由此，能够充分学习类别内图像特征和类别间图像特征的特点，解决类别内一致性和类别间差异性不足的问题，实现内别内特征一致性，同时通过类别间约束则加强了不同类别之间的特征区别性，使得目标对象的特征图像的分割结果更准确，分割边界更清晰，能够适应各种复杂图像背景的图像分割环境。

2)通过类别内动态转换器网络模型的处理，通过对不同类别的表示进行解耦，从多个尺度上自适应选择突出的键/值，可以实现紧凑学习，得到更紧凑的类别内特征。还可以提供更有代表性的初始类别内中心特征。

3)通过类别间动态转换器网络模型的处理，可以获取不同类别的依赖关系，充分挖掘了类别信息，提升对复杂图像分割的准确性。

以上，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。