一种基于跨尺度解码的生物图像实例分割方法

技术领域

本发明属于图像分割技术领域，具体涉及一种基于跨尺度解码的生物图像实例分割方法。

背景技术

生物图像实例分割是计算机视觉领域中的一个关键任务，旨在从生物图像中精确地提取出感兴趣的生物结构，如细胞、器官和病变区域。这项技术在医学影像分析、细胞生物学研究以及生物医学工程等领域具有重要意义。随着先进的图像采集技术的发展，如显微镜成像、核磁共振成像和计算机断层扫描等，生物图像的复杂性和数据量不断增加，使得高效准确的实例分割方法变得至关重要。

传统的基于手工设计特征的方法在处理生物图像复杂性时面临挑战，因此深度学习技术在生物图像实例分割中取得了显著的突破。卷积神经网络(CNN)和U-Net等架构已经成为主流，能够自动从数据中学习到特征，并对生物结构的形态、纹理和边界进行建模。但是，对于更为复杂的生物图像，例如图像背景存在杂质过多、灰暗、过曝等情况，分割对象存在卷曲、交叠、多尺度、高密度等情况，其仍然存在漏检和背景误检的情况。因此，现有的生物图像实例分割技术在实例分割精度方面仍有待改进。

发明内容

针对现有技术存在的缺陷，本发明提供一种基于跨尺度解码的生物图像实例分割方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种基于跨尺度解码的生物图像实例分割方法，包括以下步骤：

步骤1，构建生物图像实例分割系统；所述生物图像实例分割系统包括骨干网络、编码器、解码器和结果处理器；

步骤2，所述骨干网络接收原始生物图像，对所述原始生物图像进行多尺度特征提取，输出多尺度生物图像特征图；

步骤3，所述编码器对所述多尺度生物图像特征图进行融合并编码，生成多尺度生物图像嵌入张量；

步骤4，所述解码器通过被学习出的目标实例查询量，对所述多尺度生物图像嵌入张量进行解码，得到多层次解码结果；每个层次的解码结果包括初步实例分割结果、骨架特征张量和类别张量；

步骤5，所述结果处理器以多层次的骨架特征张量作为查询量，对步骤3生成的多尺度生物图像嵌入张量进行跨尺度译码，即：利用高层的骨架特征张量作为查询量，从低尺度的生物图像嵌入张量进行解码，得到最终的实例分割结果。

优选的，所述骨干网络包括卷积层和池化层；或者，包括注意力模块和前馈神经网络；

所述骨干网络对所述原始生物图像进行下采样特征提取，生成第1尺度生物图像特征图C

优选的，所述编码器包括上采样层、叠加层、自注意力模块和前馈神经网络；

所述编码器接收所述第n尺度生物图像特征图C

所述编码器对第1尺度编码特征图O

依此类推，在得到第n尺度编码特征图O

然后，采用所述自注意力模块和前馈神经网络，分别计算第1尺度编码特征图O

通过自注意力模块对编码特征图进行空间维度变换，捕获生物图像不同位置之间的长距离依赖关系，得到初始嵌入张量；然后，使用前馈神经网络对所述初始嵌入张量进行非线性变换，得到更加鲁棒和表达能力更强的嵌入张量。

优选的，所述解码器包括n层解码层，每层包括自注意力模块、交叉注意力模块和前馈神经网络；

所述解码器通过被学习出的目标实例查询量，对第1尺度生物图像嵌入张量V

所述解码器通过被学习出的目标实例查询量，对第2尺度生物图像嵌入张量V

依此类推

所述解码器通过被学习出的目标实例查询量，对第n尺度生物图像嵌入张量V

其中，每层次的解码结果均包括初步实例分割结果、骨架特征张量和类别张量。

优选的，所述解码器采用以下方法，对每个尺度的生物图像嵌入张量进行解码，生成对应层次的解码结果；

所述解码器输入的查询量是由类别信息、空间信息、骨架信息构成的多维度可学习参数，用于区别生物图像中分割目标的类别以及描述分割目标在图像中的位置；

所述自注意力模块对输入的生物图像嵌入张量的每个位置进行权重计算，以得到具有更加全局、细致和有针对性特点的张量；

所述交叉注意力模块用于融合所述编码器输出的生物图像嵌入张量和所述自注意力模块输出的张量，从而得到更加准确的全局目标序列生成信息；

所述前馈神经网络，采用ReLU激活函数或者GELU激活函数，对所述交叉注意力模块输出的信息进行更强的非线性拟合和空间特征变换，得到解码张量；

所述解码张量，经过全连接层以及softmax函数得到类别张量；

所述解码张量通过与所述编码器得到的编码特征图做外积运算，得到初步实例分割结果与骨架特征张量。

优选的，所述结果处理器包括n层结果处理解码层，每层包括自注意力模块、交叉注意力模块和前馈神经网络；

第1层的结果处理解码层，用于以所述解码器输出的第1层次的解码结果中的骨架特征张量作为查询量，对所述查询量与所述编码器输出的第1尺度生物图像嵌入张量V

第2层的结果处理解码层，用于以所述解码器输出的第2层次的解码结果中的骨架特征张量作为查询量，对所述查询量与所述编码器输出的第2尺度生物图像嵌入张量V

依此类推

第n层的结果处理解码层，用于以所述解码器输出的第n层次的解码结果中的骨架特征张量作为查询量，对所述查询量与所述编码器输出的第n尺度生物图像嵌入张量V

最后，将解码张量M

本发明提供的一种基于跨尺度解码的生物图像实例分割方法具有以下优点：

本发明提出的基于跨尺度解码的生物图像实例分割方法，利用高层显著特征对低尺度特征图进行译码以融合不同尺度的特征，提高实例分割的准确性与鲁棒性。

附图说明

图1为本发明提供的一种基于跨尺度解码的生物图像实例分割方法的原理结构图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于跨尺度解码的生物图像实例分割方法，可以解决生物图像中交叠遮挡、噪声大导致分割精度下降的问题。

参考图1，本发明提供的一种基于跨尺度解码的生物图像实例分割方法，包括以下步骤：

步骤1，构建生物图像实例分割系统；所述生物图像实例分割系统包括骨干网络、编码器、解码器和结果处理器；

步骤2，所述骨干网络接收原始生物图像，对所述原始生物图像进行多尺度特征提取，输出多尺度生物图像特征图；

步骤3，所述编码器对所述多尺度生物图像特征图进行融合并编码，生成多尺度生物图像嵌入张量；

步骤4，所述解码器通过被学习出的目标实例查询量，对所述多尺度生物图像嵌入张量进行解码，得到多层次解码结果；每个层次的解码结果包括初步实例分割结果、骨架特征张量和类别张量；

步骤5，所述结果处理器以多层次的骨架特征张量作为查询量，对步骤3生成的多尺度生物图像嵌入张量进行跨尺度译码，即：利用高层的骨架特征张量作为查询量，从低尺度的生物图像嵌入张量进行解码，得到最终的实例分割结果。本发明提出的基于跨尺度解码的生物图像实例分割方法，利用高层显著特征对低尺度特征图进行译码以融合不同尺度的特征，提高实例分割的准确性与鲁棒性。

下面对骨干网络、编码器、解码器和结果处理器的图像处理过程和原理详细介绍：

(一)骨干网络

骨干网络，用于从输入的生物图像中获取多尺度特征图，处理生物图像实例分割中的多尺度问题；所述骨干网络可以包括卷积层和池化层；或者，包括注意力模块和前馈神经网络；其中，卷积层用于提取生物图像的图像特征；池化层采用最大化池化操作对生物图像的图像特征进行降维处理；

具体的，所述骨干网络对所述原始生物图像进行下采样特征提取，生成第1尺度生物图像特征图C

作为一个具体实施方式，对于图1，当n为3时，骨干网络可以是ResNet和SwinTransformer，ResNet的层数可以是18、34、50、101、152；SwinTransforme的模型结构可以是Swin-tiny、Swin-small、Swin-base、Swin-large；所述骨干网络中的卷积层采用尺寸大小为[7*7,3*3,1*1]中的一种或者多种，步长为2，用于提取生物图像的局部特征(边缘、角点、纹理等)，池化层采取最大池化操作，卷积核为3*3，步长为2，用于提取生物图像的显著特征；生物图像输入骨干网络生成多尺度生物特征图C

(二)编码器

编码器，其用于对生物图像的多尺度特征图进行融合，并对融合后的多尺度特征图进行编码生成多尺度嵌入张量；所述编码器包括上采样层、叠加层、自注意力模块和前馈神经网络；

所述编码器接收所述第n尺度生物图像特征图C

所述编码器采用上采样层对第1尺度编码特征图O

依此类推，在得到第n尺度编码特征图O

然后，采用所述自注意力模块和前馈神经网络，分别计算第1尺度编码特征图O

通过自注意力模块对编码特征图进行空间维度变换，捕获生物图像不同位置之间的长距离依赖关系，得到初始嵌入张量；然后，使用前馈神经网络对所述初始嵌入张量进行非线性变换，得到更加鲁棒和表达能力更强的嵌入张量。

作为一个具体实施方式，对于图1，当n为3时，所述编码器由至少1层基础transformer层构成，包括至少1个上采样层U、至少1个叠加层P、至少1个自注意力模块、1个前馈神经网络；所述编码器的上采样层U用于对生物图像小尺度特征图进行上采样，可以采用最邻近插值、双线性插值、转置卷积等上采样方法中的一种或多种进行上采样；所述编码器的叠加层P用于对上采样后的特征图与大尺度特征图进行叠加，得到生物图像多尺度融合特征图O

采用上述进一步方案的有益效果是：通过上采样层对小尺度特征图进行上采样，然后利用叠加层对上采样后的特征图与大尺度特征图进行叠加，实现多尺度特征图的融合，而后针对融合后的多尺度特征图利用自注意力模块计算多尺度嵌入张量，以捕获不同位置之间的长距离依赖关系，使得方法可以更好地处理生物图像中不同尺度和形状的生物对象实例。

(二)解码器

所述解码器，根据被学习出的查询量从多尺度嵌入张量中解码，得到多层次的类别张量、初步实例分割结果与骨架特征张量；所述解码器包括n层解码层，每层包括自注意力模块、交叉注意力模块和前馈神经网络；

所述解码器通过被学习出的目标实例查询量，对第1尺度生物图像嵌入张量V

所述解码器通过被学习出的目标实例查询量，对第2尺度生物图像嵌入张量V

依此类推

所述解码器通过被学习出的目标实例查询量，对第n尺度生物图像嵌入张量V

其中，每层次的解码结果均包括初步实例分割结果、骨架特征张量和类别张量。

所述解码器采用以下方法，对每个尺度的生物图像嵌入张量进行解码，生成对应层次的解码结果；

所述解码器输入的查询量是由类别信息、空间信息、骨架信息构成的多维度可学习参数，用于区别生物图像中分割目标的类别以及描述分割目标在图像中的位置；

所述自注意力模块对输入的生物图像嵌入张量的每个位置进行权重计算，以得到具有更加全局、细致和有针对性特点的张量；

所述交叉注意力模块用于融合所述编码器输出的生物图像嵌入张量和所述自注意力模块输出的张量，从而得到更加准确的全局目标序列生成信息；

所述前馈神经网络，采用ReLU激活函数或者GELU激活函数，对所述交叉注意力模块输出的信息进行更强的非线性拟合和空间特征变换，得到解码张量；

所述解码张量，经过全连接层以及softmax函数得到类别张量；

所述解码张量通过与所述编码器得到的编码特征图做外积运算，得到初步实例分割结果与骨架特征张量。

作为一个具体实施方式，对于图1，当n为3时，所述解码器的自注意力模块与交叉注意力模块根据生物图像的目标类别信息张量从生物图像的多尺度嵌入张量中解码，得到多层次的生物图像类别张量、初步实例分割结果与骨架特征张量；

所述解码器可以由至少1层DetrTransformer解码层构成，包括1个自注意力模块、1个交叉注意力模块、1个前馈神经网络；DetrTransformer解码层中头的数量至少为1个，所述自注意力模块用于对输入序列中的每个位置进行权重计算，以得到更加全局、细致和有针对性的张量表示；所述交叉注意力模块用于将所述编码器和所述解码器中不同时间步的信息结合起来，从而得到更加准确的全局目标序列生成信息；所述前馈神经网络，可以采用ReLU激活函数或者GELU激活函数，以提供更强的非线性拟合能力；所述解码器输入的查询量是由类别信息、空间信息、骨架信息构成的多维度可学习参数，用于区别生物图像中分割目标的类别以及描述分割目标在图像中的位置。所述查询量、嵌入张量V

因此，所述解码器根据被学习出的查询量从多尺度嵌入张量中解码，得到多层次的类别张量、初步实例分割结果与骨架特征张量；查询量是一个可学习的嵌入张量，它可以将目标类别的信息注入到自注意力模块中，使方法得到更快的收敛速度和更好的性能。

采用上述进一步方案的有益效果是：通过上采样层对小尺度特征图进行上采样，然后利用叠加层对上采样后的特征图与大尺度特征图进行叠加，实现多尺度特征图的融合，而后针对融合后的多尺度特征图利用自注意力模块计算多尺度嵌入张量，以捕获不同位置之间的长距离依赖关系，使得方法可以更好地处理生物图像中不同尺度和形状的生物对象实例。

(四)结果处理器

所述结果处理器包括n层结果处理解码层，每层包括自注意力模块、交叉注意力模块和前馈神经网络；

第1层的结果处理解码层，用于以所述解码器输出的第1层次的解码结果中的骨架特征张量作为查询量，对所述查询量与所述编码器输出的第1尺度生物图像嵌入张量V

第2层的结果处理解码层，用于以所述解码器输出的第2层次的解码结果中的骨架特征张量作为查询量，对所述查询量与所述编码器输出的第2尺度生物图像嵌入张量V

依此类推

第n层的结果处理解码层，用于以所述解码器输出的第n层次的解码结果中的骨架特征张量作为查询量，对所述查询量与所述编码器输出的第n尺度生物图像嵌入张量V

最后，将解码张量M

因此，结果处理器，以多层次的骨架特征张量作为查询量对多尺度嵌入张量进行跨尺度译码，即利用高层的骨架特征张量作为查询量从低尺度嵌入张量解码，得到最终的实例分割结果；

所述结果处理器的自注意力模块与交叉注意力模块以多层次的生物图像骨架特征张量作为查询量对多尺度生物图像嵌入张量进行跨尺度译码，利用高层骨架特征张量作为处理器的查询量从低尺度生物图像的嵌入张量解码，得到最终的生物图像实例分割结果；

作为一个具体实施方式，对于图1，当n为3时，所述结果处理器可以由至少1层DetrTransformer解码层构成，包括1个自注意力模块、1个交叉注意力模块、1个前馈神经网络；DetrTransformer解码层中头的数量至少为1个；所述自注意力模块与交叉注意力模块用于对输入的查询量与嵌入张量做注意力分数计算与权重乘法；所述结果处理器，以骨架特征张量作为查询量对多尺度融合特征图进行跨尺度译码，将所述查询量(高层的骨架特征张量L

采用上述进一步方案的有益效果是：所述结果处理器以多层次的骨架特征张量作为查询量对多尺度特征图进行跨尺度译码，即利用高层的骨架特征张量作为查询量从低尺度嵌入张量中解码，得到最终的实例分割结果。通过将高层显著特征(高层骨架特征张量)作为处理器的查询量，提高查询量的质量，以提升处理器的译码能力，进而提升生物对象实例分割精度。

本发明利用基于跨尺度解码的生物图像实例分割方法，利用高层显著特征对低尺度特征图进行译码以融合不同尺度的特征，增加方法对全局特征(颜色、纹理、轮廓特征)、局部特征(边缘、线条、角点特征)的感知，提高实例分割的准确性与鲁棒性，解决生物图像中交叠遮挡、噪声大导致分割精度下降的问题；

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。