一种应用于超声影像的交互式分割智能标注方法

技术领域

本发明涉及超声影像技术领域，特别是涉及一种应用于超声影像的交互式分割智能标注方法。

背景技术

人工智能（AI）在超声影像领域的应用和意义日益显著。超声影像是一种常见的无创检查方法，可用于诊断和监测多种疾病。人工智能可以通过训练模型来自动分析和识别超声影像中的结构和异常病变。通过深度学习算法，AI系统可以学习识别不同组织和器官的特征，并自动标记出病变区域，提高诊断效率和准确性。AI还可以作为医生的辅助工具，提供对超声影像的解读和诊断建议。通过对大量病例数据的学习，AI系统可以提供对病变的潜在诊断和预测，辅助医生进行初步的筛查和诊断，减轻医生的工作负担。

同时人工智能也可以用于改善超声图像的质量。AI算法可以减少图像中的伪影、噪声等问题，增强图像的清晰度和对比度，使医生能够更好地观察和分析图像。通过对大量超声影像和临床数据的分析，人工智能可以识别潜在的疾病风险因素和预测模式。AI系统可以根据患者的超声图像和其他相关信息，提供对患者的风险评估和疾病进展的预测，有助于早期发现和干预疾病。

总的来说，人工智能在超声影像领域的应用可以提高超声图像的分析和诊断效率，辅助医生进行准确的诊断和治疗决策，为患者提供更好的医疗服务。

而想要应用计算机视觉在医疗领域或者超声影像所需要的第一步就是对超声影像进行标注。分割标注工具在医疗领域中扮演着重要的角色。它们对于医学影像分析、疾病诊断和治疗等方面都具重要作用。分割标注工具可以帮助生成大量的已标注数据，用于训练深度学习模型；还可以帮助医学影像领域的研究人员和医生快速而准确地勾勒出感兴趣的结构和病变区域；以及为医学影像领域的研究和发展提供基础。

现有的分割标注工具主要通过手动标注工具、基于阈值的分割工具以及深度学习分割工具等技术实现。手动标注工具通常提供画笔、橡皮擦等基本绘图工具，让标注人员手动勾勒目标物体的轮廓或标记感兴趣的区域。这些工具可以根据用户的交互操作实时更新分割结果。基于阈值的分割工具通过设置阈值来将图像中的像素分为目标物体和背景。用户可以根据图像的灰度值、颜色、纹理等特征选择合适的阈值，以实现分割。这种方法简单直接，但对于复杂图像和目标物体可能存在挑战。

深度学习分割工具：深度学习算法在分割标注工具中得到了广泛应用。特别是卷积神经网络（CNN）和其变体，如 U-Net、Mask R-CNN 等，被广泛用于图像分割任务。这些模型通过对大量标注数据进行训练，学习到图像中不同结构和病变的特征，并生成高质量的分割结果。但这种分割工具只能固定的对某种特定区域进行分割，不能适配于所有的影像和需求。

以上所述的技术方案通常会结合多种算法和方法，以适应不同的应用场景和需求，但现存的分割标注工具在技术与应用上仍存在一些缺点：

1、主观性和不一致性：标注过程中的主观性和不一致性可能会导致不同标注人员之间的差异。不同的标注人员可能会有不同的标注标准和理解，导致标注结果的不一致性。这可能会影响训练模型的准确性和结果的一致性。

2、高标注成本：进行准确的分割标注需要专业知识和经验，而且通常需要耗费大量的时间和人力资源。这增加了标注的成本和复杂性，特别是对于大规模的数据集来说。

3、依赖标注人员的专业知识：分割标注需要标注人员具备医学背景知识和图像解剖学的理解。这限制了可用于标注的人员数量，并且需要专业培训和质量控制来确保标注的准确性。

4、限制应用范围：某些分割标注工具可能只适用于特定类型的图像和疾病。不同的疾病和结构可能需要不同的标注算法和工具，因此可能需要定制化的解决方案来适应不同的应用场景。

发明内容

为了解决以上技术问题，本发明提供一种应用于超声影像的交互式分割智能标注方法，包括以下步骤

S1、全手动标注阶段：由若干医学标注人员直接对超声影像数据集进行标记掩码，在标注过程中，医学标注人员自由地标注超声影像中的一切组织，该组织包括结节、气管、肌肉以及脂肪结构；

S2、初期模型训练阶段：构建基于Segment Anything Model的超声影像分割模型，使用超声影像数据集对分割模型进行训练，在收集至少10万张数据标注之后，分割模型仅使用新标注的掩码进行重新训练，不断学习超声影像中各种组织的语义特征；

S3、半自动阶段：在超声影像中自动检测置信度大于0.7的分割结果，然后通过医学标注人员标注出该超声影像中未被识别的组织以及修改自动分割轮廓中不准确的部分；接着将新收集的超声影像数据送入分割模型中重新训练；

S4、完全自动阶段：重复步骤S3，在收集了至少10万张超声影像的各种组织掩码后得到训练好的分割模型，使用训练好的分割模型对待标注超声影像进行分割，得到分割结果。

本发明进一步限定的技术方案是：

进一步的，步骤S2中，基于Segment Anything Model的超声影像分割模型包括图像编码器image encoder、提示编码器prompt encoder以及掩码解码器mask decoder，采用标准的Vision Transformer作为图像编码器image encoder。

前所述的一种应用于超声影像的交互式分割智能标注方法，图像编码器imageencoder中，原始图像被等比和padding的缩放到1024大小，然后采用kernel size为16，stride为16的卷积将图像离散化为宽度64、高度64、通道数768的向量，向量在宽度和通道数上背顺序展平后再进入多层的transformer encoder，Vision Transformer输出的向量再通过两层的卷积压缩到特征维度为256。

前所述的一种应用于超声影像的交互式分割智能标注方法，Vision Transformer输出的向量通过两层的卷积压缩到特征维度为256；两层的卷积的kernel分别为1和3，每层输出接入layer norm2d。

前所述的一种应用于超声影像的交互式分割智能标注方法，提示编码器promptencoder中包括稀疏类提示sparse prompt和稠密类提示dense prompt；稀疏类提示sparseprompt包括基于point和bbox的提示；当稠密类提示dense prompt作为prompt的输入，即分割该超声影像中的所有组织。

前所述的一种应用于超声影像的交互式分割智能标注方法，提示编码器promptencoder中，稀疏类提示sparse prompt包括多种样式的提示；分别为提供一个point作为prompt、提供多个point作为prompt、提供box框作为prompt、提供box框加多个point作为prompt；

如果提供一个point作为prompt，会默认返回三种mask结果，分别为全部、部分以及子部分；如果提供多个point作为prompt，可指定点为前景点还是背景点，为前景点时label=1，为背景点时label=0，最后只用第一个得分最高的分割结果。

前所述的一种应用于超声影像的交互式分割智能标注方法，掩码解码器maskdecoder通过将图像嵌入image embedding、提示嵌入prompt embedding和输出映射到掩码来实现；掩码解码器mask decoder整合图像编码器image encoder和提示编码器promptencoder分别输出的两个嵌入embedding，然后从嵌入embedding的特征图解码出最终的分割mask结果；

掩码解码器mask decoder通过对提示嵌入prompt embedding和图像嵌入imageembedding反复融合并且反复更新生成最终的分割结果，计算流程为：首先将提示嵌入prompt embedding和图像嵌入image embedding相加融合；接着做自注意力计算；再将计算结果作为query做交叉注意力计算；再经过两层多层感知机做特征变换；经过两层多层感知机计算的特征向量和图像嵌入image embedding做特征融合计算，将融合后的结果通过转置卷积将特征图上采样到原图的4倍大小，产生最终的掩码结果。

前所述的一种应用于超声影像的交互式分割智能标注方法，步骤S4中，训练好的分割模型为每个点预测可能对应于有效对象的一组掩码，如果一个点位于一个部分或子部分上，分割模型将返回子部分，部分和整个对象；接着识别并选择置信度大于0.7的掩码，应用非极大值抑制来过滤重复项。

本发明的有益效果是：

（1）本发明中，通过训练好的适用于超声影像的网络模型，标注工具可以实现自动分割图像中的任意目标；该算法利用深度学习模型，学习图像中的语义信息和边界特征，以精确地识别和分割目标物体；标注工具可以利用这种自动分割功能，快速生成高质量的分割结果，减少人工标注的工作量；

（2）本发明中，智能分割标注工具可以结合人工智能中大网络模型，实现交互式的标注过程；工具可以根据用户提供的初步标记或指示点，结合训练好的深度学习算法进行自动分割，并允许用户进行修正和调整，以获得更准确的分割结果；

（3）本发明中，网络模型可以处理多个类别的目标物体分割；标注工具可以利用该算法对图像中的多个目标进行分割，同时给每个目标分配相应的类别标签；这对于需要对图像中不同物体进行精确标注和分类的任务非常有用，如医学影像中的病变分割；

（4）本发明中，标注工具可以利用算法的分割结果作为初始标注，并将其作为用户进行进一步交互和编辑的起点；这种半自动标注的方式可以加速标注过程，同时保留了用户的专业知识和判断，以获得更准确的分割结果。

附图说明

图1为本发明的整体流程示意图；

图2为本发明实施例中超声影像分割模型的结构示意图；

图3为本发明实施例中交互式分割智能标注的流程示意图。

实施方式

本实施例提供的一种应用于超声影像的交互式分割智能标注方法，如图1所示，包括以下步骤

S1、全手动标注阶段：在这一阶段，类似于经典的分割标注，由若干专业的医学标注人员直接对超声影像数据集进行标记掩码，在标注过程中，医学标注人员自由地标注超声影像中的一切组织，该组织包括结节、气管、肌肉以及脂肪结构。

S2、初期模型训练阶段：构建基于Segment Anything Model的超声影像分割模型，使用超声影像数据集对分割模型进行训练；在对常见的超声影像数据集进行标注后，使用分割模型进行训练；随着收集的数据与进行的标注越来越多，模型分割的性能也会不断进行优化和改进；在收集至少10万张数据标注之后，分割模型仅使用新标注的掩码进行重新训练，不断学习超声影像中各种组织的语义特征。

如图2所示，基于Segment Anything Model的超声影像分割模型包括图像编码器image encoder、提示编码器prompt encoder以及掩码解码器mask decoder；采用标准的Vision Transformer作为图像编码器image encoder，Vision Transformer输出的向量通过两层的卷积压缩到特征维度为256；两层的卷积的kernel分别为1和3，每层输出接入layer norm2d。

图像编码器image encoder中，原始图像被等比和padding的缩放到1024大小，然后采用kernel size为16，stride为16的卷积将图像离散化为宽度64、高度64、通道数768的向量，向量在宽度和通道数上背顺序展平后再进入多层的transformer encoder，VisionTransformer输出的向量再通过两层的卷积压缩到特征维度为256。

提示编码器prompt encoder中包括稀疏类提示sparse prompt和稠密类提示dense prompt；稀疏类提示sparse prompt包括基于point和bbox的提示；当稠密类提示dense prompt作为prompt的输入，即分割该超声影像中的所有组织，这一部分的结果可以实现自动分割和多类别分割，将分割得到的结果供医学标注人员筛选。

提示编码器prompt encoder中，稀疏类提示sparse prompt包括多种样式的提示；分别为提供一个point作为prompt、提供多个point作为prompt、提供box框作为prompt、提供box框加多个point作为prompt；

如果提供一个point作为prompt，因为原始的图像可能有多个部件组成，所以这个点会属于多个部件，这种情况下会默认返回三种mask结果，分别为全部、部分以及子部分；如果提供多个point作为prompt，可指定点为前景点还是背景点，为前景点时label=1，为背景点时label=0，这种情况下相当给出多个prompt，在提供多个prompt输入的情况下建议只用第一个得分最高的分割结果。

掩码解码器mask decoder通过将图像嵌入image embedding、提示嵌入promptembedding和输出映射到掩码来实现；掩码解码器mask decoder整合图像编码器imageencoder和提示编码器prompt encoder分别输出的两个嵌入embedding，然后从嵌入embedding的特征图解码出最终的分割mask结果；

掩码解码器mask decoder通过对提示嵌入prompt embedding和图像嵌入imageembedding反复融合并且反复更新生成最终的分割结果，计算流程为：首先将提示嵌入prompt embedding和图像嵌入image embedding相加融合；接着做自注意力计算；再将计算结果作为query做交叉注意力计算；再经过两层多层感知机做特征变换；经过两层多层感知机计算的特征向量和图像嵌入image embedding做特征融合计算，将融合后的结果通过转置卷积将特征图上采样到原图的4倍大小，产生最终的掩码结果。

S3、半自动阶段：在这一阶段，目的是增加标注的多样性以及模型对于困难标注区域的学习能力，以提高本发明的模型的任意分割能力；在超声影像中自动检测置信度大于0.7的分割结果，然后通过医学标注人员标注出该超声影像中未被识别的组织以及修改自动分割轮廓中不准确的部分；接着与初期模型训练阶段一样，将新收集的超声影像数据送入分割模型中重新训练。

S4、完全自动阶段：在这一阶段标注是自动生成的，首先，在这个阶段开始时，已经收集了足够的超声影像的各种组织掩码来大大改进模型，包括前面阶段的多样化掩码；其次，在这个阶段，借鉴了ambiguity-aware模糊感知模型,这使本发明能够在模糊的情况下预测有效的掩码；具体来说为每个点预测可能对应于有效对象的一组掩码。

重复步骤S3，在收集了至少10万张超声影像的各种组织掩码后得到训练好的分割模型，使用训练好的分割模型对待标注超声影像进行分割，得到分割结果。

步骤S4中，训练好的分割模型为每个点预测可能对应于有效对象的一组掩码，如果一个点位于一个部分或子部分上，分割模型将返回子部分，部分和整个对象；接着识别并选择置信度大于0.7的掩码，应用非极大值抑制（non-maximal suppression，NMS）来过滤重复项；为了进一步提高较小掩码的质量，本发明还处理了多个重叠的放大图像裁剪。

Meta 发布的新模型名叫 Segment Anything Model (SAM) 。在论文中SAM 已经学会了关于物体的一般概念，并且它可以为图像或视频中的任何物体生成 mask，甚至包括在训练过程中没有遇到过的物体和图像类型。经过实验，SAM在自然物体的影像上表现出来可分割一切的特性，但将其应用在医学领域的影像时尤其是对于边界不清晰的超声影像时表现的往往有待提高，因此本发明将训练基于SAM的适用于超声影像的分割模型，并将其应用在标注工具上，依次构建一个应用于超声影像的交互式分割智能标注工具。

如图3所示，为实际使用中交互式分割智能标注的流程示意图，在进行交互式分割智能标注时，我们选用图中的超声图像做演示，首先用box作为prompt提示，表示只对box框以内的区域进行分割，将prompt box embedding输入给分割模型会得到对应的分割结果；如果对分割结果不满意，可以选用正向点或者反向点，正向点的位置区域包含在要分割的区域中，而反向点的位置区域不在要分割的区域中；图中有非结节部分被分割为结节，因此用图中白色边框正方形所示的反向点来缩小要分割的区域，并将点的位置和属性（正向点或者反向点）输入给模型重新进行分割；重复上述过程，直到对模型返回的分割结果满意。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。