交互式图像分割方法、系统、设备及介质

技术领域

本发明涉及医学图像分割技术领域，具体地，涉及一种交互式图像分割方法、系统、设备及介质。

背景技术

由于需要对体内病灶和其他组织结构分离，因此基于深度学习的图像分割方法得到广泛应用，但传统方法仍存在一些不足。首先，传统图像分割方法对用于训练的原始数据和新的输入数据之间的分布偏移较为敏感，故训练出来的模型泛化能力差，无法适用于少数群体和特殊患者。其次，传统图像分割方法主要是基于强度特征，而忽略了其他信息(如位置信息和边界信息)。

公开号为CN110766694B的发明专利，公开了一种三维医学图像的交互式分割方法，该方法首先获取若干三维医学图像作为原始图像并进行标注，得到该原始图像的有标注的分割训练数据作为标准分割结果；使用分割训练数据训练得到全自动图像分割网络；使用全自动图像分割网络生成原始图像对应的自动分割结果，根据自动分割结果与标准分割结果的差异，模拟生成用于训练分割编辑网络的用户交互数据；使用模拟的用户交互数据训练分割编辑网络；用户使用训练完毕的分割编辑网络与三种交互式分割工具完成对待分割图像的交互式分割。

公开号为CN111161245A的发明专利，公开了一种鲁棒的交互式医学图像分割方法，该分割方法包括如下步骤:(1)在OCT图像中预分割出视网膜病灶所在的窗口；(2)在窗口内设置两个固定的脚点，形成待分割窗口；在待分割窗口内利用活动轮廓模型进行迭代收缩完成分割。

发明内容

针对现有技术中的缺陷，本发明提供一种交互式图像分割方法、系统、设备及介质。

根据本发明提供的一种交互式图像分割方法、系统、设备及介质，所述方案如下：

第一方面，提供了一种交互式图像分割方法，所述方法包括：

步骤S1：获取医学三维影像；

步骤S2：将所述医学三维影像输入到第一分割网络，得到第一分割结果；

步骤S3：通过人工对第一分割结果中的错误分割区域进行标记；

步骤S4：对标记后的错误分割区域进行距离变换处理，生成距离图；

步骤S5：将所述医学三维影像、第一分割结果和距离图输入第二分割网络，得到第二分割结果。

优选地，所述第一分割网络包括：输入层，第四卷积单元，第五卷积单、连接线性投影模块，Embedded Patches模块，第一至第十二transformer单元块，第四反卷积单元块，第一卷积单元块，第三反卷积单元块，第二卷积单元块，第二反卷积单元块，第三卷积单元块，第一反卷积单元块，第五卷积单元块和输出层；

所述输入层的第一输出端依次连接第四卷积单元，第五卷积单元和输出层；

所述输入层的第二输出端依次连接线性投影模块，Embedded Patches模块，第一至第十二transformer单元块；

所述第四反卷积单元块的输入端连接所述第十二transformer单元块的输出端；

所述第四反卷积单元块的输出端和所述第九transformer单元块的输出端连接所述第一卷积单元块的输入端；

所述第一卷积单元块的输出端连接所述第三反卷积单元块的输入端；

所述第三反卷积单元块的输出端和所述第六transformer单元块的输出端连接所述第二卷积单元块输入端；

所述第二卷积单元块输出端连接所述第二反卷积单元块的输入端；

所述第二反卷积单元块的输出端和所述第三transformer单元块的输出端连接所述第三卷积单元块输入端；

所述第三卷积单元块输出端连接所述第一反卷积单元块的输入端；

所述第一反卷积单元块的输出端连接所述第五卷积单元块输入端。

优选地，所述第一分割网络的训练包括：

1)收集多组标记的医学三维影像分割数据；

2)利用标记的医学三维影像分割数据对第一分割网络进行训练，使第一分割网络能够识别原始的医学三维影像中的待分割区域；

所述第二分割网络的训练包括：

1)将原始的医学三维影像送入训练好的第一分割网络模型中得到第一分割结果；

2)根据所述第一分割结果模拟用户交互，对错误分割区域生成对应的距离图；

3)将医学三维影像、第一分割结果、距离图作为输入送入第二分割网络训练，得到第二分割结果。

优选地，所述错误分割区域包括：欠分割区域和过分割区域；所述生成距离图的方法具体包括：

1)根据第一分割结果查找错误分割区域；

2)在所述错误分割区域中随机采样n个像素，模拟每个错误分割区域上的用户交互，其中，n为1个或多个；

3)将欠分割区域的模拟用户交互通过管状结构距离变换为管状结构距离图，过分割区域的模拟用户交互通过测地距离变换为测地距离图。

优选地，所述管状结构距离变换包括：

其中，C

然后，通过对图像I进行距离变换，计算出距离图D为：

其中，u表示管状结构表面上的体素点；对于每个管状结构体素v，距离变换给其赋值一个距离变换值d

优选地，所述通过人工对第一分割结果中的错误分割区域进行标记包括：通过第一标签工具对所述欠分割区域进行标记，通过第二标签工具对所述过分割区域进行标记，并对标记错误的区域抹去标记。

优选地，对所述步骤S2中医学三维影像进行预处理：预设体素强度区间，进行归一化处理。

第二方面，提供了一种交互式图像分割系统，所述系统包括：

模块M1：获取医学三维影像；

模块M2：将所述医学三维影像输入到第一分割网络，得到第一分割结果；

模块M3：通过人工对第一分割结果中的错误分割区域进行标记；

模块M4：对标记后的错误分割区域进行距离变换处理，生成距离图；

模块M5：将所述医学三维影像、第一分割结果和距离图输入第二分割网络，得到第二分割结果。

第三方面，提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述方法中的步骤。

第四方面，提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过采用人工干预的方式进行交互分割，解决了自动分割出错后，用户不可以通过人工交互机制纠正分割错误区域的问题(泛化能力差的问题)；

2、本发明通过管状结构距离图和测地距离图共同使用的方法，解决了单独使用管状结构距离图不能很好考虑图像上下文信息的问题；

3、本发明通过采用transformer模块作为编码器并采用跳跃连接解码器，解决了传统cnn编码器不能有效地捕获全局多尺度信息的问题；

4、本发明使用了基于cnn的解码器，解决了尽管变压器能够学习全局信息，但无法正确地捕获局部信息的问题。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明整体流程框图；

图2为第一分割网络示意图；

图3为第一分割网络和第二分割网络训练示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例提供了一种交互式图像分割方法，参照图1所示，所述方法具体包括：

步骤S1：通过医学影像设备在术前获取患者的肺气管CT影像。(本实施例中获取医学三维影像数据不限于肺气管CT影像)。

步骤S2：对所获取的肺气管CT影像进行预处理，预处理方式：预设体素强度区间，进行归一化处理，得到预处理数据。(本实施例中的预处理手段不限于归一化，仅作为示例)。

步骤S3：将预处理完成的预处理数据输入第一分割网络进行分割，得到第一分割结果。

参照图2所示，第一分割网络包括输入层，第四卷积单元，第五卷积单、连接线性投影模块，Embedded Patches模块，第一至第十二transformer单元块，第四反卷积单元块，第一卷积单元块，第三反卷积单元块，第二卷积单元块，第二反卷积单元块，第三卷积单元块，第一反卷积单元块，第五卷积单元块和输出层；

输入层的第一输出端依次连接第四卷积单元，第五卷积单元和输出层；

输入层的第二输出端依次连接线性投影模块，Embedded Patches模块，第一至第十二transformer单元块；

第四反卷积单元块的输入端连接第十二transformer单元块的输出端；

第四反卷积单元块的输出端和所述第九transformer单元块的输出端连接第一卷积单元块的输入端；

第一卷积单元块的输出端连接第三反卷积单元块的输入端；

第三反卷积单元块的输出端和第六transformer单元块的输出端连接第二卷积单元块输入端；

第二卷积单元块输出端连接第二反卷积单元块的输入端；

第二反卷积单元块的输出端和第三transformer单元块的输出端所述第三卷积单元块输入端；

第三卷积单元块输出端所述第一反卷积单元块的输入端；

第一反卷积单元块的输出端连接第五卷积单元块输入端。

对于肺气管CT影像分割，随机采样体积大小为[96,96,96]的输入图像。前景/背景的随机斑块都以1：1的比例采样。

对第一分割网络进行，训练过程中采用Adamw优化器，学习率为1*10

将预处理完成的预处理数据输入第一分割网络进行分割，得到第一分割结果。

步骤S4：根据所述第一分割结果查找错误分割区域，并通过人工干预的方式对第一分割结果中的错误分割区域进行标记。

其中，错误分割区域分为欠分割区域和过分割区域两种，欠分割区域是第一次分割结果未分割到标签值的区域，过分割区域是第一次分割结果中分割到未带标签值的区域；本实施例中标签值即待分割特征，通过相关专家进行对特征进行标识。分割区域由一个或多个像素点组成；欠分割区域的像素点通过蓝色标签工具进行标记，过分割区域的像素点通过绿色标签工具进行标记，标记错误区域可用橡皮擦抹去标记。

步骤S5：对标记的错误分割区域通过距离变换，并生成距离图。

具体地，欠分割区域的所标记的像素点通过管状结构距离变换为管状结构距离图，过分割区域的所标记的像素点通过测地距离变换为测地距离图。

管状结构距离变换包括：

其中，C

然后，通过对图像I进行距离变换，计算出距离图D为：

其中，u表示管状结构表面上的体素点；对于每个管状结构体素v，距离变换给其赋值一个距离变换值d

步骤S6：将获取到患者的肺气管CT影像数据、第一分割结果、管状结构距离图、测地距离图输入到第二分割网络，得到最终分割结果。

步骤S7：向用户展示最终分割结果。

参照图3所示，其中，第一分割网络和第二分割网络训练包括以下过程：

1)收集数据集，共使用60组精确标注的肺气管CT影像分割数据。由于CT扫描是使用不同的参数设置从不同的扫描仪获得的，所以对得到的肺气管分割数据集进行预处理，所有扫描的体素强度在[-1000，400](HU)内被截断并归一化为[0,1]。

2)将肺气管CT影像分割数据集送入第一分割网络训练，得到训练好的第一分割网络；将肺气管CT影像数据集送入训练好的第一分割网络中得到第一分割结果。

3)根据粗分割预测结果自动模拟用户交互，并生成距离图。

具体地，3)中包括：

3.1)将粗分割预测结果与标签值进行比较，查找错误分割区域。

3.2)通过在错误分割区域中随机采样n个像素，模拟每个错误分割区域上的用户交互。假设在分段或分段区域上连接的一个区域的大小为Nm，如果Nm<10，则我们将该错误分割区域的n设置为1，否则将n设置为Nm/5。

3.3)将欠分割区域的模拟用户交互通过管状结构距离变换为管状结构距离图，过分割区域的模拟用户交互通过测地距离变换为测地距离图。

4)将肺气管CT影像、粗分割预测结果和管状结构距离图和测地距离图共四个通道作为输入送入第二分割网络训练，得到第二分割结果。

本发明实施例提供的一种交互式图像分割方法、系统、设备及介质，通过基于深度学习的图像分割方法进行第一次分割，基于第一次分割结果，通过少量的人工干预进行修正，可以快速提供准确的分割结果。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。