医学图像分割模型训练方法及系统

技术领域

本说明书涉及医学图像分割领域，特别涉及一种医学图像分割模型训练方法及系统。

背景技术

医学图像分割模型可以将医学图像中分布复杂的各个区域区分出来，从而为临床诊疗提供可靠信息。然而，在医学图像分割模型的训练过程中，仅基于标准医学分割图像训练得到的医学图像分割模型，无法使用用户的修改轨迹，分割模型的准确度和灵活性难以改善。

因此，希望提供一种医学图像分割模型训练方法，可以基于用户修改轨迹提高医学图像分割模型的准确度和灵活性。

发明内容

本说明书的一个方面提供一种医学图像分割模型训练方法，其特征在于，所述方法包括：将待分割医学图像输入初始医学图像分割模型，获取第一图像；接收对第一图像的人工修改轨迹；将第一图像和人工修改轨迹作为训练样本，将第一图像对应的标准医学分割图像作为标签，训练初始医学图像分割模型，得到目标医学图像分割模型。

本说明书的另一个方面提供一种医学图像分割模型训练系统，其特征在于，所述系统包括：第一图像获取模块，用于将待分割医学图像输入初始医学图像分割模型，获取第一图像，并发送给显示装置；修改轨迹接收模块，用于从显示装置接收对第一图像的人工修改轨迹；训练模块，用于将第一图像和人工修改轨迹作为训练样本，将第一图像对应的标准医学分割图像作为标签，训练初始医学图像分割模型，得到目标医学图像分割模型。

本说明书的另一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行医学图像分割模型训练方法。

附图说明

本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书的一些实施例所示的医学图像分割模型训练系统的应用场景示意图；

图2是根据本说明书的一些实施例所示的处理器的示例性模块图；

图3是根据本说明书的一些实施例所示的显示装置的示例性模块图；

图4是根据本说明书的一些实施例所示的应用于处理器的医学图像分割模型训练方法的示例性流程图；

图5是根据本说明书的一些实施例所示的应用于显示装置的医学图像分割模型训练方法的示例性流程图；

图6是根据本说明书的一些实施例所示的初始医学图像分割模型输出第二图像的示例性流程图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书的一些实施例所示的医学图像分割模型训练系统的应用场景示意图。

医学图像分割模型训练系统100可以通过实施本说明书披露的方法和/或过程，训练得到目标医学图像分割模型。

如图1所示，系统100可以包括第一计算系统120、第二计算系统130。

第一计算系统120和第二计算系统130可以相同也可以不同。

第一计算系统120和第二计算系统130可以是同一个计算系统，也可以是不同的计算系统。

第一计算系统120和第二计算系统130是指具有计算能力的系统，可以包括各种计算机，比如服务器、个人计算机，也可以是由多台计算机以各种结构连接组成的计算平台。

第一计算系统120和第二计算系统130中可以包括处理器，处理器可以执行程序指令。处理器可以包括各种常见的通用中央处理器(central processing unit，CPU)，图形处理器(Graphics Processing Unit，GPU)，微处理器，特殊应用集成电路(application-specific integrated circuit，ASIC)，或其他类型的集成电路。

第一计算系统120和第二计算系统130还可以包括显示装置。显示装置可以从处理器接收并显示第一图像，也可以获取用户对第一图像的人工修改轨迹。显示装置可以包括各类具有用于显示的屏幕以及信息接收和/或发送功能的设备，如计算机、手机、平板电脑等。

第一计算系统120和第二计算系统130中可以包括存储介质，存储介质可以存储指令，也可以存储数据。存储介质可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。

第一计算系统120和第二计算系统130还可以包括用于内部连接和与外部连接的网络。网络可以是有线网络或无线网络中的任意一种或多种。

第一计算系统120可以获取样本数据110，样本数据110可以是用于训练模型的数据。示例的，样本数据110可以是训练初始医学图像分割模型的数据。例如，样本数据110可以是第一图像和人工修改轨迹。样本数据110可以通过各种常见的方式进入第一计算系统120。

在第一计算系统120中可以训练模型122，更新模型122的参数，得到训练好的模型。示例的，模型122可以是初始医学图像分割模型。

第二计算系统130可以获取数据140，数据140可以是待分割医学图像。数据140可以通过各种常见的方式进入第二计算系统130。

在第二计算系统130中可以包括模型132，模型132的参数来自于训练好的模型122。其中，参数可以以任何常见的方式传递。在一些实施例中，模型122与模型132也可以是相同的。第二计算系统130基于模型132，生成结果150，结果150可以是模型132对数据140的分割结果。示例的，模型132为目标医学图像分割模型，结果150可以是对待分割医学图像的分割结果。

模型(例如，模型122或/和模型132)可以指基于处理设备而进行的若干方法的集合。这些方法可以包括大量的参数。在执行模型时，所使用的参数可以是被预先设置好的，也可以是可以动态调整的。一些参数可以通过训练的方法获得，一些参数可以在执行的过程中获得。关于本说明书中涉及模型的具体说明，可参见本说明书的相关部分。

关于初始医学图像分割模型、目标医学图像分割模型、待分割医学图像、第一图像和第二图像的更多细节参见图4和图6，此处不再赘述。

在一些实施例中，该系统100中可以包括第一图像获取模块、人工修改轨迹接收模块、训练模块以及显示模块。

图2是根据本说明书的一些实施例所示的处理器的示例性模块图。

在一些实施例中，系统100的处理器200中可以包括第一图像获取模块210、人工修改轨迹接收模块220以及训练模块230。

第一图像获取模块210可以用于：将待分割医学图像输入初始医学图像分割模型，获取第一图像，并发送给显示装置。

关于第一图像获取模块的更多细节可以参见步骤410，在此不再赘述。

人工修改轨迹接收模块220可以用于：从显示装置接收对第一图像的人工修改轨迹。关于人工修改轨迹接收模块的更多细节可以参见步骤420，在此不再赘述。

训练模块230可以用于：将第一图像和人工修改轨迹作为训练样本，将第一图像对应的标准医学分割图像作为标签，训练初始医学图像分割模型，得到目标医学图像分割模型。在一些实施例中，初始医学图像分割模型为器官勾画模型。

在一些实施例中，训练模块还用于：将第一图像和人工修改轨迹输入初始医学图像分割模型，输出第二图像；基于第一图像的每个图像块对应的概率和标准医学分割图像的每个图像块的类别，得到损失函数，所述概率为第一图像的每个图像块属于分割部分的概率；基于损失函数，更新初始医学图像分割模型的参数；将第二图像作为所述第一图像，重复执行接收对第一图像的人工修改轨迹，至更新所述初始医学图像分割模型的参数的步骤，直到满足预设条件，得到所述目标医学图像分割模型。

关于训练模块的更多细节可以参见步骤430，在此不再赘述。

图3是根据本说明书的一些实施例所示的显示装置的示例性模块图。

在一些实施例中，系统100的显示装置300中还可以包括显示模块310。显示模块310可以用于：显示第一图像。

在一些实施例中，显示模块310还可以包括人工修改轨迹获取模块312。

人工修改轨迹获取模块312可以用于：对显示模块进行录屏操作以得到对第一图像的人工修改轨迹。在一些实施例中，人工修改轨迹获取模块312可以用于录制对第一图像进行人工修改的屏幕，生成屏幕的视频数据；当检测到对屏幕的触控操作时，确定触控操作对应的修改信息；基于视频数据和修改信息，获取对应的人工修改轨迹。

在一些实施例中，人工修改轨迹包括修改在第一图像上的位置坐标、修改的类型和修改的时间。

关于显示模块的更多细节可以参见图5，在此不再赘述。

在一些实施例中，处理器200和显示装置300可以位于同一设备中，该设备中可以包括图2中的第一图像获取模块210、人工修改轨迹接收模块220、训练模块230和图3中显示模块310。

图4是根据本说明书的一些实施例所示的应用于处理器的医学图像分割模型训练方法的示例性流程图。如图4所示，该方法400可以包括：

步骤410，将待分割医学图像输入初始医学图像分割模型，获取第一图像，并发送给显示装置。

具体地，步骤410可以由第一图像获取模块210执行。

初始医学图像分割模型的输入是待分割医学图像，输出是第一图像。

医学图像是为了医疗或医学研究，对目标对象以非侵入方式取得的内部组织图像。在一些实施例中，目标对象可以包括人体、器官、机体、物体、损伤部位、肿瘤等。

目标对象区域是医学图像中用户感兴趣的目标对象的图像(也可称为感兴趣区域，其可以包括靶区和/或危及器官)。相应地，背景区域即医学图像中目标对象以外的图像(感兴趣区域之外的区域)。例如，医学图像是患者脑部图像，目标对象区域是患者脑部中一个或多个病变组织的图像，背景区域则可以是患者脑部图像中一个或多个病变组织以外的图像。又例如，医学图像是患者腿部图像，目标对象区域可以包括患者腿部中的不同组织(如肌肉、血管和骨骼)，背景区域则可以是患者腿部图像中肌肉、血管和骨骼以外的图像。

待分割医学图像是需要进行分割处理的医学图像。

在一些实施例中，分割处理包括将待分割医学图像中的目标对象区域和背景区域区分出来。可以理解，待分割医学图像中的目标对象区域和背景区域之间存在边界。在一些实施例中，可以通过在待分割医学图像中勾画出目标对象区域和背景区域之间的边界，来表示分割结果。

在一些实施例中，分割处理还可以包括将待分割医学图像中的不同目标对象区域区分出来。可以理解，待分割医学图像中的不同目标对象区域之间也存在边界。在一些实施例中，可以通过在待分割医学图像中勾画出不同目标对象区域之间的边界，来表示分割结果。

在一些实施例中，待分割医学图像可以包括但不限于X光图像、计算机断层扫描(CT)图像、正电子发射断层扫描(PET)图像、单光子发射计算机断层图像(SPECT)、磁共振图像(MRI)、超声波扫描(US)图像、数字减影心血管造影术(DSA)图像、磁共振血管造影术(MRA)图像、时间飞跃法磁共振图像(TOF-MRI)、脑磁图(MEG)等中的一种或多种的组合。

在一些实施例中，待分割医学图像的格式可以包括Joint Photographic ExpertsGroup(JPEG)图像格式、Tagged Image File Format(TIFF)图像格式、GraphicsInterchange Format(GIF)图像格式、Kodak Flash PiX(FPX)图像格式、Digital Imagingand Communications in Medicine(DICOM)图像格式等。

在一些实施例中，待分割医学图像可以是二维(2D，two-dimensional)图像，或三维(3D，three-dimensional)图像。在一些实施例中，三维图像可以由一系列的二维切片或二维图层构成。

在一些实施例中，初始医学图像分割模型的输入还可以包括目标对象类型、扫描设备类型等，本实施例不作限制。

第一图像是对待分割医学图像进行第一次分割处理后得到的医学图像。第一图像的类型和格式可以参见待分割医学图像，在此不再赘述。可以理解，初始医学图像分割模型在第一图像中初步勾画出了目标对象区域和背景区域之间的边界，和/或不同目标对象区域之间的边界。

初始医学图像分割模型是指未基于用户交互进行训练的医学分割模型。在一些实施例中，初始医学图像分割模型为器官勾画模型。

在一些实施例中，初始医学图像分割模型可以是传统分割算法模型。例如，传统分割算法可以包括但不限于阈值法、区域生长法、边缘检测法等中的一种或多种的组合。

在一些实施例中，初始医学图像分割模型可以是结合特定工具的图像分割算法模型。例如，结合特定工具的图像分割算法可以包括但不限于遗传算法、小波分析、小波变换、主动轮廓模型等中的一种或多种的组合。

在一些实施例中，初始医学图像分割模型是神经网络模型。例如，初始医学图像分割模型可以包括但不限于全卷积网络(Fully Convolutional Networks，FCN)模型、视觉几何组网络(Visual Geometry Group，VGG Net)模型、高效神经网络(Efficient NeuralNetwork，ENet)模型、全分辨率残差网络(Full-Resolution Residual Networks，FRRN)模型、掩码区域卷积神经网络(Mask Region-based Convolutional Neural Network，MaskR-CNN)模型、多维循环神经网络(Multi-Dimensional Recurrent Neural Networks，MDRNNs)模型等中的一种或多种的组合。

初始医学图像分割模型获取第一图像的详细描述参见图6，在此不再赘述。

进一步地，处理器将第一图像分割模型发送给显示装置。

步骤420，从显示装置接收对第一图像的人工修改轨迹。

具体地，步骤420可以由人工修改轨迹接收模块220执行。

如前所述，初始医学图像分割模型在第一图像中初步勾画出了目标对象区域和背景区域之间和/或不同目标对象区域之间的边界。可以理解，初始医学图像分割模型对第一图像的勾画中可能存在错误。例如，将目标对象区域勾画到背景区域。又例如，将背景区域勾画到目标对象区域。再例如，将A目标对象区域勾画到B目标对象区域。

修改是指用户对第一图像中目标对象区域和背景区域之间和/或不同目标对象区域之间的边界的勾画错误进行纠正。可以理解，第一图像中目标对象区域和背景区域之间和/或不同目标对象区域之间的边界的勾画错误可能有多处，修改可以是其中的一处或多处。

人工修改轨迹即用户修改的过程。在一些实施例中，对第一图像的人工修改轨迹包括修改在第一图像上的位置坐标、修改的类型和修改的时间。

关于人工修改轨迹的详细描述参见步骤520，在此不再赘述。

在一些实施例中，处理器可以通过网络从显示装置接收用户对第一图像的人工修改轨迹。

步骤430，将第一图像和人工修改轨迹作为训练样本，将第一图像对应的标准医学分割图像作为标签，训练初始医学图像分割模型，得到目标医学图像分割模型。

可以理解，用户的修改过程中可能包括误操作和撤销操作，对应的人工修改轨迹中会包含错误信息或不必要的信息。

在一些实施例中，可以将包含误操作和撤销操作的人工修改轨迹作为训练样本。

在一些实施例中，也可以将删除误操作和撤销操作后的人工修改轨迹作为训练样本。在一些实施例中，可以先由用户删除视频数据中包含误操作和撤销操作的第一图像帧，从而删除对应修改时间的人工修改轨迹。在一些实施例中，还可以由系统从人工修改轨迹中自动筛选并删除误操作和撤销操作对应的人工修改轨迹。具体地，步骤430可以由训练模块330执行，包括：

步骤432，将第一图像和人工修改轨迹输入初始医学图像分割模型，输出第二图像。

第二图像是初始医学图像分割模型基于用户的修改，对第一图像进行分割处理后得到的医学图像。第二图像的类型和格式可以参见待分割医学图像，在此不再赘述。

将第一图像和人工修改轨迹输入初始医学图像分割模型，输出第二图像的详细描述参见图6，在此不再赘述。

步骤434，基于第一图像的每个图像块对应的概率和标准医学分割图像的每个图像块的类别，得到损失函数。

第一图像的图像块是第一图像的一部分。第一图像的图像块的获取方式可以参见步骤610，在此不再赘述。

在一些实施例中，第一图像的每个图像块对应的概率可以是第一图像的每个图像块属于分割部分的概率，即属于目标对象区域的概率。可以理解，训练模块可以通过判断每个图像块属于分割部分的概率，从而将第一图像中的目标对象区域和背景区域区分出来，进而得到第二图像。其中，第一图像的每个图像块对应的概率的获取方式可以参见图6，在此不再赘述。

标准医学分割图像是对第一图像进行分割处理后，得到的符合分割标准的医学图像。在一些实施例中，标准医学分割图像可以通过人工分割获取，也可以通过读取存储设备的数据、调用相关接口或其他方式获取。

在一些实施例中，标准医学分割图像的每个图像块的类别可以表征标准医学分割图像的每个图像块是否属于分割部分，包括“目标对象区域”和“背景区域”两个类别。在一些实施例中，可以将属于分割部分(即“目标对象区域”类别)的标准医学分割图像的图像块视为属于分割部分的概率为1；相应地，不属于分割部分(即“背景区域”类别)的标准医学分割图像的图像块视为属于分割部分的概率为0。

如前所述，目标对象可以包括不同组织。因此，在一些实施例中，第一图像的每个图像块对应的概率还可以是第一图像的每个图像块属于不同分割部分和背景部分的概率，即分别属于不同目标对象区域和背景区域的概率。可以理解，训练模块可以通过判断每个图像块属于每个分割部分和背景部分的概率，从而将第一图像中的不同目标对象区域和背景区域区分出来，进而得到第二图像。其中，第一图像的每个图像块对应的概率的获取方式可以参见图6，在此不再赘述。

在一些实施例中，标准医学分割图像的每个图像块的类别还可以表征标准医学分割图像的每个图像块属于的分割部分或背景部分。在一些实施例中，可以将该图像块属于的分割部分(如“A目标对象区域”类别)的标准医学分割图像的图像块视为属于该分割部分的概率为1；相应地，不属于该分割部分(如“B目标对象区域”类别和“背景区域”类别)的标准医学分割图像的图像块视为属于分割部分的概率为0。

可以理解，标准医学分割图像的每个图像块与第一图像的每个图像块相对应。因此，训练模块可以基于标准医学分割图像的每个图像块属于分割部分的概率与对应的第一图像的每个图像块属于分割部分的概率，或者每个图像块属于不同分割部分和背景部分的概率与对应的第一图像的每个图像块属于不同分割部分和背景部分的概率构建损失函数。

在一些实施例中，损失函数可以包括但不限于平方损失函数、绝对值损失函数、对数损失函数和交叉熵损失函数中的一种或多种的组合。

步骤436，基于损失函数，更新初始医学图像分割模型的参数。

在一些实施例中，训练模块可以通过常用的方法进行训练，从而更新初始医学图像分割模型的参数。例如，训练模块可以基于梯度下降法、牛顿法等进行训练。

在一些实施例中，当训练的模型满足训练条件时，训练结束。其中，训练条件可以是损失函数收敛、损失函数小于阈值，或者损失函数的迭代的次数大于阈值等。

步骤438，将第二图像作为第一图像，重复执行接收对第一图像的人工修改轨迹，至更新初始医学图像分割模型的参数的步骤，直到满足预设条件，得到目标医学图像分割模型。

目标医学图像分割模型是指模型参数完成更新后的医学图像分割模型。

可以理解，获取的第二图像中可能仍然存在目标对象区域和背景区域之间的边界的勾画错误。因此，可以将第二图像作为第一图像，重复执行步骤410至430，迭代更新初始医学图像分割模型的参数，直到满足预设条件。

在一些实施例中，预设条件可以是第二图像满足分割标准或者迭代次数大于阈值等。

图5是根据本说明书的一些实施例所示的应用于显示装置的医学图像分割模型训练方法的示例性流程图。如图5所示，该方法500可以包括：

步骤510，显示第一图像。

具体地，步骤510可以由显示模块310执行。

如前所述，第一图像是对待分割医学图像进行第一次分割处理后得到的医学图像。具体地，第一图像是初始医学图像分割模型基于待分割医学图像获取的。关于获取第一图像的详细描述参见步骤410，在此不再赘述。

在一些实施例中，显示装置可以通过网络从处理器接收第一图像。

进一步地，显示装置获取第一图像后，可以在显示装置上显示第一图像。

在一些实施例中，显示装置可以接收用户输入的缩放指令，并基于缩放指令中的缩放倍率，在屏幕上显示缩小或放大后的第一图像。

在一些实施例中，显示装置还可以接收用户输入的裁剪指令，并基于裁剪指令，在屏幕上显示裁剪后的第一图像。

在一些实施例中，显示装置还可以接收用户输入的移动指令，并基于移动指令，在屏幕上显示进行位置移动后的第一图像。

显示装置还可以基于接收的其他用户指令，在屏幕上显示第一图像，本申请实施例不做限制。

步骤520，获取对第一图像的人工修改轨迹。

具体地，步骤520可以由人工修改轨迹获取模块312执行。

如前所述，人工修改轨迹即用户修改的过程。其中，关于修改的详细描述可以参见步骤420，在此不再赘述。

在一些实施例中，对第一图像的人工修改轨迹包括修改在第一图像上的位置坐标、修改的类型和修改的时间。

其中，修改在第一图像上的位置坐标是用户在第一图像上纠正的错误区域对应的像素点的位置坐标。其中，第一图像上的位置坐标对应的位置坐标系的原点可以是预先设置的第一图像中的某一点。例如，第一图像的中心点。

修改的类型是指用户修改的方式。在一些实施例中，修改的类型可以包括但不限于标注(如框选、点选)勾画错误的区域、擦除错误勾画的边界、勾画正确的边界等中的一种或多种的组合。其中，标注勾画错误的区域是指用户可以标注被勾画到背景区域的目标对象区域，或者标注被勾画到目标对象区域的背景区域。擦除错误勾画的边界和勾画正确的边界是用户直接对勾画的边界进行纠正。

修改时间是指用户每次修改的起始时间和/或终止时间。

在一些实施例中，第一图像的人工修改轨迹可以通过录制获取。

在一些实施例中，人工修改轨迹获取模块312可以对显示装置进行录屏操作以得到用户在显示装置上对第一图像的人工修改轨迹。具体地，人工修改轨迹获取模块312可以录制用户对第一图像进行修改的屏幕，生成屏幕的视频数据；当检测到对屏幕的触控操作时，确定触控操作对应的修改信息；基于视频数据和修改信息，获取对应的人工修改轨迹。

视频数据是以电信号方式记录的动态影像，由多幅时间上连续的静态图像组成。其中，每幅静态图像为视频数据的一帧。可以理解，屏幕的视频数据即多幅时间上连续的第一图像。在一些实施例中，用户对第一图像进行修改的视频数据可以包括在多幅时间上连续的第一图像中修改在第一图像上的位置坐标、修改的类型和修改时间。

在一些实施例中，视频数据的格式可以是但不限于：高密度数字视频光盘(Digital Video Disc，DVD)、流媒体格式(Flash Video，FLV)、动态图象专家组(MPEG，Motion Picture Experts Group)、音频视频交错(Audio Video Interleaved，AVI)、家用录像系统(Video Home System，VHS)和视频容器文件格式(Real Media file format，RM)等中的一种或多种组合。

在一些实施例中，可以在用户对第一图像进行修改的全过程中，通过录屏软件录制显示装置的屏幕，从而生成屏幕的视频数据。

在一些实施例中，也可以仅在检测到对屏幕的触控操作时，通过录屏软件录制显示装置的屏幕，从而生成屏幕的视频数据。

同时地，当显示装置检测到对屏幕的触控操作时，可以确定触控操作对应的修改信息。

其中，对屏幕的触控操作是用户在对第一图像修改过程中触发显示装置屏幕的操作。可以理解，用户对第一图像的修改是通过对屏幕的多次触控操作实现的。

触控操作对应的修改信息是触控操作触发的、与人工修改轨迹相关的信息。可以理解，触控操作可以和全部或部分的视频数据相对应。在一些实施例中，与视频数据中修改在第一图像上的位置坐标、修改的类型和修改时间相对应地，触控操作对应的修改信息可以包括触控位置的坐标、触控类型和触控时间。

其中，触控位置的坐标即用户触发显示装置屏幕的位置坐标。其中，屏幕的位置坐标对应的位置坐标系的原点可以是预先设置的屏幕中的某一点。例如，屏幕的中心点。

触控位置的坐标与修改在第一图像上的位置坐标具有对应关系。可以理解，显示装置屏幕上显示的第一图像可能是放大或缩小后的图像，或者裁剪后的图像，或者进行位置移动后的图像。在一些实施例中，可以通过屏幕和第一图像的缩放比、屏幕位置坐标系原点和第一图像位置坐标系原点的关系，基于用户对屏幕的触控位置的坐标获取用户的修改在第一图像上的位置坐标。

例如，显示装置屏幕将第一图像的长和宽均缩小了2倍，屏幕位置坐标系原点和第一图像位置坐标系原点重合，用户对屏幕的第一个触控位置的坐标为(20，30)，则对应的用户修改起始位置在第一图像上的位置坐标为(40，60)。

触控类型是指用户触控屏幕的方式。在一些实施例中，触控类型可以包括但不限于点击操作、长按操作、拖拽操作、连击操作等中的一种或者多种的组合。

触控类型是与修改的类型相关的信息。可以理解，基于一个或多个触控类型可以判断修改的类型。例如，基于用户对屏幕的长按操作和拖拽操作，可以判断对应的用户对第一图像修改的类型为框选。

触控时间指用户触控屏幕的起始时间和/或终止时间。

触控时间是与修改时间相关的信息。可以理解，基于视频数据中同一时间轴上的触控时间和修改时间，可以将用户对屏幕的触控位置的坐标、触控类型和用户对第一图像的修改在第一图像上的位置坐标、修改的类型分别实现对应，从而基于视频数据和修改信息，获取对应的人工修改轨迹。

如图5所示，显示装置的屏幕将第一图像的长和宽均放大了2倍，屏幕位置坐标系原点和第一图像位置坐标系原点重合，在视频数据(以每秒为4幅第一图像的视频数据为例)的第30秒到第31秒(即视频数据第120帧到第124帧第一图像)，用户对屏幕的触控位置的坐标分别为(1,1)、(2,2)、(3,3)和(4,4)，触控类型为拖拽；可以获取在视频数据的第30秒到第31秒，人工修改轨迹为在第一图像框选了对角坐标为(0.5,0.5)和(2,2)的区域。

在一些实施例中，用户对第一图像的人工修改轨迹还可以通过外置摄像头、鼠标追踪软件等其他方式获取，本实施例不做限制。

在一些实施例中，显示装置可以通过网络将用户对第一图像的人工修改轨迹发送给处理器，以便处理器基于用户对第一图像的人工修改轨迹训练医学图像分割模型。关于处理器基于用户对第一图像的人工修改轨迹训练医学图像分割模型的相关描述可以参见步骤430，在此不再赘述。

在一些实施例中，处理器和显示装置可以位于同一设备中，该设备可以执行图3和图4的方法，该方法可以包括：将待分割医学图像输入初始医学图像分割模型，获取第一图像，详细描述可以参见步骤410，在此不再赘述；在屏幕上向用户显示第一图像，详细描述可以参见步骤510，在此不再赘述；获取用户对第一图像的人工修改轨迹，详细描述可以参见步骤520，在此不再赘述；将第一图像和人工修改轨迹作为训练样本，将第一图像对应的标准医学分割图像作为标签，训练初始医学图像分割模型，得到目标医学图像分割模型，详细描述可以参见步骤430，在此不再赘述。

图6是根据本说明书的一些实施例所示的初始医学图像分割模型输出第二图像的示例性流程图。

具体地，图6可以由训练模块执行。

如前所述，初始医学图像分割模型可以是传统分割算法模型、结合特定工具的图像分割算法模型和神经网络模型。

示例地，初始医学图像分割模型是神经网络模型。初始医学图像分割模型可以包括多层，每层由多个神经元组成，每个神经元对数据做矩阵变换。矩阵所使用的参数通过训练获得。神经元的输出数据可以经过激活函数处理，然后进入下一层。激活函数可以使用常见的ReLU，Sigmoid等，也可以使用Dropout的方法进行激活处理。

如图6所示，该初始医学图像分割模型600可以包括：

步骤610，图像块分割层，用于将第一图像分割为多个图像块。

在一些实施例中，图像块分割层的输入可以是第一图像，输出可以是第一图像的多个图像块。

如前所述，第一图像是对待分割医学图像进行第一次分割处理后得到的医学图像。第一图像的图像块是第一图像的一部分。可以理解，训练模块可以基于通过判断每个图像块是属于目标对象区域或背景区域，从而将第一图像中的目标对象区域和背景区域区分出来，进而得到第二图像。

具体地，图像块分割层可以通过多尺度(multi-scale)的滑动窗口(Sliding-window)、选择性搜索(Selective Search)、神经网络或其他方法从第一图像中分割出多个图像块。

例如，第一图像是200×200像素的静态图像，通过10×10像素的滑动窗口，以步长1滑动，可以从第一图像中分割出190×190个图像块。其中，图像块分割层的滑动窗口的尺度、步长和/或分割数量可以是预先设定的参数。

在一些实施例中，图像块分割层的输入还可以是待分割医学图像，输出可以是待分割医学图像的多个图像块。其中，待分割医学图像的相关描述可以参见步骤210，在此不再赘述。

步骤620，图像块特征提取层，用于提取多个图像块的图像特征。

在一些实施例中，图像块特征提取层的输入可以是多个图像块，输出可以是多个图像块的图像特征。

其中，图像块的图像特征是指图像块的特征向量。在一些实施例中，图像特征包括但不限于：哈尔(Harr)特征、方向梯度直方图(Histogram of Oriented Gradients，HOG)特征、局部二值模型(Local Binary Patterns，LBP)特征、小边(Edgelet)特征、颜色相似度(Color-Self Similarity，CSS)特征、积分通道(Integral Channel Feature)特征和中心变换直方图(Census Transform Histogram，CENTRIST)特征等。

图像块特征提取层可以获取每个图像块的特征向量。具体地，图像块特征提取层可以先获取的每个图像块的多个图像特征，再将多个图像特征进行融合，得到每个图像块的特征向量。

在一些实施例中，图像块特征提取层可以是卷积神经网络(ConvolutionalNeural Networks，CNN)模型、循环神经网络(Recurrent Neural Network，RNN)模型和长短期记忆网络(Long Short Term Memory Network，LSTM)模型中的一种或多种的组合。

步骤630，修改特征提取层，用于基于人工修改轨迹，提取多个图像块的修改特征。

在一些实施例中，修改特征提取层的输入可以是人工修改轨迹和多个图像块，输出可以是多个图像块的修改特征。

如前所述，人工修改轨迹是用户修改的过程。可以理解，用户并未对第一图像中所有区域进行修改，即并非所有第一图像的图像块都包含人工修改轨迹。此外，当初始医学图像分割模型的输入为待分割医学图像，不包含人工修改轨迹时，待分割医学图像的图像块均不包含人工修改轨迹。

在一些实施例中，修改特征提取层可以先基于修改在第一图像上的位置坐标获取包含人工修改轨迹的图像块，再提取包含人工修改轨迹的每个图像块修改特征。

修改特征是图像块上人工修改轨迹对应的向量。在一些实施例中，修改特征的每个元素可以与人工修改轨迹包含的位置坐标、修改的类型和修改的时间相对应。例如，图像块a上包含前述修改：在视频数据的第30秒到31秒，框选(用1表示修改类型“框选”)对角坐标为(0.5,0.5)和(2,2)的区域，则修改特征可以表示为(30，31，1，0.5，0.5，2，2)。

在一些实施例中，修改特征提取层可以是卷积神经网络(Convolutional NeuralNetworks，CNN)模型、循环神经网络(Recurrent Neural Network，RNN)模型和长短期记忆网络(Long Short Term Memory Network，LSTM)模型中的一种或多种的组合。

步骤640，映射层，用于将多个图像块的图像特征和修改特征映射为对应的多个概率。

在一些实施例中，映射层的输入可以是多个图像块的图像特征和修改特征，输出可以是多个图像块对应的多个概率。

如前所述，在一些实施例中，多个图像块中的每个图像块对应的概率是每个图像块属于分割部分的概率，即属于目标对象区域的概率；还可以是每个图像块属于不同分割部分和背景部分的概率，即属于不同目标对象区域和背景区域的概率。

具体地，映射层可以将每个图像块的图像特征和修改特征融合为一个向量，再将该向量映射为一个或多个概率。

在一些实施例中，映射层可以包括但不限于支持向量机、sigmoid函数、朴素贝叶斯分类模型、决策树模型、随机森林模型等中的一种或多种的组合。

步骤650，输出层，用于基于多个图像块对应的多个概率，输出第二图像。

在一些实施例中，输出层的输入可以是第一图像的多个图像块对应的多个概率，输出可以是第二图像。

具体地，输出层可以比较每个图像块对应的一个概率和阈值，判断每个图像块属于目标对象区域还是背景区域。例如，图像块a对应的概率为0.8，阈值为0.5，则图像块a属于目标对象区域。

在一些实施例中，输出层还可以基于每个图像块对应的多个概率中的最大值，判断每个图像块属于哪一个目标对象区域或者背景区域。例如，图像块b对应分别属于A目标对象区域、B目标对象区域和背景区域的3个概率为(0.6,0.8,0.4)，则图像块b属于B目标对象区域。

进一步地，输出层可以将第一图像中属于不同目标对象区域和背景区域的图像块区分出来，作为第二图像输出。在一些实施例中，输出层可以将第一图像中属于不同目标对象区域和背景区域的图像块的边界勾画出来，获取第二图像。

在一些实施例中，输出层的输入还可以是待分割医学图像的多个图像块对应的多个概率，输出可以是第一图像。

本说明书实施例可能带来的有益效果包括但不限于：(1)将人工修改轨迹作为训练数据，使训练得到的目标图像分割模型可以学习用户在修改过程中的修改意图，从而提高目标图像分割模型的分割准确度和灵活性；(2)基于用户修改，多次迭代训练得到的目标图像分割模型可以适应不同用户的图像分割习惯，使模型具有较好的适应性；(3)通过录屏获取人工修改轨迹，使得修改过程直观化，便于后续处理人工修改轨迹中的错误信息和不必要信息。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。