图像分割方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像分割方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

在医学图像处理领域，针对医学图像的分割一般是通过训练样本训练一个图像分割模型，通过图像分割模型进行医学图像的智能识别。传统的图像分割模型的训练方法中，一般是采用有标签的监督训练，然而，医学图像的标注较难获得，使得存在标注的医学图像较少。

目前虽然有一些利用影像报告作为医学图像的标签，以增加训练样本的方法。但该方法要求相应的影像报告必须能够准确的描述对应的医学图像。而在临床上，很多检测对象存在多次扫描，随访跟踪检查的情况，这种情况下，医护人员在对应的报告中往往只描述检测目标对比上次扫描的变化，例如，炎症消失、病灶增大/减小等。因此，若采用这种报告与医学图像进行配对的模型训练，会造成训练的图像分割模型无法准确地理解图像和报告，从而影响分割结果的准确性。

发明内容

基于此，有必要针对上述图像分割方法的分割结果的准确性较低的技术问题，提供一种图像分割方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种图像分割方法。所述方法包括：

获取医学图像序列；

提取所述医学图像序列的时序图像特征；

根据所述时序图像特征，分割所述医学图像序列中的任一个医学图像，得到任一个医学图像中的感兴趣区域。

在其中一个实施例中，所述提取所述医学图像序列的时序图像特征，包括：

提取所述医学图像序列中的各个医学图像的图像特征；

根据所述各个医学图像的图像特征，确定所述医学图像序列的时序图像特征。

在其中一个实施例中，通过图像分割模型执行所述图像分割方法，所述图像分割模型通过下述方式训练得到：

获取样本对象的样本医学图像序列，以及与所述样本医学图像序列中的目标样本医学图像对应的影像报告；所述样本医学图像序列中包括多个样本医学图像，所述目标样本医学图像为所述样本医学图像序列中采集时间最晚的医学图像；

通过所述样本医学图像序列和所述影像报告，对图像分割模型进行训练，得到训练好的图像分割模型。

在其中一个实施例中，所述通过所述样本医学图像序列和所述影像报告，对图像分割模型进行训练，得到训练好的图像分割模型，包括：

通过所述样本医学图像序列和所述影像报告，对所述图像分割模型中的特征提取模块进行训练，得到训练好的特征提取模块；

保持所述训练好的特征提取模块的模型参数不变，通过有标签数据集对所述图像分割模型中的分割模块进行训练，得到训练好的分割模块；所述有标签数据集中包括样本医学图像和所述样本医学图像的真实感兴趣区域；

基于所述训练好的特征提取模块和所述训练好的分割模块，得到训练好的图像分割模型。

在其中一个实施例中，所述通过所述样本医学图像序列和所述影像报告，对所述图像分割模型中的特征提取模块进行训练，得到训练好的特征提取模块，包括：

通过所述影像报告，对文本编码器进行训练，得到预训练的文本编码器；

通过所述样本医学图像序列、所述影像报告和所述预训练的文本编码器，对所述特征提取模块进行训练，得到训练好的特征提取模块。

在其中一个实施例中，所述通过所述影像报告，对文本编码器进行训练，得到预训练的文本编码器，包括：

对所述影像报告进行随机掩码处理，得到掩码报告；

以所述掩码报告为输入变量，以所述影像报告为监督信息，结合预设的文本解码器，对所述文本编码器进行训练，得到预训练的文本编码器；

其中，所述文本解码器的输入为所述文本编码器的输出。

在其中一个实施例中，所述通过所述样本医学图像序列、所述影像报告和所述预训练的文本编码器，对所述特征提取模块进行训练，得到训练好的特征提取模块，包括：

通过所述特征提取模块，提取所述样本医学图像序列的样本时序图像特征；

通过所述预训练的文本编码器，提取所述影像报告的文本特征；

基于所述样本时序图像特征和所述文本特征，对所述特征提取模块和所述预训练的文本编码器进行联合训练，得到训练好的特征提取模块。

在其中一个实施例中，所述样本医学图像序列有多个，对应地，样本时序图像特征和文本特征也有多个；

基于所述样本时序图像特征和所述文本特征，对所述特征提取模块和所述预训练的文本编码器进行联合训练，得到训练好的特征提取模块，包括：

基于多个样本时序图像特征和多个文本特征，得到多个特征对；所述特征对中包括正样本特征对和负样本特征对；

获取各个特征对中的样本时序图像特征和文本特征之间的损失；

以减小正样本特征对的损失，增大负样本特征对的损失为条件，对所述特征提取模块和所述预训练的文本编码器进行联合训练，得到训练好的特征提取模块。

第二方面，本申请还提供了一种图像分割装置。所述装置包括：

获取单元，用于获取医学图像序列；

提取单元，用于提取所述医学图像序列的时序图像特征；

分割单元，用于根据所述时序图像特征，分割所述医学图像序列中的任一个医学图像，得到任一个医学图像中的感兴趣区域。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述方法的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述方法的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上任一项所述方法的步骤。上述图像分割方法、装置、计算机设备、存储介质和计算机程序产品，在获取医学图像序列后，先提取医学图像序列的时序图像特征，基于时序图像特征分割医学图像序列中的任一个医学图像，得到任一个医学图像的感兴趣区域。该方法在对待检测对象的任一个医学图像进行分割时，先构建一个包含该医学图像的医学图像序列，通过提取医学图像序列的时序图像特征，基于该时序图像特征对该医学图像进行分割，即本方案进行图像分割的依据考虑到了待检测对象的时序变化，相对于只提取待分割的医学图像的图像特征进行图像分割，能够提高分割结果的准确性。

附图说明

图1为一个实施例中图像分割方法的应用环境图；

图2为一个实施例中图像分割模型的结构示意图；

图3为一个实施例中图像分割模型的训练过程的流程示意图；

图4为一个实施例中图像分割模型的训练原理的示意图；

图5为另一个实施例中图像分割模型的训练步骤的流程示意图；

图6为一个实施例中图像分割装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种图像分割方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：

步骤S110，获取医学图像序列。

其中，医学图像序列中的每个医学图像具有对应的采集时间。医学图像序列中的各个医学图像可能相同，也可能不相同。

其中，医学图像为包含待检测对象的图像，医学图像可以为二维图像、三维图像等。

其中，医学图像序列中的各个医学图像可以为同一个待检测对象的医学图像，也可以为同一类对象，但不属于同一个待检测对象的医学图像。例如，待检测对象为乳腺，医学图像序列可以为同一个用户的乳腺的医学图像，也可能为不同用户的乳腺的医学图像。

具体实现中，在针对待检测对象进行异常分割时，可以获取本次采集的待检测对象的医学图像，作为目标医学图像。若还存在针对待检测对象历史采集的医学图像，则将历史采集的医学图像和本次采集的医学图像，构成医学图像序列，此时，医学图像序列中的各个医学图像不相同。若不存在针对待检测对象历史采集的医学图像，例如，是初次采集待检测对象的医学图像，或者针对待检测对象历史采集的医学图像被损毁或丢失，则只将本次采集的医学图像重复多次，构成医学图像序列，此时，医学图像序列中的各个医学图像相同。

需要说明，本次采集的待检测对象的医学图像，可以通过医学扫描设备对待检测对象进行扫描得到，也可以是从如数据库或服务器等存储设备中获取预先存储的医学图像。而历史采集的医学图像可以从如数据库或服务器等存储设备中获取，当然还可以是其他的方法获取，本申请对此不作具体限定。

在得到医学图像序列后，可进一步对各个医学图像的边界区域进行裁剪，以去除多余的如黑边或扫描台等的区域。其中，分割算法可以采用阈值法、随机游走法等，本申请对此不作具体限定。之后对进行裁剪过的医学图像进行图像分割。

步骤S120，提取医学图像序列的时序图像特征。

其中，时序图像特征表示在一系列连续的医学图像中提取出来的特征，用于描述图像随时间变化的特性。提取出的特征可以包括医学图像中感兴趣区域的变化，通过时序图像特征的提取和分析，可以帮助理解医学图像序列中的动态变化信息。

具体实现中，医学图像序列表示将各个医学图像按照采集时间从早到晚的顺序进行排序得到的时间序列。在提取医学图像序列的时序图像特征时，可通过图像分割模型进行提取，具体可通过图像分割模型中的特征提取模块，提取医学图像序列的时序图像特征。

可以理解，当医学图像序列中只包括一个医学图像时，提取的时序图像特征为多个相同医学图像的时序图像特征。

步骤S130，根据时序图像特征，分割医学图像序列中的任一个医学图像，得到任一个医学图像中的感兴趣区域。

其中，感兴趣区域可以为病灶区域。

具体实现中，时序图像特征是根据医学图像序列中的各个医学图像得到的，在进行分割时，可对医学图像序列中的任一个医学图像进行分割。更具体地，可通过图像分割模型，对医学图像序列中的任一个医学图像进行分割，具体为通过图像分割模型中的分割模块，根据时序图像特征，分割医学图像序列中的任一个医学图像，得到任一个医学图像中的感兴趣区域。

实际应用中，分割模块可以采用图像解码器，将时序图像特征输入图像解码器，由图像解码器根据时序图像特征，对医学图像序列中的任一个医学图像进行分割，得到任一个医学图像中的感兴趣区域。

上述图像分割方法中，在获取医学图像序列后，先提取医学图像序列的时序图像特征，基于时序图像特征分割医学图像序列中的任一个医学图像，得到任一个医学图像的感兴趣区域。该方法在对待检测对象的任一个医学图像进行分割时，先构建一个包含该医学图像的医学图像序列，通过提取医学图像序列的时序图像特征，基于该时序图像特征对该医学图像进行分割，即本方案进行图像分割的依据考虑到了待检测对象的时序变化，相对于只提取待分割的医学图像的图像特征进行图像分割，能够提高分割结果的准确性。

在一示例性实施例中，步骤S120中提取医学图像序列的时序图像特征，包括：提取医学图像序列中的各个医学图像的图像特征；根据各个医学图像的图像特征，确定医学图像序列的时序图像特征。

具体实现中，用于提取医学图像序列的时序图像特征的特征提取模块可包括图像编码器和时序特征编码模块。提取医学图像序列的时序图像特征时，可将各个医学图像输入图像编码器，由图像编码器进行编码处理，得到各个医学图像的图像特征。之后，将各个医学图像的图像特征输入时序特征编码模块，由时序特征编码模块进行编码处理，得到医学图像序列的时序图像特征。其中，图像编码器可以采用如卷积神经网络的结构。且图像编码器的数量可以有一个，也可以有多个，且当图像编码器的数量有多个时，每个图像编码器的参数相同。通过图像编码器提取各个医学图像的图像特征时，若图像编码器的数量有多个，可以将医学图像序列中的各个医学图像分别输入各个图像编码器。由各个图像编码器分别对各个医学图像进行编码处理，即一个图像编码器处理一个医学图像，得到各个医学图像的图像特征。若图像编码器的数量只有一个，则将各个医学图像依次输入同一个图像编码器，即一个图像编码器处理多个医学图像，以提取各个医学图像的图像特征。

更具体地，根据各个医学图像的图像特征，确定医学图像序列的时序图像特征时，可先对各个医学图像的图像特征进行时序编码处理，得到各个医学图像的时序编码特征。其中，采用的时序编码方法可以为如正弦函数位置编码的编码方法。进一步对对各个医学图像的时序编码特征进行拼接，基于拼接后的特征，得到医学图像序列的时序图像特征。其中，将各个医学图像的时序编码特征进行拼接仍然为按照各个医学图像的采集时间进行拼接，具体为按照采集时间从早到晚的顺序，对各个医学图像的时序编码特征进行拼接。

另外，在进行特征拼接前，可先将各个医学图像的时序编码特征展开为一维特征后，再进行拼接，以使各个医学图像的时序编码特征的维度一致。

本实施例中，在确定医学图像序列的时序图像特征时，先提取各个医学图像的图像特征，然后通过各个图像特征，得到医学图像序列的时序图像特征，可以提高医学图像序列的时序图像特征的表达能力，从而更准确地描述医学图像序列的特征，从而可以提高后续基于该时序图像特征进行分割的准确性。

在一个实施例中，为了便于本领域技术人员理解上述图像分割方法，以下将以乳腺为待检测对象，结合附图的具体示例进行说明。

参考图2，示出了一种图像分割模型的结构示意图，包括有多个图像编码器、一个时序编码器、一个特征拼接模块、一个特征编码器和一个图像解码器。其中，特征编码器的结构可以采用transformer结构，或者LSTM（Long short-term memory长短期记忆网络）结构，以提高针对不同时间点的医学图像的特征提取能力。基于图2所示的图像分割模型进行图像分割的具体过程如下：

（1）将待检测乳腺的乳腺图像序列（I

（2）将各个乳腺图像的图像特征输入时序编码器，得到各个乳腺图像的时序编码特征。

（3）对各个乳腺图像的时序编码特征进行维度统一化处理后，按照采集时间的先后顺序进行拼接，得到拼接后的特征。

（4）将拼接后的特征输入特征编码器，得到乳腺图像序列的时序图像特征。

（5）将乳腺图像序列的时序图像特征输入图像解码器，得到待检测乳腺的目标乳腺图像的感兴趣区域。

本实施例中，通过在对待检测乳腺本次采集的目标乳腺图像进行分割时，先构建一个包含目标乳腺图像的乳腺图像序列，通过图像分割模型提取乳腺图像序列的时序图像特征，基于该时序图像特征对目标乳腺图像进行分割，即本方案进行图像分割的依据考虑到了待检测乳腺的时序变化，相对于只提取目标乳腺图像的图像特征进行图像分割，能够提高分割结果的准确性。

在一示例性实施例中，上述图像分割方可以通过图像分割模型执行，如图3所示，图像分割模型的训练包括以下步骤：

步骤S310，获取样本对象的样本医学图像序列，以及与样本医学图像序列中的目标样本医学图像对应的影像报告；样本医学图像序列中包括多个样本医学图像，目标样本医学图像为样本医学图像序列中采集时间最晚的医学图像。

其中，样本对象与待检测对象相同，属于同一类对象，例如，都为乳腺。

具体实现中，可获取不同用户历史在检查待检测对象时所采集的各个医学图像以及最后一次采集的医学图像对应的影像报告。将每个用户历史所采集的各个医学图像，构成历史医学图像序列，由不同用户的历史医学图像序列，可得到多个样本医学图像序列。将每个用户最后一次采集的医学图像作为目标样本医学图像，将最后一次采集的医学图像对应的影像报告，对应作为各用户的样本医学图像序列中的目标样本医学图像对应的影像报告。

步骤S320，通过样本医学图像序列和影像报告，对图像分割模型进行训练，得到训练好的图像分割模型。

其中，图像分割模型包括特征提取模块和分割模块。其中，特征提取模块包括图像编码器和时序特征编码模块。其中，图像编码器、时序特征编码模块和分割模块顺次连接，即图像编码器的输出为时序特征编码模块的输入，时序特征编码模块的输出为分割模块的输入。

其中，特征提取模块用于提取医学图像序列的时序图像特征。具体地，可通过图像编码器提取医学图像的图像特征，将图像特征输入时序特征编码模块，得到医学图像序列的时序图像特征。

其中，分割模块用于基于时序图像特征，对医学图像序列中的目标医学图像进行分割，以得到分割掩模。

具体地，可通过影像报告，对文本编码器进行训练，得到预训练的文本编码器；通过样本医学图像序列、影像报告和预训练的文本编码器，对图像分割模型进行训练，得到训练好的图像分割模型。

本实施例中，通过包含待分割的目标医学图像的医学图像序列进行图像分割模型的训练，使得训练的图像分割模型能够提取到所检测对象的时序变化，根据该时序变化进行图像分割，从而可以提高训练的图像分割模型的分割结果的准确性。

在一示例性实施例中，上述步骤S320中，通过样本医学图像序列和影像报告，对图像分割模型进行训练，得到训练好的图像分割模型，具体包括：

步骤S321，通过样本医学图像序列和影像报告，对图像分割模型中的特征提取模块进行训练，得到训练好的特征提取模块；

步骤S322，保持训练好的特征提取模块的模型参数不变，通过有标签数据集对图像分割模型中的分割模块进行训练，得到训练好的分割模块；有标签数据集中包括样本医学图像和样本医学图像的真实感兴趣区域；

步骤S323，基于训练好的特征提取模块和训练好的分割模块，得到训练好的图像分割模型。

具体地，图像分割模型中的特征提取模块用于提取医学图像序列的时序图像特征，分割模块用于进行图像分割。分割模块在下游任务才可用到，因此，在对图像分割模型进行训练时，可将训练过程分为两个阶段，第一阶段先训练特征提取模块，第二阶段训练分割模块。最后将训练好的特征提取模块和训练好的分割模块，组成训练好的图像分割模型。

更具体地，第一阶段可通过样本医学图像序列和影像报告，对图像分割模型中的特征提取模块进行训练，得到训练好的特征提取模块。之后通过有标签数据集对图像分割模型中的分割模块进行训练，得到训练好的分割模块。并且，在进行第二阶段的训练时，可先保持第一阶段训练的特征提取模块的模型参数不变，来训练分割模块。

在一种实施方式中，可将有标签数据集分为两部分，一部分用于第二阶段的训练，另一部分用于图像分割模型的微调。具体而言，通过一部分有标签数据完成第二阶段的训练后，可解冻特征提取模块的部分模型参数，通过另一部分的有标签数据集，对特征提取模块以及分割模块进行联合训练，得到训练好的特征提取模块和训练好的分割模块，组成训练好的图像分割模型。

本实施例中，通过对图像分割模型中的特征提取模块和分割模块分两个阶段进行训练，可以简化训练过程，使每个阶段可以专注于自己的任务，减少模型的复杂性和计算量，提高模型的泛化能力。

在一示例性实施例中，上述步骤S321中，通过样本医学图像序列和影像报告，对图像分割模型中的特征提取模块进行训练，得到训练好的特征提取模块，包括：

步骤S321a，通过影像报告，对文本编码器进行训练，得到预训练的文本编码器。

具体实现中，通过影像报告，对文本编码器进行训练的一种方式为：预先标注影像报告的文本特征，作为文本特征标签。在训练时，以影像报告为输入变量，输入文本编码器，得到文本特征，将文本特征与文本特征标签作损失，基于该损失对文本编码器进行训练。

另一种方式为：引入图像解码器，以影像报告为输入变量，由文本编码器和文本解码器对影像报告进行重新生成，得到重新生成的报告。基于重新生成的报告与影像报告之间的损失，对文本编码器和预设的文本解码器进行联合训练，得到预训练的文本编码器。

步骤S321b，通过样本医学图像序列、影像报告和预训练的文本编码器，对特征提取模块进行训练，得到训练好的特征提取模块。

本步骤中，预训练的文本编码器用于辅助图像分割模型的训练。

具体实现中，可将样本医学图像序列输入特征提取模块，得到样本医学图像序列的样本时序图像特征。将影像报告输入预训练的文本编码器，得到影像报告的文本特征。基于样本时序图像特征和文本特征，对特征提取模块和预训练的文本编码器进行联合训练，得到训练好的特征提取模块。

本实施例中，通过影像报告先对文本编码器进行预训练，结合预训练的文本编码器辅助训练图像分割模型，可以进一步提高图像分割模型提取医学图像序列的时序图像特征的能力，从而提高基于该时序图像特征确定的分割结果的准确性。

在一示例性实施例中，上述步骤S321a中，通过影像报告，对文本编码器进行训练，得到预训练的文本编码器，包括：对影像报告进行随机掩码处理，得到掩码报告；以掩码报告为输入变量，以影像报告为监督信息，对文本编码器和预设的文本解码器进行联合训练，得到预训练的文本编码器；其中，文本解码器的输入为文本编码器的输出。

本步骤中，文本解码器用于辅助文本编码器的训练。

具体实现中，通过影像报告，对文本编码器进行训练时，可引入文本解码器，通过文本解码器辅助训练文本编码器，以提高预训练的文本编码器的特征提取能力。同时，可对用于训练的影像报告作随机掩码处理，例如，影像报告原本为“右乳癌化疗后改变，右乳内下象限可见不规则团块状长T1信号影，对比上次扫描增强扫描病灶强化明显，周围可见毛刺”，进行随机掩码处理后的掩码报告为“右乳癌化疗后改变，右乳内下象限可见不规则团块状长[mask]信号影，对比上次扫描增强扫描病灶强化明显，周围可见[mask]”。以掩码报告为输入变量，以影像报告为监督信息，由文本编码器和文本解码器对掩码报告进行重新生成，得到重新生成的报告。基于重新生成的报告与影像报告之间的损失，对文本编码器和预设的文本解码器进行联合训练，得到预训练的文本编码器。

更具体地，参考图4，为一实施例示出的图像分割模型的训练原理的示意图，在图4包含的文本编码器的训练中，每次训练时，将掩码报告先输入文本编码器进行特征提取，得到文本特征，然后将文本特征输入文本解码器进行报告重新生成，输出重新生成的报告。通过掩码语言学习损失函数，计算重新生成的报告与输入的掩码报告之间的损失，以减小该损失为目的，对文本编码器和预设的文本解码器进行联合训练，得到预训练的文本编码器。

本实施例中，在预训练文本编码器时，引入了文本解码器辅助文本编码器的训练，可以提高文本编码器的特征提取能力。同时，对用于训练的影像报告进行了随机掩码处理后再训练文本编码器，可以进一步提高训练的文本编码器的特征提取能力。

在一示例性实施例中，上述步骤S321b中，通过样本医学图像序列、影像报告和预训练的文本编码器，对图像分割模型中的特征提取模块进行训练，得到训练好的特征提取模块，包括：通过特征提取模块，提取样本医学图像序列的样本时序图像特征；通过预训练的文本编码器，提取影像报告的文本特征；基于样本时序图像特征和文本特征，对特征提取模块和预训练的文本编码器进行联合训练，得到训练好的特征提取模块。

参考图4所示的图像分割模型的训练原理的示意图，在通过样本医学图像序列、影像报告和预训练的文本编码器，对图像分割模型中的特征提取模块进行训练时，是通过图像-文本对比学习进行训练的。具体而言，在图像方面，样本医学图像序列通过特征提取模块进行处理，得到样本时序图像特征。在文本方面，将影像报告通过预训练的文本编码器进行编码处理，得到影像报告的文本特征。最后通过样本时序图像特征和文本特征进行图像-文本对比学习训练，得到训练好的图像编码器和训练好的时序特征编码模块。

更具体地，通过特征提取模块处理样本医学图像序列时，是先将样本医学图像序列输入图像编码器，得到各个样本医学图像的图像特征。然后将各个样本医学图像的图像特征输入时序特征编码模块，得到样本医学图像序列的样本时序图像特征。通过预训练的文本编码器处理影像报告时，先按照标准化模板将影像报告转换为标准化的文本信息。将该标准化的文本信息输入预训练的文本编码器，得到文本特征。

本实施例中，在训练图像分割模型中的特征提取模块时，引入了预训练的文本编码器辅助特征提取模块的训练，可以提高特征提取模块的特征提取能力。

进一步地，在一示例性实施例中，基于样本时序图像特征和文本特征，对特征提取模块和预训练的文本编码器进行联合训练，得到训练好的特征提取模块，具体包括：基于多个样本时序图像特征和多个文本特征，得到多个特征对；特征对中包括正样本特征对和负样本特征对；获取各个特征对中的样本时序图像特征和文本特征之间的损失；以减小正样本特征对的损失，增大负样本特征对的损失为条件，对特征提取模块和预训练的文本编码器进行联合训练，得到训练好的特征提取模块。

具体地，用于图像分割模型训练的样本医学图像序列有多个，对应地，得到的样本时序图像特征和文本特征也有多个，例如n个，则可将n个样本时序图像特征F

在得到多个特征对后，将正负样本特征对，通过对比学习损失函数（contrastiveloss）进行训练模型。具体而言，通过对比学习损失函数计算各个特征对的损失，以减小正样本特征对的损失，增大负样本特征对的损失为训练目的，对特征提取模块和预训练的文本编码器进行联合训练，得到训练好的特征提取模块。

本实施例中，通过将样本医学图像序列对应的样本时序图像特征与影像报告对应的文本特征组成正负样本，进行特征提取模块的对比学习训练，可以使模型学习到更具体的特征和规律，更好地识别和排除噪声，从而提高模型的鲁棒性和抗干扰能力，以及对新样本的泛化能力，并且通过构建正负样本对，可以在一定程度上解决数据不平衡问题，使模型更好地学习到少数类样本的特征。

在一个实施例中，为了便于本领域技术人员理解上述图像分割模型的训练方法，以下将以乳腺为样本对象进行具体说明。参考图5，为另一实施例示出的图像分割模型的训练过程的流程示意图，本实施例中，具体包括以下步骤：

步骤S510，获取乳腺的样本乳腺图像序列，以及与样本乳腺图像序列中的目标样本乳腺图像对应的影像报告。

步骤S520，通过影像报告，对文本编码器进行训练，得到预训练的文本编码器。

具体包括：

步骤S520a，对影像报告进行随机掩码处理，得到掩码报告。

步骤S520b，以掩码报告为输入变量，以影像报告为监督信息，对文本编码器和预设的文本解码器进行联合训练，得到预训练的文本编码器；其中，文本解码器的输入为文本编码器的输出。

步骤S530，通过特征提取模块，对样本乳腺图像序列进行处理，得到样本乳腺图像序列的样本时序图像特征。

步骤S540，通过预训练的文本编码器，对影像报告进行编码处理，得到影像报告的文本特征。

步骤S550，基于样本时序图像特征和文本特征，对特征提取模块和预训练的文本编码器进行联合训练，得到训练好的特征提取模块。

步骤S560，保持训练好的特征提取模块的模型参数不变，通过有标签数据集对图像分割模型中的分割模块进行训练，得到训练好的分割模块。

步骤S570，基于训练好的特征提取模块和训练好的分割模块，得到训练好的图像分割模型。

在一种实施方式中，文本编码器和图像分割模型也可以同时训练，具体而言，通过文本编码器得到目标样本医学图像的影像报告的文本特征，将文本特征输入文本解码器，得到重新生成的报告。以及将样本医学图像序列通过图像分割模型中的图像编码器和时序特征编码模块，得到样本时序图像特征。基于样本时序图像特征与文本特征，得到第一损失，基于重新生成的报告与影像报告，得到第二损失。基于第一损失和第二损失得到总损失，以基于总损失对图像编码器和时序特征编码模块，以及文本编码器和文本解码器进行联合训练，得到训练好的图像编码器、训练好的时序特征编码模块和训练好的图像解码器，组成训练好的图像分割模型。

本实施例中，通过包含待分割的目标乳腺图像的样本乳腺图像序列进行图像分割模型的训练，使得训练的图像分割模型能够提取到乳腺的时序变化，根据该时序变化进行乳腺图像分割，从而可以提高训练的图像分割模型的分割结果的准确性。并且，通过影像报告先对文本编码器进行预训练，结合预训练的文本编码器辅助训练图像分割模型，可以进一步提高图像分割模型提取乳腺图像序列的时序图像特征的能力，从而提高基于该时序图像特征确定的分割结果的准确性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的图像分割方法的图像分割装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像分割装置实施例中的具体限定可以参见上文中对于图像分割方法的限定，在此不再赘述。

在一个实施例中，如图6所示，提供了一种图像分割装置，包括：获取单元610、提取单元620和分割单元630，其中：

获取单元610，用于获取医学图像序列；

提取单元620，用于提取医学图像序列的时序图像特征；

分割单元630，用于根据时序图像特征，分割医学图像序列中的任一个医学图像，得到任一个医学图像中的感兴趣区域。

在其中一个实施例中，提取单元620，还用于提取医学图像序列中的各个医学图像的图像特征；根据各个医学图像的图像特征，确定医学图像序列的时序图像特征。

在其中一个实施例中，通过图像分割模型执行图像分割方法，所述装置还包括模型训练模块，用于获取样本对象的样本医学图像序列，以及与样本医学图像序列中的目标样本医学图像对应的影像报告；样本医学图像序列中包括多个样本医学图像，目标样本医学图像为样本医学图像序列中采集时间最晚的医学图像；通过样本医学图像序列和影像报告，对图像分割模型进行训练，得到训练好的图像分割模型。

在其中一个实施例中，模型训练模块，还用于通过样本医学图像序列和影像报告，对图像分割模型中的特征提取模块进行训练，得到训练好的特征提取模块；保持训练好的特征提取模块的模型参数不变，通过有标签数据集对图像分割模型中的分割模块进行训练，得到训练好的分割模块；有标签数据集中包括样本医学图像和样本医学图像的真实感兴趣区域；基于训练好的特征提取模块和训练好的分割模块，得到训练好的图像分割模型。

在其中一个实施例中，模型训练模块，还用于通过影像报告，对文本编码器进行训练，得到预训练的文本编码器；通过样本医学图像序列、影像报告和预训练的文本编码器，对特征提取模块进行训练，得到训练好的特征提取模块。

在其中一个实施例中，模型训练模块，还用于对影像报告进行随机掩码处理，得到掩码报告；以掩码报告为输入变量，以影像报告为监督信息，结合预设的文本解码器，对文本编码器进行训练，得到预训练的文本编码器；其中，文本解码器的输入为文本编码器的输出。

在其中一个实施例中，模型训练模块，还用于通过特征提取模块，提取样本医学图像序列的样本时序图像特征；通过预训练的文本编码器，提取影像报告的文本特征；基于样本时序图像特征和文本特征，对特征提取模块和预训练的文本编码器进行联合训练，得到训练好的特征提取模块。

在其中一个实施例中，样本医学图像序列有多个，对应地，样本时序图像特征和文本特征也有多个；模型训练模块，还用于基于多个样本时序图像特征和多个文本特征，得到多个特征对；特征对中包括正样本特征对和负样本特征对；获取各个特征对中的样本时序图像特征和文本特征之间的损失；以减小正样本特征对的损失，增大负样本特征对的损失为条件，对特征提取模块和预训练的文本编码器进行联合训练，得到训练好的特征提取模块。

上述图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像分割过程中的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分割方法。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。