医学影像图像处理方法、装置、电子设备及介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种医学影像图像处理方法、装置、电子设备及介质。

背景技术

由于遗传、基因变异、长期饮食习惯、作息习惯等原因，人体可能会产生恶性的癌变，例如胃癌、中肠癌等。这些癌变组织根据病变时期主要可分为早期、进展期和晚期，不同时期对应不同的治疗方法。其中在早期发现癌症的治疗难度最小，患者康复的机会最大。现有技术中通常通过医学影像图像来检测早期癌变，但由于早期癌变的细胞和非病变细胞在形态、颜色上的特征十分不明显，因此早癌的诊断属于精细的图像检测问题，医生很难通过医学影像图观察发现，此外，早期癌症确诊后，通常需要通过物理切除的方式将癌变部位精确切除，因此，如何准确地预测出病变与正常细胞的边界，是极其重要的环节。

随着人工智能的发展，现有技术中通过基于医学影像图像训练图像分割模型来预测早期癌症的形状边界，该技术中将早期癌变边界作为一个图像分割任务，这类图像分割模型对于车辆、行人、飞机、花草等常见的目标具有非常精准的分割效果，但是大量病变部分与正常细胞的差异性十分细微，因此对于早期癌变的分割效果很差，对早期癌变边界的预测准确度很低，会产生大量的过检。由此可知，如何提供一种医学影像图像处理技术，提高早期癌变边界预测的准确度成为亟待解决的技术问题。

发明内容

本申请实施例提供一种医学影像图像处理方法、装置、电子设备及介质，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。

第一方面，本申请实施例提供一种医学影像图像处理方法，包括：

将待检测的医学影像图像输入预先训练的特征提取模型中提取多维度的特征图像；

将所述多维度的特征图像输入预先训练的候选框生成模型中，生成若干个候选框坐标和每个候选框对应的第一预测概率；

根据每一所述候选框在所述待检测的医学影像图像中截取对应的分割候选图像；

将每一分割候选图像输入预先训练的病变分割模型中，生成每一分割候选图像对应的预测病变边界和对应的第二预测概率；

基于每一分割候选图像对应的预测病变边界、对应的第一预测概率、第二预测概率在所述待检测的医学影像图像生成目标病变边界。

第二方面，本申请实施例提供一种医学影像图像处理装置，包括：

特征提取模块，用于将待检测的医学影像图像输入预先训练的特征提取模型中提取多维度的特征图像；

候选框生成模块，用于将所述多维度的特征图像输入预先训练的候选框生成模型中，生成若干个候选框坐标和每个候选框对应的第一预测概率；

图像提取模块，用于根据每一所述候选框在所述待检测的医学影像图像中截取对应的分割候选图像；

病变分割模块，用于将每一分割候选图像输入预先训练的病变分割模型中，生成每一分割候选图像对应的预测病变边界和对应的第二预测概率；

目标生成模块，用于基于每一分割候选图像对应的预测病变边界、对应的第一预测概率、第二预测概率在所述待检测的医学影像图像生成目标病变边界。

第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行本申请第一方面所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机指令用于执行本申请第一方面所述的方法。

通过上述技术方案，本申请先从待检测的医学影像图像中提取不同维度的特征图，再基于不同维度的特征图确定局部可能病变的区域的候选框，再从原始待检测的医学影像图像中取可能病变的局部区域即分割候选图像，然后针对可能病变的局部区域分别进行分析，预测病变边界；并通过第一预测概率和第二预测概率两个概率综合判断分割候选图像是否为病变区域，最后在所述待检测的医学影像图像生成目标病变边界。本申请通过局部可能病变的区域进行病变边界预测，最后再呈现在整张待测图像上，而不是直接对整张待测图像进行预测分析，使得整个边界预测过程更关注病变区域本身的特点，减少病变周围正常细胞对病变细胞的分类影响，提高了早期癌变边界预测的准确度。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。

图1为本申请一实施例所描述的医学影像图像处理方法流程图；

图2为本申请一实施例所描述的所述特征提取模型和候选框生成模型训练流程图；

图3为本申请一实施例所描述的病变分割模型训练流程图；

图4为本申请一实施例所描述的医学影像图像处理装置示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请针对小样本数量情况下的早期癌症边界预测问题，提出一种先“定位后分割”的技术逻辑，将目标检测技术和图像分割技术按本申请对医学影像图像的处理逻辑结合起来，优先解决漏检的问题，同时提高模型检测的精确率，避免产生过多的误检。

本申请实施例提供了一种医学影像图像处理方法，如图1所示，包括以下步骤：

步骤S1、将待检测的医学影像图像输入预先训练的特征提取模型中提取多维度的特征图像；

步骤S2、将所述多维度的特征图像输入预先训练的候选框生成模型中，生成若干个候选框坐标和每个候选框对应的第一预测概率；

步骤S3、根据每一所述候选框在所述待检测的医学影像图像中截取对应的分割候选图像；

步骤S4、将每一分割候选图像输入预先训练的病变分割模型中，生成每一分割候选图像对应的预测病变边界和对应的第二预测概率；

步骤S5、基于每一分割候选图像对应的预测病变边界、对应的第一预测概率、第二预测概率在所述待检测的医学影像图像生成目标病变边界。

需要说明的是，所述待测的医学影像图像可以为用于检测胃部癌症的医学影像图像，也可以为用于检测中肠癌的医学影像图像等。检测胃部癌症的医学影像图像可以为通过胃镜系统获取的胃部白光图像。可以理解的是，所述待测的医学影像图像并不限于是胃部和中肠癌的医学影像图像，还可以为其他人体部位的医学影像图像；图像样式也不限于是白光图像，还可以为CT图像等，采用不同的传感器获取的图像类型不同，本申请对此不作限定。多维度的特征图像即通过不同维度基于待测的医学影像图像所提取的图像，具体图像特征可包括形状、颜色、纹理等。由于医学影像获取过程通常是一个动态的过程，随着摄像头的移动同一个病变的成像大小、角度、光照条件等随时变化，容易产生漏检，因此通过维度提取涉及可以有效解决这一问题，提高病变边界预测的准确度。

本申请实施例所述方法先从待检测的医学影像图像中提取不同维度的特征图，再基于不同维度的特征图确定局部可能病变的区域的候选框，再从原始待检测的医学影像图像中取可能病变的局部区域即分割候选图像，然后针对可能病变的局部区域分别进行分析，预测病变边界，这样首先降低漏检率，尽可能保证不漏检，然后在此基础上，并通过第一预测概率和第二预测概率两个概率综合判断分割候选图像是否为病变区域，进一步提高预测准确度，降低过检率，最后在所述待检测的医学影像图像生成目标病变边界。本申请通过局部可能病变的区域，进行病变边界预测，最后再呈现在整张待测图像上，而不是直接对整张待测图像进行预测分析，使得整个边界预测过程更关注病变区域本身的特点，减少病变周围正常细胞对病变细胞的分类影响，提高了早期癌变边界预测的准确度。

应当理解，本申请的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本申请的范围在此方面不受限制。

作为一种实施例，所述方法还包括步骤S10、训练得到所述特征提取模型和候选框生成模型，如图2所示，具体包括：

步骤S101、设置所述特征提取模型和候选框生成模型的初始参数；

步骤S102、将多个标记真实病变矩形框的医学影像样本图像作为监督数据输入所述特征提取模型中生成每一样本图像对应的多维特征图像；

具体可采用CNN(卷积神经网络)的backbone(骨干网络,例如resnet/efficientnet等)来提取输入图像的特征。

步骤S103、将每一样本图像对应的多维特征图像输入所述候选框生成模型中生成每一样本图像对应的若干候选框坐标和每一候选框对应的第一预测概率；

其中，具体可采用，可以采用一阶段(one-stage)或二阶段(two-stage)目标检测算法，生成可能包含病变的候选框。

步骤S104、基于每一样本图像对应的若干候选框坐标和每一候选框对应的第一预测概率、病变区域真值坐标和病变真实概率值获取第一损失函数；

第一损失函数可设置为：

L(l,l

其中，l,l

步骤S105、基于所述第一损失函数调整所述特征提取模型和候选框生成模型的参数返回步骤S102进行下一轮次训练，直至所述第一损失函数符合预设的第一状态。

可以理解的是，所述第一损失函数符合预设的第一状态为特征提取模型和候选框生成模型结束的条件，具体可设置为一个第一损失函数阈值，当连续M个第一损失函数的值小于第一损失函数阈值时，判断所述第一损失函数符合预设的第一状态。也可以将第一状态设置为第一损失函数收敛，当所述第一损失函数收敛时，判断所述第一损失函数符合预设的第一状态。随着候选框生成模型的不断训练，候选框生成模型会逐渐获得质量不断提高的病变候选框，其中能够将真实病变区域完整的召回，同时也可以产生一定数量的过检，避免出现漏检。

本申请实施例将多个标记真实病变矩形框的医学影像样本图像作为监督数据联合训练特征提取模型和候选框生成模型，基于训练特征提取模型和候选框生成模型可以生成待检测的医学影像图像对应的若干个分割候选区域，通过合理设置训练参数和阈值，可以保证真实病变被以很高的比例召回，解决了早癌检查中最严重的漏检问题。

作为一种实施例，所述方法还包括步骤S20、训练得到所述病变分割模型，如图3所示，具体包括：

步骤S201、设置所述病变分割模型的初始模型参数；

步骤S202、从多个标记真实病变边界的医学影像图像中截取病变边界对应的病变区域图像作为正样本，并随机截取正常细胞区域图像作为负样本，输入所述病变分割模型；

步骤S203、所述病变分割模型将每一样本区域图像分割为多个子区域，遍历每个子区域，得到每一子区域的第三预测概率，将所述预测概率大于等于预设的第三阈值的子区域预测为病变子区域，小于所述第三阈值的子区域预测为正常子区域；

可以理解的是，第三阈值根据病变分割模型精度、预测精度等参数来设定，例如第三阈值可以设置为0.7，第三预测概率超过0.7的子区域均预测为癌变，子区域可以包括一个或多个像素，子区域包含像素越小，预测精确度越高。

步骤S204、基于每一样本区域图像预测的病变子区域、正常子区域以及每一子区域的第三预测概率，生成预测病变边界坐标和该样本区域图像对应的第二预测概率；

需要说明的是，该样本区域图像对应的第二预测概率可以为该样本区域图像对应的所有子区域的第三预测概率的均值，或者是所有子区域的第三预测概率中的最小值。

步骤S205、根据所述样本区域图像对应的真实病变边界坐标、预测病变边界坐标、真实病变概率、第二预测概率获取第二损失函数；

步骤S206、基于所述第二损失函数调整所述病变分割模型的参数返回步骤S202进行下一轮次训练，直至所述第二损失函数符合预设的第二状态。

可以理解的是，所述第二损失函数符合预设的第二状态为病变分割模型结束的条件，具体可设置为一个第二损失函数阈值，当连续N个第二损失函数的值小于第二损失函数阈值时，判断所述第二损失函数符合预设的第二状态。也可以将第二状态设置为第二损失函数收敛，当所述第二损失函数收敛时，判断所述第二损失函数符合预设的第二状态。作为示例，病变分割模型可以为CNN图像分割模型，用来获得所有分割候选图像中病变区域精确轮廓。随着训练的进行，病变分割模型可以逐渐准确的将真实病变区域和非病变区域区分开来。

本申请实施例将标记真实病变边界的医学影像图像中截取病变边界对应的病变区域图像作为正样本，并随机截取正常细胞区域图像作为负样本来训练病变分割模型，可以生成大量的正负样本，解决了深度学习的医疗项目中数据量较小的问题。此外，基于候选框生成从原始待检测的医学影像图像提取模块3得到一系列分割候选图进行病变分割分析，使得病变分割模型在训练和使用过程中更关注于病变本身的特点，减小了周围正常细胞对病变细胞的分类影响，大大降低了模型的误检率，提高了早期癌变边界预测的准确度。

特征提取模型、候选框生成模型以及病变分割模型分别训练好后，再将特征提取模型、候选框生成模型和病变分割模型按照本申请对待检测的医学影像图像的处理逻辑结合起来供后续使用。

作为一种实施例在特征提取模型训练或使用过程中，所述方法还包括步骤S11、将所述待检测的医学影像图像缩放至预设的第一尺寸后再输入预先训练的特征提取模型中提取多维度的特征图像。以及，在病变分割模型训练和使用过程中，所述方法还包括步骤S12、将每一分割候选图像缩放至预设的第二尺寸后再输入预先训练的病变分割模型中，其中，所述第一尺寸和第二尺寸相同或不同，通常第一尺寸和第二尺寸大小与计算结果的准确度呈正相关，与计算量也呈正相关，因此第一尺寸和第二尺寸具体可根据计算结果的准确度需求和当前计算资源所能适配的计算量来设定。

基于所述步骤S11和步骤S12，作为一种实施例，所述步骤S5可包括：

步骤S51、将每一分割候选图像对应的第一预测概率和第二预测概率相乘得到对应的第四预测概率；

步骤S52、将每一分割候选图像对应的第四预测概率与预设的第四概率阈值对比，若所述第四预测概率大于等于所述第四概率阈值，则将该分割候选图像确定为目标病变区域；

步骤S53、根据每一所述目标病变区域的坐标和缩放倍数确定该目标病变区域在所述检测的医学影像图像上对应的位置，从而在所述检测的医学影像图像上显示该目标病变区域对应的预测病变边界。

其中，每一分割候选图像基于第一预测概率和第二预测概率综合获取第四预测概率，基于局部可能病变的图像进行病变预测，也是基于局部可能病变的区域预测病变边界，提高了早期癌变边界预测的准确度。最后可以在原始图像上对应呈现标病变区域对应的预测病变边界，提升了用户体验。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。一种医学影像图像处理装置，如图4所示，图4中以胃镜图像作为待检测的医学影像图像为例进行说明，所述装置包括特征提取模块1、候选框生成模块2、图像提取模块3、病变分割模块4和目标生成模块5，其中，特征提取模块1用于将待检测的医学影像图像输入预先训练的特征提取模型中提取多维度的特征图像；候选框生成模块2用于将所述多维度的特征图像输入预先训练的候选框生成模型中，生成若干个候选框坐标和每个候选框对应的第一预测概率；图像提取模块3用于根据每一所述候选框在所述待检测的医学影像图像中截取对应的分割候选图像；病变分割模块4用于将每一分割候选图像输入预先训练的病变分割模型中，生成每一分割候选图像对应的预测病变边界和对应的第二预测概率；目标生成模块5用于基于每一分割候选图像对应的预测病变边界、对应的第一预测概率、第二预测概率在所述待检测的医学影像图像生成目标病变边界。

作为一种实施例，所述装置还包括第一模型训练模块，用于训练得到所述特征提取模型和候选框生成模型，具体包括：设置所述特征提取模型和候选框生成模型的初始参数；将多个标记真实病变矩形框的医学影像样本图像作为监督数据输入所述特征提取模型中生成每一样本图像对应的多维特征图像；将每一样本图像对应的多维特征图像输入所述候选框生成模型中生成每一样本图像对应的若干候选框坐标和每一候选框对应的第一预测概率；基于每一样本图像对应的若干候选框坐标和每一候选框对应的第一预测概率、病变区域真值坐标和病变真实概率值获取第一损失函数；基于所述第一损失函数调整所述特征提取模型和候选框生成模型的参数，进行下一轮次训练，直至所述第一损失函数符合预设的第一状态。

作为一种实施例，所述装置还包括第二模型训练模块，用于训练得到所述病变分割模型，具体包括：设置所述病变分割模型的初始模型参数；从多个标记真实病变边界的医学影像图像中截取病变边界对应的病变区域图像作为正样本，并随机截取正常细胞区域图像作为负样本，输入所述病变分割模型；所述病变分割模型将每一样本区域图像分割为多个子区域，遍历每个子区域，得到每一子区域的第三预测概率，将所述预测概率大于等于预设的第三阈值的子区域预测为病变子区域，小于所述第三阈值的子区域预测为正常子区域；基于每一样本区域图像预测的病变子区域、正常子区域以及每一子区域的第三预测概率，生成预测病变边界坐标和该样本区域图像对应的第二预测概率；根据所述样本区域图像对应的真实病变边界坐标、预测病变边界坐标、真实病变概率、第二预测概率获取第二损失函数；基于所述第二损失函数调整所述病变分割模型的参数，进行下一轮次训练，直至所述第二损失函数符合预设的第二状态。

作为一种实施例，所述特征提取模块1还用于将所述待检测的医学影像图像缩放至预设的第一尺寸后再输入预先训练的特征提取模型中提取多维度的特征图像。以及，所述病变分割模块4还用于将每一分割候选图像缩放至预设的第二尺寸后再输入预先训练的病变分割模型中，其中，所述第一尺寸和第二尺寸相同或不同。

作为一种实施例，所述目标生成模块5包括第四概率预测单元、目标病变区域确定模块和目标病变边界生成模块，其中，第四概率预测单元，用于将每一分割候选图像对应的第一预测概率和第二预测概率相乘得到对应的第四预测概率；目标病变区域确定模块，用于将每一分割候选图像对应的第四预测概率与预设的第四概率阈值对比，若所述第四预测概率大于等于所述第四概率阈值，则将该分割候选图像确定为目标病变区域；目标病变边界生成模块，用于根据每一所述目标病变区域的坐标和缩放倍数确定该目标病变区域在所述检测的医学影像图像上对应的位置，从而在所述检测的医学影像图像上显示该目标病变区域对应的预测病变边界。

本申请实施例所述装置先从待检测的医学影像图像中提取不同维度的特征图，再基于不同维度的特征图确定局部可能病变的区域的候选框，再从原始待检测的医学影像图像中取可能病变的局部区域即分割候选图像，然后针对可能病变的局部区域分别进行分析，预测病变边界，这样首先降低漏检率，尽可能保证不漏检，然后在此基础上，并通过第一预测概率和第二预测概率两个概率综合判断分割候选图像是否为病变区域，进一步提高预测准确度，降低过检率，最后在所述待检测的医学影像图像生成目标病变边界。本申请通过局部可能病变的区域，进行病变边界预测，最后再呈现在整张待测图像上，而不是直接对整张待测图像进行预测分析，使得整个边界预测过程更关注病变区域本身的特点，减少病变周围正常细胞对病变细胞的分类影响，提高了早期癌变边界预测的准确度。

本申请实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行本申请实施例所述的方法。

本申请实施例还提供一种计算机可读存储介质，所述计算机指令用于执行本申请实施例所述的方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。