基于多尺度反向注意力的息肉分割方法、设备及存储介质

技术领域

本发明涉及图像处理领域，特别涉及一种基于多尺度反向注意力的息肉分割方法、设备及存储介质。

背景技术

随着人们生活品质的不断提升，健康问题也愈加得到人们的重视，任何一场突如其来的疾病，都可能使得我们的人生轨迹发生变化，因此必要的体检，以及推行先进科学的检测技术迫在眉睫。

结肠镜检查是检测结直肠息肉病变的有效技术，与结直肠癌高度相关，在临床实践中，结肠镜图像为诊断和手术提供了有价值的信息，主要是因为医生能够从结肠镜图像中分割息肉，这也就意味着结肠镜图像中分割息肉的准确率直接影响着后续治疗，因为必须确保从结肠镜图像中分割息肉的准确率，而当前单纯依靠人为界定效率低下且准确率更是难以保证。

发明内容

为了解决上述现有技术中的技术问题，本申请提供了一种方基于多尺度反向注意力的息肉分割方法、设备及存储介质。

第一方面，本申请提供了一种基于多尺度反向注意力的息肉分割方法，所述方法包括：

获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本，其中所述肠道息肉训练样本中每张肠道息肉样本中的息肉被标注；

基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络；

利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉。

可选地，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛的步骤后，还包括：

根据所述肠道息肉样本集确定测试样本集和验证样本集，其中，所述测试样本集中息肉未被标注，所述验证样本集中息肉被标注；

将所述测试样本集输入所述息肉分割模型，得到预测息肉样本集；

基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度。

可选地，基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度的步骤，包括：

计算所述预测息肉样本集与所述验证样本集的均方误差；

确定所述分割模型的精度和所述召回率；

基于所述均方误差所述分割模型的精度以及所述召回率确定所述分割模型的精确度。

可选地，基所述图像特征提取编码器包括：

所述图像特征提取编码器在ImageNet上预训练得到ResNet-34基干网络，其中，所述ResNet-34基干网络将最高层的全连接层去除，得到只包含特征图提取部分的残差单元，每个残差单元包括卷积层、激活层和归一化层，其中，所述ResNet-34基干网络的每一层输出的卷积网络将特征图通道数量减少至32，以使所述分割模型运算量减少。

可选地，所述多尺度反向注意力编码器包括反向注意力模块和底层上下文模块的特征提取单元。

可选地，所述反向注意力模块表达式如下：

R

其中，f

所述底层上下文模块的特征提取单元由U-Net组成，将U-Net中每个残差单元特征图通道数量分别为32，32，64，64。

可选地，可选地，基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络的步骤，包括：

定义所述息肉分割网络的损失函数为标准交叉熵L，所述标准交叉熵L的表达式如下：

其中(x,y)表示像素值坐标。G表示真实息肉分割图，P表示预测息肉分割图。

可选地，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉的步骤，包括：

基于所述标准交叉熵L，利用所述肠道息肉训练样本对所述息肉分割模型进行训练的表达式如下：

其中(x,y)表示像素值坐标。G表示真实息肉分割图，P表示预测息肉分割图,∑表示求和操作；

第计算L

依据梯度下降法，结合Adam优化函数进行反向传播，对Φ

在每次训练迭代结束后，获得测试集的均方差指标,当所述均方差指标不再下降或达到最大迭代次数为T，停止训练。

第二方面，本申请提供了一种电子设备，包括处理组件以及存储组件；所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行，实现如第一方面任一项所述的基于多尺度反向注意力的息肉分割方法。

第三方面，本申请提供了一种计算机存储介质，存储有计算机程序，所述计算程序被计算机执行时，实现如第一方面任一项所述的基于多尺度反向注意力的息肉分割方法。

本申请首先获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本；然后基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络，以使反向注意力机制能够关注到肠道息肉的边缘纹理等细节信息，，最后利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，在实际应用中即可实现从肠道图像中分割出肠道息肉。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种基于多尺度反向注意力的息肉分割方法的流程图；

图2为本申请实施例提供的分割模型构建流程示意图；

图3为本申请实施例提供的另一种基于多尺度反向注意力的息肉分割方法的流程图；

图4是本申请实施例提供的步骤S106的流程图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，结直肠癌是一种常见的消化道恶性肿瘤,是全球第三大癌症.大多数结直肠癌由腺瘤性息肉演变而来,因此结直肠癌的早期诊断对提高结直肠癌患者的生存率至关重要,实际看来处于第一阶段的结直肠癌的生存率超过95％,而处于第四和第五阶段,则下降到35％以下.当前，结肠镜检查已广泛应用于临床之中,并已成为筛查结直肠癌的标准方法.在临床实践之中,结肠镜检查在很大程度上依赖于医生的经验,并且由于息肉具有不同大小、形态、颜色、纹理以及和周围组织粘膜高度相似、异常组织边界不清,所处环境在边界处的对比度较低等特点导致漏诊率很高。

在早期的研究中,基于学习的方法主要依赖手工提取的特征例如：颜色、形状、纹理、外观或其组合.这类方法通常训练一个分类器来从结肠镜图像中分离出息肉.然而,由于手工提取特征在描述异质息肉以及息肉与难样本之间的相似性时表征能力有限,所以通常存在检测精度低的问题，不利于临床的诊断，因此高精度地分割结直肠息肉就具有十分重要的意义。

回到肠道息肉确定的方法中，结肠镜检查是检测结直肠息肉病变的有效技术，与结直肠癌高度相关，在临床实践中，结肠镜图像为诊断和手术提供了有价值的信息，主要是因为医生能够从结肠镜图像中分割息肉，这也就意味着结肠镜图像中分割息肉的准确率直接影响着后续治疗，因为必须确保从结肠镜图像中分割息肉的准确率，而当前单纯依靠人为界定效率低下且准确率更是难以保证，因此本申请提供给了一种基于多尺度反向注意力的息肉分割方法，如图1所示，所述方法包括：

步骤S101，获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本；

在该步骤中，所述肠道息肉训练样本中每张肠道息肉样本中的息肉被标注。

例如，在实际应用中可以采集2000张肠道息肉样本集，并人工标注其息肉部分，得到真实的息肉二值图，对数据集进行划分，将70％作为肠道息肉训练样本，另外20％作为测试样本集，10％作为验证样本集，以作为模型精度测试或者调整肠道息肉训练样本使用。

步骤S102，基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络；

在该步骤中，构建息肉分割网络便于在实际应用中对肠道图像中息肉的快速定位分割，但考虑到实际应用中息肉的特殊性，例如同一类型的息肉大小、颜色和质地不同，所以难以从肠道图像中分割出来，因此在本申请提供的又一实施方式中：

所述多尺度反向注意力编码器包括反向注意力模块和底层上下文模块的特征提取单元；

其中，所述反向注意力模块表达式如下：

R

在该公式中f

另外，所述底层上下文模块的特征提取单元由U-Net组成，将U-Net中每个残差单元特征图通道数量分别为32，32，64，64。

具体地，在实际应用过程中，反向注意力模块可以优化网络的收敛速度，同时较好的关注分割物体的边缘部分。多尺度特征提取单元由通用的U-Net组成，为减少运算量，将U-Net中每个残差单元特征图通道数量分别为32，32，64，64，多尺度特征提取单元较好地捕捉上下文信息，优化分割精度。

基于上述编码器，步骤S103基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络的步骤，包括：

定义所述息肉分割网络的损失函数为标准交叉熵L，所述标准交叉熵L的表达式如下：

其中(x,y)表示像素值坐标。G表示真实息肉分割图，P表示预测息肉分割图。

在本申请实施例中，定义所述息肉分割网络的损失函数为标准交叉熵L，使用图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络，示意图如图2所示。

步骤S103，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉。

在该步骤中，为了防止分割模型过分拟合，可以设置最大迭代次数为T，另外根据先验条件可以设置初始迭代次数为t。

例如，初始化迭代次数为t，最大迭代次数为T，T＞20，当前无参考图像质量评价网络模型为Y

具体地，在验证样本集上进行测试的过程，本申请还提供了一种实施方式，步骤S103，利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛后，如图3所示，还包括：

步骤S104，根据所述肠道息肉样本集确定测试样本集和验证样本集；

其中，所述测试样本集中息肉未被标注，所述验证样本集中息肉被标注；

步骤S105，将所述测试样本集输入所述息肉分割模型，得到预测息肉样本集；

步骤S106，基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度。

在该步骤中，预测息肉样本集为分割模型输出的结果，而验证样本集为人工标注完成的对照组，所以步骤S106，基于所述预测息肉样本集和所述验证样本集计算所述息肉分割模型的精确度，具体地，如图4所示，包括：

步骤S401，计算所述预测息肉样本集与所述验证样本集的均方误差；

在该步骤中，均方值误差(MAE)表达如下：

若MAE的数值越低，代表分割模型的性能越好，即分割精确度越高。

步骤S402，确定所述分割模型的精度和所述召回率；

其中，分割模型的精确度和所述召回率可以确定F指标：

Precision，Recall表示精度和召回率，最大F指标

其中精准率(Precision)：Precision＝TP/(TP+FP)

表示预测为正例的样本中真正正例的比例；

召回率(Recall)：Recall＝TP/(TP+FN)

表示预测为正例的真实正例占所有正例的比例；TP(真正例)：预测正确，样本为正，TN(真反例)：预测正确，样本为负，FP(假正例)：预测错误，样本被预测为正，但样本实际为负，FN(假反例)：预测错误，样本被预测为负，但样本实际为正，所以F值：F＝2*Precision*Recall/(Precision+Recall)

召回率指真实值为正类的所有样本中，模型正确分为正类的比例。精确率对反映了对分类为正类样本的样本，有多大的把握能够保证正确。而召回率反映了实际是正类的样本有多大的比率被正确的区分。当精确率比较高的时候，召回率往往较低，反之亦然。F值是精确率和召回率的合成指标，综合了二者的结果，取值范围为[0,1]，F值越髙，代表模型的综合性能越好。

步骤S403，基于所述均方误差所述分割模型的精度以及所述召回率确定所述分割模型的精确度。

另外为了验证本申请与现有技术的效果区别，我们选取了5种息肉分割算法进行对比，分别是U-Net；U-Net++；SFA；ResUNet；PraNet。在同一测试集上就MAE和

表1：定量比较结果(最好的指标被标红)

在本发明提供的又一实施例中，提供了一种基于多尺度反向注意力的息肉分割模块，包括：

获取模块，用于获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本，其中所述肠道息肉训练样本中每张肠道息肉样本中的息肉被标注；

构建模块，用于基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络；

训练模块，用于利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，以从实际肠道图像中分割出肠道息肉。

其中，本申请首先获取肠道息肉样本集，并根据所述肠道息肉样本集确定肠道息肉训练样本；然后基于神经网络的图像特征提取编码器和多尺度反向注意力编码器构建息肉分割网络，以使反向注意力机制能够关注到肠道息肉的边缘纹理等细节信息，，最后利用所述肠道息肉训练样本对所述息肉分割模型进行训练，直至模型收敛，在实际应用中即可实现从肠道图像中分割出肠道息肉。。另外具体的步骤可以参照上述实施例，此处便不再赘述。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

在一个可能的设计中，计算设备可以包括存储组件以及处理组件；

存储组件中存储有一条或多条计算机指令，其中，一条或多条计算机指令供处理组件调用执行，以实现图1实施例所述的基于多尺度反向注意力的息肉分割方法。

其中，处理组件可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用程序专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、刷新控制器、微刷新控制器、微处理器或其他电子元件实现，用于执行上述图1实施例所述的一种基于多尺度反向注意力的息肉分割方法。

存储组件被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图1所示实施例的一种基于多尺度反向注意力的息肉分割。

本申请实施例还提供了一种计算机程序产品，当其在计算机的处理器上运行时，使得计算机的处理器执行上述图1所示实施例的一种基于多尺度反向注意力的息肉分割方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。