掌桥专利:专业的专利平台
掌桥专利
首页

一种基于宫颈细胞学图像的异常细胞识别方法及系统

文献发布时间:2023-06-19 09:32:16


一种基于宫颈细胞学图像的异常细胞识别方法及系统

技术领域

本发明涉及医疗图像识别技术领域,尤其涉及一种基于宫颈细胞学图像的异常细胞识别方法及系统。

背景技术

目前国内外针对宫颈异常细胞自动识别的方法主要有两大类。一类为传统机器学习方法,该类方法首先利用特征工程从宫颈细胞学图像中提取出相关的影像学特征,然后利用SVM(Support Vector Machine)或者logistic等分类器对影像学特征进行分类;另一类为深度学习方法,该类方法中目前应用较为广泛的为Faster R-CNN(Faster region-based convolutional neural network)方法和FPN(Feature pyramid network)方法。其中Faster R-CNN方法主要分为三部分,首先,利用卷积神经网络自动从宫颈细胞学图像中提取出特征图(feature map);其次,利用region proposal network(候选框生成网络,RPN)产生高质量的候选框(可能包含异常细胞的矩形框);最后,将候选框映射回提取到的特征图,得到相应的候选框特征,将候选框特征输入到Fast R-CNN模块(由全连接层构成的分类和回归模块)进行异常细胞的分类和定位。而FPN方法则是在Faster R-CNN特征提取的基础上添加了多尺度特征融合的过程,将不同尺度下的特征图进行融合,充分利用不同尺度的特征信息。

现有的两大类方法都存在一些缺点:在传统的机器学习方法中,特征工程需要该领域的专家人为进行特征设计,不同的专家所设计出的特征各异,因此无法有效保证算法的鲁棒性;对于Faster R-CNN方法,其通常利用单一尺度的特征,而对于宫颈细胞图像来说,细胞形态大小各异,仅利用单一尺度的特征会漏掉一些尺寸较小的异常细胞,而尺寸较小细胞的漏检可能会影响到筛检诊断结果的准确性;对于FPN方法,虽然其在一定程度上弥补了Faster R-CNN单一尺度特征的缺陷,但是其在融合不同尺度特征时未考虑不同特征之间的重要性,会融合一些冗余特征,而融合这些冗余特征会降低模型的性能。

发明内容

鉴于上述的分析,本发明旨在提供一种基于宫颈细胞学图像的异常细胞识别方法及系统,以解决现有技术在宫颈异常细胞识别方面存在上述部分或全部问题。

本发明的目的主要是通过以下技术方案实现的:

一方面,本发明提供了一种基于宫颈细胞学图像的异常细胞识别方法,包括以下步骤:

获取人工数据标注的宫颈细胞学图像切片;

将所述宫颈细胞学图像切片输入特征提取网络,并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图;

通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选,并根据筛选出的重要特征将所述不同尺度的特征图进行融合,将融合特征输入定位和分类模块,得到训练后的注意力机制的多尺度融合网络;

将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络,得到异常细胞的位置定位和图像切片分类,识别出待识别宫颈细胞学图像中的异常细胞。

进一步地,所述特征提取网络包括DenseNet-169网络;将所述宫颈细胞学图像切片输入特征提取网络,并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图,包括:

将所述宫颈细胞学图像切片输入包含4个密集连接模块的 DenseNet-169网络进行图像特征提取,每个密集连接模块之间的 Transition层构成金字塔结构,从该金字塔结构的底层到高层进行特征图尺寸的逐层缩小,得到4个不同尺度的特征图;

其中,每个不同尺寸的特征图分别对应所述特征提取网络提取出图像的底层特征到高层特征。

进一步地,所述重要特征包括通道水平的重要特征和空间水平的重要特征;所述注意力模块包括通道注意力模块和空间注意力模块;所述通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选,包括:

将所述不同尺度的特征图输入通道注意力模块,在通道水平得到不同层对应的特征重要性权重,并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征;

通过空间注意力模块在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重,并根据该特征重要性权重对通道水平的重要特征进行过滤,得到空间水平的重要特征。

进一步地,所述根据筛选后的重要特征对所述不同尺度的特征图进行融合生成融合后的特征图,具体计算过程包括:

N

N

其中,

进一步地,所述通道注意力模块产生特征重要性权重

将所述不同尺度的特征图分别使用maxpool和avgpool对高层特征进行空间维度的信息整合,产生特征

将产生的所述特征

其中,C表示通道注意力模块,

进一步地,所述通道注意力模块产生特征重要性权重

其中,maxpool和avgpool的窗口尺寸和步长与N

进一步地,所述空间注意力模块产生特征重要性权重

分别在通道维度上对过滤后的通道水平的重要特征

其中,S表示空间注意力模块,

进一步地,所述空间注意力模块产生特征重要性权重

其中,σ为sigmoid函数,f

进一步地,将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络,得到异常细胞的位置定位和图像切片分类,包括:

通过训练后的注意力机制的多尺度融合网络从所述待识别宫颈细胞学图像提取出融合后的特征图;

根据宫颈异常细胞尺寸的真实分布预设不同尺寸和高宽比的锚定框,将所述锚定框输入候选框生成网络得到候选框;

所述候选框生成网络根据候选框在上述融合后的特征图上产生相应的候选框特征;

将所述候选框特征输入定位和分类模块进行异常细胞的定位,得到每个异常细胞的位置及异常概率,并根据定位到的每个异常细胞的异常概率对图像切片patch分类。

另一方面,本发明提供了一种基于上述识别方法的异常细胞识别系统,包括:特征提取网络、注意力模块及定位和分类模块,构建注意力机制的多尺度融合网络;其中,所述注意力模块包括通道注意力模块和空间注意力模块;

特征提取网络,用于对人工数据标注或待识别宫颈细胞学图像进行特征提取得到不同尺度的特征图;

注意力模块,用于对上述不同尺度的特征图分别进行重要特征的筛选,并根据筛选出的重要特征将上述不同尺度的特征图进行融合生成融合后的特征图;其中,所述重要特征包括通道水平的重要特征和空间水平的重要特征;

通道注意力模块,用于根据上述不同尺度的特征图在通道水平得到不同层对应的特征重要性权重,并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征;

空间注意力模块,用于在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重,并根据该特征重要性权重对通道水平的重要特征进行过滤,得到空间水平的重要特征;

定位和分类模块,用于根据所述注意力模块输出融合后的特征图得到异常细胞的位置定位和图像切片分类。

本技术方案的有益效果如下:本发明采用上述结合注意力机制的多尺度特征融合网络对宫颈细胞学图像的异常细胞进行识别,实验结果显示其定位以及分类指标都要优于现有的Faster R-CNN以及FPN方法;另外,本发明提出的注意力模块能够对不同尺度的特征进行有效的过滤,凸显重要特征,抑制次要特征,使得特征学习更加高效;而且根据宫颈异常细胞尺寸的真实分布设计出的符合临床实际的多尺度特征的融合网络能够覆盖不同尺寸的异常细胞,防止出现小尺寸细胞的漏检。

本发明的其他特征和优点将在随后的说明书中阐述,并且,部分的从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。

图1为本发明实施例的一种基于宫颈细胞学图像的异常细胞识别方法流程图;

图2为本发明实施例的TCT图像的数字化扫描以及标注示意图;

图3为本发明实施例的DenseNet-169网络的基本结构图;

图4为本发明实施例的注意力模块的基本示意图;

图5为本发明实施例的TCT图像中异常细胞标注框的尺寸分布图;

图6为本发明实施例的评估定位效果的FROC曲线图;

图7为本发明实施例的定性评估定位效果的展示图;

图8为本发明实施例的多尺度特征的可视化展示图

图9为本发明实施例的一种基于宫颈细胞学图像的异常细胞识别系统框图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。

本发明的技术构思主要针对现有技术存在以下几点问题:

(1)特征工程人为设计特征导致模型鲁棒性差的问题:本发明采用卷积神经网络进行特征的自动提取,提高模型的泛化能力。

(2)Faster R-CNN利用单一尺度特征导致信息利用不充分的问题:本发明根据宫颈异常细胞尺寸的真实分布设计出符合临床实际的多尺度特征融合网络,充分利用多尺度特征信息。

(3)FPN多尺度特征融合未考虑不同特征重要性的问题:本发明设计出一种注意力模块(Attention module)用于衡量不同特征之间的重要性,凸显重要特征,抑制次要特征。

本发明的一个具体实施例,如图1所示,公开了一种基于宫颈细胞学图像的异常细胞识别方法,包括以下步骤:

S1,获取人工数据标注的宫颈细胞学图像切片;

具体地,人工数据标注:将TCT玻片样本进行扫描并切分,然后由多名长期从事TCT阅片的专业医技人员对图像进行标注;

其中:TCT玻片样本经过扫描被存储为图像;使用电子扫描仪将图像切分为2048×2048的切片图像(下称“patch”);然后由医技人员将 patch中的异常细胞用矩形框的形式进行框选,得到相应的标注信息;如图2(a)和图2(b)所示的TCT图像的数字化扫描以及标注示意图,其中,(a)为数据标注过程中TCT玻片的扫描和图像切片的示意图;(b)为专业医技人员使用标注软件对patch进行标注的示意图。

这里需要说明的是,实际操作过程中由专业医技人员对图像的标注流程如下:(1)首先对所有的patch进行过滤,得到其中包含异常宫颈细胞的patch以及不包含异常宫颈细胞的patch。该步骤由三名专业医技人员 A,B和C执行,其中A医师资历为33年,B和C医师资历为10年左右。首先由医师A对所有的patch进行过滤,移除其中模糊以及含有血渍等不合格的patch,得到共计10659张patch,其中8036张patch含有异常宫颈细胞, 2623张patch不含有异常细胞;(2)将步骤(1)得到的8036张含有异常细胞的patch分别提供给医师B,C,由他们进行背对背的异常细胞标注;(3) 由医师A对(2)中的标注结果进行再次复核,其复核的最终标注结果用于模型的训练和验证。

S2,将所述宫颈细胞学图像切片输入特征提取网络,并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图;

需要说明的是,图像特征包括尺寸及分辨率等,通过特征提取网络得到不同尺度的特征图,而不同尺度的特征图是不同的。首先体现在尺寸上,底层的特征图尺寸较大,分辨率较高,蕴含大量的细节信息,比如线条、纹理及颜色等特征;随着网络层接近顶层,特征图的尺寸逐渐减小,分辨率逐渐降低,但是特征更加抽象,语义信息更加丰富,比如形状,轮廓等更加高级的特征。因此,不同尺度的特征图所蕴含的信息是不同的,由下到上的一个过程就是特征的不断抽象过程。显然,由于图像特征不同,其重要性也就会存在不同,这种不同不仅仅体现在不同尺度的特征之间,即使是同一尺度的不同特征之间,特征的重要性也会存在差异。特征图是一个三维的数组,通俗来讲,包括长,宽和通道三个维度,打个比方,以“千层饼”为例,一张千层饼看做一个特征图,好多张大小一致的“千层饼”摞在一起构成的一摞“千层饼”就是一种尺度的特征图;另一摞尺寸较小的“千层饼”则是另一种尺度的特征图。一摞“千层饼”有多少张就代表该尺度的特征图有多少个通道数。所以每种尺度水平的特征图都有好多个通道数,每个通道是一张“千层饼”;每一摞大小不一样的“千层饼”就是一种不同尺度的特征图。

S3,通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选,并根据筛选出的重要特征将所述不同尺度的特征图进行融合,将融合后的特征图输入异常细胞定位和图像分类模块,得到训练后的注意力机制的多尺度融合网络;

具体地,使用注意力模块对特征进行过滤以后,重要特征得到凸显,次要特征得到抑制,将不同尺度的特征图进行融合,得到融合后的特征图{N

S4,将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络,得到异常细胞的位置定位和图像切片分类,识别出待识别宫颈细胞学图像中的异常细胞。

具体地,构建注意力机制的多尺度融合网络的模型结构主要包括三部分:特征提取网络,注意力模块以及定位和分类模块。将步骤S1中获取的标注数据作为输入,经特征提取网络进行图像特征提取;其次,经注意力模块对重要特征进行凸显,对次要特征进行抑制;然后,将不同尺度下过滤后的特征进行融合;最后,将融合后的特征输入到异常细胞定位和图像分类模块,得到异常细胞的位置以及patch的类别。

从两个方面对模型的性能进行评价并和现有技术进行对比,一方面是定位效果评价,采用目标检测领域常用的AP(Average Precision)和 FROC(Free-response receiveroperating characteristic curve)作为定位评价指标;另一方面是分类效果评价,采用AUROC(Area under the receiver operating characteristic curve)和AUPRC(Areaunder the precision-recall curve)作为分类评价指标。本发明方法与现有技术相比,采用上述结合注意力机制的多尺度特征融合网络对TCT图像宫颈异常细胞进行识别,其定位以及分类指标都要优于现有的Faster R-CNN以及FPN方法;另外,本发明提出的注意力模块能够对不同尺度的特征进行有效的过滤,凸显重要特征,抑制次要特征,使得特征学习更加高效;而且根据宫颈异常细胞尺寸的真实分布设计出的符合临床实际的多尺度特征融合网络也能够覆盖不同尺寸的异常细胞,防止出现小尺寸细胞的漏检。

本发明的一个具体实施例,所述特征提取网络包括DenseNet-169网络;将所述宫颈细胞学图像切片输入特征提取网络,并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图,包括:

将所述宫颈细胞学图像切片输入包含4个密集连接模块的 DenseNet-169网络进行图像特征提取,每个密集连接模块之间的 Transition层构成金字塔结构,从该金字塔结构的底层到高层进行特征图尺寸的逐层缩小,得到4个不同尺度的特征图;

具体地,特征提取网络以DenseNet-169网络的基本结构为主,并相继使用常用的ResNet系列网络进行实验。如图3中的Backbone Network 为DenseNet-169网络,其基本结构见表1。从表1中可知,DenseNet-169 包含4个密集连接模块,分别是stage1,stage2,stage3以及stage4,其作用是进行特征提取,基本元素为BatchNorm层+ReLU层+卷积层(conv);每个密集连接模块之间为Transition层,其作用是进行下采样缩小特征图尺寸,将特征图尺寸进行2倍缩小。该条自下而上的通路结构(bottom-up pathway)得到的是4个不同尺度水平的特征图,它们的分辨率依次下降而包含的语义信息逐渐丰富。

表1 DenseNet-169网络的基本结构

其中,每个不同尺寸的特征图分别对应所述特征提取网络提取出图像的底层特征到高层特征。

具体地,通过特征提取网络从图像中提取图像特征,特征提取网络的底层网络层提取的特征属于底层特征,一般诸如点,线条,纹理等初级特征,随着网络的加深,底层特征组合,层层抽象,构成更加抽象的轮廓,形状等特征,这些特征为高层或顶层特征;这些不同层所提取到的图像特征就构成了不同尺度的特征图。特征的提取过程是在网络的训练过程中自动进行的,无须人为进行设计与干预。

本发明的一个具体实施例,所述重要特征包括通道水平的重要特征和空间水平的重要特征;所述注意力模块包括通道注意力模块和空间注意力模块;具体地,如图4所示为注意力模块的基本示意图,注意力模块包括两个子模块,分别为通道注意力模块和空间注意力模块。

所述通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选,包括:

将所述不同尺度的特征图输入通道注意力模块,在通道水平得到不同层对应的特征重要性权重,并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征;

具体地,通道注意力模块从特征的通道水平对特征的重要性进行衡量,由于高层特征包含更加丰富的语义信息,利用高层特征(high-level feature)指导底层特征在通道水平重要性的筛选过程,经过通道注意力模块的运算,在通道水平得到不同特征所对应的特征重要性权重,使用该权重对底层特征进行特征过滤之后得到通道水平的重要特征。

通过空间注意力模块在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重,并根据该特征重要性权重对通道水平的重要特征进行过滤,得到空间水平的重要特征;

具体地,空间注意力模块则从每个通道特征的空间水平对通道水平的重要特征进行重要性的衡量,为每个特征图的不同区域位置赋予不同的权重得到不同特征所对应的特征重要性权重,使用该权重对通道水平的重要特征进行过滤,得到空间水平的重要特征。

需要说明的是,承接前述“千层饼”的例子,不同张的“千层饼”重要性属于通道注意力模块所要评估的,它会给每张“千层饼”一个权重;而单独拿出来一张“千层饼”,这张“千层饼”不同位置的重要性可能也会存在差异,所以通过空间注意力模块为这张饼的不同区域位置赋予不同的权重,可预先设定,用来评估重要位置处的重要特征。

上述可知,采用一种自上而下的结合注意力模块的多尺度特征融合网络全面识别不同尺寸的异常细胞的具体步骤为:

(1)提取中间层特征,参考表1,分别取每个Transition层的1×1conv 的输出作为每个stage的中间层特征,由于stage4没有Transition层,故取其输出作为stage4的特征,将中间层特征分别记为{C

(2)将{C

(3)由于不同特征的重要性不同,故采用注意力模块进行特征筛选,从P

本发明的一个具体实施例,所述根据筛选后的重要特征对所述不同尺度的特征图进行融合生成融合后的特征图,具体计算过程包括:

N

N

其中,

本发明的一个具体实施例,结合图4所示,所述通道注意力模块产生特征重要性权重

将所述不同尺度的特征图分别使用maxpool和avgpool对高层特征进行空间维度的信息整合,产生特征

将产生的所述特征

其中,C表示通道注意力模块,

本发明的一个具体实施例,所述通道注意力模块产生特征重要性权重

其中,maxpool和avgpool的窗口尺寸和步长与N

本发明的一个具体实施例,结合图4所示,所述空间注意力模块产生特征重要性权重

分别在通道维度上对过滤后的通道水平的重要特征

其中,S表示空间注意力模块,

本发明的一个具体实施例,所述空间注意力模块产生特征重要性权重

其中,σ为sigmoid函数,f

本发明的一个具体实施例,将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络,得到异常细胞的位置定位和图像切片分类,包括:

通过训练后的注意力机制的多尺度融合网络从所述待识别宫颈细胞学图像提取出融合后的特征图;

根据宫颈异常细胞尺寸的真实分布预设不同尺寸和高宽比的锚定框,将所述锚定框输入候选框生成网络得到候选框;

所述候选框生成网络根据候选框在上述融合后的特征图上产生相应的候选框特征;

将所述候选框特征输入定位和分类模块进行异常细胞的定位,得到每个异常细胞的位置及异常概率,并根据定位到的每个异常细胞的异常概率对图像切片patch分类。

具体地,候选框生成网络(RPN)将在这5个尺度的特征图上产生相应的候选框特征,用于输入后续的Fast R-CNN模块进行异常细胞的定位。而候选框是使用不同尺寸和高宽比的锚点框(anchor boxes)作为RPN网络的输入得到的,因此,锚点框的质量将直接决定RPN网络所生成的候选框的质量。锚点框尺寸以及高宽比的设计过程如下:

锚点框(anchor boxes)是图像上一系列固定尺寸和宽高比的矩形框,这些框经过缩放和平移所得到的矩形框被称为候选框,其缩放量和平移量是由RPN网络所决定的。为了确保锚点框能够覆盖不同大小的异常细胞,本发明根据宫颈异常细胞尺寸的真实分布对锚点框的尺寸和高宽比进行设计。由临床先验知识可知,细胞的平面形状近似椭圆形或者圆形,其形状通常不会朝单一方向过度伸展,因此其外接的矩形框高宽比具有一定的范围。

图5所示为本发明所使用的TCT细胞图像中异常细胞标注框的尺寸分布图;其中,a图表示标注框尺寸与其对应的高宽比的小提琴图;b图表示标注框的尺寸分布的概率密度图。

如图5a所示为标注框的高宽比分布,由图可知,异常宫颈细胞标注框的高宽比取值在0.4和2之间;如图5b所示为标注框的尺寸分布,由图可知,异常细胞的尺寸大小各异。因此,结合异常细胞的真实尺寸以及高宽比,本发明在每个尺度的特征图水平上分别设定1种对应的锚点框尺寸和3种不同的宽高比,参见表2,表中数值单位对应的是原始图像的像素。

表2不同尺度特征图每个位置对应的锚点框的尺寸和高宽比

上述的过程对宫颈细胞学图像中的异常细胞进行了定位,得到每个异常细胞的位置以及异常概率,这些信息有利于阅片人员在进行筛检的时候快速识别出异常细胞以供后续分析,可以大大减轻医师的工作负担。除此之外,patch的分类信息对于筛检同样具有一定的参考价值。实际上, patch的类别取决于其中细胞的异常概率,因此,将所识别的异常细胞的异常概率记为p=(p

p(y=1|I)=max(p

本发明宫颈异常细胞的识别为一个两阶段的任务,首先利用整合了注意力模块的多尺度特征融合网络对patch中的异常细胞进行定位;然后利用所定位到的异常细胞的概率对其所在的patch进行分类,最终完成异常细胞的定位以及patch的分类。具体操作中使用NVIDIA Quadro GV100 32GB GPU对模型进行训练,所使用的深度学习框架为Pytorch。将数据按照8:1:1的比例随机划分为训练集,验证集和测试集,由于训练过程中并不会使用不含有异常细胞的patch,故将训练集中此种patch合并入测试集,以扩大测试集图像的数量,得到更为鲁棒的测试结果,具体参见表3,表 3详细介绍了数据的分布情况。

表3标注数据集在训练集、验证集和测试集中的分布情况

训练过程中,模型的选择依据验证集的效果,即取验证集效果最好的模型进行保存,并将保存的模型最终在测试集上进行测试。训练迭代次数为128560,优化器使用随机梯度下降方法(stochastic gradient descent), batch size的大小为2,使用的动量为0.9,为了减轻过拟合,使用0.0005的权值衰减,初始学习率lr

其中lr(x)表示某个迭代次数x处所对应的学习率,γ为学习率衰减指数,本发明设置为0.1,在前1000次迭代过程中使用learning rate warmup 以提升模型的表现。为了减轻过拟合,本发明采用了数据增强的方法,包括随机水平翻转,垂直翻转,旋转,亮度调整以及高斯模糊。随机旋转的角度为90,180以及270度,亮度调整的参数范围为[0.5,1.5],高斯模糊的参数范围设为[0,5]。

异常细胞定位的结果:将本发明方法与现有方法Faster R-CNN以及 FPN进行对比,使用AP描述的定位结果见表4。由表可得出两点结论,首先,无论使用下列何种BackboneNetwork,本发明方法都要明显优于Faster R-CNN,AP平均提升8.07%,说明本发明所提出的结合注意力模块的多尺度特征融合网络能够有效提高模型的识别效果;其次,与FPN进行对比,可以发现AP平均提升3.2%,该结果说明本发明所提出的注意力模块能够明显提高模型的识别效果,原因如前所述,本发明所提出的注意力模块能够对特征进行有效过滤,使得特征的学习更加高效。

表4不同方法针对测试集的定位效果对比(AP)(%)

另外,使用FROC对模型的定位效果进行评价,参考图6,图6为不同方法在测试集上的FROC曲线,由图可知,在每种Backbone Network上,本发明方法都要优于现有的FasterR-CNN以及FPN方法。以图6a为例,在每张patch的FPR=2的情况下,本发明方法的TPR能够达到97%,相比之下, Faster R-CNN和FPN所能达到的FPR则分别为89%和95%,该结果说明本发明方法在定位方面的效果要优于现有方法。

除了表4和图6所展示的定量结果,定性地对不同方法的定位效果进行了评价,如图7为不同方法的定位效果展示图,其中,a为专家标注的结果,b,c和d分别为Faster R-CNN,FPN和本发明方法的预测结果。由图可知,本发明方法在定位方面的表现更加贴近专家的标注结果;另外,与现有方法Faster R-CNN和FPN进行比较,可以发现本发明方法定位更加准确,比如,现有的两种方法会漏掉一些较小的异常细胞,而本发明方法能够准确地将其识别。

Patch分类的结果:参考表5,表5为不同方法的分类效果比较。由表可知,本发明方法要优于现有的Faster R-CNN和FPN方法。以Backbone Network为DenseNet-169为例,本发明方法的AUROC和AUPRC分别为 98.67%和96.53%,和Faster R-CNN相比,提升分别为1.45%和3.42%,该结果进一步验证了本发明方法的有效性;和FPN相比,AUROC和AUPRC 的提升分别为0.52%和0.94%,Delong test显示该提升具有统计学意义,该结果表明本发明方法融入临床先验的异常细胞尺寸分布对多尺度融合网络进行设计的有效性,以及注意力模块的有效性。

表5不同方法在测试集上的分类效果对比(%)

特征学习的结果:为了验证本发明所提出的注意力模块在特征过滤方面的有效性,将模型所提取的多尺度特征进行了可视化,以此对特征进行对比。如图8所示为现有的FPN方法和本发明的多尺度特征的可视化展示,其中,a为输入图片,b,c和d为本发明方法的多尺度特征;e,f 和g为FPN的多尺度特征。由图8可知,本发明方法所提出的注意力模块所过滤出的特征图中异常细胞得到了凸显,无关区域得到了抑制;而FPN 所提取出的特征图则未能有效将异常细胞进行凸显,该结果表明本发明所提出的注意力模块能够有效对特征进行过滤,凸显重要特征,抑制次要特征。

本发明的一个具体实施例,如图9所示,公开了一种基于上述识别方法的异常细胞识别系统,包括:特征提取网络1、注意力模块2及定位和分类模块3,构建注意力机制的多尺度融合网络;其中,所述注意力模块2包括通道注意力模块201和空间注意力模块202;

特征提取网络1,用于对人工数据标注或待识别宫颈细胞学图像进行特征提取得到不同尺度的特征图;

注意力模块2,用于对上述不同尺度的特征图分别进行重要特征的筛选,并根据筛选出的重要特征将上述不同尺度的特征图进行融合生成融合后的特征图;其中,所述重要特征包括通道水平的重要特征和空间水平的重要特征;

通道注意力模块201,用于根据上述不同尺度的特征图在通道水平得到不同层对应的特征重要性权重,并根据该特征重要性权重对底层特征进行特征过滤得到通道水平的重要特征;

空间注意力模块202,用于在每个通道维度的空间水平对每个不同尺度特征图的不同区域位置预设不同的权重得到特征重要性权重,并根据该特征重要性权重对通道水平的重要特征进行过滤,得到空间水平的重要特征;

定位和分类模块3,用于根据所述注意力模块2输出融合后的特征图得到异常细胞的位置定位和图像切片分类。

综上所述,本发明公开了一种基于宫颈细胞学图像的异常细胞识别方法及系统,该方法包括:获取人工数据标注的宫颈细胞学图像切片;将所述宫颈细胞学图像切片输入特征提取网络,并通过特征提取网络的不同层进行图像特征提取得到不同尺度的特征图;通过注意力模块对所述不同尺度的特征图分别进行重要特征的筛选,并根据筛选出的重要特征将所述不同尺度的特征图进行融合,将融合特征输入定位和分类模块,得到训练后的注意力机制的多尺度融合网络;将待识别宫颈细胞学图像输入所述训练后的注意力机制的多尺度融合网络,得到异常细胞的位置定位和图像切片分类,识别出待识别宫颈细胞学图像中的异常细胞。基于上述方法的系统包括:特征提取网络、注意力模块及定位和分类模块,构建注意力机制的多尺度融合网络;其中,所述注意力模块包括通道注意力模块和空间注意力模块。与现有技术相比,本发明解决了宫颈异常细胞识别方面存在尺寸较小细胞的漏检导致筛检诊断结果的准确性不高问题。

本领域技术人员可以理解,实现上述实施例中方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

相关技术
  • 一种基于宫颈细胞学图像的异常细胞识别方法及系统
  • 一种基于图像识别的输送物料异常识别方法、装置及系统
技术分类

06120112203761