一种婴儿血管瘤皮损图像的分类方法及装置

技术领域

本发明属于医学辅助诊断技术领域，具体涉及一种婴儿血管瘤皮损图像的分类方法及装置。

背景技术

婴儿血管瘤(Infantile Hemangioma,IH)，人群发生率4％-5％，平均每年新增病例约40万。

目前，具备血管瘤规范诊疗能力的儿童皮肤科医师缺口巨大。同时，不同地区对于婴儿血管瘤的诊疗水平也十分不均衡：大城市较为先进，但边远山区治疗水平落后。另外，血管瘤诊疗涉及的多个学科，如：皮肤科、整形外科、肿瘤科、介入科、儿外科等，不同学科之间对血管瘤类疾病也存在学术认识差异，导致目前不同地区的婴幼儿血管瘤诊疗水平失衡。特别是婴儿血管瘤的首诊一般由基层皮肤科医师或基层儿科医师进行，因此，如何使基层医师能够对婴儿血管瘤进行正确的辨别、诊断和分类是婴儿血管瘤诊疗中急需解决的问题。其中，基于深度学习技术对婴儿血管瘤的皮损图像进行智能识别和分类从而辅助医师诊断是重要的解决途径之一。而如何对婴儿血管瘤的皮损图像进行更加精确的识别和分类，是实现婴儿血管瘤智能诊断的基础。

发明内容

本发明的目的在于提出的一种婴儿血管瘤皮损图像分类方法及装置，能够对婴儿血管瘤的皮损图像进行更加精细地分类，进而为婴儿血管的临床诊疗和机制研究提供技术支持，并为婴儿血管瘤智能诊断的进化迭代提供了依据。

为达到上述发明目的，本发明提出一种婴儿血管瘤皮损图像分类方法，其中，所述婴儿血管瘤皮损图像分类方法包括:

建立婴儿血管瘤皮损图像数据集；

提取所述婴儿血管瘤皮损图像数据集中待分类图像中的显著性区域，并在各所述显著性区域中定位目标对象的位置；

提取各所述目标对象中的显著性部件，为各所述显著性部件赋予不同的语义。

本发明还提出一种婴儿血管瘤皮损图像分类装置，其中，所述婴儿血管瘤皮损图像分类装置包括：

图像采集单元，采集婴儿血管瘤皮损图像并建立婴儿血管瘤皮损图像数据集；

对象处理单元，提取所述婴儿血管瘤皮损图像数据集中待分类图像中的显著性区域，并在各所述显著性区域中定位到目标对象的位置；

部件处理单元，提取各所述目标对象中的显著性部件，并为各所述显著性部件赋予不同的语义。

本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的婴儿血管瘤皮损图像分类方法。

本发明还提出一种计算机可读存储介质，其中，所述计算机可存储介质存储有计算机程序，所述计算机程度被处理器执行时实现如上所述婴儿血管瘤皮损图像分类方法。

本发明还提出一种计算机程序产品，其中，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的婴儿血管瘤皮损图像分类方法。

与现有技术相比，本发明具有以下特点和优点：

本发明提出的婴儿血管瘤皮损图像分类方法，对婴儿血管瘤图像进行了两次特征提取和分类，第一次特征提取和分类后，将有效定位图像中对象区域的位置，之后再进行第二次更精细地特征提取和分类，以最终定位到皮肤上的病变区域；并且，还对提取到的每个病变区域赋予不同的语义，进而更有效对婴儿血管瘤皮损图像进行更加精细的分类，能够更有效地识别血管瘤与血管畸形、以及血管瘤的各细分类型。

本发明提出的婴儿血管瘤皮损图像分类方法，能够对婴儿血管瘤的皮损图像进行更加精细地分类，进而为婴儿血管的临床诊疗和机制研究提供技术支持，并为婴儿血管瘤智能诊断的进化迭代提供了依据。

附图说明

在此描述的附图仅用于解释目的，而不意图以任何方式来限制本发明公开的范围。另外，图中的各部件的形状和比例尺寸等仅为示意性的，用于帮助对本发明的理解，并不是具体限定本发明各部件的形状和比例尺寸。本领域的技术人员在本发明的教导下，可以根据具体情况选择各种可能的形状和比例尺寸来实施本发明。

图1为本发明提出的一种婴儿血管瘤皮损图像分类方法示意图。

具体实施方式

结合附图和本发明具体实施方式的描述，能够更加清楚地了解本发明的细节。但是，在此描述的本发明的具体实施方式，仅用于解释本发明的目的，而不能以任何方式理解成是对本发明的限制。在本发明的教导下，技术人员可以构想基于本发明的任意可能的变形，这些都应被视为属于本发明的范围。

如图1所示，本发明提出了一种婴儿血管瘤皮损图像分类方法，其包括:

建立婴儿血管瘤皮损图像数据集；

提取所述婴儿血管瘤皮损图像数据集中待分类图像中的显著性区域，并在所述显著性区域中定位到目标对象的位置；

提取所述目标对象中的显著性部件，为各所述显著性部件赋予不同的语义。

本发明提出的婴儿血管瘤皮损图像分类方法，对婴儿血管瘤图像进行了两次特征提取和分类，第一次特征提取和分类后，将有效定位图像中对象区域的位置，之后再进行第二次更精细地特征提取和分类，以最终获得皮肤上的病变区域。

在本发明一个可选的例子中，显著性区域为类别显著性区域，是通过卷积神经网络最后一层的全局平均池化提取每一幅图像的类别显著图。提取该区域的目的是提取患儿的皮肤区域。

进一步的，提取婴儿血管瘤皮损图像中的显著性区域，包括，使用卷积神经网络的全局平均池化提取婴儿血管瘤皮损图像中的显著性区域。

对于输入的图像，我们的框架分为两个部分：(1)对象级注意力模型；(2)部件级模型注意力。在本步骤主要涉及到的是对象级注意力模型。

对象级注意力模型用于定位图像中的对象区域，例如包含病变区域的患者脸部。该模型首先使用SelectiveSearch(Uijlings et al.)来生成候选图像块，其中部分图像块包含对象区域。接下来用预训练的CNN(ConvolutionalNeural Network)来根据其输出的得分来过滤不包含对象区域的图像块。最后用剩余的图像块作为训练样本再次训练CNN。这个步骤的目的是通过类似主动学习的方法生成包含有效信息的增广图像，用于获得表征能力更强的CNN模型。在训练完后，使用该CNN的最后一层的全局平均池化层来提取图像的显著区域。具体而言：，对于定的输入图像，用f

之后对类别显著图进行大津阈值二值化和最大连通域提出，从而获得图像的对象区域，即病变区域。该步骤主要目的是使用CNN提取出对象区域。其中大津阈值二值化的目的是求得一个阈值，使得类别显著图中的前景与背景之间的类间方差最大，其中该阈值是通过遍历搜索得到，从而得到前景背景的二值图；之后通过OpenCV(https://opencv.org/)的findContours函数对该二值图进行最大连通域提取，从而得到最大的空间连通的前景区域。并将其作为对象级部件的输入。

(Uijlings et al.)Uijlings J R R,Van De Sande K E A,Gevers T,etal.Selective search for object recognition[J].International journal ofcomputer vision,2013,104:154-171.

在本发明一个可选的例子中，对显著性区域进行大津二值化和最大连通域提取，从而定位到目标对象的位置。目标对象指的是病变区域。

在本发明一个可选的例子中，显著性部件为皮肤上的病变区域。其中显著性部件是由对象级注意力模型所提取的类别显著图。其由卷积神经网络通过数据驱动的方式来提取到神经网络所关注到的区域，最终目的是提取到对象区域，即皮肤上的病变区域。在数据驱动的学习过程中，模型可以学习到血管瘤不同的特性，对应为注意力模型的不同参数表示。

进一步的，显著性部件的模型优化函数表示为：

Loss＝L

其中，f

在本发明一个可选的例子中，为各显著性部件区域赋予不同的语义，包括：

对于N个显著性部件区域{P

其中，

由于只有全图而缺乏对于病变区域的标注，之前的优化函数(即对象-部件注意力模型的拓扑约束函数)得到的显著性部件区域可能是错误的。在实际使用中，有很多背景部分也被错误地作为显著性部件引入，直接使用这些数据，会影响分类结果。因此本专利提出了该部件语义对齐的步骤，利用卷积神经网络对显著性部件区域具有敏感性的特点，将卷积层的神经元作为部件检测器，通过聚类算法生成前景(血管瘤、血管畸形)与背景的检测器组，对相应的部件产生较强的卷积激活响应。

部件级注意力模型由这两个部分构成：(1)对象-部件注意力模型的拓扑约束函数，该部分主要用于提取显著性部件区域；(2)部件语义对齐模块，主要通过聚类的方式来纠正由之前的输入所引入的背景图。

在细粒度学习领域中，部件级检测器组是一种常用的方法。本专利的改进主要体现在由于数据缺乏部件级的标注，因此通过语义对齐的方式来纠正显著性区域错误的引入背景图像的行为。该部分既可以通过聚类算法无监督地获得，也可以通过配合适量标注的方法，少监督地训练得到。

经过分类后，婴儿血管瘤皮损图片最终的分类结果为血管瘤(阳性)与血管畸形(阴性)。

本发明还提出一种婴儿血管瘤皮损图像分类装置，该婴儿血管瘤皮损图像分类装置包括：

图像采集单元，采集婴儿血管瘤皮损图像并建立婴儿血管瘤皮损图像数据集；

对象处理单元，提取所述婴儿血管瘤皮损图像数据集中待分类图像中的显著性区域，并在各所述显著性区域中定位到目标对象的位置；

部件处理单元，提取各所述目标对象中的显著性部件，并为各所述显著性部件赋予不同的语义。

本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的婴儿血管瘤皮损图像分类方法。

本发明还提出一种计算机可读存储介质，其中，所述计算机可存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的婴儿血管瘤皮损图像分类方法。

本发明还提出一种计算机可读存储介质，其中，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上所述的婴儿血管瘤皮损图像分类方法。

针对上述各实施方式的详细解释，其目的仅在于对本发明进行解释，以便于能够更好地理解本发明，但是，这些描述不能以任何理由解释成是对本发明的限制，特别是，在不同的实施方式中描述的各个特征也可以相互任意组合，从而组成其他实施方式，除了有明确相反的描述，这些特征应被理解为能够应用于任何一个实施方式中，而并不仅局限于所描述的实施方式。