基于注意力机制的深度学习染色体自动识别模型及系统

技术领域

本发明涉及医学图像处理技术领域，特别涉及一种基于注意力机制的深度学习染色体自动识别模型及系统。

背景技术

染色体畸变综合征是由先天性染色体数目异常或结构畸变引起的疾病[1-3]。染色体异常患者常伴有先天疾病,这将给患者及其家庭带来沉重的精神和经济负担。目前，染色体畸变诊断依赖于核型分析[4-5]。但是，核型分析主要依靠医生手工操作完成，需要专业经验，且耗时费力。因此，研究能够自动对染色体进行配对、编号和分组的分类方法对于诊断染色体疾病，具有重要的临床意义。

近年来，卷积神经网络在医学图像分析特别是染色体图像分析中得到了广泛的应用，比如Alexnet[6]、Lenet[7]、Resnet50[8]。虽然以上研究都是基于卷积神经网络的方法，但问题是网络层数越深，需要设置的参数越多，可能会导致数据过拟合。稠密连接网络(DenseNet)通过集合来连接特征，相比其他网络通过求和来连接特征，具有减少参数数量的优点。另外，由于DenseNet的输入特征信息可以在多个方向前向传输，且梯度可以在多个方向后向传输，使得整个网络更容易训练[9-11]。Sebastian等人应用卷积神经网络方法进行乳腺癌分级分类,结果表明基于DenseNet的多方法融合模型取得更好的分类性能[12]。但是该模型忽略了同一图像不同区域特征在分类任务中的不同贡献，对重要特征的关注可能会得到更好的分类结果，而这也是现有基于深度学习的染色体识别方案中普遍存在的一个问题。

参考文献：

[1]P.K.Agrawala,J.S.Adhikari and N.K.Chaudhury,“:Lymphocytechromosomal aberration assay in radiation biodosimetry,”Journal of PharmacyAnd Bioallied Sciences,vol.2,pp.197,2010.

[2]P.E.Conen,A.G.Bell and N.Aspin,“Chromosomal aberration in aninfant following the use of diagnostic X-rays,”Pediatrics,vol.31,pp.72-79,1963.

[3]M.A.Bender,H.G.Griggs and J.S.Bedford,“Mechanisms of chromosomalaberration production III.Chemicals and ionizing radiation,”MutationResearch/Fundamental and Molecular Mechanisms of Mutagenesis,vol.23,pp.197-212,1974.

[4]T.Schwarzacher,P.Ambros and D.Schweizer,“Application of Giemsabanding to orchid karyotype analysis,”Plant Systematics and Evolution,vol.134,pp.293-297,1980.

[5]F.

[6]A.Krizhevsky,I.Sutskever,and G.E.Hinton,“Imagenet classificationwith deep convolutional neural networks,”in Proc.Adv.NeuralInf.Process.Syst.,pp.1097–1105,2012.

[7]K.Simonyan and A.Zisserman,“Very deep convolutional networks forlarge-scale image recognition,”arXiv:1409.1556.[Online].Available:https://arxiv.org/abs/1409.1556,2014.

[8]N.Xie,X.Li,K.Li,Y.Yang and H.T.Shen,“Statistical karyotypeanalysis using cnn and geometric optimization,”IEEE Access,vol.7,pp.179445-179453,2019.

[9]G.Huang,Z.Liu,V.Laurens and K.Q.Weinberger,“Densely ConnectedConvolutional Networks,”IEEE Computer Society,pp.4700-4708,2016.

[10]F.Iandola,M.Moskewicz,S.Karayev,R.Girshick and K.Keutzer,“Densenet:Implementing efficient convnet descriptor pyramids,”arXiv preprintarXiv,pp.1404-1869,2014.

[11]Z.Huang,X.Zhu,M.Ding and X.Zhang,“Medical image classificationusing a light-weighted hybrid neural network based on PCANet and DenseNet,”IEEE Access,vol.8,pp.24697-24712,2020.

[12]S.Otálora,M.Atzori,V.Andrearczyk and H.Muller,“Imagemagnification regression using densenet for exploiting histopathology openaccess content,”Springer,pp.148-155,2018.

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于注意力机制的深度学习染色体自动识别模型及系统。

为解决上述技术问题，本发明采用的技术方案是：一种基于注意力机制的深度学习染色体自动识别模型，包括依次串联的：输入端卷积层、池化层、第一稠密块、通道注意力模块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块以及分类器层。

优选的是，所述通道注意力模块包括并列的平均池化层和最大池化层、与所述平均池化层和最大池化层均连接的多层感知机共享网络以及与所述多层感知机共享网络依次连接的sum函数和sigmoid函数；

所述多层感知机共享网络包括依次连接的一个系数为W

优选的是，所述分类器层包括一个全局平均池化层和一个串联的全连接softmax层。

优选的是，所述第一稠密块输出的特征图x

x

其中，l、l-1代表层数，x

优选的是，所述通道注意力模块的处理方法为：

1)首先，将第一稠密块输出的特征图x

2)然后，将

3)特征图

优选的是，所述步骤2)中，

其中，δ函数定义为δ(x)＝0，x≠0。

优选的是，所述步骤3)中，通道注意力特征图M

优选的是，该自动识别模型进行图像处理的步骤包括：

S1、输入的图像依次经过输入端卷积层、池化层、第一稠密块后，通过第一稠密块输出特征图x

S2、将通道注意力特征图M

将特征矩阵x

S3、将第四稠密块生成的特征图作为分类器层的输入，经过分类器层中的卷积核为7×7的全局平均池化层重采样后，由全连接softmax层输出最终分类结果。

本发明还提供一种基于注意力机制的深度学习染色体自动识别系统，该系统包括图像获取模块、图像预处理模块以及如上所述的染色体自动识别模型。

优选的是，该系统进行染色体图像识别的步骤包括：

Ⅰ、通过所述图像获取模块获取染色体图像，并进行人工标注；

Ⅱ、通过所述图像预处理模块对所述图像获取模块的输出图像进行处理，得到训练数据集；

Ⅲ、利用训练数据集对所述染色体自动识别模型进行训练；

Ⅳ、将待处理的染色体图像输出经步骤Ⅲ训练得到的染色体自动识别模型中，得到染色体识别结果。

本发明的有益效果是：

本发明提供的基于注意力机制的深度学习染色体自动识别模型，通过在第一密集块后加入通道注意力模块提取重要信息、抑制冗余信息，能提高整体分类的准确率，解决现有深度学习染色体识别网络容易忽略图像不同区域特征的问题；

现有基于深度学习的染色体识别方法、模型，普遍忽略了同一染色体图像不同区域特征在分类任务中的不同贡献。本发明中提出将注意力机制与深度学习方法联合的方法进行染色体自动识别，能提高染色体分类准确性，具体的：本申请中，将注意力机制模块应用于性能优良的深度学习网络模型，通过注意力机制，让网络在处理不同部分语句时能够聚焦到特定的已经编码的语义向量，通过最大池化和平均池化操作在减少特征参数的同时保证特征不变形，更多的保留背景信息和纹理(边界)信息，从而能更好地识别染色体。

本发明提供的基于注意力机制的深度学习染色体自动识别系统，可实现染色体的高准确率自动识别，在染色体识别及异常分析中具有很好的应用价值。

附图说明

图1为本发明的基于注意力机制的深度学习染色体自动识别模型的结构示意图；

图2为本发明的多层感知机共享网络的结构示意图；

图3为本发明的实施例1的染色体识别结果；

图4为本发明的实施例2中的基于注意力机制的深度学习染色体自动识别系统的工作流程图。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

实施例1

参照图1，本实施例提供一种基于注意力机制的深度学习染色体自动识别模型，包括依次串联的：输入端卷积层、池化层、第一稠密块、通道注意力模块、第一过渡层、第二稠密块、第二过渡层、第三稠密块、第三过渡层、第四稠密块以及分类器层。

本实施例中，输入端卷积层的卷积核为7×7，步长为2；池化层的卷积核为3×3，步长为2。四个稠密块：第一稠密块、第二稠密块、第三稠密块、第四稠密块分别含有6、12、48、32对卷积层，每对卷积层由卷积核为1×1和卷积核为3×3的两个卷积层串联。第一过渡层、第二过渡层、第三过渡层均包含有1个卷积核大小为1×1的卷积层和一个卷积核大小为2×2，步长为2的平均池化层。

参照图2，本实施例中，通道注意力模块包括并列的平均池化层和最大池化层、与平均池化层和最大池化层均连接的多层感知机共享网络以及与多层感知机共享网络(shared MLP)依次连接的sum函数和sigmoid函数；

其中，多层感知机共享网络包括依次连接的一个系数为W

本实施例中，通过设置通道注意力模块，卷积神经网络可以使用全局信息选择性的强调有效特征并抑制冗余特征，将可用计算资源分配向输入信息中信息量最大的特征区域。通道注意力模块的处理方法为：

1)首先，将第一稠密块输出的特征图x

2)然后，将

3)特征图

其中，第一稠密块输出的特征图x

x

其中，l、l-1代表层数，x

步骤2)中，

其中，δ函数定义为δ(x)＝0，x≠0。

步骤3)中，通道注意力特征图M

本实施例中，该自动识别模型进行图像处理的主要步骤包括：

S1、输入的图像依次经过输入端卷积层、池化层、第一稠密块后，通过第一稠密块输出特征图x

S2、将通道注意力特征图M

将特征矩阵x

S3、将第四稠密块生成的特征图作为分类器层的输入，经过分类器层中的卷积核为7×7的全局平均池化层重采样后，由全连接softmax层输出最终分类结果。

参照图3为实施例1的染色体自动识别模型的染色体识别结果，下表1为实施例1在公开数据集(https://github.com/Xi-Hu/Chromosome-Images.git)上的与同类方法的染色体识别性能指标比较结果。可以看出，实施例1的染色体自动识别模型能够成功实现染色体的识别，且性能指标优于传统方法。

表1

实施例2

本实施例提供一种基于注意力机制的深度学习染色体自动识别系统，该系统包括图像获取模块、图像预处理模块以及实施例1的染色体自动识别模型；参照图4，该系统进行染色体图像识别的步骤包括：

Ⅰ、通过图像获取模块获取染色体图像(染色体分裂中期显微镜图像)，并进行人工标注，得到染色体标签；

Ⅱ、通过图像预处理模块对图像获取模块的输出图像进行处理(如染色体分割、背景填充、图像归一化、数据扩充处理等)，得到训练数据集；

Ⅲ、利用训练数据集对染色体自动识别模型进行训练；

Ⅳ、将待处理的染色体图像(测试数据集)输出经步骤Ⅲ训练得到的染色体自动识别模型中，得到染色体识别结果。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。