一种基于多尺度特征融合的染色体分裂相定位与排序的方法

技术领域

本发明属于一种基于多尺度特征融合的染色体分裂相定位与排序的方法。

背景技术

染色体核型分析是以染色体中期分裂相为研究对象，借助显带技术并充分利用染色体的形态特征和纹理特征来对染色体进行排序和编号，从而完成对染色体的分析，核型分析为细胞遗传分析研究提供重要的依据。利用显微镜自动扫描平台进行染色体核型的自动分析，关键是能够在通过计算机来完成染色体分裂相的定位，并对所定位提取的分裂相质量进行排序，从而获得更有研究价值的分裂相位置，然后根据具体位置分割出分裂相图像，从而进行相应的核型分析。

传统的染色体分裂相寻找任务通常利用人工在显微镜下寻找定位，并调节显微镜放大倍数，从而确认分裂相的质量，该方法会耗费大量人力，同时检测的准确程度也会随着检测人员的匹配程度而下降。利用计算机辅助染色体分裂相的定位与质量排序是现在最流行的方式，利用显微镜相机将样本图像扫描置计算机，并利用图像分析技术进行分裂相的筛选，能够在一定程度上大大减轻医生的负担。但利用传统的计算机图像分析算法进行染色体分裂相特征的提取、聚类、分类等工作通常在图像杂质较多，背景较复杂的情况下容易造成失效，算法的鲁棒性较差。

随着深度学习的快速发展，利用神经网络进行医学图像分析已经成为一个重要的研究方向。目前流行的深度学习图像分析方法通常利用简单线性网络或者卷积神经网络来进行建模和分析，这些方法通常利用多层神经网络提取图像的抽象语义特征来完成图像的分类，但是对于检测图像中体积较小的目标时难以达到很好的效果。

发明内容

本发明的目的是克服现有技术中的不足，提供一种基于多尺度特征融合的染色体分裂相定位与排序的方法。

为实现上述目的，本发明提供如下技术方案：

一种基于多尺度特征融合的染色体分裂相定位与排序的方法，包括如下步骤：

步骤S1：开始；

步骤S2：显微镜扫描读取待检测的染色体样本图像，通过人工标注出所扫描样本图像中的染色体分裂相目标，并对标记好的标签进行多轮检查，防止错误标记对模型训练带来的负面影响，获取用于模型训练的训练集；

步骤S3：每次取出训练集中的一部分染色体样本图像进行数据增强，随机选取四张图像进行拼接，并在拼接所获得的图像上随机复制一定比例的染色体分裂相目标，得到增强过的染色体样本图像；

步骤S4：将增强过的染色体样本图像进行归一化处理，从而获取输入分裂相定位模型的输入张量A；

步骤S5：将输入张量A输入到分裂相定位模型中进行计算得到输出张量 C，从而预测分裂相目标位置，然后得到定位结果，然后训练分裂相定位模型；

步骤S6：根据定位结果置裁剪出染色体分裂相图像，利用人工对该染色体分裂相图像进行等级评定，再次获取标签，经过多轮的标签检查，防止错误标记对模型训练带来的负面影响，最终获取用于模型训练的训练集；

步骤S7：利用训练样本增强算法对训练集进行随机反转和旋转，并进行 Z-Score标准化处理，选取训练集中的一部分染色体分裂相图像将尺寸放缩到96×96，拼接预处理过后的染色体分裂相图像为一个张量，最终获取用于训练染色体分裂相排序模型的输入张量B；

步骤S8：将输入张量B输入到分裂相排序模型中计算得到输出张量H,然后训练分裂相排序模型，与此同时，利用该输出张量H预测所有输入分裂相图像的等级类别归类，并根据等级对所有的分裂相样本进行排序，有限输出质量等级更高的分裂相目标，从而输出分裂相扫描结果；

步骤S9：判断是否结束分裂相扫描，若否则跳到步骤S2，否则结束。

作为优选，归一化处理的计算公式为

作为优选，所述训练分裂相定位模型的流程如下：

步骤C1：计算目标损失值L

所述

步骤C2：计算总损失值loss

步骤C3：对总损失值loss

步骤C4：重复步骤C1，根据所记录的总损失值loss

所述Z-Score标准化处理的公式为

所述f(x,y)表示输入图像位于坐标(x,y)的像素值，所述n(x,y)表示标准化处理过后的图像位于坐标(x,y)的像素值，σ表示数据集的像素均值，所述μ表示数据集的像素方差。

作为优选，所述训练分裂相排序模型的流程如下：

步骤q1：计算P

P第i个元素的值，Z

步骤q2：计算模型的损失值lossb，所述

步骤q3：对模型的损失值lossb进行反向求导更新优化分裂相排序模型的网络权重参数，至此完成一轮模型的训练，记录模型的损失值lossb；

步骤q4：重复步骤q3，根据所记录的模型的损失值lossb绘制损失曲线，观察损失曲线，当模型的损失值lossb收敛时停止训练，从而完成训练分裂相排序模型。

作为优选，分裂相定位模型的神经网络模型包括特征提取层、特征融合层、输出层，所述特征提取层利用CSPN模块进行特征提取。

作为优选，将输入张量A输入到分裂相定位模型中进行计算的过程为通过特征提取层获取特征张量，然后利用上采样获取两个不同尺度的特征张量，分别与特征提取层中对应尺度的特征张量通过特征融合层进行融合，通过输出层最终得到输出张量C。

作为优选，分裂相排序模型的神经网络模型包括特征提取层、全连接层、输出层，所述特征提取层利用CSPN模块进行特征提取。

作为优选，将输入张量B输入到分裂相排序模型中计算的过程为将输入张量B输入到分裂相排序模型中进行计算，经过CSPN模块完成特征提取，从而获取特征张量，并利用全连接层对该特征张量进行序列化，通过输出层最终得到输出张量H。

本发明的有益效果如下：

1、传统的染色体核型分析依赖于人工在显微镜下进行染色体分裂相的定位和筛选，本发明采用深度学习的方法，利用专业人员标注的数据集来训练神经网络模型并利用所训练的模型完成染色体分裂相的全自动检测和排序，大大提升了检测的效率，采用本发明所提出的染色体分裂相自动检测与排序算法，可以减小人工镜检时因疲劳造成的误差，同时分析速度大大提升；

2、由于在10倍镜下进行染色体分裂相检测拥有更大的检测视野，检测速度更快，但该视野下染色体分裂相的体积通常较小，会牺牲一定的检测准确率，针对以上问题，本发明通过提取训练样本的多尺度特征并进行特征融合，以此来防止下采样导致的特征丢失，通过该方法不但能够提升在10倍镜样本图像下染色体分裂相的检测准确度，还能够有效的解决随着神经网络结构加深带来的网络退化问题；

3、相比于利用传统的计算机图像技术对样本图像进行阈值分割并且利用图像形态学操作和聚类分类算法进行连通域筛选来获得染色体分裂相，本发明利用深度学习技术来完成染色体分裂相的定位能够更有效的区分背景杂质和分裂相目标，并且能够有效的防止样本成像光照不均匀或者噪声对检测结果所造成的影响，算法性能更强。

4、利用传统机器学习方法进行染色体分裂相的定位，检测效果通常依赖于人工提取的分裂相特征的质量，并且能够利用的特征有限，本发明利用深度学习的方法来进行染色体分裂相的定位，能够通过训练自动提取分裂相的深层特征，并且能够通过大量的样本来进一步的提升模型的泛化性，对于制片流程和成像质量差异较大的样本，也能够通过添加训练样本来提升模型对该类样本的检测能力；

5、本发明利用CSPN模块来进行特征提取，相比于只采用单一的卷积层来进行特征提取，利用该模块能够更有效的提取染色体分裂相的深层特征，采用了层次化特征融合的方式来提升模型在10倍镜下对小目标的检测准确率，同时利用截断梯度流的方式来防止过多的重复梯度信息被用于模型的训练，能够有效的防止梯度爆炸问题；

6、为了提升模型训练的效果，本发明在染色体检测和排序模型的训练过程中都利用所设计的数据预处理算法对训练集样本进行了特征增强，分别采用了归一化和Z-Score标准化的方式对样本图像进行了处理，使特征分布更加集中，通过该方法进行训练能够有效的提升模型对样本特征的学习能力，使模型的训练速度和训练结果都有所提升；

7、本发明通过训练深度学习模型对分割出的分裂相图像进行特征提取和排序能够大大提升排序效果，通过将分割出的分裂相图像拼接成一个张量来进行并行计算，能够进一步减小额外模型计算对算法检测速度带来的影响。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明的流程图；

图2为分裂相定位模型的神经网络模型图；

图3为CSPN模块结构图；

图4为分裂相排序模型结构图；

图5为待检测的样本图像1；

图6为待检测的样本图像2；

图7为待检测的样本图像3；

图8为待检测的样本图像4；

图9为待检测的样本图像1的分裂相检测结果；

图10为待检测的样本图像2的分裂相检测结果；

图11为待检测的样本图像3的分裂相检测结果；

图12为待检测的样本图像4的分裂相检测结果；

图13为待排序的分裂相图像；

图14为分裂相等级排序结果。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

相较于利用传统的计算机图形学和机器学习的方法进行染色体分裂相的定位，采用深度学习方法能够不依赖于人工提取的分裂相特征，利用大量标注的样本来进行模型的训练，在训练集规模有所保证的前提下，模型往往能够取得更好的泛化性。本发明基于深度学习技术，提出了一种基于多尺度特征融合的染色体分裂相定位和排序方法，该方法首先利用卷积神经网络提取染色体样本图像在多个尺度上的特征，然后进行特征融合预测图像中可能存在的分裂相目标，最后根据预测的分裂相位置分割出分裂相图像并预测分裂相的质量等级，从而完成染色体分裂相的定位与排序，方法流程图如图1所示，包括如下步骤：

步骤S1：开始；

步骤S2：显微镜扫描读取待检测的染色体样本图像，如图5到图8所示，通过人工标注出所扫描样本图像中的染色体分裂相目标，并对标记好的标签进行多轮检查，防止错误标记对模型训练带来的负面影响，获取用于模型训练的训练集；

步骤S3：每次取出训练集中的一部分染色体样本图像进行数据增强，随机选取四张图像进行拼接，并在拼接所获得的图像上随机复制一定比例的染色体分裂相目标，得到增强过的染色体样本图像；

步骤S4：将增强过的染色体样本图像进行归一化处理，从而获取输入分裂相定位模型的输入张量A；

步骤S5：将输入张量A输入到分裂相定位模型中进行计算得到输出张量 C，从而预测分裂相目标位置，然后得到定位结果，如图9到图12所示，然后训练分裂相定位模型；

步骤S6：根据定位结果置裁剪出染色体分裂相图像，如图13所示，利用人工对该染色体分裂相图像进行等级评定，再次获取标签，经过多轮的标签检查，防止错误标记对模型训练带来的负面影响，最终获取用于模型训练的训练集；

步骤S7：利用训练样本增强算法对训练集进行随机反转和旋转，并进行 Z-Score标准化处理，选取训练集中的一部分染色体分裂相图像将尺寸放缩到96×96，拼接预处理过后的染色体分裂相图像为一个张量，最终获取用于训练染色体分裂相排序模型的输入张量B；

步骤S8：将输入张量B输入到分裂相排序模型中计算得到输出张量H,然后训练分裂相排序模型，与此同时利用该输出张量H预测所有输入分裂相图像的等级类别归类，并根据等级对所有的分裂相样本进行排序，有限输出质量等级更高的分裂相目标，从而输出分裂相扫描结果，如图14所示；

步骤S9：判断是否结束分裂相扫描，若否则跳到步骤S2，否则结束。

本发明所提出的方法主要包含两个部分，首先需要在10倍镜下完成染色体样本图像的扫描，然后将样本图像尺寸缩小到608×608输入到染色体分裂相定位模型当中获取该样本中可能存在的染色体分裂相位置，然后根据染色体分裂相定位模型的预测结果扫描并采集染色体分裂相图像，将图像尺寸放缩到96×96输入到染色体分裂相排序模型当中，预测分裂相图像的质量等级。

参见图2是申请的一个实施例所提供的染色体分裂相定位模型的神经网络结构，该模型主要由特征提取层、特征融合层以及输出层三部分组成，其中特征提取层主要利用CSPN模块进行特征提取，模块结构如图3所示。方法首先需要利用所提出的训练方法对该模型进行训练，训练步骤包括：

步骤1：利用显微镜自动扫描平台在10倍镜下扫描染色体样本图像，通过人工标注出所扫描样本图像中的染色体分裂相目标，并对标记好的标签进行多轮检查，防止错误标记对模型训练带来的负面影响，获取用于模型训练的训练集；

步骤2：每次取出训练集中的一部分样本图像进行数据增强，随机选取四张图像进行拼接，并在拼接所获得的图像上随机复制一定比例的染色体分裂相目标，以此来增强样本的背景和目标多样性，将增强过后的图像进行归一化处理，获取用于输入模型训练的输入张量；

步骤3：将输入张量输入染色体分裂相定位模型中进行计算，通过特征提取层获取特征张量，并在特征融合层将特征张量进行上采样和特征张量拼接融合，以此来完成多尺度特征的融合，最终利用融合的特征预测样本中可能存在染色体分裂相目标位置，获取输出张量；

步骤4：利用所设计的损失函数loss

步骤5：重复步骤4，根据所记录的损失值绘制损失曲线，观察损失曲线，当模型的损失值收敛时停止训练，获取最终用于染色体分裂相定位的模型；

参见图4是申请的一个实施例所提供的染色体分裂相排序模型的神经网络结构，该模型主要利用CSPN模块进行特征提取，最终经过两个全连接层获取一个输出向量，获取对输入分裂相图像的等级类别的预测结果，利用所设计的训练方法对模型进行训练，训练步骤包括：

步骤1：根据训练好的染色体分裂相定位模型扫描分裂相目标并分割出分裂相目标的图像，利用人工对该分裂相进行等级评定，获取标签。经过多轮的标签检查，防止错误标记对模型训练带来的负面影响，最终获取用于模型训练的训练集。

步骤2：利用所设计的训练样本增强算法对训练样本进行随机反转和旋转，并进行Z-Score标准化处理，选取一部分样本将尺寸放缩到96×96，拼接预处理过后的分裂相样本图像为一个张量，最终获取用于训练染色体分裂相排序模型的输入张量；

步骤3：将输入张量输入到模型中进行计算，经过CSPN模块完成特征提取获取特征张量，并利用全连接层对该特征张量进行序列化，最终输出一个长度为6的输出张量用于预测该输入图像的等级类别。

步骤4：利用所设计的损失函数loss

步骤5：重复步骤4，根据所记录的损失值绘制损失曲线，观察损失曲线，当模型的损失值收敛时停止训练，获取最终用于染色体分裂相排序的模型。

归一化处理的计算公式为

为了保证染色体分裂相定位模型所预测分裂相边界框的准确，本发明利用目标损失L

所述训练分裂相定位模型的流程如下：

步骤C1：计算目标损失值L

由于L

步骤C2：计算总损失值loss

步骤C3：对总损失值loss

步骤C4：重复步骤C1，根据所记录的总损失值loss

为了能够保证模型训练过程中更容易收敛，需要对输入的染色体分裂相样本图像进行Z-Score标准化处理。

所述Z-Score标准化处理的公式为

所述f(x，y)表示输入图像位于坐标(x，y)的像素值，所述n(x，y)表示标准化处理过后的图像位于坐标(x，y)的像素值，σ表示数据集的像素均值，所述μ表示数据集的像素方差。

所述训练分裂相排序模型的流程如下：

步骤q1：计算P

P第i个元素的值，Z

步骤q2：计算模型的损失值lossb，所述

步骤q3：对模型的损失值lossb进行反向求导更新优化分裂相排序模型的网络权重参数，至此完成一轮模型的训练，记录模型的损失值lossb；

步骤q4：重复步骤q3，根据所记录的模型的损失值lossb绘制损失曲线，观察损失曲线，当模型的损失值lossb收敛时停止训练，从而完成训练分裂相排序模型。

分裂相定位模型的神经网络模型包括特征提取层、特征融合层、输出层，所述特征提取层利用CSPN模块进行特征提取。

将输入张量A输入到分裂相定位模型中进行计算的过程为通过特征提取层获取特征张量，然后利用上采样获取两个不同尺度的特征张量，分别与特征提取层中对应尺度的特征张量通过特征融合层进行融合，通过输出层最终得到输出张量C。

分裂相排序模型的神经网络模型包括特征提取层、全连接层、输出层，所述特征提取层利用CSPN模块进行特征提取。

将输入张量B输入到分裂相排序模型中计算的过程为将输入张量B输入到分裂相排序模型中进行计算，经过CSPN模块完成特征提取，从而获取特征张量，并利用全连接层对该特征张量进行序列化，通过输出层最终得到输出张量H。

本发明分别利用损失函数loss

本实施例展示了进行染色体分裂相定位和排序模型的训练以及利用所训练模型进行分裂相的检测和排序的工作流程。本发明所提出的分裂相定位和排序算法能够利用深度学习技术自动完成分裂相的扫描和排序工作，相比于现有的染色体分裂相自动扫描和排序算法，该算法能够通过添加训练样本来提升模型的泛化性，算法对样本背景杂质和噪声不敏感，鲁棒性更强，算法准确率更高，即使在制片流程和样本成像质量差异较大的情况下也能取得很好的分裂相扫描和排序效果。

1、传统的染色体核型分析依赖于人工在显微镜下进行染色体分裂相的定位和筛选，本发明采用深度学习的方法，利用专业人员标注的数据集来训练神经网络模型并利用所训练的模型完成染色体分裂相的全自动检测和排序，大大提升了检测的效率，采用本发明所提出的染色体分裂相自动检测与排序算法，可以减小人工镜检时因疲劳造成的误差，同时分析速度大大提升；

2、由于在10倍镜下进行染色体分裂相检测拥有更大的检测视野，检测速度更快，但该视野下染色体分裂相的体积通常较小，会牺牲一定的检测准确率，针对以上问题，本发明通过提取训练样本的多尺度特征并进行特征融合，以此来防止下采样导致的特征丢失，通过该方法不但能够提升在10倍镜样本图像下染色体分裂相的检测准确度，还能够有效的解决随着神经网络结构加深带来的网络退化问题；

3、为了提升模型进行染色体分裂相位置预测的准确性，本发明对分裂相位置预测任务进行明确的量化，将待检测的样本图像划分为多个网格单元，通过预测每个网格单元中分裂相对于网格中心点的偏移距离来完成对染色体分裂相位置的预测，利用该方法能够提升模型进行染色体分裂相位置预测的准确率，并且能够加快神经网络模型训练时的收敛速度；

4、相比于利用传统的计算机图像技术对样本图像进行阈值分割并且利用图像形态学操作和聚类分类算法进行连通域筛选来获得染色体分裂相，本发明利用深度学习技术来完成染色体分裂相的定位，能够更有效的区分背景杂质和分裂相目标，并且能够有效的；

5、利用传统机器学习方法进行染色体分裂相的定位，检测效果通常依赖于人工提取的分裂相特征的质量，并且能够利用的特征有限，本发明利用深度学习的方法来进行染色体分裂相的定位，能够通过训练自动提取分裂相的深层特征，并且能够通过大量的样本来进一步的提升模型的泛化性，对于制片流程和成像质量差异较大的样本，也能够通过添加训练样本来提升模型对该类样本的检测能力；

6、本发明利用CSPN模块来进行特征提取，相比于只采用单一的卷积层来进行特征提取，利用该模块能够更有效的提取染色体分裂相的深层特征，采用了层次化特征融合的方式来提升模型在10倍镜下对小目标的检测准确率，同时利用截断梯度流的方式来防止过多的重复梯度信息被用于模型的训练，能够有效的防止梯度爆炸问题；

7、为了提升模型训练的效果，本发明在染色体检测和排序模型的训练过程中都利用所设计的数据预处理算法对训练集样本进行了特征增强，分别采用了归一化和Z-Score标准化的方式对样本图像进行了处理，使特征分布更加集中，通过该方法进行训练能够有效的提升模型对样本特征的学习能力，使模型的训练速度和训练结果都有所提升；

8、本发明通过训练深度学习模型对分割出的分裂相图像进行特征提取和排序能够大大提升排序效果，通过将分割出的分裂相图像拼接成一个张量来进行并行计算，能够进一步减小额外模型计算对算法检测速度带来的影响。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。