一种基于多尺度特征金字塔的新冠感染图像识别方法

技术领域

本发明属于医学图像处理领域，特别涉及一种新冠感染图像识别方法。

背景技术

新冠感染由冠状病毒-2019引发，主要的特点是感染后存在发烧以及咳嗽等呼吸道不适症状。同时病毒大量存在于患者分泌物中，很容易散布于外界环境中，而接触含包含病毒的物体也有可能导致感染。而且部分患者感染早期阶段很难检测到病毒以及发病症状，表现为无症状感染者，这些因素进一步导致了疫情的爆发。而在感染早期对患者肺部医学扫描进行识别，发现患者肺部已经存在部分组织异常。此时患者逆转录聚合酶链反应(RT-PCR)检测以及病毒抗体检测结果大概率为阴性，很难对患者进行及时诊断以及治疗。因此对肺部医学图像进行COVID-19医学图像自动诊断在临床上具有重要的意义。

X射线仪器凭借其拍摄操作简单以及较低的设备价格，在全国范围内广泛的被应用，而这对获取新冠感染患者肺部图像数据提供了便利，使深度学习方法可以更好的应用于新冠疑似患者诊断。自此深度学习及其衍生算法在新冠识别领域被广泛应用，特别是在新冠图像识别研究中体现出其优势。

然而在新冠感染图像分类识别中，传统深度学习算法模型存在容易过拟合，导致模型训练困难，因而具有部分不确定性[U.R.Ozturk,T.Talo,M.Yildirim,E.A.Baloglu,U.B.Yildirim,O.Acharya,Automated detection of COVID-19cases using deep neuralnetworks with X-ray images[J].Comput.Biol.Med.121(2020)103792.]。

发明内容

针对传统深度学习算法在肺部医学图像识别中容易过拟合的不足，本发明的目的是提供一种基于多尺度特征金字塔的新冠感染图像识别方法，可以提高模型的稳定性并降低模型对大量数据的需求，克服传统深度学习算法在肺部医学图像识别中模型容易过拟合的问题，使模型训练以及收敛的难度降低，并提高分类的精度。

本发明通过构建更加完备的网络架构以克服数据量匮乏的问题，结合特征金字塔的思想，使用卷积操作获取多分辨率特征，然后利用并行特征加权操作进行特征的提取与加权，同时编解码特征融合操作对多分辨率特征进行融合，最后使用Softmax分类器进行图像分类，实现计算机算法同图像科学相互结合，提高识别的准确度。

本发明的具体技术路线如下：

(1)获取新冠感染X射线图像数据，对数据进行降采样使其分辨率相同，然后对同分辨率的图像进行归一化，降低图像中噪点对模型的影响；对图像进行随机裁剪或旋转以进行数据集扩充，最终得到类平衡的图像数据集C

(2)利用残差群卷积方法对类平衡数据集C

(3)结合特征金字塔策略，利用步骤(2)中的高分辨率初始特征图，构建多尺度特征图f

(4)利用步骤(3)中构建的多尺度特征图f

(5)使用编解码特征融合策略对多分辨率特征图进行融合以及下采样获取包含重要特征的低分辨率特征图，使用Softmax函数进行分类获取训练集分类结果，并根据预测结果结合交叉熵损失函数

(6)最后，重复步骤(2)-(5)，对已有模型权重进行多次更新，直到模型迭代训练完毕，基于最终的权重对新冠感染肺部图像进行分类，并在验证集中使用准确度、精度、回归率以及F1得分进行模型性能的评价。

所述步骤(4)中的多分辨率特征加权操作指的是对同分辨率的特征，使用3×3的卷积传递特征；对低分辨率的特征使用3×3的步长为2的跨步卷积进行特征的降采样以及传递；对高分辨率的特征，使用线性插值操作将特征图的分辨率提升到同一水平然后进行特征的传递；最后，合并所有同分辨率特征。

所述步骤(5)中使用编解码特征融合策略融合多分辨率特征指的是将所有的特征图上采样至128×128分辨率；对上采样后的特征图使用3×3步长为2的跨步卷积进行3次下采样获取低分辨率特征图；通过池化操作将低分辨率特征图缩放为一维向量；最后，使用Softmax函数进行图像分类。

所述步骤(5)中的Adam算法源自Kingma D.P，Ba J.Adam：A method forstochastic optimization[J].ArXiv preprint，2012，arXiv：1412.6980。

本发明克服了传统深度学习算法模型随机性强分类结果容易受数据数量制约的缺陷，基于特征金字塔思想进行模型构建，有效地增加了模型的稳定性并降低了模型对大量数据的需求。结合并行特征加权操作的特征提取方式，克服传统深度学习算法在肺部医学图像识别中模型容易过拟合的问题，使模型训练以及收敛的难度降低。模型最终在验证集中取得了99.26％的分类精度，为进行新冠感染疑似患者的诊断给出了一种新的辅助方法。

附图说明

图1是本发明的流程示意图。

图2是数据集中肺部X射线图像。其中，左：新冠感染图像，右：其它肺炎图像。

图3是特征金字塔策略结构图。

图4是多分辨率特征加权操作示意图。

图5是编解码特征融合策略结构图。

具体实施方式

下面结合具体实施例，对本发明的具体实施方式作进一步详细描述。以下实施例仅用于说明的目的，而非用来限制本申请的保护范围。

实施例1：

一种基于多尺度特征金字塔的新冠感染图像识别方法，如图1所示，包括如下步骤：

(1)预处理：由于数据集的大小会直接影响深度学习算法的性能，当图像数量较少时模型容易过拟合，因此本发明在kaggle开源数据集(www.kaggle.com)搜集了较多数量的肺部X射线图像数据，其中其它肺炎X射线图像1000张，新冠感染X射线图像1000张(如图2所示)。首先将图像按照约4：1的比例划分为训练集和验证集，如表1所示。然后，对图像进行降采样使其分辨率统一为256×256，并在训练时对训练集的数据进行裁剪或随机旋转以扩增数据集，得到类平衡的图像数据集。

表1数据集图像统计

(2)然后使用四个残差块组成残差群卷积方法将图像数据进行下采样，得到高分辨率初始特征图，每个残差块通过步长为1的1×1、3×3和1×1卷积提取图像中的结构特征。

(3)同时使用特征金字塔策略，结合高分辨率初始特征图构建多尺度特征图，即在模型不同层间同时存在不同分辨率的特征，如图3所示。

(4)对获取的包含多尺度特征的特征图，使用多分辨率特征加权操作进行不同层间特征的传递，如图4所示。具体来说对同分辨率的特征，使用3×3的卷积传递特征；对低分辨率的特征使用3×3的步长为2的跨步卷积进行特征的降采样以及传递；对高分辨率的特征，使用线性插值操作将特征图的分辨率提升到同一水平然后进行特征的传递；最后，合并所有同分辨率特征。

(5)经过特征提取后特征图中已经包含大量的特征信息，为了最终进行图像的分类本发明使用编解码特征融合策略融合多分辨率特征，如图5所示。首先将所有的特征图上采样至128×128分辨率，然后对上采样后的特征图使用3×3步长为2的跨步卷积进行多次下采样获取低分辨率特征图，并使用Softmax函数进行训练集图像分类。同时根据图像分类结果使用交叉熵损失函数

(6)重复迭代以上步骤以完成模型的训练，并使用验证集验证本发明中模型的性能。实验中设置迭代次数为100，学习率为0.01，每次读取16张肺部医学图像，模型最终对图像进行二分类以输出分类结果。

本发明在验证集上取得的性能使用准确度、精度、回归率以及F1得分进行评价，如表2所示。

表2本发明在验证集上的性能

/>

本发明基于多尺度特征金字塔利用X射线数据进行新冠感染图像识别任务，最终在经过100次迭代后模型取得99.26％的识别准确度，使得在新冠感染疫情期间可以仅在的发现并治疗患者，阻止疫情的社区传播。

以上已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。