一种基于注意力机制的新冠肺炎病程分期预测系统

技术领域

本发明涉及图像处理中目标检测算法领域，具体是一种基于注意力机制的新冠肺炎病程分期预测系统。

背景技术

新型冠状病毒肺炎(以下简称新冠肺炎)已成为世界关注的严重公共卫生事件，高分辨率计算机断层扫描(high resolution computerized tomography，HRCT)是其首选和主要的影像检查方法。认识和掌握新冠肺炎HRCT特征性表现，对提高掌握新冠肺炎的 临床诊断具有重要意义。因此，国内相关专家经过多次讨论，根据各自的经验并参考新 冠肺炎最新的参考文献，针对新冠肺炎的影像分期及表现、特殊人群的影像表现以及影 像诊断等内容编写了中国指南，旨在规范和指导HRCT在新冠肺炎中的检查，辅助新冠 肺炎的临床诊疗。

华为云推出新冠肺炎AI辅助诊断服务，对患者肺部CT多发磨玻璃密度影(GGO) 以及肺实变进行分割以及量化评价减轻医生诊断工作负荷。但这些技术主要针对新冠肺 炎患者的普遍性特征进行辅助诊断，尚未做到对新冠肺炎少见征象病例特异性特征的精 准诊断，而精准诊断新冠肺炎病例的特异性特征在此次疫情防控中具有重要作用。

细粒度图像分类是指对一个大类别进行更细致的子类划分，如区分鸟的种类、车的 品牌款式、狗的品种等，目前面向细粒度的识别网络大都致力于使用更深层次的卷积网络或对卷积过程进行重构，以达到提取更多图像特征的目的。但是减少池化过程造成会 信息丢失的角度考虑，使网络不能快速锁定特征图像中重点目标区域，提取更多目标区 域的细节特征。

发明内容

基于上述想法，本发明提出一种基于注意力机制的新冠肺炎分期病程预测系统，此 系统实现了端到端的弱监督分类，可以很好应对目前新冠肺炎数据量不足的局面。

为实现上述目的，采用如下技术方案：

一种基于注意力机制的新冠肺炎病程分期预测系统，包括数据预处理模块、基于注 意力机制的系统网络模块和分类器模块：

数据预处理模块：用于针对新冠肺炎定点治疗医院提供的感染患者的HRCT图像，选取出含有病变的CT图像，进行分割处理，得到感兴趣区域，统一图像大小，整理得 出带有不同标签的序列图像，不同标签包括：早期、进展期、重症期及消散期；将带标 签的序列图像分别按层次处理成对应的one-hot编码以及划分训练集和验证集；

基于注意力机制的系统网络模块：所述系统网络模块包括一个融合注意力机制和残 差模块的神经网络模块，用于将HRCT图像输入到该神经网络模块中进行特征提取，所述神经网络模块在最后一个卷积层与双线性池化层中间添加有通道注意力模型，在该神经网络模块中用双线性池化方法将双通道提取到的特征进行融合；

系统网络模块包括：

卷积操作单元：输入图像进入卷积层进行卷积操作；

瓶颈单元：卷积操作后的特征图进入瓶颈单元，使用1×1conv来缩减或扩张特征图 维度；

注意力机制学习单元：加入通道注意力权重进行注意力机制学习；

超分辨子像素上采样单元：提取到的特征图接着进入超分辨子像素上采样单元，获 得高分辨率的大图，方便下一个残差模块提取更为细小的特征；

超分辨子像素下采样单元：将B-CNN(Bilinear Convolutional NeuralNetworks， B-CNN)的VGG-M和VGG-D两个网络提取到的特征图进行合并后通过超分辨子像素 下采样进行降维；

求和单元：将所有位置得到的双线性特征进行求和作为本幅图像的特征；

分类器模块：求和后的特征经过分类器得到精准的分期预测。

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的基于注意力机制 的系统网络模块，分别选用VGG-M和VGG-D即VGG-16作为特征提取网络，在此基 础上引入残差网络与注意力机制，并将两路VGG网络最后的全连接层和Softmax层替 换为双线性池化层。

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的卷积操作单元： 假设v＝[v

在上述公式中*表示卷积运算，

z

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的注意力机制学习 单元：通道注意力权重的计算如公式所示：

其中

其中

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的超分辨子像素下 采样单元：将两路VGG网络最后的全连接层和Softmax层替换为双线性池化层，对两 路特征函数的输出结果进行双线性组合和池化后得到最终的双线性特征。每一个通道的 特征提取函数f(·)是一个特征映射函数，映射关系表示为f:L×I→R

Bilinea r(l,I,f

在图像的每一个位置，两个网络分别生成1×512大小的特征，在每一个位置对两个 网络提取的特征f

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的求和单元：为了 获得双线性特征向量，使用池化函数P汇聚图像所有位置的双线性特征，得到表示全局图像Φ(I)的双线性向量，表达式为:

Φ(I)＝∑

如果f

采用求和池化方式，对所有位置得到的双线性特征进行求和：

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的分类器模块：整 个网络的损失函数定义为交叉熵损失

使用梯度下降算法最小化损失函数，依据梯度方向对深度学习模型中的参数进行调 整；模型训练完成后使得损失函数最小，输出该图像所预测的分期Y。

本发明的有益效果是：

本发明方法构建并训练成熟一个新冠肺炎HRCT图像全病程分期模型，该模型基于双线性卷积神经网络(B-CNN)改进而来，利用新冠肺炎定点治疗医院提供的感染患者 的HRCT图像对模型进行训练。训练得到的模型兼容目前大部分医学图像采集设配，可 灵活的嵌入各种辅助诊断系统中，辅助医师进行快速准确的病程分期诊断。本发明成果 将会运用于多个领域：医院无需为购买诊疗设备投入大量资金，现有医疗设备即可完成 对患者的早期筛查、精准诊断，成本支出少；本项目也将为计算机辅助诊断事业培养了 一批重要的技术骨干，他们将成为支撑项目课题组可持续发展的中坚力量，其发表的论 文、专著等科研成果也将应用于临床治疗。

新冠肺炎HRCT图像全病程分期模型分期结果AUC为91.4％，完成一个分期任务 响应时间小于等于2秒。

附图说明

图1为本发明基于注意力机制的新冠肺炎病程分期预测系统的整体流程示意图。

图2为本发明基于注意力机制的新冠肺炎病程分期预测系统的具体流程图

图3为本发明基于注意力机制的新冠肺炎病程分期预测系统的子像素卷积模块操作流程图

图4本发明基于注意力机制的新冠肺炎病程分期预测系统所依据的病程各时期HRCT特征图；a超早期肺下叶斑片状磨玻璃；b早期磨玻璃影、晕结节影；c进展期双 肺磨玻璃影明显增多、范围增大；d进展期合并消散期GGO或实变病灶增多，亚段性肺 不张，e消散期片状影向纤维化演变，肺实变灶逐渐消失；f重症器双肺弥漫性病变， “白肺”。

图5为本发明基于注意力机制的新冠肺炎病程分期预测系统训练时带有早期标签的图像。

图6为本发明基于注意力机制的新冠肺炎病程分期预测系统训练时带有中期标签的图像。

图7为本发明基于注意力机制的新冠肺炎病程分期预测系统训练时带有晚期标签的图像。

图8是本发明基于注意力机制的新冠肺炎病程分期预测系统与另外两种方法的检测率对比图。

图9是本发明基于注意力机制的新冠肺炎病程分期预测系统与另外两种方法的误检率对比图。

图10是本发明基于注意力机制的新冠肺炎病程分期预测系统与另外两种方法的检 测时间对比图。

图11是本发明基于注意力机制的新冠肺炎病程分期预测系统与另外两种方法的ROC曲线图。

具体实施方式

以下结合具体实施例，对本发明进行详细说明。

一种基于注意力机制的新冠肺炎病程分期预测方法，整体过程如图1所示，其中分期依据的图像特征如图4所示，包括以下：

A1对于新冠肺炎定点治疗医院提供的感染患者的HRCT图像，选取出含有病变的CT图像，进行分割处理，得到感兴趣区域，统一图像大小，输入图像被调整到448×448 大小，据医师标签整理得出带有不同标签(早期、进展期、重症期及消散期)的序列图 像；

A2将带标签的序列图像(早期、进展期、重症期及消散期)分别按层次处理成对 应的one-hot编码以及划分训练集和验证集；

A3HRCT图像被输入到融合注意力机制和残差模块的神经网络中进行特征提取；

步骤A3融合注意力机制和残差模块的神经网络如图2所示，如图2所示，该网络 是以VGG-16网络构建的B-CNN模型为基准进行改进，改进主要体现在ResNet直接使 用stride＝2的卷积做下采样，并且用全局平均池化层global average pool替换了全连接层。ResNet的一个重要设计原则是：当特征图大小降低一半时，其的数量增加一倍，保持了 网络层的复杂度。用B-CNN的VGG-M和VGG-D双通道(图1中上下两个通道)分别 提取该幅图像的特征，然后在最后一个卷积层与双线性池化层中间添加通道注意力模 型，其次用双线性池化方法将双通道特征进行融合，最后输入分类器中进行分类和分期；

所述步骤A3具体步骤如下：

A31.输入图像进入卷积层进行卷积操作

如图2所示，图2中，F表示为最后一个卷积层前的卷积运算和池化运算，Ftr 表示为最后一个卷积层的卷积运算。假设v＝[v

通道的特征图表示如公式：

在上述公式中*表示卷积运算，

z

A32.卷积操作后的特征图进入“瓶颈(BottleNeck)”模块

通过使用1×1conv来缩减或扩张特征图维度，从而使得3×3conv的过滤器数目不受外界即上一层输入的影响，自然它的输出也不会影响到下一层模块。能够节省计算时 间进而缩小整个模型训练所需的时间。

A33.加入通道注意力权重进行注意力机制学习

要充分利用池化操作中聚合的信息，需要使用其他的操作来捕获通道间的依赖关系。实现这一目标，该操作须满足两个条件：它能够学习通道之间的非线性关系和非互 斥关系。为了满足这些条件，本发明选择采用具有一个隐藏层的多层感知器来满足第一 个条件，采用Sigmod激活函数来满足第2个条件，通道注意力权重的计算如公式所示：

其中

其中

A34.提取到的特征图进入超分辨子像素上采样模块(PS↑)，获得高分辨率的大图，方便下一个残差模块提取更为细小的特征

子像素卷积模块(PS：Sub-pixel convolution)是一种巧妙的图像及特征图上采样 的方法，又叫做pixel shuffle(像素洗牌)。sub-pixel convolution的做法如图3所示：前 面是一个普通的CNN网络，到后面部分就是sub-pixel convolution的操作了。首先，如果想对原图放大×3倍，那么需要生成出3

这是一种抽样的反思想，如果把一张×3的大图，每隔三个点抽样一个，那就会得到9张低分辨率的图像。于是，如果我们可以通过CNN来获得9张符合分布的低分辨 率图像，那么就可以组成一张高分辨率的大图。

A35.将B-CNN的VGG-M和VGG-D分别提取到的特征图进行合并后通过超分辨 子像素下采样模块PS↓进行降维

用B-CNN的VGG-M和VGG-D分别提取该幅HRCT图像的特征后，将两个网络 提取到的特征图进行合并后通过超分辨子像素下采样模块PS↓进行降维，具体方法如 下：将两路VGG网络最后的全连接层和Softmax层替换为双线性池化层，对两路特征 函数的输出结果进行双线性组合和池化后得到最终的双线性特征。每一个通道的特征提 取函数f(·)是一个特征映射函数，映射关系表示为f:L×I→R

Bilinea r(l,I,f

在图像的每一个位置，两个网络分别生成1×512大小的特征，在每一个位置对两个 网络提取的特征f

A36.将所有位置得到的双线性特征进行求和作为本幅图像的特征

为了获得双线性特征向量，使用池化函数P汇聚图像所有位置的双线性特征，得到表示全局图像Φ(I)的双线性向量，表达式为:

Φ(I)＝∑

如果f

采用求和池化方式，对所有位置得到的双线性特征进行求和：

A4求和后的特征经过分类器得到精准的分期预测。

在训练过程中，两个网络可以同时被训练，并且整个训练过程是端到端的，整个网络的损失函数定义为交叉熵损失

使用梯度下降算法最小化损失函数，依据梯度方向对深度学习模型中的参数进行调整。模型训练完成后使得损失函数最小，输出该图像所预测的分期Y。

一种基于注意力机制的新冠肺炎病程分期预测系统，包括数据预处理模块、基于注 意力机制的系统网络模块和分类器模块：

数据预处理模块：用于针对新冠肺炎定点治疗医院提供的感染患者的HRCT图像，选取出含有病变的CT图像，进行分割处理，得到感兴趣区域，统一图像大小，整理得 出带有不同标签的序列图像，不同标签包括：早期、进展期、重症期及消散期；将带标 签的序列图像分别按层次处理成对应的one-hot编码以及划分训练集和验证集；

基于注意力机制的系统网络模块：所述系统网络模块包括一个融合注意力机制和残 差模块的神经网络模块，用于将HRCT图像输入到该神经网络模块中进行特征提取，所述神经网络模块在最后一个卷积层与双线性池化层中间添加有通道注意力模型，在该神经网络模块中用双线性池化方法将双通道提取到的特征进行融合；

系统网络模块包括：

卷积操作单元：输入图像进入卷积层进行卷积操作；

瓶颈单元：卷积操作后的特征图进入瓶颈单元，使用1×1conv来缩减或扩张特征图 维度；

注意力机制学习单元：加入通道注意力权重进行注意力机制学习；

超分辨子像素上采样单元：提取到的特征图接着进入超分辨子像素上采样单元，获 得高分辨率的大图，方便下一个残差模块提取更为细小的特征；

超分辨子像素下采样单元：将将B-CNN的VGG-M和VGG-D两个网络提取到的特 征图进行合并后通过超分辨子像素下采样进行降维；

求和单元：将所有位置得到的双线性特征进行求和作为本幅图像的特征；

分类器模块：求和后的特征经过分类器得到精准的分期预测。

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的基于注意力机制 的系统网络模块，分别选用VGG-M和VGG-D即VGG-16作为特征提取网络，在此基 础上引入残差网络与注意力机制，并将两路VGG网络最后的全连接层和Softmax层替 换为双线性池化层。

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的卷积操作单元： 假设v＝[v

在上述公式中*表示卷积运算，

z

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的注意力机制学习 单元：通道注意力权重的计算如公式所示：

其中

其中

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的超分辨子像素下 采样单元：将两路VGG网络最后的全连接层和Softmax层替换为双线性池化层，对两 路特征函数的输出结果进行双线性组合和池化后得到最终的双线性特征。每一个通道的 特征提取函数f(·)是一个特征映射函数，映射关系表示为f:L×I→R

Bilinea r(l,I,f

在图像的每一个位置，两个网络分别生成1×512大小的特征，在每一个位置对两个 网络提取的特征f

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的求和单元：为了 获得双线性特征向量，使用池化函数P汇聚图像所有位置的双线性特征，得到表示全局图像Φ(I)的双线性向量，表达式为:

Φ(I)＝∑

如果f

采用求和池化方式，对所有位置得到的双线性特征进行求和：

所述的一种基于注意力机制的新冠肺炎病程分期预测系统，所述的分类器模块：整 个网络的损失函数定义为交叉熵损失

使用梯度下降算法最小化损失函数，依据梯度方向对深度学习模型中的参数进行调 整；模型训练完成后使得损失函数最小，输出该图像所预测的分期Y。

图8是本发明基于注意力机制的新冠肺炎病程分期预测系统与另外两种系统的检测率对比图。其中方法1采用传统的B-CNN模型进行分期预测，未加入残差模块与注 意力机制，方法2采用单一的VGG-16模型进行分期预测，并加入残差模块与注意力机 制；可以看出，加入残差模块与注意力机制后，新冠肺炎分期系统的平均检测率是最好 的，这是由于加入残差模块解决了梯度消失的问题，同时注意力机制帮助系统找到在决 策中更有用的特征，从而提高了检测率。

图9是本发明基于注意力机制的新冠肺炎病程分期预测系统与另外两种系统的误检率对比图。方法1与方法2描述同图8，可以看出，和其他方法比较，本发明所提出 的系统所能达到的误检率最低，随着图像序列增加，误检率有一定的上升，但平均误检 率只有0.06。

图10是本发明基于注意力机制的新冠肺炎病程分期预测系统与另外两种系统的检 测时间对比图。方法1与方法2描述同图8，可以看出，本发明系统进行决策的时间平 均只有4ms，分别比其他两种方法的平均时间提高了2.4ms和7.8ms，说明加入注意力 机制和残差网络可以有效减少系统的运行时间。

图11是本发明基于注意力机制的新冠肺炎病程分期预测系统与另外两种系统的ROC曲线图。方法1与方法2描述同图8，可以看出，本发明的AUC值达到0.914，与 其他两种方法相比，系统总体的准确率，敏感性和特异性都要更高。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。