基于混合空间和通道间注意力的肺炎图像检测方法及装置

技术领域

本发明涉及医学图像识别技术领域，尤其涉及一种基于混合空间和通道间注意力的肺炎图像检测方法及装置。

背景技术

肺炎是一种发生于终末气道肺泡和肺间质的炎症，可分为细菌性肺炎、病毒性肺炎等，其病因众多且发病率高，是最常见的感染性疾病之一。肺炎的早期诊断对其成功治愈至关重要。肺炎的检查手段有X射线成像、肺部CT、磁共振成像(MRI)等。肺部X射线检测具有流程便捷、辐射量小、成本低等优点，是当前临床检测的首要选择。然而，对于医生来说，通过人工阅片来检查肺部医学图像中的病灶信息是一项复杂的工作，传统的医生阅片方式往往需要消耗大量时间和精力，而且诊断的准确性主要依赖医生的水平和工作经验，由于视觉疲劳、环境干扰等原因可能导致误诊、漏诊的情况发生。

21世纪以来，随着计算机科学技术，主要是图像识别、模式识别技术的发展，目标检测由此而生。目标检测的主要任务是确认输入图像中物体的所属类别及其位置坐标。通过人为设置图像中所需的物体对象来加以限定能检测出来的物体种类。由于每一张图片中物体的形状、尺寸和位置都不相同，提升目标检测的精度一直是亟需完善的问题。目前，人工智能对于医学影像的辅助诊断已经能达到专家级别的精度，在肺炎诊断上应用人工智能方法能有效提高诊断效率和质量，为缓解医疗资源不平衡和提升诊断效率提供帮助。肺部X射线图像病变区域检测通过自动分析肺部X射线图像并输出病变区域的位置和尺寸等信息，帮助医生做出诊断。但肺部X射线图像检测任务不同于其他图像检测任务，肺部X射线图像具有类间相似度高和类内变异性低的特点，即不同类别的图像特征相似度高，同一类别的图像差异性低的特点，拥有此类特征的数据在训练时容易造成模型偏差和过拟合的问题，导致网络的泛化能力下降，加大了图像识别的难度，并且仅仅采用传统网络的肺部X射线肺炎检测效果不尽如人意，仍需要通过改进网络结构来提升分类精度。

发明内容

为了提升基于肺部X射线图像的肺炎检测效果，本发明提供一种基于混合空间和通道间注意力的肺炎图像检测方法及装置，具体方案如下：

本发明提供一种基于混合空间和通道间注意力的肺炎图像检测方法，包括：

步骤1：对肺部X射线图像进行数据预处理；

步骤2：构建第一特征网络，采用所述第一特征网络对预处理后的肺部X射线图像进行特征提取，得到特征图C；

步骤3：构建第二特征网络，采用所述第二特征网络对所述特征图C进行特征提取，得到特征图F；

步骤4：构建混合空间注意力和通道间注意力的注意力模块，采用所述注意力模块对所述特征图F进行处理，得到特征张量X；

步骤5：构建网络分类器，采用所述网络分类器对所述特征张量X进行检测，得到检测结果。

进一步地，步骤1具体包括：

步骤1.1：筛除不符合要求的肺部X射线图像；

步骤1.2：将由符合要求的所有肺部X射线图像组成的数据集划分训练集、验证集和测试集；

步骤1.3：将所述数据集中的每个肺部X射线图像转化为RGB三通道图像；

步骤1.4：对每个所述RGB三通道图像进行图像增强；

步骤1.5：将进行图像增强后的每个所述RGB三通道图像转化为张量图像；

步骤1.6：对每个所述RGB三通道图像的每个通道进行正则化，然后根据三通道的均值向量和标准向量对所述张量图像进行归一化；

步骤1.7：将归一化后的每个所述张量图像转换为灰度图像。

进一步地，步骤1.4具体包括：

步骤A1：按照p＝0.5的翻转概率对所述RGB三通道图像进行水平翻转；

步骤A2：调整翻转后的所述RGB三通道图像的图像属性，具体为：将亮度偏移幅度设置为0.5，对比度偏移幅度设置为0.5，饱和度偏移幅度设置为0.5，色相偏移幅度设置为0；

步骤A 3：设置随机裁剪面积比例为(0.7，1.0)，将图像属性调整后的所述RGB三通道图像随机裁剪为不同的大小和宽高比，然后将裁剪后的所述RGB三通道图像的大小缩放至224×224像素；

步骤A4：采用RandAugmentation对每个像素缩放后的所述RGB三通道图像进行自动增广。

进一步地，所述第一特征网络采用使用了Inception卷积的ResNet101作为主干网络，共包括5个特征提取层，分别为：第一特征层、第二特征层、第三特征层、第四特征层和第五特征层；

所述第一特征层的特征提取过程包括：先采用通道数为3的64个卷积核对输入的预处理后的肺部X射线图像进行卷积操作，接着采用BN层进行BatchNormalization操作，然后采用ReLu激活函数进行处理，最后输入至通道数为64的最大池化层，得到特征图C1；

所述第二特征层的特征提取过程包括第一分支和第二分支两个分支，两个分支对输入的特征图C1分别按照各自的特征提取过程依次重复三次特征提取操作，然后将两个分支最后一次的输出执行预设处理操作，得到特征图C2；所述预设处理操作具体包括：将两个分支的输出相加后采用ReLu激活函数进行处理；

所述第三特征层的特征提取过程包括第三分支和第四分支两个分支，两个分支对输入的特征图C2分别在不同参数状态下的第三特征层中按照各自的特征提取过程依次进行四次特征提取操作，然后将两个分支最后一次的输出执行所述预设处理操作，得到特征图C3；

所述第四特征层的特征提取过程包括第五分支和第六分支两个分支，两个分支对输入的特征图C3分别在不同参数状态下的第四特征层中按照各自的特征提取过程依次进行二十三次特征提取操作，然后将两个分支最后一次的输出执行所述预设处理操作，得到特征图C4；

所述第五特征层的特征提取过程包括第七分支和第八分支两个分支，两个分支对输入的特征图C4分别在不同参数状态下的第五特征层中按照各自的特征提取过程依次进行三次特征提取操作，然后将两个分支最后一次的输出执行所述预设处理操作，得到特征图C5，将所述特征图C5作为最终的特征图C。

进一步地，所述第二特征提取网络采用FPN网络；

所述FPN网络的特征提取过程包括：使用1×1的卷积将特征图C5的通道数由2048减少为256，然后再进行上采样操作，得到与特征图C4尺寸相同的特征图，记作特征图C5_up，再将特征图C5_up和特征图C4进行加权求和，得到特征图P；采用3×3的卷积对特征图P进行特征融合，得到特征图F；对特征图F进行横向连接，将通道数增加至2048。

进一步地，所述注意力模块对所述特征图F的处理过程包括：

步骤B1：针对每一批包含m张肺部X射线图像的图像集，其中每张大小为H

步骤B2：对所述特征张量X进行1×1的卷积操作，再除以其正则化后的转置；

步骤B3：运用flatten()函数将步骤B2中得到的特征张量X从第二个维度开始展开，由此将每张肺部X射线图像的特征张量分离为X

步骤B4：对特征张量X中所有位置的特征进行全局平均池化操作得到全局的类无关特征g：

步骤B5：计算

步骤B6：根据类特定的特征张量a和全局的类无关特征g得到最终的f

步骤B7：把f

进一步地，所述网络分类器的检测过程具体包括：

步骤5.1：对所述特征张量X使用自适应平均池化；

步骤5.2：运用flatten()函数将步骤5.1中的特征张量X从第一个维度开始展开，然后把展开后的特征张量X输入至全连接层进行线性转换得到X′，具体为：X′＝XA

步骤5.3：将线性转换后的特征向量X′输入ReLU激活函数，具体为：ReLU(X′)＝(X′)

步骤5.4：将步骤5.3输出的特征张量X′再次输入全连接层进行线性转换，输出一个尺寸为[2048，2]的特征张量X″：

步骤5.5：将线性转换后的特征张量X″输入损失函数计算损失值；然后，通过优化器、损失函数、数据评估及超参数修改训练模型；其中，所述损失函数采用二元交叉熵函数，具体为

进一步地，步骤5.5中，所述优化器采用SGD优化器。

本发明还提供一种基于混合空间和通道间注意力的肺炎图像检测装置，包括：

预处理模块，用于对肺部X射线图像进行数据预处理；

第一特征网络构建模块，用于构建第一特征网络，采用所述第一特征网络对预处理后的肺部X射线图像进行特征提取，得到特征图C；

第一特征网络构建模块，用于构建第二特征网络，采用所述第二特征网络对所述特征图C进行特征提取，得到特征图F；

注意力机制构建模块，用于构建混合空间注意力和通道间注意力的注意力模块，采用所述注意力模块对所述特征图F进行处理，得到特征张量X；

分类器构建模块，用于构建网络分类器，采用所述网络分类器对所述特征张量X进行检测，得到检测结果。

本发明的有益效果：

1.本发明将将混合空间和通道间的注意力机制加入到肺部X射线图像分类过程中，为有肺炎或无肺炎两个类生成了类特定的特征，在没有任何额外训练负担的情况下实现性能的提升。

2.本发明将注意力机制应用到特征融合过程中，能有效利用不同特征提取层中对于肺炎检测有用的信息，抑制无关噪声，从而提高检测效率。

附图说明

图1为本发明实施例提供的一种基于混合空间和通道间注意力的肺炎图像检测方法的流程示意图；

图2为本发明实施例提供的第一特征网络的结构示意图；

图3为本发明实施例提供的第二特征网络的结构示意图；

图4为本发明实施例提供的混合空间和通道间注意力的注意力模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明实施例提供一种基于混合空间和通道间注意力的肺炎图像检测方法，包括以下步骤：

S101：对肺部X射线图像进行数据预处理；

具体地，本步骤具体包括以下步骤：

S1011：筛除不符合要求的肺部X射线图像；

S1012：将肺部X射线图像数据集划分训练集、验证集和测试集；

S1013：将肺部X射线图像转化为RGB顺序的三通道图像；

S1014：对肺部X射线图像进行图像增强；

作为一种可实施方式，该子步骤具体包括：

步骤A1：依据p＝0.5的概率对肺部X射线图像进行水平翻转；

步骤A2：调整肺部X射线图像的图像属性，具体为：将亮度偏移幅度设置为0.5，对比度偏移幅度设置为0.5，饱和度偏移幅度设置为0.5，色相偏移幅度设置为0；

步骤A 3：通过设置随机裁剪面积比例为(0.7，1.0)，将肺部X射线图像随机裁剪为不同的大小和宽高比，将裁剪后的肺部X射线图像的大小缩放至224×224像素；

步骤A4：采用RandAugmentation对每个肺部X射线图像进行自动数据增强。

S1015：将肺部X射线图像的图片格式转化为Tensor格式(即训练中所采用的向量格式)，并进行归一化，即将每个通道除以255；

S1016：对肺部X射线图像的每个通道进行正则化，并根据三通道的均值向量和标准向量对张量图像进行归一化；

具体地，将给定的三通道向量的均值向量设置为[0,0,0]，标准向量设置为[1,1,1]。根据三通道的均值向量和标准向量对张量图像进行归一化，即：

S1017：将肺部X射线图像转换为灰度图。

S102：构建第一特征网络，采用所述第一特征网络对预处理后的肺部X射线图像进行特征提取，得到特征图C；

具体地，如图2所示，所述第一特征网络采用使用了Inception卷积的ResNet101作为主干网络，共包括5个特征提取层，分别为：第一特征层、第二特征层、第三特征层、第四特征层和第五特征层；

所述Inception卷积使原始ResNet101的卷积核在不同轴(维度)、通道和层之间具有独立的空间，即可以拥有不同的膨胀值。对于每一层，其中每个通道的两个轴的膨胀值

其中

超网共4层，训练的参数分别对应ResNet101的第二至第五特征层，超网的每一层均由涵盖了所有可能膨胀值的若干个卷积组成，在训练超网之后，对于每一层，根据损失函数最小的原则选择膨胀值，并确定该层的最优膨胀模式。具体方法为：对于超网中的每一层，W为所有原始参数的张量，W

所述第一特征层的特征提取过程包括：先采用通道数为3的64个卷积核对输入的预处理后的肺部X射线图像进行卷积操作，接着采用BN层进行BatchNormalization操作，然后采用ReLu激活函数进行处理，最后输入至通道数为64的最大池化层，得到特征图C1；

所述第二特征层的特征提取过程包括第一分支和第二分支两个分支，两个分支对输入的特征图C1分别按照各自的特征提取过程依次重复三次特征提取操作，然后将两个分支最后一次的输出执行预设处理操作，得到特征图C2；所述预设处理操作具体包括：将两个分支的输出相加后采用ReLu激活函数进行处理；

其中，第一分支的特征提取过程依次包括：采用64个卷积核对输入的特征图进行卷积操作，采用BN层进行Batch Normalization操作，采用64个卷积核进行卷积操作，采用BN层进行Batch Normalization操作，采用256个卷积核进行卷积操作，采用BN层进行BatchNormalization操作；第二分支的特征提取过程包括：采用256个卷积核对输入的特征图进行卷积操作；

所述第三特征层的特征提取过程包括第三分支和第四分支两个分支，两个分支对输入的特征图C2分别在不同参数状态下的第三特征层中按照各自的特征提取过程依次进行四次特征提取操作，然后将两个分支最后一次的输出执行所述预设处理操作，得到特征图C3；

其中，第三分支的特征提取过程依次包括：采用128个卷积核对输入的特征图进行第一次卷积操作，采用BN层进行BatchNormalization操作，采用128个卷积核进行下采样操作，采用BN层进行BatchNormalization操作，采用512个卷积核进行第二次卷积操作，采用BN层进行BatchNormalization操作；第四分支的特征提取过程包括：采用512个卷积核对输入的特征图进行下采样操作；

所述第四特征层的特征提取过程包括第五分支和第六分支两个分支，两个分支对输入的特征图C3分别在不同参数状态下的第四特征层中按照各自的特征提取过程依次进行二十三次特征提取操作，然后将两个分支最后一次的输出执行所述预设处理操作，得到特征图C4；

其中，第五分支的特征提取过程依次包括：采用256个卷积核对输入的特征图进行第一次卷积操作，采用BN层进行BatchNormalization操作，采用256个卷积核进行下采样操作，采用BN层进行BatchNormalization操作，采用1024个卷积核进行第二次卷积操作，采用BN层进行BatchNormalization操作；第六分支的特征提取过程包括：采用1024个卷积核对输入的特征图进行下采样；

所述第五特征层的特征提取过程包括第七分支和第八分支两个分支，两个分支对输入的特征图C4分别在不同参数状态下的第五特征层中按照各自的特征提取过程依次进行三次特征提取操作，然后将两个分支最后一次的输出执行所述预设处理操作，得到特征图C5，将所述特征图C5作为最终的特征图C；

其中，第七分支的特征提取过程依次包括：采用512个卷积核对输入的特征图进行第一次卷积操作，采用BN层进行BatchNormalization操作，采用512个卷积核进行下采样操作，采用BN层进行BatchNormalization操作，采用2048个卷积核进行第二次卷积操作，采用BN层进行BatchNormalization操作；第八分支的特征提取过程包括：采用2048个卷积核对输入的特征图进行下采样操作；

S103：构建第二特征网络，采用所述第二特征网络对所述特征图C进行特征提取，得到特征图F；

具体地，所述第二特征网络采用FPN网络；所述FPN网络的特征提取过程包括：使用1×1的卷积将特征图C5的通道数由2048减少为256，然后再进行上采样操作，得到与特征图C4尺寸相同的特征图，记作特征图C5_up，再将特征图C5_up和特征图C4进行加权求和，得到特征图P；采用3×3的卷积对特征图P进行特征融合，得到特征图F；对特征图F进行横向连接，将通道数增加至2048。

S104：构建混合空间注意力和通道间注意力的注意力模块(HSC模块)，采用所述注意力模块对所述特征图F进行处理，得到特征张量X；

具体地，本步骤包括以下子步骤：

步骤B1：针对每一批包含m张肺部X射线图像的图像集，其中每张大小为H

步骤B2：对所述特征张量X进行1×1的卷积操作，再除以其正则化后的转置；

步骤B3：运用flatten()函数将步骤B2中得到的特征张量X从第二个维度开始展开，以将每张肺部X射线图像的特征张量分离为X

步骤B4：对特征张量X中所有位置的特征进行全局平均池化操作得到全局的类无关特征g：

步骤B5：计算

步骤B6：根据类特定的特征张量a和全局的类无关特征g得到最终的f

步骤B7：把f

本步骤将上述融合特征图F输入HSC模块，通过利用每个对象类别的空间注意力以达到更高的准确性。通过获得不同通道的权重，对不同通道的权重进行调整，提升有用信息的比例，降低没用信息的比例。通过获得一张特征图上所有像素的权重，对不同像素的权重进行调整，提升有效特征的比例，降低背景信息的影响。

S105：构建网络分类器，采用所述网络分类器对所述特征张量X进行检测，得到检测结果。

具体地，本步骤包括以下子步骤：

S1051：对所述特征张量X使用自适应平均池化；

S1052：运用flatten()函数将步骤S1051中的特征张量X从第一个维度开始展开，然后把展开后的特征张量X输入至全连接层进行线性转换得到X′，具体为：X′＝XA

S1053：将线性转换后的特征向量X′输入ReLU激活函数，具体为：ReLU(X′)＝(X′)

S1054：将步骤S1053输出的特征张量X′再次输入全连接层进行线性转换，输出一个尺寸为[2048，2]的特征张量X″：

S1055：将线性转换后的特征张量X″输入损失函数计算损失值；然后，通过优化器、损失函数、数据评估及超参数修改训练模型；其中，所述损失函数采用二元交叉熵函数，具体为

作为一种可实施方式，步骤S1055中，所述优化器采用SGD优化器。具体为：

其中，α指学习率，初始值为0.01，每一轮迭代乘0.1；y

本发明提供的基于混合空间和通道间注意力的肺炎X射线图像检测方法，对所选取的肺部X射线图像进行数据预处理并制成数据集，增强图像特征；运用处理后的肺部X射线图像调整参数并训练用于特征提取的卷积神经网络，所述特征提取网络采用ResNet101网络，通过构建残差块，实现不同特征图之间的特征融合，解决深度网络中梯度消失和梯度爆炸的问题，对训练集中的肺部X射线图像依次进行卷积操作，然后进行特征融合，添加混合空间和通道间的注意力机制，最后构建网络分类器进行图像分类诊断，最后得到预测结果，本发明利用特征融合以及混合空间和通道间的注意力机制，在没有增加计算量的基础上进一步提高了计算机辅助诊断技术的肺炎检测精确度。

实施例2

在上述实施例1的基础上，本发明实施例中，设定肺部X射线图像的尺寸为3×224×224，batch设定为16。该肺炎图像检测方法包括以下步骤：

步骤S201：经过第一特征网络和第二特征网络后，得到的每一批图像集的所有特征图F组成的特征张量X的尺寸为[16,256,7,7]；

步骤S202：对上述特征张量X使用1×1的卷积操作，再除以其正则化后的转置；

步骤S203：将特征张量X从第二个维度开始展开，由此将每一张肺部X射线图像的特征张量分离为X

步骤S204：通过对特征张量X中所有位置的特征进行全局平均池化操作得到全局的类无关特征g：

步骤S205：计算

步骤S206：通过相加类特定特征和全局的类无关特征得到最终的f

步骤S207：扩展f

步骤S208：把f

步骤S209：采用实施例1中的网络分类器对新的特征张量X进行检测，即可得到检测结果，即输入的肺部X射线图像是否属于肺炎图像。

实施例3

本发明实施例还提供一种基于混合空间和通道间注意力的肺炎图像检测装置，包括：

预处理模块，用于对肺部X射线图像进行数据预处理；

第一特征网络构建模块，用于构建第一特征网络，采用所述第一特征网络对预处理后的肺部X射线图像进行特征提取，得到特征图C；

第一特征网络构建模块，用于构建第二特征网络，采用所述第二特征网络对所述特征图C进行特征提取，得到特征图F；

注意力机制构建模块，用于构建混合空间和通道间注意力的注意力模块，采用所述注意力模块对所述特征图F进行处理，得到新的特征图或特征张量X；

分类器构建模块，用于构建网络分类器，采用所述网络分类器对所述特征图进行检测，得到检测结果。

本发明实施例提供的肺炎图像检测装置是为了实现上述方法实施例的，其具体功能可参考上述方法实施例，此处不再赘述。