一种重参数化与立体编码的脑疾病分类方法及系统

技术领域

本发明涉及计算机医学图像分析技术领域，尤其涉及一种重参数化与立体编码的脑疾病分类方法及系统。

背景技术

大脑是我们身体的控制中心。随着相关脑部检测技术的不断发展，越来越多的脑疾病被人们所探明。脑疾病可以对个人身体和认知功能产生广泛的危害，例如阿尔兹海默症(AD)作为一种慢性神经退行性疾病，随着时间的进展，病情会逐渐恶化，最终导致患者昏迷，死于感染等并发症；自闭症谱系障碍(ASD)导致患者突然变得孤僻、激进或丧失他们已经掌握的语言技能，产生社交互动和沟通技巧问题，出现有限重复的行为、兴趣或活动模式；帕金森症(PD)导致患者产生动作迟缓、肌强直、静止性震颤、姿势平衡障碍等运动症状，以及出现嗅觉减退、便秘、睡眠障碍、抑郁等非运动症状。

凭借结构磁共振成像(sMRI)，本发明能够对AD、ASD与PD等脑疾病作出疾病发展阶段上的精确分类。sMRI具有无创、非侵入性与图像信息丰富等特点，已经成为脑疾病前驱阶段分析的关键成像生物标志物。以AD辅助诊断任务为例，利用sMRI等神经影像数据的特征，来区分正常被试(NC)、轻度认知障碍(MCI)和AD已经成为热点话题，其中MCI是介于正常对照(NC)与AD之间的一种中间状态，可分为早期MCI(EMCI)与晚期MCI(LMCI)。

卷积神经网络(CNN)是应用最多的深度学习技术，已有许多凭借sMRI图像、利用CNN进行AD辅助诊断任务的研究。然而，这些模型往往只使用CNN，只关注局部特征，难以处理全局特征。CNN网络往往需要堆叠多层CNN才能学习到一定的全局特征，才能提高模型的分类性能，这也大大增加了计算成本。

因此，提出一种重参数化与立体编码的脑疾病分类方法及系统，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种重参数化与立体编码的脑疾病分类方法及系统，利用RepBoTNet网络模型，提取更加丰富有效的特征，在进行全脑结构的分析时，有效提高疾病分类的准确性。

为了实现上述目的，本发明采用如下技术方案：

一种重参数化与立体编码的脑疾病分类方法，包括以下步骤：

S1.获取数据步骤：从阿尔兹海默症神经成像计划数据集ADNI中获取脑疾病的核磁共振数据；

S2.数据处理步骤：对核磁共振数据进行预处理，并将预处理后的核磁共振数据划分成训练集数据、验证集数据和测试集数据；

S3.建立RepBoTNet网络模型：构建包含六个模块的BoTNet-S1网络模型，将BoTNet-S1网络模型中的3×3CNN部分替换为结构重参数化的Rep3×3CNN，得到包含六个模块的RepBoTNet网络模型；

S4.建立RepBoTNet-CESA网络模型：将建立的RepBoTNet网络模型的第六个模块中的原始多头自注意力机制替换为立体编码多头自注意力机制，得到RepBoTNet-CESA网络模型；

S5.模型训练步骤：将训练集数据输入RepBoTNet-CESA网络模型中进行迭代，每次迭代后根据验证集数据计算RepBoTNet-CESA网络模型分类的准确率，并保留到当前迭代为止验证集数据准确率最高的模型参数，当达到最大迭代次数后输出该模型参数，得到最优RepBoTNet-CESA网络模型；

S6.分类步骤：将待分类的测试集数据输入得到的最优RepBoTNet-CESA网络模型中，得到对应的分类结果。

上述的方法，可选的，S1中阿尔兹海默症神经成像计划数据集ADNI包括早期EMCI数据与晚期LMCI数据。

上述的方法，可选的，S3中建立RepBoTNet网络模型的具体内容为：将BoTNet-S1网络模型中的单分支3×3CNN部分替换为多分支Rep3×3CNN；

通过Rep3×3CNN中并行的3×3CNN、1×1CNN与Identity分支，将信息流建模为：

y＝x+g(x)+f(x)

g(x)＝W

f(x)＝W

其中，y代表该层输出特征，x代表该层输入特征，g(x)代表由1×1CNN分支学习的特征，W

上述的方法，可选的，S4中建立RepBoTNet-CESA网络模型的具体内容为：将RepBoTNet的第六个模块中的初始多头自注意力机制替换为立体编码多头自注意力机制，使得自注意力机制的位置编码阶段额外引入通道维度上的位置信息：

PE(x)＝R

其中，PE代表特征编码，x代表输入特征，x

一种重参数化与立体编码的脑疾病分类系统，应用上述任一项的一种重参数化与立体编码的脑疾病分类方法，包括：获取数据模块、数据处理模块、建立RepBoTNet网络模型模块、建立RepBoTNet-CESA网络模型模块、模型训练模块、分类模块；

获取数据模块，与数据处理模块的输入端连接，用于从阿尔兹海默症神经成像计划数据集ADNI中获取脑疾病的核磁共振数据；

数据处理模块，与建立RepBoTNet网络模型模块的输入端连接，用于对核磁共振数据进行预处理，并将预处理后的核磁共振数据划分成训练集数据、验证集数据和测试集数据；

建立RepBoTNet网络模型模块，与建立RepBoTNet-CESA网络模型模块的输入端连接，用于构建包含六个模块的BoTNet-S1网络模型，将BoTNet-S1网络模型中的3×3CNN部分替换为结构重参数化的Rep3×3CNN，得到包含六个模块的RepBoTNet网络模型；

建立RepBoTNet-CESA网络模型模块，与模型训练模块的输入端连接，用于将建立的RepBoTNet网络模型的第六个模块中的原始多头自注意力机制替换为立体编码多头自注意力机制，得到RepBoTNet-CESA网络模型；

模型训练模块，与分类模块的输入端连接，用于将训练集数据输入RepBoTNet-CESA网络模型中进行迭代，每次迭代后根据验证集数据计算RepBoTNet-CESA网络模型分类的准确率，并保留到当前迭代为止验证集数据准确率最高的模型参数，当达到最大迭代次数后输出该模型参数，得到最优RepBoTNet-CESA网络模型；

分类模块，与模型训练模块的输出端连接，用于将待分类的测试集数据输入得到的最优RepBoTNet-CESA网络模型中，得到对应的分类结果。

经由上述的技术方案可知，与现有技术相比，本发明提供了一种重参数化与立体编码的脑疾病分类方法及系统，具有以下有益效果：

(1)本发明以BoTNet-S1网络作为基线，首先利用结构重参数化技术，将其中的3×3CNN部分替换为Rep3×3CNN，在减少网络参数量的同时，减少预测时间，使网络具有多尺度CNN特性，提高网络在CNN部分的分类性能；又将RepBoTNet第六个模块中的原始多头自注意力机制部分，替换为立体编码多头自注意力机制，使网络从三维立体视角考虑数据，将通道维度位置信息引入自注意力机制中，在保持网络参数量不变的同时，进一步提高网络在Transformer部分的分类性能。

(2)构建的RepBoTNet-CESA网络模型，结合了CNN网络善于捕捉局部信息与Transformer网络善于整合全局信息的优点，在获得足够优秀的性能指标的同时，减少了计算成本。

(3)通过构建RepBoTNet-CESA网络模型，能够提取更加丰富有效的特征，更不容易丢失感兴趣的区域，进行全脑结构的分析时，能够有效提高疾病分类的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种重参数化与立体编码的脑疾病分类方法流程图；

图2为本发明提供的Rep3×3CNN在训练阶段与预测阶段的不同结构，其中a为训练阶段结构、b为预测阶段结构；

图3为本发明提供的重参数化的原理图；

图4为本发明提供的立体编码多头自注意力机制的示意图；

图5为本发明提供的RepBoTNet-CESA网络模型整体结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明公开了一种重参数化与立体编码的脑疾病分类方法，包括以下步骤：

S1.获取数据步骤：从阿尔兹海默症神经成像计划数据集ADNI中获取脑疾病的核磁共振数据；

S2.数据处理步骤：对核磁共振数据进行预处理，并将预处理后的核磁共振数据划分成训练集数据、验证集数据和测试集数据；

S3.建立RepBoTNet网络模型：构建包含六个模块的BoTNet-S1网络模型，将BoTNet-S1网络模型中的3×3CNN部分替换为结构重参数化的Rep3×3CNN，得到包含六个模块的RepBoTNet网络模型；

S4.建立RepBoTNet-CESA网络模型：将建立的RepBoTNet网络模型的第六个模块中的原始多头自注意力机制替换为立体编码多头自注意力机制，得到RepBoTNet-CESA网络模型；

S5.模型训练步骤：将训练集数据输入RepBoTNet-CESA网络模型中进行迭代，每次迭代后根据验证集数据计算RepBoTNet-CESA网络模型分类的准确率，并保留到当前迭代为止验证集数据准确率最高的模型参数，当达到最大迭代次数后输出该模型参数，得到最优RepBoTNet-CESA网络模型；

S6.分类步骤：将待分类的测试集数据输入得到的最优RepBoTNet-CESA网络模型中，得到对应的分类结果。

进一步的，S1中阿尔兹海默症神经成像计划数据集ADNI包括早期EMCI数据与晚期LMCI数据。

进一步的，S3中建立RepBoTNet网络模型的具体内容为：将BoTNet-S1网络模型中的单分支3×3CNN部分替换为多分支Rep3×3CNN；

通过Rep3×3CNN中并行的3×3CNN、1×1CNN与Identity分支，将信息流建模为：

y＝x+g(x)+f(x)

g(x)＝W

f(x)＝W

其中，y代表该层输出特征，x代表该层输入特征，g(x)代表由1×1CNN分支学习的特征，W

具体的，除了每个模块的第一个下采样Rep3×3CNN层，其余Rep3×3CNN层须确保输入输出的核磁共振数据尺寸不变，得到以下尺寸的特征图x

其中，Size

为确保输入输出的核磁共振数据维度不变，非下采样Rep3×3CNN层中并行的3×3CNN填充为1，步长为1；1×1CNN填充为0，步长为1。

进一步的，S4中建立RepBoTNet-CESA网络模型的具体内容为：将RepBoTNet的第六个模块中的初始多头自注意力机制替换为立体编码多头自注意力机制，使得自注意力机制的位置编码阶段额外引入通道维度上的位置信息：

PE(x)＝R

其中，PE代表特征编码，x代表输入特征，x

在一具体实施例中，包括以下内容：

(一)S1，获取数据的具体内容为：

利用阿尔兹海默症神经成像计划数据集(ADNI)采集数据，从ADNI数据库中采集了共433例T1加权的结构MRI扫描，分别来自30位AD患者，24位EMCI患者，25位LMCI患者，以及26位正常对照NC，其中给定被试的磁共振图像数据集，数据集包含磁共振图像和被试的标签，磁共振图像数据集记为D＝{(d

(二)S2数据处理的具体内容为：

S2.1对S1获取的磁共振图像全集D首先利用SPM12将DICOM格式图像文件转换为NII格式图像文件，将其保存于多级文件夹内。利用Nibabel工具包编写Python脚本，将多级文件夹内的NII格式磁共振图像文件读取并保存入单一文件夹内，使得多个被试的所有扫描数据都存于同一文件夹中；

S2.2基于S2.1得到的数据，编写自动进行AC-PC原点校正的MATLAB脚本，进行文件夹内所有sMRI图像的AC-PC原点校正；

S2.3基于S2.2得到的数据，利用CAT12工具包，将NII格式磁共振图像数据分割为灰质(GM)、白质(WM)和脑脊液(CSF)图像数据；

S2.4基于S2.3得到灰质影像定义为I，其输出维度Size

(三)S3建立RepBoTNet网络模型的具体内容为：

S3.1构建BoTNet-S1网络模型，如表1所示。模型将由6个模块组成；其中，

第1个模块由1个7×7CNN层组成，输出通道大小为64，步长为2，填充为3。

第2个模块由1个步长为2、填充为1的3×3Max Pooling与3个Bottleneck Block组成，其中Bottleneck Block由按顺序的输出通道为64的1×1CNN，输出通道为64、步长为1、填充为1的3×3CNN与输出通道为256的1×1CNN组成。

第3个模块包含4个类似的Bottleneck Block，由输出通道为128的1×1CNN，输出通道为128、填充为1的3×3CNN与输出通道为512的1×1CNN组成；其中，第1个BottleneckBlock为下采样Bottleneck Block，3×3CNN的步长为2，其余Bottleneck Block的3×3CNN的步长则为1。

第4个模块包含6个类似的Bottleneck Block，由输出通道为256的1×1CNN，输出通道为256、填充为1的3×3CNN与输出通道为1024的1×1CNN组成；其中第1个BottleneckBlock为下采样Bottleneck Block。

第5个模块由Bottleneck Block的变种组成，将Bottleneck Block中的3×3CNN替换成了多头自注意力机制层(MHSA)，由输出通道为512的1×1CNN，输出通道为512的多头自注意力机制层与输出通道为2048的1×1CNN组成，且该模块不包含下采样层。

第6个模块包含1个自适应平均池化层(AdaptiveAvg Pool)，1个概率为0.3的Dropout层，1个输出通道为当前任务标签数量的全连接层，将数据降维到标签空间。在最后的Classification层将网络提取的最终特征向量利用SoftMax函数进行类别的概率计算，实现最终分类。其中，概率计算的公式如下：

其中，函数的输入是全连接层输出的M个不同的特征值，W为网络模型计算的不同特征的权重系数，P为特征向量x属于第c个分类的概率，输入图片所属的类别为P值最大的类别c。

表1 BoTNet-S1模型各个模块的参数

S3.2将S3.1构建的模型中的所有Bottleneck Block中的3×3CNN部分替换为Rep3×3CNN。Rep3×3CNN由并行的3×3CNN、1×1CNN以及Identity分支组成，将信息流建模为：

y＝x+g(x)+f(x)

g(x)＝W

f(x)＝W

其中，y代表该层输出特征，x代表该层输入特征，g(x)代表由1×1CNN分支学习的特征，W

S3.3将S3.2中构建的模型中的Rep3×3CNN，在训练阶段为多分支CNN，但在预测阶段则利用结构重参数化技术转为单分支3×3CNN。Rep3×3CNN在训练阶段与预测阶段的差异如图2所示，其中a为训练阶段结构、b为预测阶段结构。

为获得更好的可视化效果，将一层CNN层(形状为扁平的长方形)称呼为卷积块(形状为正方形)，并在此设定C

M

当输入输出维度不匹配时(即采用下采样3D-RepVGG块时)，不使用Identity分支，此时上述方程只有前两项成立。取预测阶段内的BN层，

之后，将每个BN层与BN层之前的卷积块转换为带有偏置向量的卷积块，即将BN层与对应的卷积块“融合”起来。让{W′,b′}表示转换后卷积块的权重和偏置，有：

将上面的公式结合起来，可得

bn(M,μ,σ,γ,β)

由于Identity分支可被看为一个以单位矩阵为权重的1×1卷积块，Identity分支也适用于上述公式。将Identity分支看为1×1卷积块，在一个Rep3×3卷积层中将有一个3×3权重矩阵，两个1×1权重矩阵和三个偏置向量。三个偏置向量直接相加便能得到最终的偏置。为保证输入输出维度相匹配，在原始1×1卷积块周围填充值为零的1×1卷积块，使之组合成为一个3×3卷积块，如此便得到了三个3×3卷积块，并可以直接进行相加操作。最后，结合公式将Rep3×3CNN层的三个分支“融合”成了一个3×3CNN。具体过程如图3所示。

(四)建立RepBoTNet-CESA网络模型的具体内容为：

为了进一步优化模型，将RepBoTNet第五个模块中的原始多头自注意力机制部分替换为立体编码多头自注意力机制(CESA)，形成RepBoTNet-CESA网络模型。在Transformer部分的Position Embedding阶段，不仅在高、宽维度上设置了可学习变量R

PE(x)＝R

其中，PE代表特征编码，x代表输入特征，x

立体编码多头自注意力机制的结构如图4所示，红色方框圈起的Content-Cubic-Embedding操作表示在数据上进行立方编码操作，其中R

(五)S5模型训练步骤的具体内容为：

经过40次迭代训练网络与反向传播调整模型参数；

S5.1经过S1.1和S2.1优化过的模型进行反向传播的训练，使用SGD优化器优化模型训练过程。

S5.2训练使用分类交叉熵损失函数计算训练损失Loss，如果Loss越小，说明训练得到的模型提取的特征区分度越大，模型在训练数据上的分类性能越佳，具体公式为：

其中num表示类别数量；c表示类别标签；y表示类别变量(0或1)，如果该类别和样本的类别相同就是1，否则是0；p表示由Softmax计算样本属于类别c的预测概率。

(六)S6分类步骤的具体内容为：

每个迭代过程使用S5.1和S5.2中的方式训练，将得到最优模型在测试集上进行测试，实现对测试集的分类任务。使用分别如下的准确性(ACC)、精度(PRE)、敏感性(SEN)、F1-Score以及ROC曲线对模型进行评估，其中ROC曲线使用其线下面积(AUC)进行对比。

其中TP、TN、FP、FN分别表示模型对给定一组数据分类的真阳性、真阴性、假阳性、假阴性的数目。准确率又叫查准率，表示模型预测正确的概率；精度又叫正预测值(PPV)，是预测出阳性病例数目与实际阳性病例数目的比例；敏感性又叫召回率(Recall)，是预测的阳性病例中被正确预测概率，反映模型对不同类别特征的敏感程度；三个指标都是值越大，模型性能越佳。

在另一具体的实施例中，具体内容如下：

在模型训练中，初始化学习率为0.00001。在SGD优化器中，采用动量法优化训练迭代，Gamma参数初始值为0.1，Momentum参数为0.9，权重衰减系数为0.0001。模型利用Pytorch实现，在Intel i5 9400 CPU和NVIDIA TITAN X GPU平台上训练与验证，并在40个迭代训练中保存最佳模型。

训练保存的最佳模型，应用在测试集上的分类结果来看，RepBoTNet-CESA在各AD辅助诊断任务上表现优秀，在AD/NC任务上获得了96.58％的准确率，在EMCI/NC任务上获得了92.75％的准确率，在AD/EMCI/LMCI/NC任务上获得了80.97％的准确率。模型在测试集上的详细分类性能参数如表2所示，可以看出，整体性能达到了令人满意的效果，模型能够很好的捕捉MRI数据的空间信息，对大脑结构的变化能够做到整体的分析，并且对疾病的敏感度较高，这使得辅助诊断具有较高的可靠性。也能看出，随着分类任务的难度增加，不同任务之间的结果有一定的差异。

表2提出的模型在测试集上的评估结果

基于RepBoTNet-CESA的方法在AD与NC、EMCI与NC的二分类工作，以及AD/EMCI/LMCI/NC的四分类任务中，实验模型的分类性能优于其他方法。如表3所示，与Hu等人的方法相比，RepBoTNet-CESA在AD/NC任务上提高了3.48％的准确率；与Rallabandi等人的方法相比，RepBoTNet-CESA在AD/EMCI/LMCI/NC任务上提高了6.97％的准确率；与Jie等人的方法相比，RepBoTNet-CESA在三个AD辅助诊断任务上分别提高了11.28％、11.65％与23.37％的准确率；与Gao等人的方法相比，RepBoTNet-CESA在三个AD辅助诊断任务上分别提高了3.48％、8.15％与23.67％的准确率。同时可以看出，随着分类任务难度的增加，模型的性能略有下降，但本发明提出的模型仍然保持了良好的效果，这不仅进一步证明了本发明模型的分类的鲁棒性，而且证明了该模型对疾病诊断的可靠性。

表3 RepBoTNet-CESA与其它现有方法在AD辅助诊断任务上的对比

ROC曲线将灵敏度与特异性以图示方法结合在一起，可准确反映某分析方法特异性和敏感性的关系，是试验准确性的综合代表。而其线下面积AUC作为可以直观的评价分类器的好坏的数值，值越大越好，AUC大于0.5一般被认为具有较强的识别能力，而小于0.5则被认为没有识别能力。实验计算五折交叉验证的平均AUC，如表4所示。

从表4可以看出，其中AD相对于其他类数据的AUC为0.932，EMCI为0.952，LMCI为0.927，由此可以看出，模型四分类性能优异，具有较高的鲁棒性。微平均ROC曲线线下面积为0.944，宏平均为0.950，表明了模型分类的综合性能表现良好，这对于AD的辅助诊断，以及对疾病前期发展的干预，具有很大的帮助。实验模型用于2个二分类任务的训练，并将得到的最佳模型在测试集进行分类，分类结果表明模型具有良好的泛化性。通过下表比较2个二分类模型的AUC值可以看出，本发明模型在二分类任务上依然具有优秀的效果。

表4 ROC曲线线下面积(AUC)

结论：(1)本发明利用Rep3×3CNN搭建的RepBoTNet网络结构，可以在训练阶段使用更复杂的网络结构，获得更好的分类性能，在预测阶段将网络模型等效转换为更小的网络结构，且保留得到的分类结果，节省计算资源，加快预测速度。使得网络模型具有一定的多尺度卷积特性，结合了CNN网络善于捕捉局部信息与Transformer网络善于整合全局信息的优点。

(2)本发明利用立体编码多头自注意力机制优化网络模型，让模型不仅考虑到数据高、宽维度上的信息，还考虑到通道维度上的信息，以立体三维层面上的视角去学习病灶，整合磁共振图像的三维信息，让模型更贴合实际，获得更优的分类结果。

(3)本发明的方法使用预处理后的数据训练模型，数据预处理用于去除数据中的噪声和伪影，从而提高图像的质量，通过预处理通道的数据不仅保存了大脑必要的结构特征，也剔除了不必要的个体差异，让实验模型提取和学习更为重要的特征。

与图1所述的方法相对应，本发明实施例还提供了一种重参数化与立体编码的脑疾病分类系统，用于对图1中方法的具体实现，具体包括：获取数据模块、数据处理模块、建立RepBoTNet网络模型模块、建立RepBoTNet-CESA网络模型模块、模型训练模块、分类模块；

获取数据模块，与数据处理模块的输入端连接，用于从阿尔兹海默症神经成像计划数据集ADNI中获取脑疾病的核磁共振数据；

数据处理模块，与建立RepBoTNet网络模型模块的输入端连接，用于对核磁共振数据进行预处理，并将预处理后的核磁共振数据划分成训练集数据、验证集数据和测试集数据；

建立RepBoTNet网络模型模块，与建立RepBoTNet-CESA网络模型模块的输入端连接，用于构建包含六个模块的BoTNet-S1网络模型，将BoTNet-S1网络模型中的3×3CNN部分替换为结构重参数化的Rep3×3CNN，得到包含六个模块的RepBoTNet网络模型；

建立RepBoTNet-CESA网络模型模块，与模型训练模块的输入端连接，用于将建立的RepBoTNet网络模型的第六个模块中的原始多头自注意力机制替换为立体编码多头自注意力机制，得到RepBoTNet-CESA网络模型；

模型训练模块，与分类模块的输入端连接，用于将训练集数据输入RepBoTNet-CESA网络模型中进行迭代，每次迭代后根据验证集数据计算RepBoTNet-CESA网络模型分类的准确率，并保留到当前迭代为止验证集数据准确率最高的模型参数，当达到最大迭代次数后输出该模型参数，得到最优RepBoTNet-CESA网络模型；

分类模块，与模型训练模块的输出端连接，用于将待分类的测试集数据输入得到的最优RepBoTNet-CESA网络模型中，得到对应的分类结果。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。